多模态模型

在大规模无标注数据上训练、可迁移至多任务的大模型。

能生成文本、图像、音频等内容的人工智能技术。

生成式AI。

自主体。

基于自注意力机制的神经网络架构，主导现代 NLP 与多模态。

跨层直连以缓解深层网络退化。

只训练少量参数以适配下游任务的方法。

将词语映射为低维向量以刻画语义关系。

模型处理文本的基本单位。

使 AI 目标与行为符合人类意图与价值观。

以人类反馈强化学习使模型对齐人类偏好。

融合文本图像音频等多种输入的模型。

多个智能体协作分工完成任务的范式。

缩放激活以稳定训练的技术。