自监督学习

数据不出本地而联合训练模型。

将一任务学到的知识迁移到相关任务。

仅用极少标注样本即可学会新任务。

生成式AI。

自主体。

基于自注意力机制的神经网络架构，主导现代 NLP 与多模态。

跨层直连以缓解深层网络退化。

只训练少量参数以适配下游任务的方法。

将词语映射为低维向量以刻画语义关系。

模型处理文本的基本单位。

在大规模无标注数据上训练、可迁移至多任务的大模型。

使 AI 目标与行为符合人类意图与价值观。

以人类反馈强化学习使模型对齐人类偏好。

融合文本图像音频等多种输入的模型。

可同时处理文本、图像、音频等多种模态输入的模型。