Transformer

中文释义定义解释

基于自注意力机制的神经网络架构，主导现代 NLP 与多模态。

Self-attention based architecture dominating modern NLP and multimodal models.

跨层直连以缓解深层网络退化。

注意力机制中并行计算的一个子单元。

生成式AI。

自主体。

只训练少量参数以适配下游任务的方法。

将词语映射为低维向量以刻画语义关系。

模型处理文本的基本单位。

在大规模无标注数据上训练、可迁移至多任务的大模型。

使 AI 目标与行为符合人类意图与价值观。

以人类反馈强化学习使模型对齐人类偏好。

融合文本图像音频等多种输入的模型。

可同时处理文本、图像、音频等多种模态输入的模型。

多个智能体协作分工完成任务的范式。

缩放激活以稳定训练的技术。