Transformer 架构论文发表

自注意力取代循环结构，序列训练可以大规模并行

已核验1可追溯来源

核心变化

Google 研究者在机器翻译论文中提出 Transformer，用自注意力、前馈网络和位置编码构成编码器—解码器，去掉循环和卷积。

发生了什么

多头自注意力让每个位置直接读取序列中的其他位置，位置编码补回顺序信息。论文在 WMT 翻译任务上以更少训练成本取得当时最佳结果。

RNN 和 LSTM 必须按时间顺序处理 token，长序列难以并行训练，信息也要经过很长路径才能连接。注意力此前通常只是循环网络上的辅助模块。

架构能在并行硬件上有效扩展，并能拆成仅编码器或仅解码器，随后分别形成 BERT 与 GPT 等路线。注意力的二次复杂度也带来长上下文成本，推动稀疏和线性注意力研究。

在它之前

NLP 依赖 RNN/LSTM 进行序列建模，训练慢、难并行化、长序列效果差。

在它之后

Transformer 成为 NLP 和后续多模态 AI 的统一基础架构。

影响

对开发者

序列模型可以高效并行训练，并复用统一的注意力模块。

对行业

编码器、解码器和多模态变体成为基础模型常用架构。

来源