A行业级

Seq2Seq 统一可变长度序列转换

编码器与解码器把翻译变成端到端学习问题

已核验1可追溯来源
核心变化

Google 研究者提出用两个多层 LSTM 将输入序列编码成向量,再逐步生成输出序列,并在机器翻译上取得有竞争力的结果。

01

发生了什么

编码器读取源句并形成内部表示,解码器根据表示逐词生成目标句。论文还发现反转源句顺序能缩短依赖距离,改善优化效果。

02

当时的行业背景

神经网络已经能处理固定标签任务,但翻译的输入和输出长度都不固定,传统系统还依赖分词、短语表、对齐和语言模型组成的复杂流水线。

03

为什么重要

Seq2Seq 把翻译、摘要和对话等任务放进同一个“输入序列到输出序列”框架。随后加入注意力机制,最终通向 Transformer。

在它之前

翻译系统依赖多个独立训练和调参的组件。

在它之后

一个神经网络可以直接学习从源序列到目标序列的映射。

影响

它改变了什么

对开发者

自然语言任务开始从人工拼接的模块转向端到端训练的通用结构。

对行业

神经机器翻译逐步替代统计机器翻译,显著简化产品技术栈。

来源

原始资料

  1. 01Sequence to Sequence Learning with Neural NetworksarXiv · paper

试试搜索