自然语言处理
按时间查看这条路线的关键转折。
ELIZA 展示对话程序的投射效应
Joseph Weizenbaum 发表 ELIZA 论文，展示一个通过关键词、模板和文本改写与人对话的程序。
IBM Watson 赢下《Jeopardy!》
IBM Watson 在三场《Jeopardy!》比赛中击败两位冠军选手，展示机器处理双关、线索检索和答案置信度排序的能力。
Word2Vec 发布
Google 团队发布 Word2Vec 的 CBOW 与 Skip-gram 方法，用局部上下文预测任务在数十亿词语料上快速学习稠密词向量。
Seq2Seq 统一可变长度序列转换
Google 研究者提出用两个多层 LSTM 将输入序列编码成向量，再逐步生成输出序列，并在机器翻译上取得有竞争力的结果。
Transformer 架构论文发表
Google 研究者在机器翻译论文中提出 Transformer，用自注意力、前馈网络和位置编码构成编码器—解码器，去掉循环和卷积。
GPT-1 验证生成式预训练
OpenAI 用 1.17 亿参数的 Transformer 解码器先做无监督语言模型训练，再对多种有监督任务微调。
BERT 发布
Google 发布 BERT，并在 GLUE、SQuAD 等 11 项任务上取得当时最佳结果。同一个预训练编码器只需增加很小的任务输出层即可迁移。
GPT-2 展示零样本任务迁移
OpenAI 发布 15 亿参数 GPT-2 的研究结果，展示模型无需任务微调即可完成基础问答、摘要和翻译。
GPT-3 发布
OpenAI 训练 1750 亿参数 GPT-3，模型只看任务说明或少量示例，就能在不更新权重的情况下处理翻译、问答、文本生成和简单代码。