BERT 发布

核心变化

Google 发布 BERT，并在 GLUE、SQuAD 等 11 项任务上取得当时最佳结果。同一个预训练编码器只需增加很小的任务输出层即可迁移。

01

发生了什么

BERT 随机遮住输入 token 并预测它们，同时训练句子关系任务。模型结构使用 Transformer 编码器，可一次看到被遮词左右两侧的上下文。

02

当时的行业背景

GPT-1 已验证生成式预训练，但从左到右读取文本会限制需要同时利用前后文的理解任务。ELMo 等方法提供双向表示，却没有统一的深层预训练模型。

03

为什么重要

BERT 让预训练模型成为搜索、分类、抽取和问答的默认起点，并推动模型中心的 NLP 工程形成。它擅长理解任务，不直接承担开放式生成。

在它之前

NLP 任务需要为每个任务单独设计和训练模型。

在它之后

一个预训练模型可以通过微调适配多种任务，大幅降低了 NLP 应用门槛。

来源

原始资料

1. 01BERT — Pre-training of Deep Bidirectional Transformers for Language UnderstandingarXiv · paper