A行业级
GPT-1 验证生成式预训练
先学习通用语言，再用少量标注适配任务
已核验1可追溯来源
OpenAI 用 1.17 亿参数的 Transformer 解码器先做无监督语言模型训练，再对多种有监督任务微调。
发生了什么
模型在 BooksCorpus 上预测下一个词，再用同一主体适配文本蕴含、问答、语义相似度和分类任务。任务格式被转换成模型可读取的序列。
当时的行业背景
NLP 模型通常为每个任务单独设计结构，并依赖大量标注数据。词向量能迁移词级知识，却不足以表示整句和长程上下文。
为什么重要
GPT-1 给出了一条可以扩展的简单配方。模型主体不再围绕每项任务重新设计，通用预训练开始成为 NLP 的中心方法。
在它之前
每个 NLP 任务往往需要专用模型和大量标签。
在它之后
一个预训练 Transformer 可以迁移到多种任务。
影响
它改变了什么
对开发者
预训练模型加任务微调成为标准开发流程。
对行业
训练通用基础模型再分发能力，开始替代为每个产品单独训练模型的思路。
来源