A行业级
GPT-2 展示零样本任务迁移
规模扩大后，语言模型开始在提示中识别任务
已核验1可追溯来源
OpenAI 发布 15 亿参数 GPT-2 的研究结果，展示模型无需任务微调即可完成基础问答、摘要和翻译。
发生了什么
GPT-2 在约 800 万网页组成的 WebText 上训练。OpenAI 先只发布小模型，以生成滥用风险为由分阶段开放，九个月后发布完整权重。
当时的行业背景
GPT-1 已证明预训练后微调有效，但每项任务仍需要标签和额外训练。研究者开始检验单纯扩大通用语言建模能否产生任务能力。
为什么重要
它把“提示本身可以描述任务”推到台前，也第一次让模型权重是否应立即公开成为大规模公共争论。
在它之前
预训练模型通常需要针对下游任务微调。
在它之后
只靠自然语言上下文触发任务能力开始显得可行。
影响
它改变了什么
对开发者
零样本提示开始成为评估通用语言模型的重要方法。
对行业
分阶段发布、滥用评估和模型开放策略进入前沿模型治理。
来源