A行业级
GPT-3 发布
1750 亿参数把少样本提示推向通用接口
已核验1可追溯来源
OpenAI 训练 1750 亿参数 GPT-3，模型只看任务说明或少量示例，就能在不更新权重的情况下处理翻译、问答、文本生成和简单代码。
发生了什么
论文比较零样本、单样本和少样本设置。GPT-3 在许多任务上明显改善，但在算术、常识和数据偏差上仍有系统性错误。OpenAI 选择通过 API 提供模型，而不是发布权重。
当时的行业背景
GPT-2 已展示零样本迁移，缩放规律也预示损失会随模型、数据和计算量平滑下降。尚不清楚这种下降能否转化成跨任务的实用行为。
为什么重要
提示开始承担过去由数据集格式和微调代码完成的任务配置工作。API 分发也形成新的基础模型商业模式，让同一模型支撑大量下游产品。
在它之前
每个 NLP 任务需要独立训练模型，成本高、泛化差。
在它之后
一个通用大模型可以通过提示完成多种任务，AI 开始走向通用化。
影响
它改变了什么
对开发者
开发者开始围绕通用模型 API 构建写作、搜索和编程应用。
对行业
前沿实验室把更大的训练集群和基础模型 API 纳入长期产品投入。
来源