A行业级
神经语言模型缩放规律被量化
性能与参数、数据和计算量呈可预测幂律关系
已核验1可追溯来源
OpenAI 研究者系统测量语言模型损失随参数量、数据量和训练计算量变化的规律，并给出计算预算分配建议。
发生了什么
论文发现跨多个数量级，交叉熵损失与三种规模变量呈平滑幂律关系，其他因素不构成瓶颈时，趋势可以外推。
当时的行业背景
更大的模型往往更好，但团队缺少可靠方法估计增加数据、参数或训练时间的收益，也难判断一次训练是否接近最优配置。
为什么重要
缩放从经验判断变成可用于预算和路线选择的工程工具，直接支持了更大训练集群和基础模型投资；后续 Chinchilla 等工作又修正了最优数据与参数配比。
在它之前
扩大模型主要依赖经验和零散观察。
在它之后
规模收益可以被拟合、预测并写进训练计划。
影响
它改变了什么
对开发者
训练前可以用小规模实验估计大模型的损失和资源需求。
对行业
前沿模型竞争越来越依赖持续扩大的算力、数据和资本投入。
来源