概念词典/advanced

Scaling Law

描述模型性能如何随参数、数据和计算量增加而变化的经验规律。

01

先用人话理解

当模型、数据和算力按一定关系扩大时，性能往往会以可预测方式提升，而不是完全随机。

02

为什么重要

Scaling Law 为大模型时代持续扩大训练规模提供了工程和投资依据。