A行业级
Meta 发布 LLaMA
高性能权重离开 API,开放模型社区迅速成形
已核验1可追溯来源
Meta 发布 7B、13B、33B 和 65B 参数的 LLaMA 论文与研究许可权重。权重随后外泄,社区很快完成量化、微调和本地运行工具。
发生了什么
LLaMA 强调用更多 token 训练相对较小模型,在多项基准上以较少参数达到竞争表现。初版不是开源软件许可;Llama 2 之后才提供更广商业使用条款,仍带有额外限制。
当时的行业背景
GPT-3.5 与 PaLM 等高能力模型主要通过封闭 API 提供。研究者难以检查权重、修改训练流程,或在自己的硬件和数据边界内运行模型。
为什么重要
可获得权重让社区能量化、微调和研究模型内部,形成独立于托管 API 的部署路线。它也迫使行业更准确地区分开放权重、开放代码和开源许可。
在它之前
大语言模型主要由 OpenAI 和 Google 等闭源公司掌控。
在它之后
开源大模型生态蓬勃发展,全球 AI 能力开始民主化。
影响
它改变了什么
对开发者
开源模型让开发者可以在本地运行和定制大模型。
对行业
改变了 AI 行业由少数闭源公司主导的格局。
来源