A行业级

Meta 发布 LLaMA

高性能权重离开 API,开放模型社区迅速成形

已核验1可追溯来源
核心变化

Meta 发布 7B、13B、33B 和 65B 参数的 LLaMA 论文与研究许可权重。权重随后外泄,社区很快完成量化、微调和本地运行工具。

01

发生了什么

LLaMA 强调用更多 token 训练相对较小模型,在多项基准上以较少参数达到竞争表现。初版不是开源软件许可;Llama 2 之后才提供更广商业使用条款,仍带有额外限制。

02

当时的行业背景

GPT-3.5 与 PaLM 等高能力模型主要通过封闭 API 提供。研究者难以检查权重、修改训练流程,或在自己的硬件和数据边界内运行模型。

03

为什么重要

可获得权重让社区能量化、微调和研究模型内部,形成独立于托管 API 的部署路线。它也迫使行业更准确地区分开放权重、开放代码和开源许可。

在它之前

大语言模型主要由 OpenAI 和 Google 等闭源公司掌控。

在它之后

开源大模型生态蓬勃发展,全球 AI 能力开始民主化。

影响

它改变了什么

对开发者

开源模型让开发者可以在本地运行和定制大模型。

对行业

改变了 AI 行业由少数闭源公司主导的格局。

来源

原始资料

  1. 01LLaMA — Open and Efficient Foundation Language ModelsMeta AI · paper

试试搜索