大语言模型
按时间查看这条路线的关键转折。
Transformer 架构论文发表
Google 研究者在机器翻译论文中提出 Transformer，用自注意力、前馈网络和位置编码构成编码器—解码器，去掉循环和卷积。
GPT-1 验证生成式预训练
OpenAI 用 1.17 亿参数的 Transformer 解码器先做无监督语言模型训练，再对多种有监督任务微调。
BERT 发布
Google 发布 BERT，并在 GLUE、SQuAD 等 11 项任务上取得当时最佳结果。同一个预训练编码器只需增加很小的任务输出层即可迁移。
GPT-2 展示零样本任务迁移
OpenAI 发布 15 亿参数 GPT-2 的研究结果，展示模型无需任务微调即可完成基础问答、摘要和翻译。
神经语言模型缩放规律被量化
OpenAI 研究者系统测量语言模型损失随参数量、数据量和训练计算量变化的规律，并给出计算预算分配建议。
GPT-3 发布
OpenAI 训练 1750 亿参数 GPT-3，模型只看任务说明或少量示例，就能在不更新权重的情况下处理翻译、问答、文本生成和简单代码。
OpenAI Codex 把 GPT-3 适配到代码
OpenAI 发布 Codex API 的私有测试版。模型由 GPT-3 继续在公开代码上训练，也是 GitHub Copilot 的早期能力来源。
InstructGPT 用人类反馈对齐指令
OpenAI 公开 InstructGPT 训练方法，通过示范数据、偏好排序和强化学习，让语言模型更按用户指令回答。
ChatGPT 发布
OpenAI 以“研究预览”发布 ChatGPT。用户只需打开网页输入自然语言，即可连续追问、改写文本、解释代码或要求模型承认错误。
Meta 发布 LLaMA
Meta 发布 7B、13B、33B 和 65B 参数的 LLaMA 论文与研究许可权重。权重随后外泄，社区很快完成量化、微调和本地运行工具。
Anthropic 发布 Claude
Anthropic 向合作伙伴开放 Claude，提供聊天和 API 访问，并强调可预测性、减少有害输出和长文本处理。
GPT-4 发布
OpenAI 发布 GPT-4。模型接受文本和图像输入，在模拟律师资格考试中达到约前 10%，并提高代码、专业问答与复杂指令表现。
OpenAI API 加入函数调用
OpenAI 为 GPT-4 与 GPT-3.5 Turbo 加入函数调用，让开发者声明函数和 JSON 参数结构，由模型选择调用并生成参数。
通义千问开放 Qwen 权重
阿里云发布 Qwen-7B 与 Qwen-7B-Chat 的代码和权重，提供中文、英文、多语言与代码能力，并允许符合条件的商业使用。
Mistral 7B 以小模型进入开放生态
Mistral AI 以 Apache 2.0 许可证发布 Mistral 7B 权重，使用分组查询注意力和滑动窗口注意力降低推理成本。
Google 发布 Gemini 1.0
Google DeepMind 发布 Gemini 1.0，以 Ultra、Pro、Nano 三个规模覆盖数据中心、通用产品和端侧设备。
GPT-4o 发布
OpenAI 发布 GPT-4o，以同一神经网络处理文本、视觉与音频，让实时语音和视觉交互第一次成为通用模型的原生能力。
Claude 3.5 Sonnet 发布
Anthropic 发布 Claude 3.5 Sonnet，以更低的价格和更快的速度达到接近或超过上一代旗舰的代码、视觉和推理表现。
OpenAI o1 发布
OpenAI 发布 o1-preview，把更多计算放到回答前的推理过程，在数学、科学和编程任务上显著提高复杂问题求解能力。
DeepSeek-V3 发布
DeepSeek 发布 DeepSeek-V3，以开放权重和显著的训练效率引发行业关注，并让前沿模型的成本结构成为公开讨论的焦点。
DeepSeek-R1 发布
DeepSeek 发布开放推理模型 DeepSeek-R1，以强化学习驱动的推理能力和开放权重迅速引发全球关注。
GPT-5 发布
OpenAI 发布 GPT-5，把即时回答、深度推理、代码与工具使用整合进同一模型家族，模型开始根据任务自动分配计算。
Gemini 3.5 Flash 发布
Google 发布 Gemini 3.5 Flash 正式版，把持续高强度 Agent 与代码任务定位为 Flash 主力场景，并将其设为 gemini-flash-latest 的默认模型。
Claude 5 家族成形
Anthropic 在六月先后推出 Claude Fable 5 与 Sonnet 5：前者面向长时间运行的高难度 Agent，后者强调速度与智能的综合平衡。
GPT-5.6 发布
OpenAI 发布 GPT-5.6，以 Sol、Terra、Luna 三档覆盖旗舰能力、成本平衡与高吞吐，并加入程序化工具调用、多 Agent 编排、显式缓存和持久推理。