深度学习
按时间查看这条路线的关键转折。
深度置信网络重启深层学习
Hinton、Osindero 与 Teh 提出深度置信网络的快速逐层训练方法,让“深度学习”重新成为可实验的研究路线。
CUDA 把 GPU 变成通用计算平台
NVIDIA 发布 CUDA,让开发者用 C 风格工具直接编写在 GPU 上运行的通用并行程序。
ImageNet 数据集发布
李飞飞团队发布 ImageNet,按 WordNet 名词层级组织超过 1400 万张人工标注图像;2010 年开始的 ILSVRC 提供统一训练集和年度比较。
AlexNet 赢得 ImageNet 竞赛
AlexNet 在 ILSVRC 2012 将 top-5 错误率降到 15.3%,第二名为 26.2%。这个差距让深度卷积网络成为计算机视觉的新基线。
Word2Vec 发布
Google 团队发布 Word2Vec 的 CBOW 与 Skip-gram 方法,用局部上下文预测任务在数十亿词语料上快速学习稠密词向量。
GAN 提出对抗式生成训练
Ian Goodfellow 等人提出生成对抗网络,让生成器制造样本、判别器区分真假,两者通过同一个对抗目标训练。
Seq2Seq 统一可变长度序列转换
Google 研究者提出用两个多层 LSTM 将输入序列编码成向量,再逐步生成输出序列,并在机器翻译上取得有竞争力的结果。
Google 开源 TensorFlow
Google 以 Apache 2.0 许可证发布 TensorFlow,把内部第二代机器学习系统开放给研究者和开发者。
ResNet 让超深网络可训练
微软研究者提出残差网络,用跳跃连接训练 152 层模型,并赢得 2015 年 ImageNet 分类任务。
AlphaGo 击败李世石
AlphaGo 在首尔五局赛中以 4 比 1 战胜李世石。系统把人类棋谱学习、自我对弈和蒙特卡洛树搜索组合在一起。
DDPM 让扩散模型成为实用生成路线
Ho、Jain 与 Abbeel 提出 Denoising Diffusion Probabilistic Models,用逐步加噪和反向去噪生成高质量图像。
AlphaFold 破解蛋白质结构预测
AlphaFold 2 在 CASP14 的多数目标上达到接近实验结构的精度,把大量蛋白质的计算预测从研究难题变成可用工具。
AlphaFold 3 扩展到分子相互作用
Google DeepMind 与 Isomorphic Labs 发布 AlphaFold 3,用扩散式结构生成预测蛋白质与多类生物分子的联合结构。