A行业级
反向传播算法
训练多层神经网络的数学基础
已核验1可追溯来源
Rumelhart、Hinton 与 Williams 展示如何用误差反向传播训练多层网络，使隐藏层能够从样本中形成内部表示。
发生了什么
前向计算得到输出和误差，误差信号再按链式法则逐层传回，每个权重沿降低误差的方向更新。论文用对称性、亲属关系等任务展示隐藏表示。
当时的行业背景
链式法则和反向求导思想此前已有多次独立发现，难点在于如何把它变成训练多层连接主义模型的清晰方法，并用实验说明隐藏单元学到了什么。
为什么重要
多层网络终于有了通用、可复用的训练办法。现代自动微分框架仍执行同一基本过程，不过实际能力还依赖激活函数、初始化、数据、算力和优化方法。
在它之前
感知机只能解决线性可分问题，多层网络缺乏有效的训练方法。
在它之后
反向传播让训练深层网络成为可能，开启了连接主义时代。
来源