A行业级
深度置信网络重启深层学习
逐层预训练让更深的神经网络重新可训练
已核验1可追溯来源
Hinton、Osindero 与 Teh 提出深度置信网络的快速逐层训练方法，让“深度学习”重新成为可实验的研究路线。
发生了什么
论文先用无监督方式逐层训练受限玻尔兹曼机，再对整个网络进行有监督微调。这个流程为深层网络提供了更好的初始表示。
当时的行业背景
反向传播可以训练多层网络，但深层模型容易受梯度、初始化、数据和算力限制，1990 年代后在许多任务上让位于核方法等路线。
为什么重要
这不是今天深度网络的最终训练方法，但它恢复了对深层表示学习的信心，并连接到随后由大数据、GPU、ReLU 和更好优化方法推动的突破。
在它之前
深层网络被认为训练困难，研究注意力集中在较浅模型和手工特征。
在它之后
表示可以由多层模型从数据中逐级学习，深度网络研究重新加速。
影响
它改变了什么
对开发者
深层神经网络重新成为可以稳定复现和继续改进的实验对象。
对行业
“深度学习”从边缘术语逐步变成计算机视觉、语音和语言技术的共同路线。
来源