A行业级
ResNet 让超深网络可训练
残差连接为信息和梯度提供短路径
已核验1可追溯来源
微软研究者提出残差网络,用跳跃连接训练 152 层模型,并赢得 2015 年 ImageNet 分类任务。
发生了什么
残差块不直接学习完整映射,而是学习相对输入的残差,并把输入通过恒等连接送到更深层。这给优化提供了更直接的路径。
当时的行业背景
增加网络深度理论上能提高表达能力,实际训练却出现退化问题。更深的普通网络不仅难优化,训练误差也可能高于较浅版本。
为什么重要
残差连接成为视觉网络和后续多种深层架构的基础部件。它也提供了一个可迁移的工程思想,让深层系统保留稳定的信息通道。
在它之前
网络越深越难训练,深度本身会造成性能退化。
在它之后
跳跃连接成为扩展深度的标准方法。
影响
它改变了什么
对开发者
数百层网络可以稳定训练,视觉骨干网络迅速转向残差结构。
对行业
更强的图像识别模型进入检测、分割和工业视觉系统。
来源