A行业级

ResNet 让超深网络可训练

残差连接为信息和梯度提供短路径

已核验1可追溯来源
核心变化

微软研究者提出残差网络,用跳跃连接训练 152 层模型,并赢得 2015 年 ImageNet 分类任务。

01

发生了什么

残差块不直接学习完整映射,而是学习相对输入的残差,并把输入通过恒等连接送到更深层。这给优化提供了更直接的路径。

02

当时的行业背景

增加网络深度理论上能提高表达能力,实际训练却出现退化问题。更深的普通网络不仅难优化,训练误差也可能高于较浅版本。

03

为什么重要

残差连接成为视觉网络和后续多种深层架构的基础部件。它也提供了一个可迁移的工程思想,让深层系统保留稳定的信息通道。

在它之前

网络越深越难训练,深度本身会造成性能退化。

在它之后

跳跃连接成为扩展深度的标准方法。

影响

它改变了什么

对开发者

数百层网络可以稳定训练,视觉骨干网络迅速转向残差结构。

对行业

更强的图像识别模型进入检测、分割和工业视觉系统。

来源

原始资料

  1. 01Deep Residual Learning for Image RecognitionarXiv · paper

试试搜索