CNN图像分类学习记录(六)——ResNet, ResNeXt | 天一阁

CNN图像分类学习记录(六)——ResNet, ResNeXt

Deep Residual Learning for Image Recognition(2015)

继续单纯增加plain layer,想通过提高NN深度,已经对分类精度不起作用了。同时有恒等映射的方法,构建DNN。resnet通过增加了一条快速通道,把输入和输出链接起来,这样中间的layer就不是学习如何映射h(x),而是要找f(x) = h(x)-x。作者假设f(x),要比h(x)更容易搜索到。同样这里是假设,没有证明,只有实验结果。

这里作者是想说,网络加深并不会更好,当极端情况f(x)=x, h(x)=0,也就是说多加的层什么都不干了,全变成0,相当于网络变浅了。

Identity Mappings in Deep Residual Networks(2016)

这是resnet的一个变种,文章首先分析了在skip connection上做各种函数,发现都是在阻碍信息向更深传播。而后又把residual unit做了变形,做了pre-activition,使网络深到1000层,说在CIFAR 10/100上有更好的效果。但是我怎么看到用InceptionV4也同样可以达到同样或更好的效果

Aggregated Residual Transformations for Deep Neural Networks(2017)

resnet也在不停演进,这篇文章开篇就说人类工作从找特征,转到了找超参。还说google的太不好找超参,所以他们基于VGG/ResNet的策略(stacking same blocks)提出更好的NN,同时也简单的融合了google inception的策略(split-transform-merge)。新的结构叫RexNeXt,超过了resnet和inception的各种变种。

实际上,就是google出了一版resnet和inception结合的网络,facebook也是把resnet和inception结合出了一套,就叫做ResNeXt网络了,但我看应该效果会差不多。