Deep Residual Learning for Image Recognition（2015）
继续单纯增加plain layer，想通过提高NN深度，已经对分类精度不起作用了。同时有恒等映射的方法，构建DNN。resnet通过增加了一条快速通道，把输入和输出链接起来，这样中间的layer就不是学习如何映射h(x)，而是要找f(x) = h(x)-x。作者假设f(x)，要比h(x)更容易搜索到。同样这里是假设，没有证明，只有实验结果。
这里作者是想说，网络加深并不会更好，当极端情况f(x)=x, h(x)=0，也就是说多加的层什么都不干了，全变成0，相当于网络变浅了。
Identity Mappings in Deep Residual Networks（2016）
这是resnet的一个变种，文章首先分析了在skip connection上做各种函数，发现都是在阻碍信息向更深传播。而后又把residual unit做了变形，做了pre-activition，使网络深到1000层，说在CIFAR 10/100上有更好的效果。但是我怎么看到用InceptionV4也同样可以达到同样或更好的效果
Aggregated Residual Transformations for Deep Neural Networks（2017）
resnet也在不停演进，这篇文章开篇就说人类工作从找特征，转到了找超参。还说google的太不好找超参，所以他们基于VGG/ResNet的策略（stacking same blocks）提出更好的NN，同时也简单的融合了google inception的策略（split-transform-merge）。新的结构叫RexNeXt，超过了resnet和inception的各种变种。
实际上，就是google出了一版resnet和inception结合的网络，facebook也是把resnet和inception结合出了一套，就叫做ResNeXt网络了，但我看应该效果会差不多。