Inception Resnet
简介
Inception-ResNet网络是在Inception模块中引入ResNet的残差结构，它在ImageNet比赛中的CLS分类测试集上，达到了Top-5 错误率 3.08%的成绩。
它共有两个版本，其中Inception-ResNet-v1对标Inception-v3，而Inception-ResNet-v2对标Inception-v4，两者计算复杂度类似。
准确率和模型对比如下图：
基本信息
paper：“Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning”
pdf：http://arxiv.org/abs/1602.07261
翻译：https://aiqianji.com/blog/article/32
创新点
- 把Inception模块转成Inception 残差模块
- 增加了更多的Inception模块
- 在Stem模块后，加入了一种新型的Inception模块
网络结构
Inception ResNet V2 抽象结构如图（来自googleblog）
Inception ResNet V2 原始结构如图 大图来源:
对比Inception V4 ，V4结构如下：
用不同节点表示如图(按照tensorflow代码重画)
源码：
tensorflow 源码 : https://github.com/tensorflow/models/blob/master/research/slim/nets/inception_resnet_v2.py
缩放Residuals
当卷积核个数超过1000时，训练将会变得不稳定，这时候缩小Residuals有助于稳定训练，缩小因子介于0.1到0.3。
作者提出了“two phase”训练。首先“warm up”，使用较小的学习率。接着再使用较大的学习率。
训练方法
使用Momentum + SGM，momentum=0.9。使用RMSProp，decay为0.9，ϵ=1.0。
学习率为0.045，每2个epoch缩小为原理的0.94。