如何理解SENet

如何理解SENet,相信很多没有经验的人对此束手无策,为此本文总结了问题出现的原因和解决方法,通过这篇文章希望你能解决这个问题。

在川汇等地区,都构建了全面的区域性战略布局,加强发展的系统性、市场前瞻性、产品创新能力,以专注、极致的服务理念,为客户提供成都做网站、成都网站制作 网站设计制作按需求定制网站,公司网站建设,企业网站建设,成都品牌网站建设,全网营销推广,外贸网站制作,川汇网站建设费用合理。

SENet是ImageNet 2017(ImageNet收官赛)的冠军模型,和ResNet的出现类似,都在很大程度上减小了之前模型的错误率(具体见附录),并且复杂度低,新增参数和计算量小。下面就来具体介绍一些SENet的神奇之处。

SENet的全称是Squeeze-and-ExcitationNetworks,中文可以翻译为压缩和激励网络。主要由两部分组成:

1. Squeeze部分。即为压缩部分,原始feature map的维度为H*W*C,其中H是高度(Height),W是宽度(width),C是通道数(channel)。Squeeze做的事情是把H*W*C压缩为1*1*C,相当于把H*W压缩成一维了,实际中一般是用global average pooling实现的。H*W压缩成一维后,相当于这一维参数获得了之前H*W全局的视野,感受区域更广。

2. Excitation部分。得到Squeeze的1*1*C的表示后,加入一个FC全连接层(Fully Connected),对每个通道的重要性进行预测,得到不同channel的重要性大小后再作用(激励)到之前的feature map的对应channel上,再进行后续操作。

如何理解SENet

可以看出,SENet和ResNet很相似,但比ResNet做得更多。ResNet只是增加了一个skip connection,而SENet在相邻两层之间加入了处理,使得channel之间的信息交互成为可能,进一步提高了网络的准确率。

SENet可以随意插入到任何网络中,提升效果也是比较显著的,论文中给的结果是有0.4%~1.8%范围的error减小。

如何理解SENet 

训练的曲线也很漂亮,最下面橙色的即为SENet的结果:

如何理解SENet

附录:

ImageNet分类Top5错误率:

2014 GoogLeNet  6.67%

2015 ResNet         3.57%

2016 ~~~             2.99%

2017 SENet           2.25%

看完上述内容,你们掌握如何理解SENet的方法了吗?如果还想学到更多技能或想了解更多相关内容,欢迎关注创新互联行业资讯频道,感谢各位的阅读!


文章名称:如何理解SENet
分享链接:http://myzitong.com/article/jcddes.html