前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >1×1卷积的用途(Network in Network)

1×1卷积的用途(Network in Network)

作者头像
10JQKA
发布2018-05-09 14:45:01
2.7K1
发布2018-05-09 14:45:01

1×1卷积,又称为Network in Network

如果卷积的输出输入都只是一个平面,那么1x1卷积核并没有什么意义,它是完全不考虑像素与周边其他像素关系。 但卷积的输出输入是长方体,所以1x1卷积实际上是对每个像素点,在不同的channels上进行线性组合(信息整合),且保留了图片的原有平面结构,调控depth,从而完成升维或降维的功能。 如下图所示,如果选择2个filters的1x1卷积层,那么数据就从原本的depth 3 降到了2。若用4个filters,则起到了升维的作用。

1. 相当于输入(6×6)每个元素对应的所有通道分别进行了全连接运算,输出即为filters的数量。

2. 对于池化层,可以压缩高度和宽度,1×1卷积,可以压缩或增加通道数。

降维( dimension reductionality )或者升维。由于33卷积或者55卷积在几百个filter的卷积层上做卷积操作时相当耗时,所以11卷积在33卷积或者5*5卷积计算之前先降低维度。比如,一张500×500且厚度depth为100 的图片在20个filter上做1×1的卷积,那么结果的大小为500×500×20。

3. 加入非线性。卷积层之后经过激励层,1×1的卷积在前一层的学习表示上添加了非线性激励( non-linear activation ),提升网络的表达能力;

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2018-01-22 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 1×1卷积,又称为Network in Network
    • 1. 相当于输入(6×6)每个元素对应的所有通道分别进行了全连接运算,输出即为filters的数量。
      • 2. 对于池化层,可以压缩高度和宽度,1×1卷积,可以压缩或增加通道数。
        • 3. 加入非线性。卷积层之后经过激励层,1×1的卷积在前一层的学习表示上添加了非线性激励( non-linear activation ),提升网络的表达能力;
        领券
        问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档