前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >深度学习: 网络超参数设定

深度学习: 网络超参数设定

作者头像
JNingWei
发布2018-09-27 15:19:16
9290
发布2018-09-27 15:19:16
举报
文章被收录于专栏:JNing的专栏

Introduction

网络超参数包括: 输入图像像素、卷积层参数、池化层参数。

输入图像像素

应事先将图像统一压缩至 2n2n2^{n} 大小。

好处:

  • 同规格输入 才能得到 同规格输出;
  • 防止无法输入全连接层(因为全连接层的输入大小已经被提前写死了);
  • 便于多GPU并行。

卷积层参数

具体可查看TensorFlow中的API:tf.nn.conv2d

tf.nn.conv2d(input, filter, strides, padding, use_cudnn_on_gpu=None, name=None)

卷积核大小 (kernel size)

有的说法是 “多用小卷积核替代大卷积核” ,仁者见仁智者见智吧。

小卷积核

大卷积核

优势

1.减少卷积参数总数;2.增强了网络容量和模型复杂度。

1.网络层数少;2.收敛快。

劣势

1.整个网络的总计算量增加(虽然对单个卷积层而言计算量不变,但卷积层数增加了,因此计算总量也就上去了); 2.增加了“梯度弥散”的风险(因为层数增加了)。

当 卷积核的横截面 与 输入图像的横截面 等大 时,卷积层 变成了 全连接层

卷积填充 (padding)

padding参数设置

含义

“SAME”

保证了 输入 与 输出 的size一致

“VALID”

零填充,尊重原生计算结果

卷积步长 (stride)

卷积时在 图像每一维([batch, in_height, in_width, in_channels])的步长,这是一个一维的向量,长度4。

池化层参数

池化层的核一般也设置为 较小的size

常取的size值为 2×22×22\times2 ,3×33×33\times3 。

Note

  • pooling本质上是先划格子后微缩,并没有stride一说。如果非要有,那么stride=size。

[1] 解析卷积神经网络—深度学习实践手册 [2] tf.nn.conv2d [3] 深度学习: pooling (池化 / 降采样)

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2018年02月02日,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • Introduction
  • 输入图像像素
    • 好处:
    • 卷积层参数
      • 卷积核大小 (kernel size)
        • 卷积填充 (padding)
          • 卷积步长 (stride)
          • 池化层参数
          领券
          问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档