深度学习: 网络超参数设定

Introduction

网络超参数包括: 输入图像像素、卷积层参数、池化层参数。

输入图像像素

应事先将图像统一压缩至 2n2n2^{n} 大小。

好处:

  • 同规格输入 才能得到 同规格输出;
  • 防止无法输入全连接层(因为全连接层的输入大小已经被提前写死了);
  • 便于多GPU并行。

卷积层参数

具体可查看TensorFlow中的API:tf.nn.conv2d

tf.nn.conv2d(input, filter, strides, padding, use_cudnn_on_gpu=None, name=None)

卷积核大小 (kernel size)

有的说法是 “多用小卷积核替代大卷积核” ,仁者见仁智者见智吧。

小卷积核

大卷积核

优势

1.减少卷积参数总数;2.增强了网络容量和模型复杂度。

1.网络层数少;2.收敛快。

劣势

1.整个网络的总计算量增加(虽然对单个卷积层而言计算量不变,但卷积层数增加了,因此计算总量也就上去了); 2.增加了“梯度弥散”的风险(因为层数增加了)。

当 卷积核的横截面 与 输入图像的横截面 等大 时,卷积层 变成了 全连接层

卷积填充 (padding)

padding参数设置

含义

“SAME”

保证了 输入 与 输出 的size一致

“VALID”

零填充,尊重原生计算结果

卷积步长 (stride)

卷积时在 图像每一维([batch, in_height, in_width, in_channels])的步长,这是一个一维的向量,长度4。

池化层参数

池化层的核一般也设置为 较小的size

常取的size值为 2×22×22\times2 ,3×33×33\times3 。

Note

  • pooling本质上是先划格子后微缩,并没有stride一说。如果非要有,那么stride=size。

[1] 解析卷积神经网络—深度学习实践手册 [2] tf.nn.conv2d [3] 深度学习: pooling (池化 / 降采样)

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏LhWorld哥陪你聊算法

【神经网络篇】--RNN递归神经网络初始与详解

由图可知,比如第二个节点的输入不仅依赖于本身的输入U1,而且依赖上一个节点的输入W0,U0,同样第三个节点依赖于前两个节点的输入,

58120
来自专栏PPV课数据科学社区

译:支持向量机(SVM)及其参数调整的简单教程(Python和R)

一、介绍 数据分类是机器学习中非常重要的任务。支持向量机(SVM)广泛应用于模式分类和非线性回归领域。 SVM算法的原始形式由Vladimir N.Vapnik...

86580
来自专栏CreateAMind

Deep Learning Book 中文5.7-6.2节 机器学习基础-深度前馈网络

监督学习算法、无监督学习算法、推动深度学习的挑战;基于梯度的学习:最大似然学习条件分布;不同的输出单元:多分类等。

9320
来自专栏人工智能

Tensorflow笔记 tensorflow做线性回归

本系列推送主要参考: Stanford University CS20SI: Tensorflow for Deep Learning Research. 01...

240100
来自专栏企鹅号快讯

TensorFlow 从入门到放弃(一):卷积神经网络与TensorFlow实现

IT 领域的三角不可能定律:质量编程、速度编程、廉价编程。 ——麦杰克 · 索伊 导读:从本质上讲,我们在做回归或者分类的时候,就是把数据映射到一个或多个离散标...

260100
来自专栏机器学习算法原理与实践

交叉验证(Cross Validation)原理小结

    交叉验证是在机器学习建立模型和验证模型参数时常用的办法。交叉验证,顾名思义,就是重复的使用数据,把得到的样本数据进行切分,组合为不同的训练集和测试集,用...

12320
来自专栏xingoo, 一个梦想做发明家的程序员

吴恩达机器学习笔记 —— 14 无监督学习

还有一个算法在这次的课程中没有提到,就是kmeans++,它与上面的kmeans不同的是,选择中心点是首先随机选择一个,然后选择一个离当前最远的作为下一个中心点...

9700
来自专栏fangyangcoder

Andrew Ng机器学习课程笔记(三)之正则化

http://www.cnblogs.com/fydeblog/p/7365475.html

8510
来自专栏GAN&CV

基础 | batchnorm原理及代码详解

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq_25737169/article/d...

10110
来自专栏大数据智能实战

pix2pix tensorflow试验(GAN之图像转图像的操作)

GAN是一种典型的概率生成模型,其核心思想是:找出给定观测数据内部的统计规律,并且能够基于所得到的概率分布模型,产生全新的,与观测数据类似的数据。 概率生成模...

60350

扫码关注云+社区

领取腾讯云代金券