Dilated Convolutions——扩张卷积

1. 扩张卷积

Dilated Convolutions,翻译为扩张卷积或空洞卷积。扩张卷积与普通的卷积相比,除了卷积核的大小以外,还有一个扩张率(dilation rate)参数,主要用来表示扩张的大小。扩张卷积与普通卷积的相同点在于,卷积核的大小是一样的,在神经网络中即参数数量不变,区别在于扩张卷积具有更大的感受野。感受野是卷积核在图像上看到的大小,例如3×33 \times 3卷积核的感受野大小为9。

2. 示意图

下图是扩张卷积的示意图。

(a) 普通卷积,1-dilated convolution,卷积核的感受野为3×3=93 \times 3 = 9。 (b) 扩张卷积,2-dilated convolution,卷积核的感受野为7×7=497 \times 7 = 49。 (c) 扩张卷积,4-dilated convolution,卷积核的感受野为15×15=22515 \times 15 = 225。

从上图中可以看出,卷积核的参数个数保持不变,感受野的大小随着“dilation rate”参数的增加呈指数增长。

3. 优点

扩展卷积在保持参数个数不变的情况下增大了卷积核的感受野,同时它可以保证输出的特征映射(feature map)的大小保持不变。一个扩张率为2的3×3卷积核,感受野与5×5的卷积核相同,但参数数量仅为9个,是5×5卷积参数数量的36%36\%。

4. 应用

扩张卷积在图像分割、语音合成、机器翻译、目标检测中都有应用。

5. 参考资料

Multi-Scale Context Aggregation by Dilated Convolutions

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏人工智能

ImageNet冠军带你入门计算机视觉:卷积神经网络

作者|360 董健 编辑|Vincent,Emily AI 前线导语:在第一篇文章《ImageNet 冠军带你入门计算机视觉:监督学习与神经网络的简单实现》中,...

2670
来自专栏深度学习自然语言处理

【长文详解】卷积神经网络常见架构AlexNet、ZFNet、VGGNet、GoogleNet和ResNet模型的理论与实践

目前的常见的卷积网络结构有AlexNet、ZF Net、VGGNet、Inception、ResNet等等,接下来我们对这些架构一一详解。

1574
来自专栏Deep learning进阶路

深度学习论文笔记(六)--- FCN-2015年(Fully Convolutional Networks for Semantic Segmentation)

深度学习论文笔记(六)--- FCN 全连接网络 FullyConvolutional Networks for Semantic Segmentation ...

4860
来自专栏郭耀华‘s Blog

【深度学习】深入理解Batch Normalization批标准化

1332
来自专栏专知

【重温经典】吴恩达机器学习课程学习笔记五:多元梯度下降

【导读】前一段时间,专知内容组推出了春节充电系列:李宏毅2017机器学习课程学习笔记,反响热烈,由此可见,大家对人工智能、机器学习的系列课程非常感兴趣,近期,专...

3467
来自专栏郭耀华‘s Blog

【深度学习】深入理解Batch Normalization批标准化

这几天面试经常被问到BN层的原理,虽然回答上来了,但还是感觉答得不是很好,今天仔细研究了一下Batch Normalization的原理,以下为参考网上几篇文...

3197
来自专栏图像识别与深度学习

2018-04-21 语义分割Semantic segmentation

26310
来自专栏ATYUN订阅号

神奇!无需数据即可进行机器翻译操作

在日常工作中,深度学习正在被积极地使用。与其他机器学习算法不同的是,深度网络最有用的特性是,随着它获得更多的数据,它们的性能就会有所提高。因此,如果能够获得更多...

3266
来自专栏老秦求学

[Deep-Learning-with-Python]计算机视觉中的深度学习

卷积网络接收(image_height,image_width,image_channels)形状的张量作为输入(不包括batch size)。MNIST中,将...

803
来自专栏人工智能

使用学习率规划器自适应调整神经网络训练过程中的学习率

到目前为止,训练神经网络和大型的深度学习网络是一个困难的优化问题。

3435

扫码关注云+社区