新的正则化神器:DropBlock(Tensorflow实践)

先上结论:

在我们测试mnist上,3层卷积+dropXXX,所有参数均为改变的情况下,可以提升mnist准确率1~2点;同样在近期的实际业务中,也取得了相当不错的结果,模型鲁棒性有明显提升


十月份天气凉爽的时候,网上出现了一篇挺有意思的文章:https://arxiv.org/pdf/1810.12890.pdf

Google Brain提出了一种新的正则化方法:DropBlock,一图说明原理:

图片来自于原文

我们平时使用更多的是经典的dropout,即在像素级别上加入一个bernoulli噪声信息,mask部分feature map的像素点(图b),但实际上我们的语义信息是完整、连续的,我们更希望其mask能够彻底block到某一块语义信息,从而提升其他部分的信息权重,实现模型正则约束泛化(图c),这样就诞生了 DropBlock。

这倒是让我想起来之前很推崇的一个数据增强方法:random erase

random erase方法

其思路是在原图上进行随机遮盖,从而实现模型能力泛化,而本质上input image就是第一层feature map,所以DropBlock可以认为是广义的Random Erase

实际上从之前的一些类似drop策略的文章上我们可以列举出一堆方法,作者也是在文章中一一提出并做了相应的策略比较:

  • Dropout:完全随机扔
  • SpatialDropout:按channel随机扔
  • Stochastic Depth:按res block随机扔
  • DropBlock:每个feature map上按spatial块随机扔
  • Cutout:在input层按spatial块随机扔
  • DropConnect:只在连接处扔,神经元不扔。

文章中,作者也是没有随意进行处理,而是选择有效的区域进行mask:

而在效果提升方面,作者对比了其性能效果:

ResNet-50分类效果

为了解释相应的网络泛化能力,模型还对图像做了响应区域解释:

可以明显发现,加入DropBlock之后,有效响应明显增强(但同时可能引来未可知的噪声?)

在目标检测方面,模型性能也同样有较好的性能提升:

分割效果:

(当然了fine-tune还是优秀)

我们自己亲自做一下实验:

这里,我们采用mnist来测试,非常简单的网络对飙dropout:

首先使用tensorflow.keras.layer做一个实现:

import tensorflow as tf
from tensorflow.python.keras import backend as K

class DropBlock(tf.keras.layers.Layer):
    def __init__(self, keep_prob, block_size, **kwargs):
        super(DropBlock, self).__init__(**kwargs)
        self.keep_prob = float(keep_prob) if isinstance(keep_prob, int) else keep_prob
        self.block_size = int(block_size)

    def compute_output_shape(self, input_shape):
        return input_shape

    def build(self, input_shape):
        _, self.h, self.w, self.channel = input_shape.as_list()
        # pad the mask
        bottom = right = (self.block_size - 1) // 2
        top = left = (self.block_size - 1) - bottom
        self.padding = [[0, 0], [top, bottom], [left, right], [0, 0]]
        self.set_keep_prob()
        super(DropBlock, self).build(input_shape)

    def call(self, inputs, training=None, scale=True, **kwargs):
        def drop():
            mask = self._create_mask(tf.shape(inputs))
            output = inputs * mask
            output = tf.cond(tf.constant(scale, dtype=tf.bool) if isinstance(scale, bool) else scale,
                             true_fn=lambda: output * tf.to_float(tf.size(mask)) / tf.reduce_sum(mask),
                             false_fn=lambda: output)
            return output

        if training is None:
            training = K.learning_phase()
        output = tf.cond(tf.logical_or(tf.logical_not(training), tf.equal(self.keep_prob, 1.0)),
                         true_fn=lambda: inputs,
                         false_fn=drop)
        return output

    def set_keep_prob(self, keep_prob=None):
        """This method only supports Eager Execution"""
        if keep_prob is not None:
            self.keep_prob = keep_prob
        w, h = tf.to_float(self.w), tf.to_float(self.h)
        self.gamma = (1. - self.keep_prob) * (w * h) / (self.block_size ** 2) / \
                     ((w - self.block_size + 1) * (h - self.block_size + 1))

    def _create_mask(self, input_shape):
        sampling_mask_shape = tf.stack([input_shape[0],
                                       self.h - self.block_size + 1,
                                       self.w - self.block_size + 1,
                                       self.channel])
        mask = DropBlock._bernoulli(sampling_mask_shape, self.gamma)
        mask = tf.pad(mask, self.padding)
        mask = tf.nn.max_pool(mask, [1, self.block_size, self.block_size, 1], [1, 1, 1, 1], 'SAME')
        mask = 1 - mask
        return mask

    @staticmethod
    def _bernoulli(shape, mean):
        return tf.nn.relu(tf.sign(mean - tf.random_uniform(shape, minval=0, maxval=1, dtype=tf.float32)))

首先做个脚本测试:

import tensorflow as tf
from dropblock import DropBlock

tf.enable_eager_execution()

# only support `channels_last` data format
a = tf.ones([2, 10, 10, 3])

drop_block = DropBlock(keep_prob=0.8, block_size=3)
b = drop_block(a, training=True)

print(a[0, :, :, 0])
print(b[0, :, :, 0])
image.png

结果也很明显,可以实现dropblock

结论:

在我们测试mnist上,3层卷积+dropXXX,所有参数均为改变的情况下,可以提升mnist准确率1~2点;同样在近些填的实际业务中,也取得了相当不错的结果,模型鲁棒性有明显提升。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏新智元

深度学习的这些坑你都遇到过吗?神经网络 11 大常见陷阱及应对方法

【新智元导读】如果你的神经网络不工作,该怎么办?本文作者列举了搭建神经网络时可能遇到的11个常见问题,包括预处理数据、正则化、学习率、激活函数、网络权重设置等,...

3334
来自专栏AI研习社

用 TensorFlow 让你的机器人唱首原创给你听

AI 研习社按:这篇文章会用一个简单的模型在 TensorFlow 上来实现一个音频生成器,GitHub 代码链接详见文末“阅读原文”。原文作者杨熹,载于作者的...

3439
来自专栏AI科技评论

学界 | MnasNet论文解读:终端轻量化模型新思路

AI 科技评论按,本文作者陈泰红(ahong007@yeah.net),他为 AI 科技评论撰写了关于 MnasNet 论文的独家解读文章。

971
来自专栏小小挖掘机

模型调优没效果? 不妨试试Batch Normalization!

今儿调模型大佬又给支了一招,叫Batch Normalization(下面简称BN),虽然还没有深刻理解这玩意是什么,但是是真的挺有效的,哈哈。因此本文只是总结...

4016
来自专栏机器之心

教程 | 从超参数到架构,一文简述模型优化策略

模型可以在训练过程中通过修正超参数而逐步建立。这在迁移学习中最为常见,在这种环境中,我们试图将现有模型的知识应用到新领域或新任务中。这是持续学习中更常见的问题,...

743
来自专栏ATYUN订阅号

我的神经网络不工作了!我应该做什么? 详细解读神经网络的11种常见问题

“当你正在深入研究深度学习的下一个重大突破时,或许会遇到一个不幸的挫折:你的神经网络不起作用。你去找你的老板/主管,但他们也不知道如何去解决这个问题——他们和你...

2953
来自专栏大数据挖掘DT机器学习

数据挖掘18大算法实现以及其他相关经典DM算法

算法使用方法在每个算法中给出了3大类型,主算法程序,调用程序,输入数据,调用方法如下: 将需要数据的测试数据转化成与给定的输入格式相同,然后以Client类...

3859
来自专栏机器学习算法与Python学习

干货 | 深度学习应用中需要思考的问题

关键字全网搜索最新排名 【机器学习算法】:排名第一 【机器学习】:排名第二 【Python】:排名第三 【算法】:排名第四 我在这儿只是列出了一部分该考虑的问题...

3419
来自专栏AI研习社

CNN+TensorFlow 就能教机器人作曲!

今天想来看看 AI 是怎样作曲的。 本文会用 TensorFlow 来写一个音乐生成器。 当你对一个机器人说:我想要一种能够表达出希望和奇迹的歌曲时,发生了什么...

4547
来自专栏鸿的学习笔记

Understanding Convolution in Deep Learning(一)

卷积可能是目前深度学习中最重要的概念了。卷积和卷积网络是引发深度学习去完成几乎任何机器学习任务的最前沿地概念。但是什么使卷积这么强大?它是如何工作的?在这篇博客...

581

扫码关注云+社区