资源 | 神经网络调试手册:从数据集与神经网络说起

选自Hackernoon

作者:Andrey Nikishaev

机器之心编译

参与:黄小天

近日,hackernoon 上出现了一篇题为《How to debug neural networks. Manual.》的文章,从数据集与神经网络两个方面分享了作者 Andrey Nikishaev 在调试神经网络方面的实践心得。

调试神经网络是一项艰难的工作,专家也不例外。面对数百万的参数,任何一个小变动都可能使你前功尽弃。没有调试和可视化,所有你的行动就像抛硬币,而且更糟糕的是还浪费时间。下面是我搜集的实践汇总,希望有助于你提早发现问题。

数据集问题

尝试使用小数据集过拟合你的模型

一般来说神经网络应该在数百次迭代中过拟合你的数据。如果你的损失值不下降,那问题存在于更深层次。

使用迭代逻辑解决问题

尝试构建最简单的网络解决你的主要问题,接着一步一步扩展到全局问题。比如,你正在创建风格迁移网络,首先在一张图像上训练你的脚本迁移风格。如果奏效,再接着创建用于任何图像的风格迁移模型。

使用具有扭曲的平衡数据集

比如训练分类数据的网络,你的训练数据应该对每一分类具有相同数量的输入。其他情况下则存在分类过拟合的可能性。神经网络对于所有的扭曲并非恒定不变,因此需要你对它们进行专门训练。制造输入扭曲将会提升网络准确度。

网络容量 vs 数据集大小

你的数据集应足够大,以便网络用来学习。如果你的数据集小,而网络很大,那么它会停止学习(某些情况下也会为大量的不同输入输出相同结果)。如果你有大数据,而网络很小,那么你将会看到损失值的跳跃,因为网络容量无法存储如此多的信息。

使用均值中心化(mean centering)

这将会从你的网络中移除噪音数据,提升训练性能,同时某些情况下有助于解决 NaN 问题。但是记住,如果你有时序数据,那么你应该使用批而不是全局中心化。

神经网络问题

首先尝试较简单的模型

我在很多案例中看到人们首先尝试一些标准的大型网络,比如 ResNet-50、VGG19 等,但是接着发现他们的问题通过仅有若干层的网络也能解决。因此如果你没有标准问题,首先从小网络开始吧。你添加的数据越多,模型就越难训练,因此从小网络开始会更省时。你也应该记住,大网络需要更大的内存与更多的操作。

可视化是必须的

如果你正使用 TensorFlow,一定要从 TensorBoard 开始。如果没有,尝试为你的框架寻找一些可视化工具,或者自己动手编写。这将对于你发现训练早期阶段的问题非常有帮助。你必须可视化的事情有:损失值、权重直方图、变量和梯度。如果你正在做计算机视觉,那要一直可视化过滤器从而理解网络实际上看到了什么。

权重初始化

如果你错误设置权重,由于零梯度,或者所有神经元的类似更新等,你的网络将变得无法训练。同样你也应该记住权重与学习率是成对的,因此高学习率和大权重可以导致 NaN 问题。

对于一些网络使用 1e-2–1e-3 左右的高斯分布初始化软件已经足够。

对于深度网络这毫无用处,因为你的权重彼此相乘了很多次,将会产生几乎消除反向传播上的梯度的非常小的数值。多亏了 Ioffe 和 Szegedy,现在我们有了批归一化,缓解了令人头疼的大量问题。

使用标准网络解决标准问题

存在大量的预训练模型,你可以正确使用它们。在一些情况中是这样,或者你可以使用调整技术节约训练时间。主要的想法是绝大多数网络容量对于不同问题是相同的。比如,如果我们讨论计算机视觉,它将会包含对于所有图像一样的线、点、角,并且你不需要再训练它们。

把衰减用于学习率

这几乎每次都会给你一个提升。TensorFlow 中有大量的不同衰减调度器(https://www.tensorflow.org/versions/r0.12/api_docs/python/train/decaying_the_learning_rate)。

使用网格搜索、随机搜索或配置文件调整超参数

不要试图手动调整所有参数,这很耗时,效率低下。我经常使用全局配置调整所有参数,并在运行完检查结果后看看在哪个方向上应该进一步调查。如果这个方法没有帮助,你可以试一下随机搜索或网格搜索。

激活函数

1. 梯度消失问题

一些激活函数,比如 Sigmoid 和 Tanh 正在遭受饱和问题。在其极限时,它们的导数接近于零,这将会消除梯度和学习过程。因此检查不同的函数比较好。现在标准的激活函数是 ReLU。同样这一问题也出现在一个非常深度或者循环的网络中,比如你有 150 层,所有的激活值是 0.9,那么 0.9¹⁵⁰ = 0,000000137。但是正如上文所说,批归一化将有助于解决这一问题,残差层也是。

2. 不是零均值的激活值

比如 Sigmoid、ReLU 函数就不是零均值的。这意味着训练期间所有你的梯度将全部是正或负,并会引发学习问题。这就是为什么我们使用零均值的输入数据。

3. Dead ReLUs

标准的 ReLU 函数也不完美。对于负数 ReLU 给出零的问题意味着它们将不会被激活,因此你的神经元的某些部分将会死掉并永不再用。这之所以能发生是因为高学习率和错误的权重初始化。如果参数调整没有帮助,那么你可以试一下 Leaky ReLU、PReLU、ELU 或 Maxout,它们没有这一问题。

4. 梯度爆炸

这一问题与梯度消失相同,除却每一步梯度变的越来越大。一个主要的解决办法是使用梯度剪裁,为梯度设置基本的硬限制。

深度网络的精确度降级

从一些点上真正深化网络的问题开始表现为一个坏手机,因此增加更多层降低了网络精确度。解决办法是使用残差层把输入的一些部分传递到所有层。

原文地址:https://hackernoon.com/how-to-debug-neural-networks-manual-dc2a200f10f2

本文为机器之心编译,转载请联系本公众号获得授权。

原文发布于微信公众号 - 机器之心(almosthuman2014)

原文发表时间:2017-09-01

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器学习算法与Python学习

干货 | 深度学习应用中需要思考的问题

关键字全网搜索最新排名 【机器学习算法】:排名第一 【机器学习】:排名第二 【Python】:排名第三 【算法】:排名第四 我在这儿只是列出了一部分该考虑的问题...

34890
来自专栏量子位

调试神经网络让人抓狂?这有16条锦囊妙计送给你

问耕 编译整理 量子位 出品 | 公众号 QbitAI ? 这一篇的作者还是Andrey Nikishaev,一位创业者兼开发者。量子位前两天搬运了他的另外一篇...

29370
来自专栏小小挖掘机

模型调优没效果? 不妨试试Batch Normalization!

今儿调模型大佬又给支了一招,叫Batch Normalization(下面简称BN),虽然还没有深刻理解这玩意是什么,但是是真的挺有效的,哈哈。因此本文只是总结...

42960
来自专栏机器之心

训练的神经网络不工作?一文带你跨过这37个坑

选自Medium 作者:Slav Ivanov 机器之心编译 参与:黄小天、Smith 近日,Slav Ivanov 在 Medium 上发表了一篇题为《37 ...

355100

特征选择(Feature Selection)引言

您应该采纳哪种特征去创建一个可预测的模型呢?

46660
来自专栏AI研习社

用 TensorFlow 让你的机器人唱首原创给你听

AI 研习社按:这篇文章会用一个简单的模型在 TensorFlow 上来实现一个音频生成器,GitHub 代码链接详见文末“阅读原文”。原文作者杨熹,载于作者的...

35290
来自专栏新智元

【干货】Kaggle热门 | 用一个框架解决所有机器学习难题

【新智元导读】本文是数据科学家Abhishek Thakur发表的Kaggle热门文章。作者总结了自己参加100多场机器学习竞赛的经验,主要从模型框架方面阐述了...

362100
来自专栏目标检测和深度学习

CVPR2018 | CMU&谷歌Spotlight论文:超越卷积的视觉推理框架

选自arXiv 作者:陈鑫磊等 机器之心编译 参与:张倩、李泽南 人类在看到图像时可以进行合理的推理与预测,而目前的神经网络系统却还难以做到。近日,来自卡耐基梅...

30760
来自专栏大数据挖掘DT机器学习

数据挖掘18大算法实现以及其他相关经典DM算法

算法使用方法在每个算法中给出了3大类型,主算法程序,调用程序,输入数据,调用方法如下: 将需要数据的测试数据转化成与给定的输入格式相同,然后以Client类...

41190
来自专栏人工智能头条

美团网内部分享:机器学习中的数据清洗与特征处理实践

27430

扫码关注云+社区

领取腾讯云代金券