TensorFlow从0到1 | 第十三章: AI驯兽师:神经网络调教综述

在未来的AI时代,“手工程序”将变得越发稀有,而基于通用AI程序,通过大数据“习得”而生的程序,会无所不在。到那时,程序员将光荣卸任,取而代之的是一个新职业物种:他们无需像程序员那样了解所有细节,而是关注数据的获取和筛选、模型的训练和调教。他们是AI驯兽师

在过去的两场人机围棋旷世之战中,替AlphaGo执棋的黄士杰就是AI驯兽师的先驱:一个业余六段棋手作为首席工程师打造出AlphaGo,完胜人类专业九段,至此再无人类对手。

AI驯兽师

前面MNIST识别的实现,选用的各种参数值看似天经地义,一帆风顺,实则都是前人的经验,而真实情况下的调教过程,必定充满了过去不曾留意过的种种困难和不确定性。还记得在12 TensorFlow构建3层NN玩转MNIST中,一个不小心令权重和偏置初始化为0,导致了识别率连60%都无法逾越的结果。

本篇先对神经网络的调教做一个总览,作为“驯兽”的简要指南。

调教的几个层面

神经网络可调的选项实在太多了,也并不简单,我简单把它梳理为5个层面。

第一层:网络架构

网络的架构是在训练之前就需要确定的,包括:

  • 输入层神经元数量;
  • 输出层神经元数量;
  • 隐藏层的数量,以及各隐藏层神经元的数量;
  • 神经元激活函数的形式;

理论上,网络架构的规模越大,对复杂模型的表达就越充分。可随之而来的副作用也相当明显:训练难度相应增大,同时容易发生过拟合。此外,由于基于梯度下降的神经网络算法自身的局限,当网络的规模增加到一定程度时(尤其是隐藏层的数量),模型的性能则不再提升。

所以网络规模并不是越大越好,要根据问题的规模以及数据量的规模来综合考虑。

第二个层面:超参数

一旦网络架构定义完毕,那么除了网络自身的可训练参数之外,其余的参数都可以被认为是超参数,包括:

  • epoch,迭代数量;
  • mini batch;
  • learning rate,学习率;
  • lambda,正则化参数(如果损失函数进行了L1或L2正则化);

第三个层面:权重和偏置初始化

开始学习之前,权重和偏置的数值分布状态,也会很大的影响到模型的精度,以及学习的速度。常见的初始化方式:

  • 初始化为0;
  • 初始化均值为0,标准差为1;
  • 初始化均值为0,标准差为1/√n;
  • Xavier/He初始化方法;

其中第一种初始化为0,就遇到了12 TensorFlow构建3层NN玩转MNIST 提到的“60%识别率”的严重状况。

第二种是我们目前的已有MNIST识别实现所采用的初始化方法。相较于第二种方式,第三种会明显改善学习速度,后面的文章还会具体讲。

第四个层面:数据使用

用于模型学习的数据当然是越大越好,可现实中它总是稀缺而昂贵。在这种情况下就需要合理的划分和使用数据:

  • 训练数据的数量;
  • 验证数据的数量;
  • 测试数据的数量;
  • 数据的人为扩展;

训练集、验证集和测试集的划分方式我们已经了解了(参考11 74行Python实现手写体数字识别)。这里简单说下数据的扩展。

以图像数据为例。我们知道,只要把原图像整体挪动1个像素,就会得到一张全新的图像,由于图像的大部分像素的相对位置保持不变,所以其包含的语义信息仍然是完整无缺的。这样就可以在现有的数据基础上,人为产生更多的新数据。方法不限于平移,还可以做旋转、镜像、扭曲、添加噪音等等,以此来训练并提高模型的泛化能力。

第五个层面:最优化算法

即便是处于训练算法最外层的最优化算法框架,也可以被替换,《Neural Networks and Deep Learning》中提到了Hessian技术和momentum技术。

  • 损失函数的形式;
  • 最优化算法框架;
  • 基于全矩阵法的小批量数据(mini batch)反向传播;

调教目标和策略

调教神经网络的终极目标,狭义的说就是测试集上的识别精度。

尽管目标明确,但是整个训练过程只能间接的影响它——模型学习的数据是来自训练集,而测试集的识别精度要依靠模型的泛化能力来支撑。

提高模型泛化能力的切入点,并不是盲目的去尝试调整上面所有层面的选项,而通常是从着手改善问题开始的。未经优化的神经网络,通常都存在以下两个问题:

  • 学习缓慢;
  • 过拟合。

先从它们入手进行神经网络的优化,不失为一个好策略。

小结

本篇从整体上分析了神经网络调教的几个层面,以及调教的目标和策略。每当需要优化神经网络时,可以把它当做一份check list。

原文发布于微信公众号 - 人工智能LeadAI(atleadai)

原文发表时间:2017-08-26

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大数据文摘

准确率99.9%!如何用深度学习最快找出放倒的那张X光胸片(代码+数据)

1676
来自专栏AI研习社

CVPR 2018摘要:第五部分

今天我们向你介绍另一部分,我们将深入了解CVPR 2018(计算机视觉和模式识别)会议的一些论文的细节。 我们已经有四个:关于计算机视觉的GAN,关于人类的姿势...

903
来自专栏AI科技评论

ICPR 图像识别与检测挑战赛冠军方案出炉,基于偏旁部首来识别 Duang 字

随着互联网的飞速发展,图片成为信息传播的重要媒介,图片中的文本识别与检测技术也一度成为学界业界的研究热点,应用在诸如证件照识别、信息采集、书籍电子化等领域。

2392
来自专栏机器之心

深度 | David Silver全面解读深度强化学习:从基础概念到AlphaGo

机器之心原创 作者:Duke Lee 参与:马亚雄、吴攀、吴沁桐、Arac Wu 强化学习在与之相关的研究者中变得越来越流行,尤其是在 DeepMind 被 G...

2658
来自专栏AI研习社

一场深度学习引发的图像压缩革命

雷锋网 AI 研习社按,2012 年,AlexNet 横空出世,以 15.4% 的低失误率夺得当年 ILSVRC(ImageNet 大规模视觉识别挑战赛)冠军,...

1162
来自专栏新智元

【ICML2016】谷歌 DeepMind 论文下辑

【新智元导读】深度学习重要会议 ICML2016 接收谷歌 DeepMind 9篇论文,新智元系统整理,继上篇之后,本次邀请国家千人计划专家、平安科技数据平台部...

3495
来自专栏灯塔大数据

提高机器学习模型准确率的八大可靠方法

介绍 想要提高模型的性能有时会是一件难度不小的事情。如果你也遇到过类似的情况,相信一定会认同我这一看法。在一一尝试毕生所学的对策和算法之后,依然没能够提高模型的...

2978
来自专栏大数据

单因子测试框架

SignalFactorAnalyse单因子测试框架哪些因子可以为组合提供超额收益?这是构建多因子模型的第一步,也是最关键一步。 特征选择非常关键,只有把握关键...

2455
来自专栏数据派THU

一文读懂ML中的解析解与数值解

本文将为你解释为什么没有一个机器学习专家能对上述问题给出直接答案。事实上,找到合适的数据、算法、参数是应用机器学习的难题,也是你唯一需要努力解决的部分。

1514
来自专栏人工智能头条

CS231n李飞飞CV课程辅导笔记(2):KNN

全球最大的专注于大数据分析、数据仓库和整合营销管理解决方案的供应商之一的Teradata, VP Atif Kureishy 预言人工智能的未来,是机器人和计算...

713

扫码关注云+社区