TensorFlow从0到1 | 第十三章: AI驯兽师:神经网络调教综述

在未来的AI时代,“手工程序”将变得越发稀有,而基于通用AI程序,通过大数据“习得”而生的程序,会无所不在。到那时,程序员将光荣卸任,取而代之的是一个新职业物种:他们无需像程序员那样了解所有细节,而是关注数据的获取和筛选、模型的训练和调教。他们是AI驯兽师

在过去的两场人机围棋旷世之战中,替AlphaGo执棋的黄士杰就是AI驯兽师的先驱:一个业余六段棋手作为首席工程师打造出AlphaGo,完胜人类专业九段,至此再无人类对手。

AI驯兽师

前面MNIST识别的实现,选用的各种参数值看似天经地义,一帆风顺,实则都是前人的经验,而真实情况下的调教过程,必定充满了过去不曾留意过的种种困难和不确定性。还记得在12 TensorFlow构建3层NN玩转MNIST中,一个不小心令权重和偏置初始化为0,导致了识别率连60%都无法逾越的结果。

本篇先对神经网络的调教做一个总览,作为“驯兽”的简要指南。

调教的几个层面

神经网络可调的选项实在太多了,也并不简单,我简单把它梳理为5个层面。

第一层:网络架构

网络的架构是在训练之前就需要确定的,包括:

  • 输入层神经元数量;
  • 输出层神经元数量;
  • 隐藏层的数量,以及各隐藏层神经元的数量;
  • 神经元激活函数的形式;

理论上,网络架构的规模越大,对复杂模型的表达就越充分。可随之而来的副作用也相当明显:训练难度相应增大,同时容易发生过拟合。此外,由于基于梯度下降的神经网络算法自身的局限,当网络的规模增加到一定程度时(尤其是隐藏层的数量),模型的性能则不再提升。

所以网络规模并不是越大越好,要根据问题的规模以及数据量的规模来综合考虑。

第二个层面:超参数

一旦网络架构定义完毕,那么除了网络自身的可训练参数之外,其余的参数都可以被认为是超参数,包括:

  • epoch,迭代数量;
  • mini batch;
  • learning rate,学习率;
  • lambda,正则化参数(如果损失函数进行了L1或L2正则化);

第三个层面:权重和偏置初始化

开始学习之前,权重和偏置的数值分布状态,也会很大的影响到模型的精度,以及学习的速度。常见的初始化方式:

  • 初始化为0;
  • 初始化均值为0,标准差为1;
  • 初始化均值为0,标准差为1/√n;
  • Xavier/He初始化方法;

其中第一种初始化为0,就遇到了12 TensorFlow构建3层NN玩转MNIST 提到的“60%识别率”的严重状况。

第二种是我们目前的已有MNIST识别实现所采用的初始化方法。相较于第二种方式,第三种会明显改善学习速度,后面的文章还会具体讲。

第四个层面:数据使用

用于模型学习的数据当然是越大越好,可现实中它总是稀缺而昂贵。在这种情况下就需要合理的划分和使用数据:

  • 训练数据的数量;
  • 验证数据的数量;
  • 测试数据的数量;
  • 数据的人为扩展;

训练集、验证集和测试集的划分方式我们已经了解了(参考11 74行Python实现手写体数字识别)。这里简单说下数据的扩展。

以图像数据为例。我们知道,只要把原图像整体挪动1个像素,就会得到一张全新的图像,由于图像的大部分像素的相对位置保持不变,所以其包含的语义信息仍然是完整无缺的。这样就可以在现有的数据基础上,人为产生更多的新数据。方法不限于平移,还可以做旋转、镜像、扭曲、添加噪音等等,以此来训练并提高模型的泛化能力。

第五个层面:最优化算法

即便是处于训练算法最外层的最优化算法框架,也可以被替换,《Neural Networks and Deep Learning》中提到了Hessian技术和momentum技术。

  • 损失函数的形式;
  • 最优化算法框架;
  • 基于全矩阵法的小批量数据(mini batch)反向传播;

调教目标和策略

调教神经网络的终极目标,狭义的说就是测试集上的识别精度。

尽管目标明确,但是整个训练过程只能间接的影响它——模型学习的数据是来自训练集,而测试集的识别精度要依靠模型的泛化能力来支撑。

提高模型泛化能力的切入点,并不是盲目的去尝试调整上面所有层面的选项,而通常是从着手改善问题开始的。未经优化的神经网络,通常都存在以下两个问题:

  • 学习缓慢;
  • 过拟合。

先从它们入手进行神经网络的优化,不失为一个好策略。

小结

本篇从整体上分析了神经网络调教的几个层面,以及调教的目标和策略。每当需要优化神经网络时,可以把它当做一份check list。

原文发布于微信公众号 - 人工智能LeadAI(atleadai)

原文发表时间:2017-08-26

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏新智元

DeepMind创始人ICML2016讲座:深度增强学习

【新智元导读】ICML2016今天进入课程讲座环节,DeepMind的资深科学家、AlphaGo作者之一的David Silver作了题为《深度增强学习》的报告...

2472
来自专栏PPV课数据科学社区

三张图读懂机器学习 :基本概念、五大流派与九种常见算法

机器学习正在进步,我们似乎正在不断接近我们心中的人工智能目标。语音识别、图像检测、机器翻译、风格迁移等技术已经在我们的实际生活中开始得到了应用,但机器学习的发展...

3595
来自专栏PPV课数据科学社区

数据科学的基本内容

什么是数据科学?它和已有的信息科学、统计学、机器学习等学科有什么不同?作为一门新兴的学科,数据科学依赖两个因素: 一是数据的广泛性和多样性; 二是数据研究的共性...

2575
来自专栏AI科技大本营的专栏

撕起来了!谁说数据少就不能用深度学习?这锅俺不背!

作者 | Andrew L. Beam 编译 | AI100 撕逼大战,从某种角度,标志着一个产业的火热。 最近,大火的深度学习,也开始撕起来了。 前几日,有一...

3747
来自专栏AI科技评论

干货 | “回归分析”真的算是“机器学习”吗?

是什么将“统计”从“机器学习”中分离出来的?个被讨论过无数次的问题。关于这个问题的文章有很多,人们对其好坏莫衷一是。但是我发现,在“统计”和“机器学习”的争论上...

3047
来自专栏有趣的Python

1- Python3入门机器学习经典算法与应用-课程介绍

python3玩转机器学习 到底什么是机器学习? 让机器去学习 传统的算法课程中写的代码,是让机器去执行 ? mark 最早的机器学习应用 - 垃圾邮件分...

5159
来自专栏AI科技评论

干货 | 中科院计算所王晋东:迁移学习的发展和现状 | 分享总结

AI科技评论按:伴随着最近几年的机器学习热潮,迁移学习 (Transfer Learning)也成为目前最炙手可热的研究方向。 迁移学习强调通过不同领域之间的知...

3717
来自专栏数据科学与人工智能

【机器学习】机器学习背后的统计思想

要理解机器学习首先要明白他的定义,很多人给出了定义“学习是人类具有的一种重要智能行为,但究竟什么是学习,长期以来却众说纷纭。社会学家、逻辑学家和心理学家都各有其...

2238
来自专栏机器之心

关系推理水平超越人类:DeepMind展示全新神经网络推理预测技术

选自DeepMind 作者:Adam Santoro等 机器之心编译 参与:机器之心编辑部 想象一下在阿加莎·克里斯蒂(《东方快车谋杀案》作者)的侦探小说里收...

2596
来自专栏大数据文摘

我们压缩了一批深度学习进阶“传送门”给小白

1373

扫码关注云+社区