【机器学习】现代人工智能:为语言和图像构建ML分类器

基于梯度的优化是现代人工智能的主要工作。使用线性网络——无论是ReLU还是maxout网络,LSTM网络,还是一个经过仔细配置的sigmoid网络,都没有足够的饱和——至少在训练集,我们能够拟合大部分我们所关心的问题。对抗样本的存在表明,能够解释训练数据,甚至能够正确地标注测试数据并不意味着我们的模型能够真正理解我们要求它们执行的任务。相反,它们对数据分布中没有出现的点的线性反应过于自信,而这些自信的预测往往是非常不正确的。Goodfellow的研究表明,我们可以通过明确识别问题点和在每一个点上纠正模型来部分地纠正这个问题。

神经网络的缺点是过度拟合,因此,机器学习工程师一直在寻找有效的正则化语言模型。有两种标准的规范:

  • Dropouts;
  • L1 / L2正则化。

它们可以防止过度拟合,并在性能上增加1%或2%的改进。

2015年,Ian Goodfellow提出了基于正则化技术的对抗样本。一个对抗样本是一个例子,该例子在添加了一小部分噪声时使模型错误分类。考虑如下图,如果你把左边的图像馈送给一个神经网络分类器,它将会被分类为“熊猫”,但是如果你馈送右边的图像,它将会被归类为“长臂猿”。

为了让分类器对这种对抗性的干扰产生强大的作用,Goodfellow建议在2015年ICLR(https://arxiv.org/pdf/1412.6572.pdf)的损失函数中增加一种对抗损失的成分。这比在训练集里加入噪声的例子要好得多,因为噪声实际上比对抗的干扰要弱得多,另一个原因是在高维的输入空间中,平均噪音向量与成本梯度是近似正交的。对抗性的干扰被选择用来持续增加成本。

Goodfellow提出的技术依赖于训练标签,因此它只能应用于监督学习环境。2016年,Miyato提出了一种虚拟对抗性正则化(https://arxiv.org/abs/1507.00677)技术,该技术不依赖训练标签。这种类型的正则化可以在任何环境下应用。

这些技术都能很好地处理像图像这样的连续数据,但在离散文本上表现很差。今年,Goodfellow和 Miyato通过文本分类任务的改进展示了如何使用文本的对抗性正则化技术(https://arxiv.org/pdf/1605.07725.pdf)。

我们可以利用这些技术来进一步改进现有的分类器。如果你对如何实现这些损失函数感兴趣,请查看:https://github.com/tensorflow/models/tree/master/adversarial_text

原文发布于微信公众号 - ATYUN订阅号(atyun_com)

原文发表时间:2017-09-28

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器之心

蒙特利尔大学开放MILA 2017夏季深度学习与强化学习课程视频(附完整PPT)

机器之心整理 参与:黄小天、蒋思源 2016 年,Aaron Courville 和 Yoshua Bengio 组织的 MILA 深度学习夏季课程获得了极大...

32512
来自专栏新智元

CVPR 2018:阿里提出应用 LocalizedGAN 进行半监督训练

1605
来自专栏AI科技评论

学界 | 一言不合就想斗图?快用深度学习帮你生成表情包

AI科技评论按:斯坦福大学的两个学生 Abel L Peirson V 和 Meltem Tolunay 发表了自己的 CS224n 结业论文—— 用深度神经网...

1085
来自专栏专知

【专知翻译】利用TensorFlow.js在浏览器中进行深度学习

近期,专知小组推出国外经典视频教程推荐系列,这次推出的是Google I/O 2018上TensorFlow.js的精彩视频片段,如何使用TensorFlow....

1684
来自专栏大数据文摘

学界 | Ian Goodfellow最新论文:是猫还是狗?不光神经网络识别不了,你也能被忽悠

1604
来自专栏CreateAMind

对偶学习的生成对抗网络 (DualGAN)

近年来,生成对抗网络(Generative Adversarial Networks, GAN)成为了人工智能领域最为炙手可热的研究方向。GAN 的想法最早由 ...

862
来自专栏机器之心

观点 | 如何优雅地从四个方面加深对深度学习的理解

2017 年 12 月 NIPS 的 Test-of-Time Award 颁奖典礼上,Ali Rahimi 这样呼吁人们加深对深度学习的理解:

691
来自专栏新智元

【干货】用反卷积网络合成超逼真人脸:理解深度学习如何思考

【新智元导读】本文中介绍的深度学习架构能够基于选定的人的身份、情绪和方位,生成真实的脸部图像。你只要给网络提供你希望描绘的东西的原始参数,模型就能完成,但是生成...

4336
来自专栏CreateAMind

深度学习的动机与挑战之-流形学习

流形 (manifold) 指连接在一起的区域。数学上,它是指一组点,且每个点都有 其邻域。给定一个任意的点,其流形局部看起来像是欧几里得空间。日常生活中,我 ...

740
来自专栏机器之心

IJCAI 2018 | 阿里提出IncepText:全新多向场景文本检测模块

2154

扫描关注云+社区