【机器学习】现代人工智能:为语言和图像构建ML分类器

基于梯度的优化是现代人工智能的主要工作。使用线性网络——无论是ReLU还是maxout网络,LSTM网络,还是一个经过仔细配置的sigmoid网络,都没有足够的饱和——至少在训练集,我们能够拟合大部分我们所关心的问题。对抗样本的存在表明,能够解释训练数据,甚至能够正确地标注测试数据并不意味着我们的模型能够真正理解我们要求它们执行的任务。相反,它们对数据分布中没有出现的点的线性反应过于自信,而这些自信的预测往往是非常不正确的。Goodfellow的研究表明,我们可以通过明确识别问题点和在每一个点上纠正模型来部分地纠正这个问题。

神经网络的缺点是过度拟合,因此,机器学习工程师一直在寻找有效的正则化语言模型。有两种标准的规范:

  • Dropouts;
  • L1 / L2正则化。

它们可以防止过度拟合,并在性能上增加1%或2%的改进。

2015年,Ian Goodfellow提出了基于正则化技术的对抗样本。一个对抗样本是一个例子,该例子在添加了一小部分噪声时使模型错误分类。考虑如下图,如果你把左边的图像馈送给一个神经网络分类器,它将会被分类为“熊猫”,但是如果你馈送右边的图像,它将会被归类为“长臂猿”。

为了让分类器对这种对抗性的干扰产生强大的作用,Goodfellow建议在2015年ICLR(https://arxiv.org/pdf/1412.6572.pdf)的损失函数中增加一种对抗损失的成分。这比在训练集里加入噪声的例子要好得多,因为噪声实际上比对抗的干扰要弱得多,另一个原因是在高维的输入空间中,平均噪音向量与成本梯度是近似正交的。对抗性的干扰被选择用来持续增加成本。

Goodfellow提出的技术依赖于训练标签,因此它只能应用于监督学习环境。2016年,Miyato提出了一种虚拟对抗性正则化(https://arxiv.org/abs/1507.00677)技术,该技术不依赖训练标签。这种类型的正则化可以在任何环境下应用。

这些技术都能很好地处理像图像这样的连续数据,但在离散文本上表现很差。今年,Goodfellow和 Miyato通过文本分类任务的改进展示了如何使用文本的对抗性正则化技术(https://arxiv.org/pdf/1605.07725.pdf)。

我们可以利用这些技术来进一步改进现有的分类器。如果你对如何实现这些损失函数感兴趣,请查看:https://github.com/tensorflow/models/tree/master/adversarial_text

原文发布于微信公众号 - ATYUN订阅号(atyun_com)

原文发表时间:2017-09-28

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器之心

学界 | 精准防御对抗性攻击,清华大学提出对抗正则化训练方法DeepDefense

3188
来自专栏新智元

Ian Goodfellow:生成对抗网络 GAN 的公式是怎样推导出来的

1705
来自专栏机器之心

综述论文:当前深度神经网络模型压缩和加速方法速览

2737
来自专栏大数据挖掘DT机器学习

机器学习 如何解决问题?以美团为例

不管是工业界还是学术界,机器学习都是一个炙手可热的方向,但是学术界和工业界对机器学习的研究各有侧重,学术界侧重于对机器学习理论的研究,工业界侧重于如何用机器学习...

3165
来自专栏机器学习算法与Python学习

干货 | 请收下这份机器学习清单

机器学习的发展可以追溯到1959年,有着丰富的历史。这个领域也正在以前所未有的速度进化。在之前的一篇文章(https://unsupervisedmethods...

1000
来自专栏新智元

【重磅】计算机视觉和 CNN 发展十一座里程碑(附论文下载)

【新智元导读】从AlexNet到ResNet,计算机视觉领域和卷积神经网络(CNN)每一次发展,都伴随着代表性架构取得历史性的成绩。作者回顾计算机视觉和CNN过...

3294
来自专栏机器之心

资源 | 初学者指南:神经网络在自然语言处理中的应用

选自machine learning mastery 机器之心编译 参与:刘晓坤、蒋思源 深度学习正在给自然语言处理带来巨大的变革。但是,作为一个初学者,要从哪...

2067
来自专栏AI研习社

谷歌的新CNN特征可视化方法,构造出一个华丽繁复的新世界

AI 研习社按:深度神经网络解释性不好的问题一直是所有研究人员和商业应用方案上方悬着的一团乌云,现代CNN网络固然有强大的特征抽取能力,但没有完善的理论可以描述...

3625
来自专栏AI科技评论

深度 | 谷歌的新CNN特征可视化方法,构造出一个华丽繁复的新世界

AI 科技评论按:深度神经网络解释性不好的问题一直是所有研究人员和商业应用方案上方悬着的一团乌云,现代CNN网络固然有强大的特征抽取能力,但没有完善的理论可以描...

3388
来自专栏新智元

【Ian Goodfellow盛赞】一个GAN生成ImageNet全部1000类物体

【新智元导读】Ian Goodfellow刚刚在Twitter盛赞一篇论文,担心仅仅浏览摘要无法充分体会其突破。这篇正在ICLR-18双盲审核中的论文,提出了一...

36911

扫码关注云+社区