【机器学习】现代人工智能:为语言和图像构建ML分类器

基于梯度的优化是现代人工智能的主要工作。使用线性网络——无论是ReLU还是maxout网络,LSTM网络,还是一个经过仔细配置的sigmoid网络,都没有足够的饱和——至少在训练集,我们能够拟合大部分我们所关心的问题。对抗样本的存在表明,能够解释训练数据,甚至能够正确地标注测试数据并不意味着我们的模型能够真正理解我们要求它们执行的任务。相反,它们对数据分布中没有出现的点的线性反应过于自信,而这些自信的预测往往是非常不正确的。Goodfellow的研究表明,我们可以通过明确识别问题点和在每一个点上纠正模型来部分地纠正这个问题。

神经网络的缺点是过度拟合,因此,机器学习工程师一直在寻找有效的正则化语言模型。有两种标准的规范:

  • Dropouts;
  • L1 / L2正则化。

它们可以防止过度拟合,并在性能上增加1%或2%的改进。

2015年,Ian Goodfellow提出了基于正则化技术的对抗样本。一个对抗样本是一个例子,该例子在添加了一小部分噪声时使模型错误分类。考虑如下图,如果你把左边的图像馈送给一个神经网络分类器,它将会被分类为“熊猫”,但是如果你馈送右边的图像,它将会被归类为“长臂猿”。

为了让分类器对这种对抗性的干扰产生强大的作用,Goodfellow建议在2015年ICLR(https://arxiv.org/pdf/1412.6572.pdf)的损失函数中增加一种对抗损失的成分。这比在训练集里加入噪声的例子要好得多,因为噪声实际上比对抗的干扰要弱得多,另一个原因是在高维的输入空间中,平均噪音向量与成本梯度是近似正交的。对抗性的干扰被选择用来持续增加成本。

Goodfellow提出的技术依赖于训练标签,因此它只能应用于监督学习环境。2016年,Miyato提出了一种虚拟对抗性正则化(https://arxiv.org/abs/1507.00677)技术,该技术不依赖训练标签。这种类型的正则化可以在任何环境下应用。

这些技术都能很好地处理像图像这样的连续数据,但在离散文本上表现很差。今年,Goodfellow和 Miyato通过文本分类任务的改进展示了如何使用文本的对抗性正则化技术(https://arxiv.org/pdf/1605.07725.pdf)。

我们可以利用这些技术来进一步改进现有的分类器。如果你对如何实现这些损失函数感兴趣,请查看:https://github.com/tensorflow/models/tree/master/adversarial_text

原文发布于微信公众号 - ATYUN订阅号(atyun_com)

原文发表时间:2017-09-28

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI科技大本营的专栏

苹果曝光无人车新进展,这名华人工程师是主要贡献者

苹果进军自动驾驶汽车的传闻由来已久,最新的传闻是苹果已经搁置了整车研发的计划,转而开发自动驾驶汽车的软件平台。最近,也有不少路人在苹果总部附近看到过苹果的雷克萨...

3226
来自专栏AI2ML人工智能to机器学习

一个奇异值的江湖 -- 机器学习观

前面我们熟悉了经典统计处理outlier的方法。 这里会说明常见的机器学习的方法。

742
来自专栏AI科技评论

学界 | CVPR 2018论文解读:一种交互式纹理迁移通用框架

AI 科技评论按:本文是北京大学门怡芳基于其 CVPR spotlight 论文为 AI 科技评论提供的独家稿件,未经许可不得转载。

1092
来自专栏红色石头的机器学习之路

台湾大学林轩田机器学习技法课程学习笔记7 -- Blending and Bagging

上节课我们主要介绍了Support Vector Regression,将kernel model引入到regression中。首先,通过将ridge regr...

2110
来自专栏AI研习社

各种机器学习的应用场景分别是什么?

关于这个问题我今天正好看到了这个文章(http://t.cn/RJrTSLV)。讲的正是各个算法的优劣分析,很中肯。 正好14年的时候有人做过一个实验[1],比...

86210
来自专栏计算机视觉战队

稀疏&集成的卷积神经网络学习

今天主要和大家说的是分类检测过程中,一些稀疏和集成学习的相关知识,首先和大家说下图像目标定位与检测的方法分类。 众所周知,当前是信息时代,信息的获得、加工、处理...

3515
来自专栏红色石头的机器学习之路

Coursera吴恩达《神经网络与深度学习》课程笔记(1)-- 深度学习概述

吴恩达(Andrew Ng)相信大家都不陌生了。8 月 8 日,吴恩达在他自己创办的在线教育平台 Coursera 上线了他的人工智能专项课程(Deep Lea...

2970
来自专栏机器学习算法与Python学习

Deep Learning(1) -- 概述、分布式表示与思想

绪论 深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征,以发现数据的...

5117
来自专栏iOSDevLog

人工智能-深度学习框架下的神经网络

2456
来自专栏AI科技评论

干货 | 上海交通大学CVPR Spotlight论文:利用形态相似性生成人体部位解析数据

AI 科技评论按:本文由上海交通大学的方浩树为 AI 科技评论所撰写的独家解读稿件,未经许可不得转载。

1312

扫码关注云+社区