【机器学习】现代人工智能:为语言和图像构建ML分类器

基于梯度的优化是现代人工智能的主要工作。使用线性网络——无论是ReLU还是maxout网络,LSTM网络,还是一个经过仔细配置的sigmoid网络,都没有足够的饱和——至少在训练集,我们能够拟合大部分我们所关心的问题。对抗样本的存在表明,能够解释训练数据,甚至能够正确地标注测试数据并不意味着我们的模型能够真正理解我们要求它们执行的任务。相反,它们对数据分布中没有出现的点的线性反应过于自信,而这些自信的预测往往是非常不正确的。Goodfellow的研究表明,我们可以通过明确识别问题点和在每一个点上纠正模型来部分地纠正这个问题。

神经网络的缺点是过度拟合,因此,机器学习工程师一直在寻找有效的正则化语言模型。有两种标准的规范:

  • Dropouts;
  • L1 / L2正则化。

它们可以防止过度拟合,并在性能上增加1%或2%的改进。

2015年,Ian Goodfellow提出了基于正则化技术的对抗样本。一个对抗样本是一个例子,该例子在添加了一小部分噪声时使模型错误分类。考虑如下图,如果你把左边的图像馈送给一个神经网络分类器,它将会被分类为“熊猫”,但是如果你馈送右边的图像,它将会被归类为“长臂猿”。

为了让分类器对这种对抗性的干扰产生强大的作用,Goodfellow建议在2015年ICLR(https://arxiv.org/pdf/1412.6572.pdf)的损失函数中增加一种对抗损失的成分。这比在训练集里加入噪声的例子要好得多,因为噪声实际上比对抗的干扰要弱得多,另一个原因是在高维的输入空间中,平均噪音向量与成本梯度是近似正交的。对抗性的干扰被选择用来持续增加成本。

Goodfellow提出的技术依赖于训练标签,因此它只能应用于监督学习环境。2016年,Miyato提出了一种虚拟对抗性正则化(https://arxiv.org/abs/1507.00677)技术,该技术不依赖训练标签。这种类型的正则化可以在任何环境下应用。

这些技术都能很好地处理像图像这样的连续数据,但在离散文本上表现很差。今年,Goodfellow和 Miyato通过文本分类任务的改进展示了如何使用文本的对抗性正则化技术(https://arxiv.org/pdf/1605.07725.pdf)。

我们可以利用这些技术来进一步改进现有的分类器。如果你对如何实现这些损失函数感兴趣,请查看:https://github.com/tensorflow/models/tree/master/adversarial_text

原文发布于微信公众号 - ATYUN订阅号(atyun_com)

原文发表时间:2017-09-28

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI2ML人工智能to机器学习

一个奇异值的江湖 -- 机器学习观

前面我们熟悉了经典统计处理outlier的方法。 这里会说明常见的机器学习的方法。

692
来自专栏SIGAI学习与实践平台

视觉多目标跟踪算法综述(上)-附开源代码下载链接整理

目标跟踪是机器视觉中一类被广为研究的重要问题,分为单目标跟踪与多目标跟踪。前者跟踪视频画面中的单个目标,后者则同时跟踪视频画面中的多个目标,得到这些目标的运动轨...

4113
来自专栏数据派THU

循序渐进提升Kaggle竞赛模型精确度,以美国好事达保险公司理赔为例

作者:Werner Chao 翻译:白静 术语校对:黄凯波 本文长度为2800字,建议阅读8分钟 线上心理健康公司KaJin Health首席数据分析师教你怎么...

3636
来自专栏大数据挖掘DT机器学习

Python:使用sklearn进行集成学习

---- 1 前言 2 集成学习是什么? 3 偏差和方差   3.1 模型的偏差和方差是什么?   3.2 bagging的偏差和方差 ...

3279
来自专栏大数据挖掘DT机器学习

支持向量机SVM入门详解:那些你需要消化的知识

出自:嘉士伯的Java小屋 http://www.blogjava.net/ (一)SVM的八股简介 支持向量机(Support Vector Machine)...

3698
来自专栏机器学习算法与Python学习

Deep Learning(1) -- 概述、分布式表示与思想

绪论 深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征,以发现数据的...

4707
来自专栏AI研习社

AI股市预测实战:用LSTM神经网络预测沪深300未来五日收益率

摘要:BigQuant平台上的 StockRanker 算法在选股方面有不俗的表现,模型在 15、16 年的回测收益率也很高 (使用默认因子收益率就达到 17...

3596
来自专栏新智元

【干货指南】机器学习必须需要大量数据?小数据集也能有大价值!

深度学习往往需要大量数据,不然就会出现过度拟合,本文作者提出了一些在文本数据量不够大的时候可用的一些实用方法,从而赋予小数据集以价值。

1054
来自专栏数据魔术师

机器学习 | 模型评估和选择

2315
来自专栏AI科技大本营的专栏

苹果曝光无人车新进展,这名华人工程师是主要贡献者

苹果进军自动驾驶汽车的传闻由来已久,最新的传闻是苹果已经搁置了整车研发的计划,转而开发自动驾驶汽车的软件平台。最近,也有不少路人在苹果总部附近看到过苹果的雷克萨...

3126

扫码关注云+社区