专栏首页大数据文摘​奇点临近,新研究使用数据多样性再次大幅提升神经网络翻译性能 | 一周AI最火论文

​奇点临近,新研究使用数据多样性再次大幅提升神经网络翻译性能 | 一周AI最火论文

作者:Christopher Dossman

编译:Junefish、Joey、云舟

数据多样化进一步提升神经网络翻译水平

在这篇论文中,研究人员提出了一个叫“数据多样化”的概念。这是一种解决神经机器翻译(NMT)当前挑战的简单而有效的方法,可极大地提高翻译质量。

他们首先在向后(目标 -> 来源)与向前(来源 -> 目标)两种翻译任务上训练了不同的模型。然后他们利用向后模型来翻译训练集的目标句子,获得了更多补充原始训练数据集的源句。他们还对向前的模型进行了类似的训练,以使用各种目标句子集来扩充训练数据集。之后,他们使用增强的数据再次训练了模型,并得到了最终的翻译模型。

这一新模型在WMT’14英语至德语的翻译任务中获得了有史以来最高的BLEU分数:30.7。它在另外8个翻译任务中也持续且显著地提高了翻译的质量。

神经网络的目的是帮助解决现实生活中的复杂问题。这种数据多样化策略可帮助该领域的研究人员和工程师获得更高质量的翻译结果,因为它提供了一种简单而非常有效的方法来提高许多标准化翻译任务中的性能。与此同时,它为获得更好的BLEU分数牺牲了一定的复杂度,这表明这一模型中存在正则化效果。

原文链接:

https://arxiv.org/abs/1911.01986v1

有兴趣进行端到端的RL学习和实验吗? 您可能需要DeepRacer

为了应对当前强化学习训练和实验中的复杂性,研究人员最近推出了DeepRacer,这是一种用于模拟强化学习的实验和教育平台。

这是研究人员首次大规模展示基于模型的无模型强化学习模拟。它集成了最先进的深度强化学习算法,具有OpenAI Gym接口的多个仿真引擎,并提供按需计算、分布式部署、可促进域随机化和并行评估。

研究人员使用该平台演示了1/18比例的汽车如何通过单眼相机使用强化学习来“学会”自动驾驶。许多用户已经模拟了模型训练并演示了sim2real 强化学习的导航。

虽然深度学习推动了强化学习在诸多方面的进步,但要实现强大的系统,我们还有很长的路要走。DeepRacer提供了一个平台,机器学习社区可以利用该平台将强化学习的研究和教育提升到新的水平。

例如,它有助于最大程度地减少训练和评估强化学习任务的复杂性和通用性。该平台也可用于系统性地研究并解决智能控制系统的构建问题。

研究人员说:“ DeepRacer是在机器人控制代理上成功进行的大规模深度部署强化学习的首次成功实践,该代理仅使用原始摄像机图像作为观察结果,并且采用无模型学习方法来执行可靠的路径规划。”

代码:

https://github.com/awslabs/amazon-sagemaker-examples/tree/master/reinforcement_learning/rl_deepracer_robomaker_coach_gazebo

原文:

https://arxiv.org/abs/1911.01562

从分类情感探测到维度情感检测

一组韩国研究人员最近提出了一种全新的方法,可以从相对常见的资源中预测维度情感(VAD)分数,前提是这些资源中标注了基本的情感类别。因此,他们现在提出了一个新的框架来让学习者能够从带有类别情感注释的语句库中预测对应的VAD分数。他们仅使用分类的情感标签来训练模型,才能预测VAD分数,该分数与相应的真实VAD分数呈显著正相关。

情绪在人类生活中起着至关重要的作用,因为它们通过相互理解和认可增强了人与人之间的交流。因此,更深入地了解情绪可以极大地改善人机互动的效果。如今,我们正处于人机交互日益频繁的时代,机器对人类情感的理解有望为人机交互的进一步发展带来很多好处。

这一全新模型可以在VAD分数的监督下对于已有模型进行了微调,它的表现可以超过最新的维度情感检测模型。该框架将通过提供机器注释的VAD分数或将其用作VAD分数预测模型来帮助研究人员构建人类注释的句子级VAD情感数据集。

研究人员总结道,“英语以外的大多数语言都不会使用带有VAD注释的语料库,因此我们的模型将有助于使用带有分类情感标签的多语料库来构建多语种资源。此外,我们进一步的工作将集中在开发另一种模型上,该模型可以在不使用VAD注释的情况下提供更合理的VAD分数。”

原文:

https://arxiv.org/abs/1911.02499

说话者识别系统对抗攻击的首次研究

为了理解SRS在实战对抗攻击下的安全性能弱点,这项新的研究调查了在实际黑盒环境中针对SRS三个任务的对抗攻击。研究人员提出了一种名为FAKEBOB的对抗性攻击,并居次制作了对抗性样本。

他们将对抗样本化为最优化问题,并结合了对抗样本的置信度和最大失真度,以平衡对抗声音的强度和不可感知性,最后,他们证明了FAKEBOB在开源系统和商业系统上均达到了接近100%的目标攻击成功率。

他们进一步证明,在现实世界中进行播放时,FAKEBOB在开源系统和商业系统中同样成立。此外,他们进行了一项人类研究,结果表明人类很难区分说话者的原始声音和对抗声音。

研究人员对FAKEBOB在13种攻击情形下的所有三个识别任务进行了评估,结果在系统上实现了接近100%的目标攻击成功率。这项工作还表明,针对语音识别域对抗攻击的防御方法中,三种颇有潜力的方法在SRS上对FAKEBOB都无效。

有关SRS对抗攻击安全隐患的研究结论表明,我们需要更有效的防御方法以更好地保护SRS免受此类实际对抗攻击。

原文:

https://arxiv.org/abs/1911.01840

谷歌推出视觉领域的评估基准VTAB

表征研究的最重要目标之一是在大量数据上,通过单次学习获得表征,而无需从头开始训练每个任务,这样可以大大减少数据需求。但是,为了实现这一目标,研究人员需要使用统一的基准来评估现有的和未来的方法。

Google AI近日发布了视觉领域的基准(VTAB),这是一种用来评估表征的多样化的,具有实际性的且具有挑战性的基准。

VTAB遵循的原则是,在数据有限的情况下,一个更好的表征对看不见的任务可以达到更优的性能。VTAB还遵循一些其它的准则:对具有创造力的解决方案降低限制,注重实际因素,借助挑战性任务进行评估等。

作为一种评估工具,VTAB旨在测量并推动视觉表征朝着实用和通用的方向发展,使得我们可以通过有限的标记数据,为视觉领域的长尾问题提供深度学习。

该基准有助于用户更好地理解哪些视觉表征可以泛化到更多其他新任务上,并为未来的研究提供方向。

Google研究人员希望VTAB可以推动表征学习,并促使深度学习在没有大量可用数据的情况下更广泛地应用。

代码:

https://github.com/google-research/task_adaptation

原文:

https://arxiv.org/abs/1910.04867

其他爆款论文

第一个自我学习大规模对话式AI 系统问世:

https://arxiv.org/abs/1911.02557v1

新的分割器识别器可以实现逐块真伪分类,并接受输入掩码的监督:

https://arxiv.org/abs/1911.02274

问题不完整怎么办?新的无监督方法让你完胜最新基准并跑赢完整问题策略:

https://arxiv.org/abs/1910.03262v3

解释性人工智能伦理问题的场景与建议:

https://arxiv.org/abs/1911.01917v1

基于BERT的模型教你如何对给定的句子进行情感分类,并胜过最新的VAD回归模型:

https://arxiv.org/abs/1911.02499

数据集

史上第一次图像降级挑战的数据集LCDMoire:

https://arxiv.org/abs/1911.02498

卫星姿态估算挑战:数据集,竞赛设计和结果:

https://arxiv.org/abs/1911.02050

AI大事件

OpenML-Python平台助你轻松从Python内访问OpenML上的所有数据集,任务和实验:

https://arxiv.org/abs/1911.02490

人工智能美食家:识别不同类型的面包糕点:

https://www.dailymail.co.uk/sciencetech/article-7665303/Forget-facial-recognition-Japanese-bakery-built-bread-recognition-AI.html

像植物一样生长的机器人:

https://www.sciencedaily.com/releases/2019/11/191107155959.htm

专栏作者介绍 Christopher Dossman是Wonder Technologies的首席数据科学家,在北京生活5年。他是深度学习系统部署方面的专家,在开发新的AI产品方面拥有丰富的经验。除了卓越的工程经验,他还教授了1000名学生了解深度学习基础。 LinkedIn: https://www.linkedin.com/in/christopherdossman/

本文分享自微信公众号 - 大数据文摘(BigDataDigest)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-11-12

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 基于char-rnn和tensorflow生成周杰伦歌词

    这个有趣的项目,具体就是基于字符预测下一个字符,比日说已知hello的前四个字母hell,那我们就可以据此预测下一个字符很可能是o,因为是字符char级别的,并...

    机器学习AI算法工程
  • 深度学习-从感知器到LSTM(目的是处理序列问题)

    感知器——基础的全连接网络——线性单元到线性模型——梯度下降——神经网络和反向传播算法——循环神经网络——LSTM——LSTM-CRF

    机器学习AI算法工程
  • 深度学习不定长文字的识别与定位:车牌号识别(keras)

    但无论是工整书写的 Tensorflow 官网上的 MNIST 教程,还是上节提到“草书”数字,都是 单一的数字识别问题。 但是,在实际生活中,遇到数字、字母识...

    机器学习AI算法工程
  • 网站流量预测任务第一名解决方案:从GRU模型到代码详解时序预测

    预测有两个主要的信息源: 局部特征。我们看到一个趋势时,希望它会继续(自回归模型)朝这个趋势发展;看到流量峰值时,知道它将逐渐衰减(滑动平均模型);看到...

    机器学习AI算法工程
  • LSTM内部实现原理详解

    原文链接:https://blog.csdn.net/shenxiaoming77/article/details/7...

    superhua
  • 实战:基于OpenPose的卡通人物可视化 | CSDN博文精选

    去年打算用些现成的Pose做些展示,因为以前有在OpenPose做些识别等开发工作,所以这次我就简单在OpenPose上把骨架用动画填充上去,关于能够和人动作联...

    AI科技大本营
  • LSTM模型实战案例:TensorFlow实现预测3位彩票号码

    使用人工智能技术来预测彩票,是这次的主题,那么预测哪种彩票呢?我们先选择简单一些的,就是排列组合少一些的,如果证明我们的模型work,再扩展到其他的彩票上。最终...

    机器学习AI算法工程
  • 干货 | 循环神经网络LSTM的数学过程

    长短时记忆(long short term memory,LSTM)是一种有效的链式循环神经网络(recurrent neural network,R2 NN1...

    小白学视觉
  • tensorflow2.0五种机器学习算法对中文文本分类

    Transformer由论文《Attention is All You Need》提出,现在是谷歌云TPU推荐的参考模型。

    机器学习AI算法工程
  • 找到源码了!使用python+机器学习方法进行情感分析(详细步骤)

    先以带有正向标签和负向标签的各1500条真实的中文酒店评论语料作为训练集用以训练分类器,剩余带有正向标 签和负向标签的各500条真实的中文酒店评论语料作为测试集...

    机器学习AI算法工程

扫码关注云+社区

领取腾讯云代金券