自监督学习（SSL）是一种机器学习方法，最近在各种时间序列任务上取得了令人印象深刻的表现。SSL最显著的优点是它减少了对标记数据的依赖。基于预训练和微调策略，即使是少量的标记数据也能实现高性能。
深度神经网络 (DNN) 已经发展到现在已经可以在计算机视觉和自然语言处理等许多任务上表现非常出色。而现在主要的研究是如何训练这些 DNN 以提高其准确性。准确性的主要问题是神经网络极易受到对抗性扰动的影响。
我们生活在这样一个世界：无论好坏，我们总是被深度学习算法所包围。从社交网络过滤到自动驾驶汽车，再到电影推荐，金融欺诈检测，药物发现……深度学习影响着我们的生活和决策。
机器学习在应用程序中的广泛使用，引起了人们对潜在安全威胁的关注。对抗性攻击（ adversarial attacks）是一种常见且难以察觉的威胁手段，它通过操纵目标机器学习模型，可能会“悄悄”破坏许多数据样本。
我们筛选了在arXiv.org上出现的最新研究论文，这些研究论文涉及与人工智能、机器学习以及深度学习相关的引人注目的主题，包括统计学、数学和计算机科学等学科，最终列出了过去一个月的最佳论文。arXiv包含一个名副其实的学习方法宝库，你可以使用它来解决数据科学问题。
今天给大家解读一篇NIPS2021中GNN与对比学习结合的论文，后面会持续更新NIPS2021中关于对比学习（Contrastive Learning）论文的解读，欢迎大家关注。
自监督学习和弱监督学习作为机器学习领域中的前沿技术，对于自然语言处理（NLP）的发展带来了重大影响。这两种学习范式克服了传统监督学习中标注数据不足的问题，为NLP任务提供了更灵活、高效的解决方案。本文将深入探讨NLP在自监督学习和弱监督学习中的应用，通过实例展示它们是如何在文本处理、情感分析、命名实体识别等任务中取得显著成果的。
来源：blog.evjang.com 作者：Eric Jiang 编译：费欣欣 【新智元导读】本文是谷歌大脑工程师Eric Jiang的博文，结合当前监督、无监督和强化学习进展，谈了他衡量机器学习研究工作的框架：①表现力（Expressivity）、②可训练性（Trainability）和/或③泛化能力（Generalization）。这篇文章可能是本年度最佳机器学习技术及研究总结之一，值得学习和参考。 当我阅读机器学习论文时，我会问自己，这篇论文的贡献是否属于：1）表现力（Expressivity）、2）
目前，人工智能（AI）领域正在快速发展，每隔一段时间就取得新的突破。最近突出的一个词是Generative Adversarial Network（GAN） - 但这是什么意思？
机器之心报道 编辑：张倩 「如果你想研究自监督学习，那最好看看这本书。」 「关于自监督学习，你想知道但又不敢问的一切都在这里了。」图灵奖得主、Meta 人工智能首席科学家 Yann LeCun 刚刚发了这样一则推文。 在推文中，LeCun 介绍了他和 Meta 人工智能研究院研究员、研究经理田渊栋等人共同撰写的一份「Cookbook」（非常实用、可操作性强、就像一本菜谱一样的论文）。这本 Cookbook 总共 70 页，涵盖了自监督学习的定义、重要性、起源、家族、训练部署方法、扩展方法等方面知识，是一份
计算机视觉(Computer Vision, CV)是人工智能领域的一个领域，致力于让计算机能够像人类一样识别和处理图像和视频中的物体。以前，计算机视觉只能在有限的能力下工作。但由于深度学习的进步，该领域近年来取得了巨大的飞跃，现在正在迅速改变不同的行业!
给新人的学习建议 1. 你建议其他领域的人（比如机械工程）来学习机器学习吗？ Ian Goodfellow：当然了！我最崇拜的Geoffrey Hinton在博士阶段研究领域是实验心理学！ 通常而言，我们发现某一领域的变革往往是因为另一个领域的人带来了其领域中已成型的新想法！ 2. 一个几乎没有任何技术背景的人怎么学习机器学习？ Ian Goodfellow：你应该要掌握一些基本的线性代数、概率和python的编程知识！ 但是你不必知道所有的线性代数知识，所有的概率论知识，或者所有python编程的知识（
AI 科技评论按：本篇属于「顶会见闻系列」。每年这么多精彩的人工智能/机器学习会议，没去现场的自然可惜，在现场的也容易看花眼。那么事后看看别的研究员的见闻总结，也许会有新的收获呢。
【AI科技大本营导读】今天是 GMIC Beijing 2018 大会第一天，首个演讲者是 Facebook 首席 AI 科学家 Yann LeCun。他讲述了关于深度学习的最新研究成果，同时也描述了深度学习的未来，以及机器智能所要面临的的挑战。
来源：Deephub Imba本文约2200字，建议阅读5分钟本文介绍了对抗性攻击的原理。 由于机器学习算法的输入形式是一种数值型向量（numeric vectors），所以攻击者就会通过设计一种有针对性的数值型向量从而让机器学习模型做出误判，这便被称为对抗性攻击。和其他攻击不同，对抗性攻击主要发生在构造对抗性数据的时候，该对抗性数据就如正常数据一样输入机器学习模型并得到欺骗的识别结果。 什么是对抗样本？ 这些数据样本看起来像正常样本，但以某种方式受到干扰以欺骗机器学习系统。例如在给定的图像中，并非所有像素
由于机器学习算法的输入形式是一种数值型向量（numeric vectors），所以攻击者就会通过设计一种有针对性的数值型向量从而让机器学习模型做出误判，这便被称为对抗性攻击。和其他攻击不同，对抗性攻击主要发生在构造对抗性数据的时候，该对抗性数据就如正常数据一样输入机器学习模型并得到欺骗的识别结果。
选自fermatslibrary 机器之心编译 参与：思源、李泽南 自 2014 年提出以来，生成对抗网络（GAN）已经成为深度学习领域里最为重要的方向之一。其无监督学习的特性有助于解决按文本生成图像、提高图片分辨率、药物匹配、检索特定模式的图片等多种任务。近日，GAN 的提出者，谷歌大脑研究科学家 Ian Goodfellow 在问答平台上面向所有人进行了 Q&A 活动，向我们解答了有关 GAN 的背景、技术、流派，以及一些有趣的问题，我们对本次活动的内容进行了整理。 Gfred：有传言说你是在一家酒吧里
呜啦啦啦啦啦啦啦大家好，拖更的AIScholar Weekly栏目又和大家见面啦！
自监督学习（SSL）最近在很多深度学习任务上取得了优异的表现，它最显著的优点是可以减少对标签数据的依赖。基于预训练和微调策略，即使只有少量的标签数据也可以取得不错的效果。
AI 研习社按：OpenAI 近期更新了一篇博客，他们利用一个任务无关的可扩展系统在多语言任务上取得了卓越进展。论文及代码已经公布。他们的方法结合了 transformers（https://arxiv.org/abs/1706.03762） 和无监督学习（https://arxiv.org/abs/1511.01432）两个已经存在的方法。项目结果证明了将监督学习和无监督预训练结合的方法十分有效。这是很多人设想过的方法，他们希望他们的成果可以激励更多人将该方法应用于更大更复杂的数据集上。原文发表在 OpenAI 的博客上，AI 科技评论对博客内容编译如下。
研究者通过一个可扩展的，与任务无关的系统获得了一系列不同语言任务的最新成果，这一系统也即将发布。此方法结合了两种现有的想法：Transformer和无监督的预训练。这些结果说明将监督学习方法与无监督预训练结合很好。
AI 科技评论按：OpenAI 近期更新了一篇博客，他们利用一个任务无关的可扩展系统在多语言任务上取得了卓越进展。论文及代码已经公布。他们的方法结合了 transformers（https://arxiv.org/abs/1706.03762） 和无监督学习（https://arxiv.org/abs/1511.01432）两个已经存在的方法。项目结果证明了将监督学习和无监督预训练结合的方法十分有效。这是很多人设想过的方法，他们希望他们的成果可以激励更多人将该方法应用于更大更复杂的数据集上。原文发表在 OpenAI 的博客上，AI 科技评论对博客内容编译如下。
大数据文摘作品，转载要求见文末 编译 | Aileen，张礼俊 笪洁琼，钱天培 近日，GAN之父Ian Goodfellow在Quora上举行了一年一度的live问答活动。不同于去年的独挑大梁，他今年还叫来了他在Google Brain的好基友Alexey Kurakin。本次互动吸引了将近2万Quora用户的参与，两人总共回答了网友提出的35个机器学习相关的问题。 大数据文摘从中精选出10个问题，从机器学习入门到深入探讨都有涉及，带你了解大佬眼中的机器学习。当然，我们也摘录了Ian Goodfellow
AI 科技评论按：经过 7 月 10 日的三个 Tutorial Session 和 Opening Reception 晚宴之后，在瑞典斯德哥尔摩举办的机器学习顶会 ICML 2018 正式进入第一天的正会。
众所周知，对抗训练生成模型（GAN）在图像生成领域获得了不凡的效果。尽管基于GAN的无监督学习方法取得了初步成果，但很快被自监督学习方法所取代。
“我知道在广告上的投资有一半是无用的，但问题是我不知道是哪一半。” 这句20年前的“名言”至今仍然是数字广告业的核心挑战。但一个差别是，20年前广告主担心广告投放是否辐射到了目标用户，20年后广告主的担心变成了看广告的是不是真正的“用户”。 7月12日，聚焦业界领先技术成果的Arch Summit 全球架构师峰会开幕，腾讯安全天御高级研究员邝展豪受邀演讲，揭开了制造虚假流量的广告业黑灰产“面纱”，并就如何构建基于对抗性训练的广告流量反作弊系统，分享了腾讯安全的实践经验。 （腾讯安全天御高级研究员邝展豪
编译 | reason_W 编辑 | 明 明 【人工智能头条导读】近日，OpenAI 在其官方博客发文介绍了他们最新的自然语言处理（NLP）系统。这个系统是可扩展的、与任务无关的，并且在一系列不同的 NLP 任务中都取得了亮眼的成绩。但该方法在计算需求等方面仍存在改进的空间。下面我们来看他们的博文： 我们即将发布一个可扩展的，与任务无关的自然语言处理系统，该系统在一系列不同的语言任务上都取得了目前最先进的成绩。我们的方法结合了两种现有的 NLP 网络架构：Transformer 和无监督预训练。大量任务数据
【AI 科技大本营导读】近日，OpenAI 在其官方博客发文介绍了他们最新的自然语言处理（NLP）系统。这个系统是可扩展的、与任务无关的，并且在一系列不同的 NLP 任务中都取得了亮眼的成绩。但该方法在计算需求等方面仍存在改进的空间。下面我们来看他们的博文：
AI 科技评论按：当前的语音识别技术发展良好，各大公司的语音识别率也到了非常高的水平。语音识别技术落地场景也很多，比如智能音箱，还有近期的谷歌 IO 大会上爆红的会打电话的 Google 助手等。本文章的重点是如何使用对抗性攻击来攻击语音识别系统。本文发表在 The Gradient 上，AI科技评论将全文翻译如下。
AI 科技评论按：许多自然问题都有一定的不确定性，比如一个杯子从桌上掉地，它可能躺在桌角、立在凳子下面，甚至直接摔碎。这种具有多种可能结果的未来预测一直是一个难题。深度学习三驾马车之一的 Yann L
新智元编译 来源：Open AI 编译：小潘、克雷格 【新智元导读】基于一个可伸缩的、任务无关的系统，OpenAI在一组包含不同的语言任务中获得了最优的实验结果，方法是两种现有理念的结合：迁移学习
NeurIPS 汇聚了人工智能和深层学习领域的杰出人才，近年来随着名气的上升，门票一度比 Taylor Swift 的演唱会还难买（更多内容回看《听说 NIPS 2018 门票十分钟卖光，机器学习圈子炸了锅》）。该会议主要聚焦于深度学习领域。深度学习是使用多层互联的人工神经网络对高维数据进行建模的过程，其对于图像分类、语音识别、自动驾驶汽车、面部识别，甚至手机的拼写自动纠正功能等方面的突破具有关键作用。由于深度学习已经成为近来人工智能进展的核心部分，NeurIPS 可以被视作更大的人工智能生态系统的标志性会议。
OpenAI 的系统分为两阶段，首先研究者以无监督的方式在大型数据集上训练一个 Transformer，即使用语言建模作为训练信号，然后研究者在小得多的有监督数据集上精调模型以解决具体任务。研究者开发的这种方式借鉴了他们关于 Sentiment Neuron（https://blog.openai.com/unsupervised-sentiment-neuron/）方面的研究成果，他们发现无监督学习技术在足够多的数据集上训练能产生令人惊讶的可区分特征。因此研究者希望更进一步探索这一概念：我们能开发一个在大量数据进行无监督学习，并精调后就能在很多不同任务上实现很好性能的模型吗？研究结果表明这种方法可能有非常好的性能，相同的核心模型可以针对不同的任务进行少量适应和精调就能实现非常不错的性能。
来源：专知本文为教程，建议阅读5分钟本教程将概述在序列决策设置中的对抗性学习的最新研究。 本教程将概述在序列决策设置中的对抗性学习的最新研究。特别地，本教程将侧重于基于多臂赌博机、强化学习和多智能体交互的对抗性攻击和防御机制。本教程将暂时涵盖以下列出的内容。 https://adversarial-rl.org/ijcai2022/index.html 介绍 序列决策入门: 多臂赌博机，强化学习，多智能体交互，和博弈。 对抗性序列决策如何不同于对抗性监督学习的高级概述。 攻击策略和防御机制的高级概述。 多
导语：生成对抗网络（GAN）近来在研究界得到了很大的关注。在这篇文章中，Waya.ai 的创始人 Michael Dietz 介绍了 GAN 如此大有潜力的原因，并且通过 GAN 与拳击比赛的生动比较对 GAN 的工作方式进行了阐释。另外，小编Tom邀请你一起搞事情！ 生成对抗网络（GAN）由两个独立的网络组成，即生成器（generator）和判别器（discriminator）。GAN 将无监督学习问题作为这两者之间的博弈。在本文中，我们将看到为什么 GAN 有这么大的潜力，并且通过 GAN 与拳击比赛的
选自 KDnuggets 机器之心编译 作者：Michael Dietz 参与：Jane W、晏奇、吴攀 生成对抗网络（GAN）近来在研究界得到了很大的关注。在这篇文章中，Waya.ai 的创始人 Michael Dietz 介绍了 GAN 如此大有潜力的原因，并且通过 GAN 与拳击比赛的生动比较对 GAN 的工作方式进行了阐释。 生成对抗网络（GAN）由两个独立的网络组成，即生成器（generator）和判别器（discriminator）。GAN 将无监督学习问题作为这两者之间的博弈。在本文中，我们将
近日，谷歌大脑的创始成员和 AutoML 的缔造者之一Quoc Le再推新研究论文，在题为“对抗性样本改善图像识别”一文中提出一种增强的对抗训练将对抗性样本AdvProp。
作者丨Lilian Weng 编译丨丛末 编辑丨陈彩娴 现实应用中，数据易得，而有标签的数据少有。 一般而言，当监督学习任务面临标签数据不足问题时，可以考虑以下四种解决办法： 1.预训练+微调：首先在一个大规模无监督数据语料库上对一个强大的任务无关模型进行预训练（例如通过自监督学习在自由文本上对语言模型进行预训练，或者在无标签图像上对视觉模型进行预训练），之后再使用一小组标签样本在下游任务上对该模型进行微调。 2.半监督学习：同时从标签样本和无标签样本中学习，研究者使用该方法在视觉任务上进行了大量研究。
【导读】近日，深度学习爱好者Prakash Pandey发布一篇博文介绍深度生成模型。我们知道，有监督学习在很多方面都达到了很好的效果，但是，由于有监督学习由于数据集太少等缺点，研究者逐渐偏向于探索无
今年 3 月份，ACM 2018 图灵奖得主公布，深度学习三巨头 Geoffrey Hinton、Yoshua Bengio 和 Yann LeCun 三人共享此殊荣。
近日，DeepMind发布了预训练的BigBiGAN表示学习模型，开源代码可以在TF Hub上找到。
近日，LSTM 的发明人、著名深度学习专家 Jürgen Schmidhuber 发表了一篇长文，详细论述了近 30 年前，即 1990~1991 年之间他和团队进行的许多研究。
在过去十年中，机器学习在很多领域都取得了前所未有的进展，如图像识别，自动驾驶汽车、和玩复杂游戏如「GO」等。这些成就在很大程度上都是通过采用监督学习和强化学习两种范式中的一种来训练深度神经网络得以实现的。这两种范式都要求人为设定「训练信号」并将其传递给计算机。在监督学习的示例中，这些信号被视为「目标」（例如某个图像的正确标签）；在强化学习中，它们是行为正确时获取的「奖励」（例如在 Atari 游戏中获得高分）。因此，机器学习的界限是由人类训练者所定义的。
在意识层面上，智能体并不在像素和其他传感器的层面上进行预测和规划，而是在抽象层面上进行预测。因为语义相关的比特数量（在语音中，例如音素、说话者的身份、韵律等）只是原始信号中总比特数的一小部分，所以这样可能更合适。
全球计算机视觉顶级会议CVPR2020 (IEEE Conference on Computer Vision and Pattern Recognition，即IEEE国际计算机视觉与模式识别会议) 即将于2020年6月14日-19日在美国西雅图召开。
最近有一些基于对比学习的无监督学习的工作取得了不错的效果，这类对比学习方法的本质上是构造一个动态的字典。我们先解释一下对比学习。
基于梯度的优化是现代人工智能的主要工作。使用线性网络——无论是ReLU还是maxout网络，LSTM网络，还是一个经过仔细配置的sigmoid网络，都没有足够的饱和——至少在训练集,我们能够拟合大部分我们所关心的问题。对抗样本的存在表明，能够解释训练数据，甚至能够正确地标注测试数据并不意味着我们的模型能够真正理解我们要求它们执行的任务。相反，它们对数据分布中没有出现的点的线性反应过于自信，而这些自信的预测往往是非常不正确的。Goodfellow的研究表明，我们可以通过明确识别问题点和在每一个点上纠正模型来部
循环神经网络（1997）和卷积神经网络（2012）：擅长处理图像等欧式数据或者文本和信号等序列数据
人工智能作为一个发展中的技术，其实还在演进的过程当中，有所能为，有所不能为，因此还有很多亟待解决的问题
例如，被称为史上最强图像生成器的BigGAN——许多人看到BigGAN生成的图像都要感叹“太逼真了！DeepMind太秀了吧！”
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
