专栏首页量子位2018年ML/AI重大进展有哪些?LeCun推荐了这篇回答

2018年ML/AI重大进展有哪些?LeCun推荐了这篇回答

乾明 编译整理 量子位 报道 | 公众号 QbitAI

回望2018,AI大潮依旧浩浩汤汤,势头不减。

这一年都有哪些重要进展呢?2018年即将过去,一些大牛也给出了自己的看法。

刚刚,前Quora技术VP、AI领域技术专家Xavier Amatriain在Quora上回答了一个相关的问题:2018年ML/AI领域最重要的进展是什么?

他在答案中给出了4个方面:

  • 回归理性,炒作降温;
  • 舍虚务实,更关注具体问题;
  • 深度学习在NLP领域大放异彩;
  • 框架之争愈发激烈,强化学习成焦点。

答案发布之后,便引发了大量围观,Quora上点赞近400,Yann LeCun也在Twitter上转发推荐。

当然,答案不仅仅只有这4句话,Amatriain也都给出了解释。

炒作降温

2017年,是AI炒作无所不在的一年。最突出的,就是马斯克和扎克伯格等各方大佬就AI对于人类是福是祸进行了隔空论战。这些论战为AI赚足了注意力。

Amatriain表示,与2017年相比,我们好像冷静下来了。一个主要的原因可能是这些大佬们忙于处理其他事情了。

比如Facebook深陷数据与隐私旋涡,麻烦事情不断。马斯克也历经特斯拉生产地狱,度过了艰难的一年。

与此同时,虽然很多人都认为自动驾驶以及类似的技术正在向前发展,但就目前事故不断的情况,所谓的“明天”,还有很远。

更关注具体问题

相对于AI是福是祸的讨论,2018年对AI的关注也开始变得愈加务实了。

首先是公平性。2018年,对公平性的讨论,并不仅仅限于发表一些论文或者言论。谷歌还上线了相应的课程。

谷歌推出针对AI歧视的新课程!60分钟的ML公平自学训练模块 | 资源

其次是可解释性和因果关系。因果关系之所以重新成为了人们关注的焦点,主要是因为图灵奖得主、贝叶斯网络之父Judea Pearl出版了《The Book of Why》一书,在Twitter上引发了关于因果关系的大讨论。

而且,ACM Recsys上获得最佳论文奖的论文,也探讨了如何在嵌入中包含因果关系的问题。

讨论也不仅仅限于学界,大众媒体《大西洋月刊》也发表文章指出,这是对现有人工智能方法的“挑战”。

虽然因果关系引发了不少的讨论,但也有许多学者认为,从某种程度上来说, 因果关系其实分散了人们对理论的关注,应该关注更加具体的问题,比如模型的可解释性。

其中最具代表性的,就是华盛顿大学Marco Tulio Ribeiro等人发表的论文,这篇论文是对著名的LIME(一种解释任何机器学习分类器的预测的技术)模型的跟进。

论文链接:

https://homes.cs.washington.edu/~marcotcr/aaai18.pdf

深度学习在NLP领域大放异彩

2018年,深度学习依旧受到了质疑。CMU学者Simon DeDeo在Twitter上猛烈炮轰Google Brain团队,称这技术(机器学习)现在所做的事情,跟1990年没什么差别,顶多就是规模更大,但并没有给我们带来比20年前更深刻的见解。

“Google只认钱!机器学习20年没进步”,CMU学者开炮

Amatriain说,深度学习等技术并没有止步不前,还有很多领域没有运用相关的技术。具体来说,深度学习在计算机视觉之外的领域取得了前所未有的成功。

最为突出的就是NLP领域。谷歌的Smart Compose(Gmail中智能预测拼写神经网络)和Duplex对话系统(会打电话的AI),可以说是2018年最令人印象深刻的两个AI应用了。

NLP领域的进展,也不仅仅只体现在应用上。在语言模型上也有了很大的进步。最大的功臣是Fast.ai的UMLFit,推广了相关的概念与想法。

然后是其他的方法,比如艾伦研究所的ELMo、OpenAI的Transformers、谷歌最近的BERT等等,都取得了非常好的效果。

它们提供了即用型的预训练和通用模型,可以针对特定任务微调。因此,这些模型的出现,也被描述为“NLP的Imagenet时刻”。

除了这些之外,还有其他一些进步,比如Facebook的多语言嵌入。而且,我们也看到了这些方法被整合到通用的NLP框架中的速度变得非常快了,比如AllenNLP或Zalando的FLAIR。

关于NLP领域的总结,还有一篇文章,推荐给你阅读:

不只有BERT!盘点2018年NLP令人激动的10大想法

框架之争愈发激烈,强化学习成焦点

最令人惊讶的一点是,就在Pytorch 1.0发布的时候,Pytorch似乎快要赶上了TensorFlow。

虽然在生产的过程中使用Pytorch仍旧不太理想,但在可行性、文档和教育方面,Pytorch已经超过了TensorFlow。

这其中,选择Pytorch作为实现Pytorch库的框架可能起到了很大的作用。

谷歌也已经意识到了这一点,也正在朝着这个方向努力,将Keras纳入框架,并吸纳Paige Bailey这样的开发者领袖加入其中。

虽然今年强化学习领域的进展比不上前些年,只有DeepMind最近的IMPALA还算令人印象深刻。但基本上AI领域所有的“玩家”都发布了强化学习框架。

谷歌发布了Dopamine框架,DeepMind发布了有点竞争性的TRFL,Facebook当然不会落后,发布了Horizon,微软则发布了TextWorld,专门用于训练基于文本的智能体。

希望这些开源工具的出现,强化学习能在2019年有更多的突破进展。

此外,框架方面还有一个有趣的进展。谷歌最近发布了基于TensorFlow的TFRank。排序是一个非常重要的ML应用,它应该得到更多的关注。

谷歌开源TF-Ranking可扩展库,支持多种排序学习

其他一些进展

围绕着数据改进,深度学习领域仍然有非常有趣的进展。

比如说,对于深度学习非常关键的数据扩充(data augmentation)在今年有了新的进展。谷歌发布了auto-augment,一种深度强化学习方法,可以自动扩充训练数据。

一个更加极端想法是用合成数据训练深度学习模型,许多人都认为这是AI未来发展的关键。英伟达在《Training Deep Learning with Synthetic Data》论文中提出了一些新的想法。

论文链接:

https://arxiv.org/abs/1804.06516

在《Learning from the Experts》一文中,展示了如何使用专家系统合成数据。

论文链接:

https://arxiv.org/abs/1804.08033

最后,还有一种方法是“weak supervision”,可以减少对大量手工标注数据的需求。Snorkel是一个非常有趣的项目,想要提供了一个通用的框架,来推进这种方法。

项目地址:

https://blog.acolyer.org/2018/08/22/snorkel-rapid-training-data-creation-with-weak-supervision/amp/?__twitter_impression=true

Amatriain说,就AI领域更为基础的突破,今年并没有看到太多。

但他不同意Hinton的看法,即认为缺乏创新是因为这个领域年轻人太多,资深的人太少。

在他看来,缺乏突破的主要原因是,现有的方法仍旧有许多地方可以应用,因此很少有人去冒险近尝试不切实际的想法。尤其是当前大多数研究都是由大公司资助的,让这一特点更加突出了。

不过,还是有一些人在尝试,代表性的论文有两篇。

论文链接:

https://arxiv.org/pdf/1803.01271.pdf

虽然这篇论文是高度实验性的,并且使用的是已知的方法,但它打开了新方法的大门。因为它证明了现有的最佳方法,并不是最好的。

论文链接:

https://arxiv.org/abs/1806.07366

这篇论文是最近NeurIPS最佳论文获得者,它挑战了深度学习中的一些基本内容,包括层本身的概念。

最后,向你推荐量子位此前发布的文章:

一文看尽2018全年AI技术大突破

作者系网易新闻·网易号“各有态度”签约作者

本文分享自微信公众号 - 量子位(QbitAI)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-12-24

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 华人斩获最佳Demo论文,Bengio获时间检验奖,最佳论文突破NLP传统测试方法 | ACL 2020

    这届ACL的最佳论文是《Beyond Accuracy: Behavioral Testing of NLP Models with CheckList》。(文...

    量子位
  • 如何高效读论文?剑桥CS教授亲授“三遍论”:论文最多读三遍,有的放矢,步步深入

    一方面,把握最前沿的研究动态,激发自身研究灵感。另一方面,不做好文献调研,自己的绝妙想法变成了重复造轮子,这种体验可不太妙。

    量子位
  • 干货!谷歌首席科学家发文阐述“半监督学习革命”,想走出瓶颈先试试这个

    谷歌首席科学家,谷歌大脑技术负责人Vincent Vanhoucke说,半监督学习革命已经来了。

    量子位
  • 架构师能力模型

    开发者应该根据自己的性格、爱好来选择自己的职业方向。对于性格外向、愿意多与人交流、沟通能力较好的同学,可以考虑向管理方向发展。对于热爱技术、喜欢钻研、性格偏内向...

    物流IT圈
  • 2018——阻碍人工智能发展的5大难题

    但你最近和Siri或者Alexa对话过吗?如果有,那么你会知道,撇开这些炒作,以及踌躇满志的亿万富翁们,还有很多事情人工智能仍然不能做也不能理解。以下是五个棘手...

    BestSDK
  • 文科生用机器学习做论文,该写些什么?

    从“价值、必要、讨论和工具”这四个角度,把一些容易踩的坑提示给你,助你顺利完成研究论文撰写。

    王树义
  • Json过滤

    最近在编写接口的时候,后台需要给前端返回数据,但是查询出来的结果中有很多属性是多余,本想着用字符串替换,但是发现好像不太行,多个属性的过滤好像并不太靠谱,于是网...

    wade
  • 今日 Paper | 动态图像检索;实时场景文本定位;感知场景表示;双重网络等

    论文名称:Sketch Less for More: On-the-Fly Fine-Grained Sketch Based Image Retrieval

    AI科技评论
  • 最全的机器学习入门资料

    可汗学院,是由孟加拉裔美国人萨尔曼·可汗创立的一家教育性非营利组织,主旨在于利用网络影片进行免费授课。

    猴子聊数据分析
  • 最全的机器学习入门资料

    可汗学院,是由孟加拉裔美国人萨尔曼·可汗创立的一家教育性非营利组织,主旨在于利用网络影片进行免费授课。

    猴子聊数据分析

扫码关注云+社区

领取腾讯云代金券