专栏首页新智元【ICML开杠】机器学习研究的四大危机

【ICML开杠】机器学习研究的四大危机


新智元报道

来源:ICML 2018

报道:金磊

【新智元导读】近期,来自CMU和斯坦福的Zachary C. Lipton和Jacob Steinhardt两位研究员为顶会ICML举办的Machine Learning: The Great Debate发表文章,并指出现在机器学习研究中的四大危机:混淆阐述与推测、无法明确得到较好结果的原因、数学公式堆积以及语言误用。

学术界在大家的印象里一般是很严肃的,但近期AI顶会ICML在斯德哥尔摩举办了一个辩论会—Machine Learning: The Great Debates (ML-GD),专供各家学者、研究人员积极探讨领域内技术的现状、瓶颈及对社会的影响。

有AI小网红之称的Zachary C.Lipton携手斯坦福研究员Jacob Steinhardt发表了参会的论文《Troubling Trends in Machine Learning Scholarship》,并发推文,引发了热烈的讨论。

观点提出背景

机器学习(ML)研究人员正在致力于有关“数据驱动算法”知识的创建和传播。据研究,许多研究人员都渴望实现以下目标:

  • 理论性阐述可学习内容
  • 深入理解经验严谨的实验
  • 构建一个有高预测精度的工作系统

虽然确定哪些知识值得探究是很主观的,但是一旦主题确定,当论文为读者服务时,它对社区最有价值,它能创造基础知识并尽可能清楚地进行阐述。

什么样的论文更适合读者呢?我们可以列出如下特征:这些论文应该

(i)提供直观感受以帮助读者理解,但应明确区别于已证明的强有力结论;

(ii)阐述考量和排除其他假设的实证调查 ;

(iii)明确理论分析与直觉或经验之间的关系 ;

(iv)利用语言帮助读者理解,选择术语以避免误解或未经证实的内容,避免与其他定义冲突,或与其他相关但不同的概念混淆。

机器学习研究中的四大危机

尽管机器学习最近取得了一些进展,但这些“理想”状态往往与现实背离。在这篇文章中,我们将重点放在以下四种模式上,这些模式在ML学术(schoolar-ship)中似乎是最流行的:

1. 无法区分客观阐述和推测。

2. 无法确定得到较好结果的原因,例如,当实际上是因为对超参数微调而获得好效果的时候,却强调不必要修改神经网络结构。

3. 数学公式堆积:使用令人混淆的数学术语而不加以澄清,例如混淆技术与非技术概念。

4. 语言误用,例如,使用带有口语的艺术术语,或者过多的使用既定的技术术语。

虽然这些模式背后的原因是不确定的,但会导致社区的迅速扩张、评阅的人数不足,以及学术和短期成功衡量标准(如文献数量、关注度、创业机会)之间经常出现的不平衡。虽然每种模式都提供了相应的补救措施(但不建议这么做),我们还将讨论一些关于社区如何应对这些趋势的推测性建议。

有缺陷的学术研究可能会误导大众,并阻碍学术未来的研究。实际上,这些问题有许多是在人工智能的历史(更广泛地说,是在科学研究)中循环出现的。1976年,Drew Mc-Dermott[1]指责人工智能社区放弃了自律,并预言“如果我们不能批判自己,别人就会帮我们解决问题”。

类似的讨论在整个80年代、90年代和2008年都反复出现[2,3,4]。在心理学等其他领域,糟糕的实验标准削弱了人们对该学科权威的信任。当今机器学习的强劲潮流归功于迄今为止大量严谨的研究,包括理论研究[5,6,7]和实证研究[8,9,10]。通过提高清晰明了的科学思维和交流,我们可以维持社区目前所享有的信任和投资。

总结

可能有人会认为这些问题可以通过自律、自我纠正来改善。这个观点虽然是正确的,但是机器学习社区需要反复讨论如何构建合理的学术标准以实现这种自我修正。

文献原文地址:

https://www.dropbox.com/s/ao7c090p8bg1hk3/Lipton%20and%20Steinhardt%20-%20Troubling%20Trends%20in%20Machine%20Learning%20Scholarship.pdf?dl=0

参考文献:

[1]Drew McDermott.Artificial Intelligence meets natural stupidity. ACM SIGART Bulletin,(57):4-9,1976.

[2]Timothy G Armstrong, Alistair Moffat, William Webber, and Justin Zobel. Improvements that don’t add up: ad-hoc retrieval results since 1998. In Proceedings of the 18th ACM conference on Information and knowledge management. ACM, 2009.

[3]Paul R Cohen and Adele E Howe. How evaluation guides ai research: The message still counts more than the medium. AI magazine , 9(4):35, 1988.

[4]RE Korf. Does deep blue use articial intelligence? ICGA Journal , 20(4):243{245, 1997.

[5]Leon Bottou and Olivier Bousquet. The tradeos of large scale learning. In Advances in neural information processing systems (NIPS) , 2008.

[6]John Duchi, Elad Hazan, and Yoram Singer. Adaptive subgradient methods for online learning and stochastic optimization. Journal of Machine Learning Research (JMLR) , 12(Jul), 2011.

[7]Yoav Freund and Robert E Schapire. A decision-theoretic generalization of on-line learning and an application to boosting. Journal of computer and system sciences , 55(1):119{139, 1997.

[8]James Bergstra and Yoshua Bengio. Random search for hyper-parameter optimization. Journal of Machine Learning Research (JMLR) , 13(Feb), 2012.

[9]Xavier Glorot and Yoshua Bengio. Understanding the diculty of training deep feedforward neural networks. In International conference on articial intelligence and statistics (AISTATS) ,2010.

[10]Kevin Jarrett, Koray Kavukcuoglu, Yann LeCun, et al. What is the best multi-stage architecture for object recognition? In International Conference on Computer Vision (ICCV) . IEEE, 2009.

本文分享自微信公众号 - 新智元(AI_era)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-07-13

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • NeurIPS图表示学习研讨会录取论文揭晓:92篇论文看懂图表示学习

    10 月 18 日,2019 中关村论坛平行论坛 ——AI WORLD 2019 世界人工智能峰会在北京启幕。新智元杨静、科大讯飞胡郁、微软王永东、华为王成录、...

    新智元
  • 21个国家377个全基因组分析:探究新冠病毒起源,重大突变及进化关系

    日前,Nature制作了关于这次新冠病毒疫情的五张图表,以一种非常直观的方式为我们呈现了病毒确诊病例的变化趋势、R0值对比、科研人员发布研究的速度、旅行限制对碳...

    新智元
  • AI创作了史上第一部小说,读完之后我懵了

    去年,一位小说家进行了一次横穿美国的公路旅行。这次旅行是为了效仿Jack Kerouac——在旅途中寻找一些重要的东西,并写下了自己的经历。

    新智元
  • 【HFT系列】高频价格动态策略

    量化投资与机器学习微信公众号
  • Data Warehouse

    联机事务处理(OLTP, online transactional processing)系统:涵盖组织机构大部分的日常操作,purchasing, inven...

    李拜六不开鑫
  • 字里行间的阅读:反对者的分析(CS CY)

    本文讲述了内容创建者和社交网络为实施基于法律和政策的规范,例如阻止仇恨言论和用户,所做的努力推动了无限制通信平台的兴起。异议者就是最近的一个尝试,它是一种浏览器...

    啊瓜7706942
  • Single Shot MultiBox Detector论文翻译——中英文对照

    SSD: Single Shot MultiBox Detector Abstract We present a method for detecting ob...

    Tyan
  • 具有可重构智能表面和随机障碍物的无线光通信性能(CS SY)

    由于环境中障碍物的阻碍,自由空间光通信难以应用到移动通信中,可重构的智能表面技术有望解决这一问题。可重构智能曲面是一种新型的数字编码元材料,能够实时地对电磁波和...

    用户6853689
  • Silverlight第三方控件专题

    这里我收集整理了目前网上silverlight第三方控件的专题,若果有所遗漏请告知我一下。 名称 简介 截图 telerik 商 RadC...

    用户1172164
  • 分享一本关于稀疏信号处理的书给大家,也是我曾读过的教材[附下载链接]

    Sparse Signal Processing 作者/authors M Azghani, F Marvasti 摘要/abstract Convention...

    互联网金融打杂

扫码关注云+社区

领取腾讯云代金券