【ICML开杠】机器学习研究的四大危机


新智元报道

来源:ICML 2018

报道:金磊

【新智元导读】近期,来自CMU和斯坦福的Zachary C. Lipton和Jacob Steinhardt两位研究员为顶会ICML举办的Machine Learning: The Great Debate发表文章,并指出现在机器学习研究中的四大危机:混淆阐述与推测、无法明确得到较好结果的原因、数学公式堆积以及语言误用。

学术界在大家的印象里一般是很严肃的,但近期AI顶会ICML在斯德哥尔摩举办了一个辩论会—Machine Learning: The Great Debates (ML-GD),专供各家学者、研究人员积极探讨领域内技术的现状、瓶颈及对社会的影响。

有AI小网红之称的Zachary C.Lipton携手斯坦福研究员Jacob Steinhardt发表了参会的论文《Troubling Trends in Machine Learning Scholarship》,并发推文,引发了热烈的讨论。

观点提出背景

机器学习(ML)研究人员正在致力于有关“数据驱动算法”知识的创建和传播。据研究,许多研究人员都渴望实现以下目标:

  • 理论性阐述可学习内容
  • 深入理解经验严谨的实验
  • 构建一个有高预测精度的工作系统

虽然确定哪些知识值得探究是很主观的,但是一旦主题确定,当论文为读者服务时,它对社区最有价值,它能创造基础知识并尽可能清楚地进行阐述。

什么样的论文更适合读者呢?我们可以列出如下特征:这些论文应该

(i)提供直观感受以帮助读者理解,但应明确区别于已证明的强有力结论;

(ii)阐述考量和排除其他假设的实证调查 ;

(iii)明确理论分析与直觉或经验之间的关系 ;

(iv)利用语言帮助读者理解,选择术语以避免误解或未经证实的内容,避免与其他定义冲突,或与其他相关但不同的概念混淆。

机器学习研究中的四大危机

尽管机器学习最近取得了一些进展,但这些“理想”状态往往与现实背离。在这篇文章中,我们将重点放在以下四种模式上,这些模式在ML学术(schoolar-ship)中似乎是最流行的:

1. 无法区分客观阐述和推测。

2. 无法确定得到较好结果的原因,例如,当实际上是因为对超参数微调而获得好效果的时候,却强调不必要修改神经网络结构。

3. 数学公式堆积:使用令人混淆的数学术语而不加以澄清,例如混淆技术与非技术概念。

4. 语言误用,例如,使用带有口语的艺术术语,或者过多的使用既定的技术术语。

虽然这些模式背后的原因是不确定的,但会导致社区的迅速扩张、评阅的人数不足,以及学术和短期成功衡量标准(如文献数量、关注度、创业机会)之间经常出现的不平衡。虽然每种模式都提供了相应的补救措施(但不建议这么做),我们还将讨论一些关于社区如何应对这些趋势的推测性建议。

有缺陷的学术研究可能会误导大众,并阻碍学术未来的研究。实际上,这些问题有许多是在人工智能的历史(更广泛地说,是在科学研究)中循环出现的。1976年,Drew Mc-Dermott[1]指责人工智能社区放弃了自律,并预言“如果我们不能批判自己,别人就会帮我们解决问题”。

类似的讨论在整个80年代、90年代和2008年都反复出现[2,3,4]。在心理学等其他领域,糟糕的实验标准削弱了人们对该学科权威的信任。当今机器学习的强劲潮流归功于迄今为止大量严谨的研究,包括理论研究[5,6,7]和实证研究[8,9,10]。通过提高清晰明了的科学思维和交流,我们可以维持社区目前所享有的信任和投资。

总结

可能有人会认为这些问题可以通过自律、自我纠正来改善。这个观点虽然是正确的,但是机器学习社区需要反复讨论如何构建合理的学术标准以实现这种自我修正。

文献原文地址:

https://www.dropbox.com/s/ao7c090p8bg1hk3/Lipton%20and%20Steinhardt%20-%20Troubling%20Trends%20in%20Machine%20Learning%20Scholarship.pdf?dl=0

参考文献:

[1]Drew McDermott.Artificial Intelligence meets natural stupidity. ACM SIGART Bulletin,(57):4-9,1976.

[2]Timothy G Armstrong, Alistair Moffat, William Webber, and Justin Zobel. Improvements that don’t add up: ad-hoc retrieval results since 1998. In Proceedings of the 18th ACM conference on Information and knowledge management. ACM, 2009.

[3]Paul R Cohen and Adele E Howe. How evaluation guides ai research: The message still counts more than the medium. AI magazine , 9(4):35, 1988.

[4]RE Korf. Does deep blue use articial intelligence? ICGA Journal , 20(4):243{245, 1997.

[5]Leon Bottou and Olivier Bousquet. The tradeos of large scale learning. In Advances in neural information processing systems (NIPS) , 2008.

[6]John Duchi, Elad Hazan, and Yoram Singer. Adaptive subgradient methods for online learning and stochastic optimization. Journal of Machine Learning Research (JMLR) , 12(Jul), 2011.

[7]Yoav Freund and Robert E Schapire. A decision-theoretic generalization of on-line learning and an application to boosting. Journal of computer and system sciences , 55(1):119{139, 1997.

[8]James Bergstra and Yoshua Bengio. Random search for hyper-parameter optimization. Journal of Machine Learning Research (JMLR) , 13(Feb), 2012.

[9]Xavier Glorot and Yoshua Bengio. Understanding the diculty of training deep feedforward neural networks. In International conference on articial intelligence and statistics (AISTATS) ,2010.

[10]Kevin Jarrett, Koray Kavukcuoglu, Yann LeCun, et al. What is the best multi-stage architecture for object recognition? In International Conference on Computer Vision (ICCV) . IEEE, 2009.

原文发布于微信公众号 - 新智元(AI_era)

原文发表时间:2018-07-13

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏PPV课数据科学社区

统计学经典书籍推荐

来源:CSDN ysuncn 博客、网络 统计学基础部分 1、《统计学》 David Freedman等著,魏宗舒,施锡铨等译 中国统计出版社 据说是统计思想...

31860
来自专栏AI科技大本营的专栏

癌症治疗新曙光:AI助力科学家更好地观察人类活体细胞

在微软联合创始人保罗·艾伦的资助下创立的艾伦细胞科学研究所(Allen Institute for Cell Science)最近公布了一项研究成果,利用卷积神...

14130
来自专栏机器学习算法与Python学习

经典机器学习书籍推荐

入门书单 《数学之美》 作者吴军大家都很熟悉。以极为通俗的语言讲述了数学在机器学习和自然语言处理等领域的应用。 《Programming Collective ...

91090
来自专栏PPV课数据科学社区

图表有陷阱,读图需谨慎!

无论你就职于哪个公司,每到年底你都免不了制作或处理一些图表。不管是个人总结、业绩表现还是财务报告,图表以其清晰直观的形式受到许多管理层的追捧。公司也逐渐开始将复...

31860
来自专栏新智元

【重磅】谷歌推出商用神经网络机器翻译系统,正确率最高87%(附论文)

来源:Google Research、Science 2016年10月18日, 世界人工智能大会技术分论坛,特设“新智元智库院长圆桌会议”,重量级研究院院长 7...

455100
来自专栏量子位

能把晦涩难懂的研究工作讲清楚,Distill就奖你10000美刀

Root 编译整理 量子位 出品 | 公众号 QbitAI 在机器学习研究圈里,大家可能都有这样的赶脚: 大部分从事机器学习研究的人,不太擅长写作,无法清晰地呈...

34360
来自专栏新智元

【CVPR智慧城市挑战赛】无监督交通异常检测,冠军团队技术分享

【新智元导读】“智能交通视频分析界的ImageNet竞赛”——英伟达城市挑战赛落下帷幕。新加坡松下研究院联合中科院自动化所,提出了一种双模态动静联合检测方案,在...

23200
来自专栏大数据文摘

AI超大事件丨从研究到应用,这是一份2017年AI领域的最全面总结

18530
来自专栏大数据文摘

机器也有品味:谷歌最新算法让街景图具有专业摄影师审美

17920
来自专栏PPV课数据科学社区

批评文:大数据,大安利

最近在社会上刮起一阵大数据的不正之风,本科生也敢拿着几个G的硬盘声称这些数据能解决某某疑难问题,让人联想起存满硬盘黄片的处男说这家伙老爽了。 虽然在社会科学领域...

31080

扫码关注云+社区

领取腾讯云代金券