机器学习如何才能避免“只是调参数”？

重磅干货，第一时间送达

前戏

每天逛知乎的Amusi，前几天看到一个很接地气的话题：机器学习如何才能避免「只是调参数」？这个问题，相信揭露了很多CVers的痛点。Amusi 也想起前段时间找工作的时候，被问到了类似的问题。

下面看看知乎大佬们怎么解答的~学习学习经验

知乎高质量回答

话题链接：

https://www.zhihu.com/question/264528062

1）作者：Nemo

https://www.zhihu.com/question/264528062/answer/282177677

我觉得NIPS2017 那位“无人问津”的图灵奖得主Judea Pearl 的invited talk的结论可以回答几乎所有机器学习问题。这张图我打算用到天荒地老。

@阳佳一 翻译：

1.无理论模型指导的AI实践在处理认知任务时，存在天然局限。

2.上述7个案例，对比了有无理论模型的情况下，我们能解决的与受限制的事情。这些限制与数据量大小无关，不是靠提高数据量能解决的。（暗示需要理论模型进一步发展）

3.数据科学仅当其能促进对数据的合理解读时才能被称为所谓科学，（暗示不能解读却很有效的东西只不过是炼金术信仰）。数据永远是为现实服务的，数据科学总要平衡模型在数据集上的表现与对现实世界的解读这两者之间的关系。（暗示后者更重要）

4.背后缺少对现实世界合理建模的数据科学，姑且能称之为“统计”吧，但不可能是一门科学。

5.以当前这些毫无理论模型指导的机器学习之莽，根本不可能创造出同等于人类水平的AI。

2）作者：小赖sqLai

https://www.zhihu.com/question/264528062/answer/289397713

对于初学者来说，调参是一个很关键的工作。在调参中，会发现某些结果性能会好，有些会不好，然后慢慢就总结成规律了，规律性的东西去探究原理，往往能找到一些比较本质的东西，就会出一些好论文，resnet也就是kaiming在调参过程中慢慢总结出来的。

另外，当你把这些规律换到其他领域，有时候又不能work了，你又可以去深入思考到底是什么情况下会导致不work，是否有更通用的规律，这样就会发现更本质的一些东西。

做科研，一方面是为了验证想法，另一方面就是在验证想法的过程中去探究一些本质性的工作。无论ai领域调参也好，还是几个劝退学科过柱子杀白鼠也好，仔细思考这些过程，远比写论文有意思多了。

3）作者：匿名

调参不可怕，可怕的是对参数背后的原因不关心，不在乎。“调参”和“调参”是不一样的。^-^