年度回顾：各类监督方法流行趋势分析

机器学习领域在过去几十年中经历了巨大的变化，不可否认的是，虽然有些方法已经存在了很长时间，但仍然是该领域的主要内容。例如，最小二乘法（ least squares）的概念在19世纪早期由勒让德和高斯提出，最基本的形式的神经网络（ neural networks）早在1958年就引入的，并在过去的几十年中大幅提升、支持向量机（SVM）等方法则更是较新的方法，这些方法仍然占据了机器学习领域应用中的半壁江山。 随着科研的进行，有大量可用的监督学习方法被发明。使用者通常会提出以下问题：什么是最好的模型？众所周知，这个问题没有标准答案，因为模型的有用性取决于手头的数据以及具体处理的问题，合适的就是最好的。那么，可以转换下思路，换成这个问题：最受欢迎的模型是什么？这将是本文的关注点。

衡量机器学习模型的流行程度

出于本文的目的，使用频率论方法定义流行度。更确切地说，将使用提及个人监督学习模型的科学出版物的数量表示受欢迎的程度。当然，这种方法有一些限制：

• 可能有比出版物数量更准确的表示方法；
• 分析受所使用的搜索术语的影响；
• 文献数据库并不完美；

因此，对于这篇文章进行了两次分析。第一个分析是对出版频率的纵向分析，而第二个分析则比较了不同领域与机器学习模型相关的出版物总数。 在第一次分析中，通过从谷歌学术搜索中搜索数据来确定出版物的数量，该数据考虑出版物的标题和摘要。为了确定与个人监督学习方法相关的出版物数量，统计1950年至2017年期间谷歌学术搜索的点击次数。由于抓取谷歌学术的数据非常困难，所以本文参考ScrapeHero提供的有用建议来收集数据。 在分析中包含了13种监督方法：神经网络、深度学习、SVM、随机森林、决策树、线性回归、逻辑回归、泊松回归、岭回归、套索回归（ lasso regression）、k-最近邻、线性判别分析、以及对数线性模型。其中，对于套索回归，搜索时考虑了 lasso regression和套lasso model ；对于最近邻方法，搜索时术语有k-nearest neighbor和k-nearest neighbour，得到的数据集表示从1950年到现在，每个监督模型相关的出版物的数量。

从1950年到现在使用的监督模型

为了分析纵向数据，将时间段划分为两个时期：机器学习的早期阶段（1950年至1980年），几乎没有可用模型；以及形成时期（1980年至今），开发了许多新模型。

早期：线性回归占优势

图1 早期机器学习时期

从图1中可以看出，线性回归是1950年至1980年间的主导方法。相比之下，科学文献中极少提及其他机器学习模型。然而，从20世纪60年代开始，可以看到神经网络和决策树的普及开始增长。此外，还可以看到逻辑回归尚未广泛应用，在20世纪70年代末的数量仅略有增加。

图2 形成机器学习时期

形成年代：神经网络的多样化和兴起

图2表明，从20世纪80年代后期开始，出版物中提到的监督模型变得更加多样化。重要的是，文献中提到的机器学习模型的比率一直稳步增加，直到2013年。该图具体显示了线性回归、逻辑回归和神经网络的普及。正如之前所见，线性回归在1980年之前已经流行。然而，从1980年开始，神经网络和逻辑回归的普及开始迅速增长。虽然逻辑回归的流行度在2010年达到顶峰，该方法几乎变得像线性回归一样受欢迎，但近年来，神经网络和深度学习的流行程度甚至超过了2015年线性回归的流行程度。 神经网络已经变得非常受欢迎，因为它们已经在机器学习应用方面取得了突破，例如图像识别（ImageNet，2012）、人脸识别（DeepFace，2014）和游戏（AlphaGo，2016）等。来自谷歌学术的数据表明，文章中提到神经网络的频率在过去几年中略有下降（图2中未显示）。这可能是因为术语深度学习（多层神经网络）在某种程度上取代了术语神经网络的使用。 另外可以看到，稍微不那么受欢迎的监督方法是决策树和SVM。与前三种方法相比，提到这些方法的频率明显较小。另一方面，文献中提到这些方法的频率似乎也有较小的波动。值得注意的是，决策树和SVM的流行度都没有下降。在决策树和SVM之间，SVM似乎表现出更有利的增长趋势，因为SVM在发明后仅仅15年就成功超越了决策树。

不同领域的监督学习模型的受欢迎程度

在第二个分析中，想调查不同的领域是否依赖于不同的机器学习技术。为此，查询了三个科学出版物库：谷歌学术出版物、计算机科学出版物的dblp和生物医学科学出版物的PubMed。在三个库中统计了13个机器学习模型的命中频率。结果如图3所示。

图3 机器学习领域

图3表明，许多方法对各个领域都非常具体，下面分析每个领域中最流行的模型。

整体使用监督学习模型

根据谷歌学术搜索表明，最常用的五种监督模型如下所示：

• 线性回归： 3,580,000（34.3％）篇论文；
• 逻辑回归：2,330,000（22.3％）篇论文；
• 神经网络： 1,750,000（16.8％）篇论文；
• 决策树： 875,000（8.4％）份论文；
• 支持向量机：684,000（6.6％）篇论文；

总体而言，线性模型显然占主导地位，占监督模型的统计率的50％以上。单非线性方法并不落后：神经网络占所有论文的16.8％，其次是决策树（8.4％的论文）和SVM（6.6％的论文）。

在生物医学科学中使用模型

根据PubMed，在生物医学科学中，最受欢迎的五种机器学习模型如下所示：

• 逻辑回归： 229,956（54.5％）篇论文；
• 线性回归： 84,850（20.1％）篇论文；
• Cox回归： 38,801（9.2％）篇论文；
• 神经网络： 23,883（5.7％）篇论文；
• 泊松回归： 12,978（3.1％）篇论文；

在生物医学科学中，可以看到与线性模型相关的提及次数偏多：五种最流行的方法中有四种是线性的，这可能是由于两个原因造成的。首先，在医疗环境中，样本数量通常太小，无法拟合复杂的非线性模型。其次，模型解释结果的能力对医疗应用至关重要。由于非线性方法通常难以解释，因此它们不太适合医疗应用。

逻辑回归在PubMed数据库中的流行可能是由于大量出版物的临床研究。在这些研究中，通常使用逻辑回归分析分类结果（即治疗成功），因为它非常适合于解释特征对结果的影响。Cox回归在PubMed数据库中也非常流行，因为它常用于分析Kaplan-Meier生存数据。

在计算机科学中使用的模型

从dblp中检索到，计算机科学书目中最受欢迎的五个模型是：

• 神经网络： 63,695（68.3％）篇论文；
• 深度学习： 10,157（10.9％）篇论文；
• 支持向量机： 7,750（8.1％）篇论文；
• 决策树： 4,074（4.4％）篇论文；
• 最近邻居： 3,839（2.1％）篇论文；

计算机科学出版物中提到的机器学习模型的分布是截然不同的：大多数出版物似乎都涉及最近的非线性方法（例如神经网络、深度学习和支持向量机），如果将深度学习算作神经网络的一种，则超过四分之三的检索计算机科学出版物都涉及神经网络。

行业之间的差别

图4 不同领域的ML模型类型

图4总结了文献中提到的参数和非参数模型的百分比。柱形图表明，在机器学习研究中调查的模型（计算机科学出版物）和应用的模型类型（生物医学和整体出版物）之间存在很大差异。虽然超过90％的计算机科学出版物涉及非参数模型，但大约90％的生物医学出版物涉及参数模型，这表明机器学习研究主要集中在最先进的方法，如深度神经网络，而机器学习的用户往往依赖于更多可解释的参数模型，如逻辑回归等。

总结

对科学文献中有监督学习模型的流行度分析表明了人工神经网络的受欢迎程度。但是，也看到不同的领域使用不同类型的机器学习模型。特别是生物医学科学的研究人员仍然严重依赖参数模型，但这种情况逐渐在发生改变，随着可解释模型的研究更加深入，更复杂的模型一定会在生物医学领域得到广泛应用。