问人工智能的最新优化技术是什么？

EN

您正在寻求一种技术的建议，与其他方法相比，这种技术将提供最好的结果，这很难先验地说，因为它将取决于您的特定特性和数据集，并将由不同算法的尝试和错误以及比较来指导(这也与不免费午餐定理有关，参见这里的一些讨论)。然而，人工智能中无疑有许多优化技术的进步。在这个答案中，我将讨论我所知道的问题。

最近有几个不错的进展，在优化模型中出现了新的观点，开发了经典的问题机器学习。这些作品由著名的运筹学学者Dimitris Bertsimas出版。例如，参见此链接。例如，我发现列表中的以下出版物是非常有趣和有希望的(您可以在最后一个链接中找到免费的PDF版本)：

1. Bertsimas，D.，King，A. & Mazumder，R. (2016)。最佳子集选择通过现代优化镜头。统计年鉴，44(2)，813-852。

在本文中，作者提出了一种求解最佳子集选择问题的混合整数优化方法(即从线性回归的一个较大集合中选择一个特征子集，并给出一组观测数据)。通常使用Lasso技术，但在几个计算实验中，它的性能优于该方法。此外，这一新理论发展了证明所要求的解确实是最优(或接近最优)的准则，而用启发式方法是不可能的。

1. Bertsimas，D. & Dunn，J. (2017)。最优分类树机器学习，106(7)，1039-1082.

在这种情况下，我引用了以下摘要：

最先进的决策树方法递归地应用启发式方法来孤立地创建每个拆分，这可能无法很好地捕捉数据集的基本特征。最优决策树问题试图通过立即创建整个决策树来解决这一问题，以实现全局最优性。在过去的25年中，整数优化算法的进步，再加上硬件的改进，使得混合整数优化(MIO)中的8千亿倍加速令人吃惊。在此基础上，我们提出了最优分类树，利用现代MIO技术，提出了一种新的决策树问题，为轴向分裂产生了最优决策树。我们还证明了这一MIO公式的丰富性，并将其应用于给出具有超平面的最优分类树，从而生成具有多变量分裂的最优决策树。(...)我们在UCI机器学习存储库的53个数据集的样本上对这些方法进行了全面的基准测试。我们建立了这些MIO方法在1000 s的真实世界数据集上的实际可解性，并给出了单变量和多变量情形下CART的样本外精度平均绝对提高1%-2%和3-5%。此外，我们还发现，在购物车精度高且有足够的训练数据的情况下，最优分类树的性能可能比CART高1.2%-1.3%，而当购物车的精度或数据集的维数较低时，多变量分类树的性能比CART高4%-7%。

在他们的计算实验中，该模型的性能甚至超过了随机森林和XGBoost，如贝特西马斯今年早些时候所作的演讲的幻灯片29/41所示。这是相当令人印象深刻的，因为这些算法是卡格尔中最常用的解决方案之一(例如，此链接和这一个)。

1. Bertsimas，D. & King，A. (2017)。Logistic回归:从艺术到科学。统计科学，32(3)，367-384。

这种情况类似于第一种情况，但用于logistic回归而不是决策树。他们再次实现了新的算法来训练一个经典的机器学习模型，获得高质量的解决方案以及近乎最优的保证。

除了这一项工作外，大规模凸优化是另一个引起广泛关注的领域。大数据和机器学习/深度学习的应用推动了新算法和理论的发展，以在这个新的contetxt中实现可扩展和高效的解决方案。见Bottou，L.，Curtis，F. E.，& Nocedal，J. (2018)。大型机器学习的优化方法。“暹罗评论”，60(2)，223-311。

我提到的所有进展都是最近的，所以不要指望能够访问可用的、可伸缩的库来使用这些库。因此，它们对于特定项目的有用性将取决于(1)项目的范围(研究或更短期的目标？)，(2)数据集的大小，以及(3)工作和交付解决方案的可用时间。