首页
学习
活动
专区
工具
TVP
发布

AI数学基础-最优化方法

在学习AI机器学习中,

找到最优的拟合参数是模型确定的最终目的,

本文列举AI中需要弄懂的最优化算法以及其wiki地址,供大家收藏学习翻阅。

优化方法简介

数学优化:在数学,计算机科学和运筹学,数学优化数学规划,是从一些可用的替代方案中选择最佳元素。

https://en.wikipedia.org/wiki/Mathematical_optimization

损失函数:在数学优化,统计学,计量经济学,决策理论,机器学习和计算神经科学中,损失函数成本函数是将一个或多个变量的事件映射到实数上的函数,该实数直观地表示与该数据相关联的一些“成本”。

https://en.wikipedia.org/wiki/Loss_function

正则化:在数学,统计学和计算机科学中,特别是在机器学习和反问题领域,正规化是引入附加信息以解决不适定问题或防止过度拟合的过程。

https://en.wikipedia.org/wiki/Regularization_(mathematics)

梯度下降法

梯度下降法:梯度下降是用于找到函数最小值的一阶迭代优化算法。为了使用梯度下降找到函数的局部最小值,需要采用与当前点处函数的梯度(或近似梯度)的负值成比例的步长。

https://en.wikipedia.org/wiki/Gradient_descent

共轭梯度法

共轭梯度法:在数学中,共轭梯度法是一个算法的数值解特定的线性方程组,即那些矩阵是对称和正定的

https://en.wikipedia.org/wiki/Conjugate_gradient_method

牛顿法

牛顿法:在微积分中,牛顿方法是一种迭代方法,用于求出可微函数f的根,它是方程f(x)= 0的解。更具体地说,在优化中,牛顿方法应用于两次可微函数f的导数f',以找到导数的根(f'(x)= 0的解),也称为f的平稳点。

https://en.wikipedia.org/wiki/Newton%27s_method_in_optimization

拟牛顿法

拟牛顿法:拟牛顿方法是用于找到零或局部最大值和函数最小值的方法,作为牛顿方法的替代方法。如果Jacobian或Hessian不可用或者在每次迭代时计算成本太高,则可以使用它们。“完全”的牛顿方法需要雅可比行列式才能搜索零,或者需要Hessian才能找到极值。

https://en.wikipedia.org/wiki/Quasi-Newton_method

约束非线性优化

拉格朗日乘子法:在数学优化中,拉格朗日乘子方法(以约瑟夫- 路易斯拉格朗日命名)是一种策略,用于找到受到等式约束函数的局部极大值和极小值(即,受一个或多个方程具有的条件的影响)。

https://en.wikipedia.org/wiki/Lagrange_multiplier

对偶优化:在数学优化理论中,对偶性对偶性原则是优化问题可以从两个角度来看的原则,即原始问题对偶问题。双重问题的解决方案提供了对原始(最小化)问题的解决方案的下限。一般而言,原始和对偶问题的最佳值不必相等。它们的差异被称为对偶差距。对于凸优化问题,在约束条件下,对偶间隙为零。

https://en.wikipedia.org/wiki/Duality_(optimization)

KKT条件

KKT条件:在优化理论中,KKT条件是非线性规划(nonlinear programming)最佳解的必要条件。KKT条件将lagrange乘数法(Lagrange multipliers)中的等式约束优化问题推广至不等式约束。

https://en.wikipedia.org/wiki/Karush%E2%80%93Kuhn%E2%80%93Tucker_conditions

机器学习界网红书

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20181209G0UYYB00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券