首页
学习
活动
专区
工具
TVP
发布

机器学习数学补脑汁(五)-最优化基础

先说两个历史故事,我原本以为是中国澳门,结果是听错了:

根据明朝张燮的《东西洋考》及《明史·吕宋传》记载,十六世纪,西班牙人来到菲律宾,他们送给吕宋国王厚礼,要求得到一张牛皮大的地方,国王不察,痛快地答应了。于是,西班牙人把一张牛皮剪成极细的皮条,连接起来,围进了不小的一块土地,站稳脚跟后,终于“杀其王,逐其民入山”,把菲律宾变成了殖民地。

清人余文仪的《台湾府志》记载,荷兰人侵入我国台湾(中国台湾省),也是用的这个手段。他们谎称“得一牛皮也足矣,多金不惜”,然后,“剪牛皮如缕……筑台湾城居之”

这就是niubility的“最优化”啊!

最优化就是“在一定的约束条件下, 求目标函数的最优值” ,包括 约束、决策和目标三个要素。

写成数学表达式为:

如上例所示:

a、约束就是一张牛皮

b、目标就是最大化圈地面积

c、我们需要决策出一个方案。

生活中大多数的问题都是最优化问题,比如如何配置人力、资源、如何在自身条件约束下,购置一套最好的房子、如何报考志愿、如何利用有限时间快速增肌等等等等;

在机器学习中大多数的问题也都可以归结为最优化问题,比如logistic回归和神经网络,都是调整模型参数,使得损失函数最小,得到参数的最优值;SVM中,调整模型参数,使得划分超平面距离两个类边缘的间隔最大,即得到模型的最优解。包括前面讲的最小二乘也是寻找最优化解的一种方式。

常用机器学习算法使用最优化情况如下:

此外,需要注意的是,最小化目标函数并不是机器学习的最终目标。机器学习的最终目标是 generalization(泛化性,也就是在未知样本上的表现),比如优化过程中在还没有达到收敛就停止的所谓 early stopping 有被证明是等价于对模型做 regularization(正则化)。

后续会对最优化进行系列学习,并将核心点以推文方式记录。

包括基本的概念和机器学习中常用的优化方法

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20180810G19ORW00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券