先说两个历史故事,我原本以为是中国澳门,结果是听错了:
根据明朝张燮的《东西洋考》及《明史·吕宋传》记载,十六世纪,西班牙人来到菲律宾,他们送给吕宋国王厚礼,要求得到一张牛皮大的地方,国王不察,痛快地答应了。于是,西班牙人把一张牛皮剪成极细的皮条,连接起来,围进了不小的一块土地,站稳脚跟后,终于“杀其王,逐其民入山”,把菲律宾变成了殖民地。
清人余文仪的《台湾府志》记载,荷兰人侵入我国台湾(中国台湾省),也是用的这个手段。他们谎称“得一牛皮也足矣,多金不惜”,然后,“剪牛皮如缕……筑台湾城居之”
这就是niubility的“最优化”啊!
最优化就是“在一定的约束条件下, 求目标函数的最优值” ,包括 约束、决策和目标三个要素。
写成数学表达式为:
如上例所示:
a、约束就是一张牛皮
b、目标就是最大化圈地面积
c、我们需要决策出一个方案。
生活中大多数的问题都是最优化问题,比如如何配置人力、资源、如何在自身条件约束下,购置一套最好的房子、如何报考志愿、如何利用有限时间快速增肌等等等等;
在机器学习中大多数的问题也都可以归结为最优化问题,比如logistic回归和神经网络,都是调整模型参数,使得损失函数最小,得到参数的最优值;SVM中,调整模型参数,使得划分超平面距离两个类边缘的间隔最大,即得到模型的最优解。包括前面讲的最小二乘也是寻找最优化解的一种方式。
常用机器学习算法使用最优化情况如下:
此外,需要注意的是,最小化目标函数并不是机器学习的最终目标。机器学习的最终目标是 generalization(泛化性,也就是在未知样本上的表现),比如优化过程中在还没有达到收敛就停止的所谓 early stopping 有被证明是等价于对模型做 regularization(正则化)。
后续会对最优化进行系列学习,并将核心点以推文方式记录。
包括基本的概念和机器学习中常用的优化方法。
领取专属 10元无门槛券
私享最新 技术干货