人生有几万种生活方式,也有远近快慢的优化路线,就像下面这些炫酷的图,伟大的数学家是如何找到最高效的最优化路线呢?
为了玩好这个“最优化”的游戏,成为最棒的“调参师”,数学知识、特别是梯度分析与回归建模尤其重要。
我们会定义一个“损失函数”来评估差距,梯度是指引着我们最小化差距的“方向”。
如何更高效找到这个最小化差距的“方向”?
想系统了解关于剃度的点点滴滴吗?
1、线性回归建模
房子的面积和价格,两者的关系是什么?
房子的价格,所涉及的因素很多,
房子几室和地段都会决定价格,机器学习中叫做特征或者属性,
历史数据,梯度优化,回归建模,曲线拟合。
根据历史数据对未来进行预测,给机器装上大脑,这就是机器学习要干的最重要的事情之一。
有些规律我们事先并不知道,但不代表它不客观存在。当我们把这个潜在的客观规律找出来,就是regression(回归、追溯)。找出这个规律后,当未来再有新数据进来时,就可以利用这个规律进行预测了。
2、梯度分析
怎么找潜在的规律?需要数学!讨论一个函数的局部最小值和全局最小值。
梯度是什么?复杂函数很难找到全局最小值,无需纠结,但是美丽的凸函数会是个例外。
深度下降法为何选择负梯度方向?它在泰勒级数一阶项下是最优方向,但从更高的视角看,它还会是最优吗?所谓不识庐山真面目,只缘生在此山中。
3、线性回归求解
通过回归实例,可以管中窥豹机器学习如何找到规律的,深度下降法是如何开始发挥威力的。
当然,“梯度”的概念只是深度学习所涉及的数学知识的一小部分,如果您打算从事机器学习相关工作,扎实的数学基础必不可少。