笔记|李宏毅老师机器学习课程，视频6梯度下降

这门课，共有36个视频，每个视频播放的时间不一。我按着视频播放的顺序，观看，聆听和学习，并结合讲义，做学习笔记。我做学习笔记目的有三：

1 帮助自己学习和理解机器学习

2 记录机器学习的重要知识、方法、原理和思想

3 为传播机器学习做点事情

视频6：梯度下降

一、回顾

机器学习框架第三步，解决如下优化问题。

利用梯度下降算法求解。

二、梯度下降算法

1 学习速率调整

学习速率是一个超参数，设置不同的值，对优化算法的收敛性有影响。

鉴于此，提出一种自适应学习速率算法

算法思想，如下图：

Adagrad，算法逻辑，如下图：

2 随机梯度下降算法

可以让训练速度更快，适合大数据场景。

算法的思想，如下图：

3 特征缩放

消除特征量纲带来的影响。

常用的特征缩放，采用Z-score方法，使得每个特征均值为0，标准差为1。

附录：随机梯度的数学原理

抛出问题

关于这个问题的回答以及随机梯度的数学原理，请大家点击阅读原文，观看课程视频，学习和理解。

思考题：

1 基于梯度下降算法的学习速率问题，有哪些改进算法？

2 梯度下降算法有全量式、随机式、批量式，这些各有什么差异和应用场景？

3 泰勒级数有什么作用？