👋👋欢迎来到👋👋 🎩魔术之家!!🎩 该文章收录专栏 ✨— 机器学习 —✨ 专栏内容 ✨— 【机器学习】浅谈正规方程法&梯度下降 —✨ ✨— 【机器学习】梯度下降之数据标准化 —✨ ✨— 【机器学习】logistic分类回归算法—✨ ✨— 第十届“泰迪杯“感谢学习总结—✨
在求解矩阵中,往往有很多很好的,经过高度优化的线性代数库,如octave,matlib,python numpy, c++,java.
我们使用这些线性代数库,可以短短几行实现 所要的效果。
阅读本文内容(需要一点点线性代数的知识)
例如 求公式:
我们可以通过循环每一个值来求 每一个i 所对应的结果,但此时循环的时间复杂度为O(n) , 我们可以把 \theta_i(i=1,2,3...n) 看为n 维的列向量,x_i 作为 n 维的列向量,则原公式即为求两个向量的内积 \theta^T*x_i 来求得方程,这样在numpy中仅仅需要一行代码。如下图(演示代码为octave(matlib开源版)
)
c++实现
(对梯度下降还不了解建议先食用文章:机器学习】浅谈正规方程法&梯度下降)
在梯度下降(Gradient descent)同步更新参数\theta_i(i=1,2,3...m)中
我们可以通过循环i 得到每个参数更新,但我们是否能用例子一的方法 简化呢,
如图:
我们将所求式子变为 向量之间的运行,\theta = \theta - \alpha * δ
(其中:
是一个实数,x_i 是特征维度的列向量)
此时参数 \theta_i 也能同步更新,符合要求
在面对,数据为百万级别,千万级别,或者特征为百万级别,特征级别,向量化计算对提高运算效率非常高效,比
for
循环要好用得多,这在机器学习中是非常常见的,一定要掌握