关于梯度下降法的理解，梯度下降法是一个一阶最优化算法。要使用梯度下降法找到一个函数的局部极小值，必须向函数上当前点对应梯度（或者是近似梯度）的反方向的规定步长距离点进行迭代搜索。...,y
使函数z=f(x,y)取得最小值的x,y满足∂f(x,y)/∂x=0，∂f(x,y)/∂y=0
但∂f/∂x=0，∂f/∂y=0只是必要条件，且联立方程式不易求解，梯度下降法是一种替代方法
梯度下降法不直接求解方程...η(2x,2y)
2、x=1,y=2
3、(Δx,Δy)=-η(2,4) (η为正的微小常数)
梯度下降法及用法
1、从初始位置p0出发，利用公式求出最陡的坡度点p1
2、从p1出发，利用公式进一步求出最陡的坡度点...p2
3、反复利用公式，最终得以最快速度到达最小值点
梯度下降法推广到三个变量以上
设η为正的微小常数，变量x1,x2,...xn改变为x1+Δx1,x2+Δx2,...xn+Δxn,当满足以下关系式时...,,∂f/∂xn)
(Δx1,Δx2,...Δxn)=-η∇f(η为正的微小常数)
另Δx=(Δx1,Δx2,...Δxn)
则Δx=-η∇f
下一篇将通过python实现梯度下降法求值
