补充:导数和微分的区别
导数是函数在某一点处的斜率,是Δy和Δx的比值;而微分是指函数在某一点处的切线在横坐标取得增量Δx以后,纵坐标取得的增量,一般表示为dy。
...梯度就是由微分结果组成的向量,令
?
有
?
那么,函数f(x,y,z)在(1,2,3)处的微分为
?
因此,函数f(x,y,z)在(1,2,3)处的梯度为(6,11,6)。
...梯度是一个向量,对于一元函数,梯度就是该点处的导数,表示切线的斜率。对于多元函数,梯度的方向就是函数在该点上升最快的方向。
梯度下降法就是每次都寻找梯度的反方向,这样就能到达局部的最低点。
...代价函数有下面几个性质:
对于每种算法来说,代价函数不是唯一的;
代价函数是参数θ的函数;
总的代价函数J(θ)可以用来评价模型的好坏,代价函数越小说明模型和参数越符合训练样本(x, y);
J(θ)是一个标量...Axes3D
x = np.linspace(-3.1,3.1,300)
y = np.linspace(-3.1,3.1,300)
x,y = np.meshgrid(x, y)
z = x**2