,其中η表示步长.该算法的直观解释是:当一个点被误分类,就调整w,b使分离超平面向该误分类点接近.感知机的解可以不同....改进的迭代尺度法(IIS):假设当前的参数向量是w,如果能找到一种方法w->w+δ使对数似然函数值变大,就可以重复使用这一方法,直到找到最大值.
逻辑斯谛回归常应用梯度下降法,牛顿法或拟牛顿法....函数间隔:一般来说,一个点距离分离超平面的远近可以表示分类预测的确信程度.在超平面
?...硬间隔最大化:对线性可分的训练集而言,这里的间隔最大化又称为硬间隔最大化.直观解释是对训练集找到几何间隔最大的超平面意味着以充分大的确信度对训练数据进行分类.求最大间隔分离超平面即约束最优化问题:
?...计算估计值与实际值之间的误差,并将该误差从输出层向输入层反向传播.
在反向传播的过程中,根据误差使用梯度下降与链式法则调整各种参数的值.
不断迭代直至收敛.