自适应线性神经网络（Adaline）
对比Rosenblatt
憋说话，先上图 -.-
Rosenblatt的计算模型
Rosenblatt
Adaline的计算模型
Adaline
找不同：激活函数用阶跃函数换成了连续型函数，用一个Quantizer函数进行类别预测
激活函数：用线性函数代替阶跃函数进行误差计算和权值更新 量化函数：类似Rosenblatt模型的激活函数，能预测对应输入的类别
梯度下降最小化代价函数
- Adaline模型相比Rosenblatt模型，定义了代价函数（cost function），最小化代价函数是许多机器学习算法的主要思想。
- Adaline模型中，代价函数用的是均方误差（Sum of Squared Errors ：SSE）
Paste_Image.png
好处：可以微分，是凸函数 可以用梯度下降的方法找到均方误差最小的权值
寻找最小均方误差就像下山一样，每次算法循环都相当于下降一步，下降一步的歩幅取决于学习率，与图中的权值点的切线斜率相关
梯度下降示意图
每次权值逼近均方误差最小点的过程就是梯度下降（Gradient Descent）
证明一下偏导函数计算方法
证明偏导函数计算方法
最终的权值更新公式如下
\Delta w_{j}=-\eta \frac{\partial J}{\partial w_{j}}=\mu \sum_{i}\left(y^{(i)}-\phi\left(z^{(i)}\right)\right) x_{j}^{(i)}
权值更新公式
Adaline算法是基于全部的训练数据，而感知器算法是每个样本都要计算一次误差，Adaline的处理方法有点像批处理的感觉。
Adaline的更新
self.w_[1:] += self.eta * X.T.dot(errors)Perceptron的更新update = self.eta * (target - self.predict(xi))
学习率的影响和选择
学习率设置为0.01的时候，结果如左图，均方误差最小的点是第一个点，然后越来越大。当学习率设置为0.0001的时候，结果如右图，误差在逐渐减小，但是没有收敛的趋势。
对比学习率对于误差的影响
学习率设置，偏大偏小都会大幅降低算法效率。采取的方法是进行数据标准化（standardization）公式如下
\boldsymbol{x}_{j}^{\prime}=\frac{\boldsymbol{x}_{j}-\mu_{j}}{\sigma_{j}}
标准化公式
经过标准化的数据，会体现出一些数学分布的特点。标准化后，我们再次使用0.01的学习率进行训练分类。
标准化后的误差收敛
最后的分类平面如下图
Adaline分类结果
# encoding:utf-8
__author__ = 'Matter'
import numpy as np
class AdalineGD(object):
# 自适应线性神经网络:ADAptive LInear NEuron (Adaline)
# -------- 参数 --------#
# 参数1 eta:float 学习率
# 参数2 n_iter:int 循环次数
# -------- 属性 --------#
# 属性1 w_:1d_array 拟合后权值
# 属性2 errors_:list 每次迭代的错误分类
# 初始化
def __init__(self,eta=0.01,n_iter=10):
self.eta = eta
self.n_iter = n_iter
# 训练模型
def fit(self,X,y):
self.w_ = np.zeros(1+X.shape[1])
self.errors_ = []
self.cost_ = []
for i in range(self.n_iter):
output = self.net_input(X)
errors = (y-output)
self.w_[1:] += self.eta * X.T.dot(errors)
self.w_[0] += self.eta * errors.sum()
cost = (errors ** 2).sum()/2.0
self.cost_.append(cost)
return self
# 输入和权值的点积,即公式的z函数,图中的net_input
def net_input(self,X):
return np.dot(X,self.w_[1:]) + self.w_[0]
# 线性激活函数
def activation(self,X):
return self.net_input(X)
# 利用阶跃函数返回分类标签
def predict(self,X):
return np.where(self.activation(X)>=0.0,1,-1)