专栏首页中科院渣渣博肆僧一枚自适应线性神经网络(Adaline)

自适应线性神经网络(Adaline)

对比Rosenblatt

憋说话,先上图 -.-

Rosenblatt的计算模型

Rosenblatt

Adaline的计算模型

Adaline

找不同:激活函数用阶跃函数换成了连续型函数,用一个Quantizer函数进行类别预测

激活函数:用线性函数代替阶跃函数进行误差计算和权值更新 量化函数:类似Rosenblatt模型的激活函数,能预测对应输入的类别

梯度下降最小化代价函数

  • Adaline模型相比Rosenblatt模型,定义了代价函数(cost function),最小化代价函数是许多机器学习算法的主要思想。
  • Adaline模型中,代价函数用的是均方误差(Sum of Squared Errors :SSE)

Paste_Image.png

好处:可以微分,是凸函数 可以用梯度下降的方法找到均方误差最小的权值

寻找最小均方误差就像下山一样,每次算法循环都相当于下降一步,下降一步的歩幅取决于学习率,与图中的权值点的切线斜率相关

梯度下降示意图

每次权值逼近均方误差最小点的过程就是梯度下降(Gradient Descent)

Paste_Image.png

证明一下偏导函数计算方法

证明偏导函数计算方法

最终的权值更新公式如下

权值更新公式

Adaline算法是基于全部的训练数据,而感知器算法是每个样本都要计算一次误差,Adaline的处理方法有点像批处理的感觉。

Adaline的更新 self.w_[1:] += self.eta * X.T.dot(errors) Perceptron的更新 update = self.eta * (target - self.predict(xi))

学习率的影响和选择

学习率设置为0.01的时候,结果如左图,均方误差最小的点是第一个点,然后越来越大。当学习率设置为0.0001的时候,结果如右图,误差在逐渐减小,但是没有收敛的趋势。

对比学习率对于误差的影响

学习率设置,偏大偏小都会大幅降低算法效率。采取的方法是进行数据标准化(standardization)公式如下

标准化公式

经过标准化的数据,会体现出一些数学分布的特点。标准化后,我们再次使用0.01的学习率进行训练分类。

标准化后的误差收敛

最后的分类平面如下图

Adaline分类结果

# encoding:utf-8
__author__ = 'Matter'

import numpy as np

class AdalineGD(object):
    # 自适应线性神经网络:ADAptive LInear NEuron (Adaline)

    # --------  参数  --------#
    # 参数1   eta:float   学习率
    # 参数2   n_iter:int  循环次数
    # --------  属性  --------#
    # 属性1   w_:1d_array     拟合后权值
    # 属性2   errors_:list    每次迭代的错误分类

    # 初始化
    def __init__(self,eta=0.01,n_iter=10):
        self.eta = eta
        self.n_iter = n_iter

    # 训练模型
    def fit(self,X,y):
        self.w_ = np.zeros(1+X.shape[1])
        self.errors_ = []
        self.cost_ = []

        for i in range(self.n_iter):
            output = self.net_input(X)
            errors = (y-output)
            self.w_[1:] += self.eta * X.T.dot(errors)
            self.w_[0] += self.eta * errors.sum()
            cost = (errors ** 2).sum()/2.0
            self.cost_.append(cost)
        return self


    # 输入和权值的点积,即公式的z函数,图中的net_input
    def net_input(self,X):
        return np.dot(X,self.w_[1:]) + self.w_[0]

    # 线性激活函数
    def activation(self,X):
        return self.net_input(X)

    # 利用阶跃函数返回分类标签
    def predict(self,X):
        return np.where(self.activation(X)>=0.0,1,-1)

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 上下文管理协议(__enter__,__exit)

    原文链接:https://www.cnblogs.com/Meanwey/p/9898673.html

    于小勇
  • Pytorch的Sampler详解

    其原理是首先在初始化的时候拿到数据集data_source,之后在__iter__方法中首先得到一个和data_source一样长度的range可迭代器。每次只...

    于小勇
  • python使用moviepy模块对视频进行操作

    前段时间需要对多个视频进行合并,还需要对一个视频按需求进行截切成多个视频,然而网上虽然有现成的工具。

    于小勇
  • R-Breaker策略

    本文提供了一个用vn.py来编写R-breaker交易策略的示例。只提供一个参考模板,并不能直接进入市场进行交易。感谢‘爱谁谁’在维恩的派论坛里的分享!

    用Python的交易员
  • Leetcode 783. 二叉搜索树结点最小距离

    二叉搜索树属于有序树结构,一个可以利用的特点就是中序遍历可以得到有序数组,得到有序数组后遍历一次即可得到两节点最小差值。

    zhipingChen
  • iOS自动打开闪光灯

    czjwarrior
  • python_学生信息管理实例

    Mirror王宇阳
  • Python如何实现FTP功能

    到此这篇关于Python如何实现FTP功能的文章就介绍到这了,更多相关Python实现的简易FTP内容请搜索ZaLou.Cn

    砸漏
  • 从零开始再造打爆李世石的AlphaGo:快速构建棋盘和围棋规则

    从本节开始,我们废话少说,迅速进入代码编写阶段。对技术而言“做”永远是比“讲”更好的说,很多用语言讲不清楚的道理,看一下代码自然就明白了。我们要实现的围棋机器人...

    望月从良
  • 树莓派基础实验39:解析无线电接收机PWM、SBUS信号

      虽然如今或者将来,5G网络的建设带来人工智能和工业自动化的全面升级,生产活动中劳动力的需求大大减少,大量的劳动力将向内容生产行业和服务行业转移。教育、医疗、...

    张国平

扫码关注云+社区

领取腾讯云代金券