专栏首页GiantPandaCV机器学习算法之感知机算法

机器学习算法之感知机算法

前言 感知机算法是一个比较古老的机器学习算法了,是Rosenblatt在1957年提出的,是神经网络和支持向量机的基础。感知机算法只能解决线性分类模型。 算法原理 1. 感知机算法的原始形式 感知机模型可以表示为:f(x)=sign(w*x+b) 其中w为权值,b为偏置,w * x表示内积,sign为符号函数。然后我们需要 建立误分类的损失函数,误分类点到超平面的总距离,损失函数是连续可导函数。损失函数表示为:

感知机算法的目标就是要最小化这个损失函数,使得误分类点个数为0,这也要求数据集是线性可分的。感知机算法的算法过程如下图所示: 感知机算法的目标就是要最小化这个损失函数,使得误分类点个数为0,这也要求数据集是线性可分的。感知机算法的算法过程如下图所示:

这个算法过程中的梯度更新比较难理解,需要推导一下,过程如下(从南瓜书截图):

然后从李航的《统计学习方法》中可以知道,如果数据集是线性可分的,那么感知算法一定会收敛,并且误分类次数是有上界的,有兴趣可以去看一下这个不等式推导。

2.感知机算法的对偶形式

代码实现

这里拿出iris数据集中的两个分类的数据,并以[sepal length,sepal width]作为特征,这里实现感知机算法的原始形式。实验代码如下:

#coding=utf-8
from sklearn.datasets import load_iris
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

# 加载鸢尾花数据集
iris = load_iris()
df = pd.DataFrame(iris.data, columns=iris.feature_names)
df['label'] = iris.target
# 行列数据标注
df.columns = ['sepal length', 'sepal width', 'petal length', 'petal width', 'label']
# print (df.label.value_counts())
print(df.head(10))

# 数据可视化
plt.scatter(df[:50]['sepal length'], df[:50]['sepal width'], c='red', label='0')
plt.scatter(df[50:100]['sepal length'], df[50:100]['sepal width'], c='blue', label='1')
plt.xlabel('sepal length')
plt.ylabel('sepal width')
#plt.show()

# 选择特征和标签
data = np.array(df.iloc[:100, [0, 1, -1]])
X, y = data[:, :-1], data[:, -1]
y = np.array([1 if i == 1 else -1 for i in y]) #将label中的0标签替换为-1

# 开始实现感知机算法

class Model:
    # 初始化
    def __init__(self):
        # 初始化权重
        self.w = np.ones(len(data[0]) - 1, dtype=np.float32)
        # 初始化偏执
        self.b = 0
        # 学习率
        self.l_rate = 0.1

    # 定义符号函数sign
    def sign(self, x, w, b):
        y = np.dot(x, w) + b
        return y

    # 随机梯度下降法
    def fit(self, X_train, y_train):
        is_wrong = False
        while not is_wrong:
            wrong_cnt = 0
            for i in range(len(X_train)):
                X = X_train[i]
                y = y_train[i]
                if (y * self.sign(X, self.w, self.b) <= 0):
                    # 更新权重
                    self.w = self.w + self.l_rate * np.dot(y, X)
                    # 更新步长
                    self.b = self.b + self.l_rate * y
                    wrong_cnt += 1
            if(wrong_cnt == 0):
                is_wrong  = True

        return 'Perceptron Model!'

    def score(self):
        pass


# 开始调用感知机模型
perceptron = Model()
perceptron.fit(X, y)
# 可视化超平面
x_points = np.linspace(4, 7, 10)
# 误分类点到超平面的距离
y_ = -(perceptron.w[0] * x_points + perceptron.b) / perceptron.w[1]
plt.plot(x_points, y_)
plt.scatter(df[:50]['sepal length'], df[:50]['sepal width'], c='red', label='0')
plt.scatter(df[50:100]['sepal length'], df[50:100]['sepal width'], c='blue', label='1')
plt.xlabel('sepal length')
plt.ylabel('sepal width')
plt.show()

结果图

后记

可以看到数据已经被学习到的直线完全分开了,说明我们的感知机算法在线性分类问题中的有效性。我的github源码链接:https://github.com/BBuf/machine-learning

本文分享自微信公众号 - GiantPandaCV(BBuf233),作者:BBuf

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-10-29

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 解析 Vision Transformer

    【GiantPandaCV导语】Vision Transformer将CV和NLP领域知识结合起来,对原始图片进行分块,展平成序列,输入进原始Transform...

    BBuf
  • 【神经网络搜索】Microsoft NNI 有关NAS的核心类

    【GiantPandaCV导语】本文介绍NNI PyTorch版实现神经网络过程搜索过程中的几个重要的类,比如LayerChoice和InputChoice,对...

    BBuf
  • 【从零开始学习YOLOv3】6. 模型构建中的YOLOLayer

    YOLOv3是一个单阶段的目标检测器,将目标划分为不同的grid,每个grid分配3个anchor作为先验框来进行匹配。首先读一下代码中关于grid创建的部分。

    BBuf
  • Flask(视图函数 四)

    zx钟
  • Django rest framework源码分析(3)----节流

    添加节流 自定义节流的方法  限制60s内只能访问3次 (1)API文件夹下面新建throttle.py,代码如下: # utils/throttle.py ...

    zhang_derek
  • 66. 加一

    Michel_Rolle
  • scrapy进阶开发(三):去重策略

    Meet相识
  • DeepDriving: Learning Affordance for Direct Perception inDriving

    http://blog.csdn.net/bcj296050240/article/details/53897535

    用户1908973
  • 给TableView添加背景

    iPhone SDK提供了默认的几个TableView样式,但是如果想提供更个性化的样式就需要自己定义。 比如添加背景

    EltonZheng
  • 大量蓝牙设备和系统将受加密漏洞CVE-2018-5383 影响

    近期,安全研究专家在某些蓝牙设备中发现了一个高危加密漏洞(CVE-2018-5383),未经验证的攻击者在物理接近目标设备后,这个漏洞将允许他们拦截、监控或篡改...

    FB客服

扫码关注云+社区

领取腾讯云代金券