随机梯度下降(Stochastic gradient descent)和 批量梯度下降(Batch gradient descent )

系数比之前多了一个分母m
批量梯度下降法,同上一篇方法,下面看随机梯度法,随机梯度通过一个样本更新所有w,类似笔记一
import pandas as pd
import numpy as np
import matplotlib
import matplotlib.pyplot as plt

df = pd.read_csv('https://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.data', header=None)
y = df.iloc[0:100, 4].values
y = np.where(y=='Iris-setosa',1,-1)
x = df.iloc[0:100, [0,2]].values

x_std = np.copy(x)
x_std[:, 0] = (x[:,0]-x[:,0].mean())/x[:,0].std()
x_std[:, 1] = (x[:,1]-x[:,1].mean())/x[:,1].std()

class Perceptron():
    def __init__(self, eta, X, Y, N):
        self.eta = eta
        self.X = X
        self.Y = Y
        self.N = N
        self.w = [0]*len(X[0])
        self.w0 = 0
        self.m = len(X)
        self.n = len(X[0])
    def _shuffle(self, X, y):
        """Shuffle training data"""
        r = np.random.permutation(len(y))
        return X[r], y[r]
    def output_y(self, x):
        z = np.dot(x,self.w)+self.w0
        return z
    def training(self):
        self.errors = []
        for times in xrange(self.N):
            error = 0
            self.X, self.Y = self._shuffle(self.X, self.Y)
            for i in xrange(self.m):
                delta_y = self.Y[i]-self.output_y(self.X[i])
                error += 0.5*delta_y**2
                self.w0 += self.eta*delta_y
                self.w += self.eta*delta_y*self.X[i]
            self.errors.append(error/self.m)
            
per = Perceptron(0.01, x_std, y, 16)

per.training()

print per.w0,per.w

def f(x, y):
    z = per.w0+np.dot(per.w,zip(x,y))
    z = np.where(z>0,1,-1)
    return z

n = 200

mx = np.linspace(-3, 3, n)
my = np.linspace(-2, 2, n)
# 生成网格数据
X, Y = np.meshgrid(mx, my)
fig, axes = plt.subplots(1,2)
axes0, axes1 = axes.flatten()
axes0.plot(per.errors, marker='o')
axes0.set_title('errors')
axes1.contourf(X, Y, f(X, Y), 2, alpha = 0.75, cmap = plt.cm.RdBu)
axes1.scatter(x_std[:,0][0:50], x_std[:, 1][0:50],s=80,edgecolors='r', marker='o')
axes1.scatter(x_std[:,0][50:100], x_std[:, 1][50:100], marker='x', color='g')
axes1.annotate(r'versicolor',xy=(5.5,4.5),xytext=(4.5,5.5),arrowprops=dict(arrowstyle='->', facecolor='blue'))
axes1.annotate(r'setosa',xy=(5.8,2),xytext=(6.5,3),arrowprops=dict(arrowstyle='->', facecolor='blue'))
fig.set_size_inches(12.5, 7.5)

plt.subplots_adjust(left=0.01, right= 0.9, bottom=0.1, top=0.5)
plt.show()

[5]:http://latex.codecogs.com/gif.latex?\mathbf{J(w)}=\frac{1}{2m}\sum{(y{(i)}-\phi(z{(i)}))}^2

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏ATYUN订阅号

智能主题检测与无监督机器学习:识别颜色教程

介绍 人工智能学习通常由两种主要方法组成:监督学习和无监督的学习。监督学习包括使用现有的训练集,这种训练集由预先标记的分类数据列组成。机器学习算法会发现数据的...

55240
来自专栏宏伦工作室

动手实现notMNIST数据集图片分类

21130
来自专栏杨熹的专栏

TensorFlow-10-基于 LSTM 建立一个语言模型

今日资料: https://www.tensorflow.org/tutorials/recurrent 中文版: http://wiki.jikexue...

55760
来自专栏数据小魔方

机器学习笔记——数据集分割

在模型训练之前,要首先划分训练集与测试集,如何对原始数据集进行训练集与测试集的划分?训练集与测试集的比例各占多少?如何保证各自内部标签分布平衡都会影响模型训练的...

27430
来自专栏深度学习之tensorflow实战篇

SVM:利用sklearn 实现SVM分类 相关参数说明ING

scv 函数 class sklearn.svm.SVC(C=1.0, kernel=’rbf’, degree=3, gamma=’auto’, coef0...

31370
来自专栏WD学习记录

层次softmax

将输入层中的词和词组构成特征向量,再将特征向量通过线性变换映射到隐藏层,隐藏层通过求解最大似然函数,然后根据每个类别的权重和模型参数构建Huffman树,将Hu...

18820
来自专栏磐创AI技术团队的专栏

实用 | 分享一个决策树可视化工具

【磐创AI导读】:这篇文章希望跟大家分享一个可视化决策树或者随机森林的工具。这可以帮助我们更好的去理解或解释我们的模型。想要获取更多的机器学习、深度学习资源。欢...

25210
来自专栏xingoo, 一个梦想做发明家的程序员

Spark机器学习——模型选择与参数调优之交叉验证

spark 模型选择与超参调优 机器学习可以简单的归纳为 通过数据训练y = f(x) 的过程,因此定义完训练模型之后,就需要考虑如何选择最终我们认为最优的模...

51460
来自专栏Python小屋

Python扩展库scipy.misc中图像转换成pillow图像

众所周知,在数字图像处理领域中有很多基准测试图像,这些图像用来作为科研人员PK自己的算法时的参考,给大家提供一个公平的样本,针对同一个问题进行处理时,可以用这些...

33150
来自专栏和蔼的张星的图像处理专栏

7.SSD目标检测之一:运行SSD模型

需要在跟踪模型的前面把检测模型加进去,传统使用一些背景建模和轨迹建模的方式来做,对于动摄像头以及复杂背景的适应性都比较差,所以考虑用深度学习的方法来做。我以前也...

35220

扫码关注云+社区

领取腾讯云代金券