Logistic regression intuition and conditional probabilities使用sc-learn训练logistic regression 模型使用正则化(r

logit函数输入参与p属于(0,1),函数值为整个实数域,可以在特征值与逻辑比率之间建立线性关系

这里

样本x属于分类1的条件概率 现在如何去预测一个特定样本属于一个特定类的概率,转化一个函数形式,

注意这里是y=1的概率,后面算似然函数特别注意这点,这里y|x只有两个分类,y=1|x,y=0|x,P(y=0|x)=1-P(y=1|x),注意下面的处理手法,

似然函数

将问题转化一下,求lnL最大值,也就是求-lnL最小值,易知-lnL>0

为了更好掌握损失函数J(w),看一下单个样本的例子

y=1或者y=0

import matplotlib.pyplot as plt
import numpy as np
x = np.linspace(0.001, 0.999, 100)
plt.plot(x, -np.log(x),'b', label='y=1')
plt.plot(x, -np.log(1-x), 'r--', label='y=0')
plt.ylim(0, 5)
plt.xlim(0, 1)
plt.xlabel('$\phi(x)$')
plt.ylabel('$J(w)$')
plt.legend()
plt.show()

可以发现如果预测错误,损失函数将变的无穷大

使用sc-learn训练logistic regression 模型

from sklearn.linear_model import LogisticRegression
from sklearn.preprocessing import StandardScaler
from sklearn.cross_validation import train_test_split
import numpy as np
import matplotlib
from sklearn import datasets
import matplotlib.pyplot as plt
from sklearn.metrics import accuracy_score
from matplotlib.colors import ListedColormap
iris = datasets.load_iris()
# print iris
X = iris.data[:, [2, 3]]
y = iris.target
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=0)

sc = StandardScaler()
sc.fit(X_train)
X_train_std = sc.transform(X_train)
# 测试集做同样的标准化,就是对测试集做相同的平移伸缩操作
X_test_std = sc.transform(X_test)
'''sc.scale_标准差, sc.mean_平均值, sc.var_方差'''

lr = LogisticRegression(C=1000.0, random_state=0)
lr.fit(X_train_std, y_train)

# 预测
y_pred = lr.predict(X_test_std)

print('Misclassified samples: %d' % (y_test != y_pred).sum())
print('Accuracy: %.2f' % accuracy_score(y_test, y_pred))

x1_min, x1_max = X_train_std[:, 0].min() - 1, X_train_std[:, 0].max() + 1
x2_min, x2_max = X_train_std[:, 1].min() - 1, X_train_std[:, 1].max() + 1

resolution = 0.01
# xx1 X轴,每一个横都是x的分布,所以每一列元素一样,xx2 y轴 每一列y分布,所以每一横元素一样
xx1, xx2 = np.meshgrid(np.arange(x1_min, x1_max, resolution),np.arange(x2_min, x2_max, resolution))

# .ravel() 函数是将多维数组降位一维,注意是原数组的视图,转置之后成为两列元素
z = lr.predict(np.array([xx1.ravel(), xx2.ravel()]).T)
'''
contourf画登高线函数要求 *X* and *Y* must both be 2-D with the same shape as *Z*, or they
    must both be 1-D such that ``len(X)`` is the number of columns in
    *Z* and ``len(Y)`` is the number of rows in *Z*.
'''
# z形状要做调整
z = z.reshape(xx1.shape)

# 填充等高线的颜色, 8是等高线分为几部分
markers = ('s', 'x', 'o', '^', 'v')
colors = ('red', 'blue', 'lightgreen', 'gray', 'cyan')
cmap = ListedColormap(colors[:len(np.unique(y))])

for i, value in enumerate(np.unique(y)):
    temp = X_train_std[np.where(y_train==value)]
    plt.scatter(x=temp[:,0],y=temp[:,1], marker=markers[value],s=69, c=colors[value], label=value)

plt.scatter(x=X_test_std[:, 0],y=X_test_std[:,1], marker= 'o',s=69, c='none', edgecolors='r', label='test test')

plt.xlim(xx1.min(), xx1.max())
plt.ylim(xx2.min(), xx2.max())
plt.xlabel('petal length [standardized]')
plt.ylabel('petal width [standardized]')
plt.contourf(xx1, xx2, z, len(np.unique(y)), alpha = 0.4, cmap = cmap)
plt.legend(loc='upper left')
plt.show()

对个样本的损失函数求导

使用正则化(regularization)处理过拟合(overftting )

在机器学习中,过拟合是一个普遍问题,模型对于训练数据有很好表现,但对于测试数据的表现却很差。如果一个模型出现过拟合,也可以说模型具有高方差,包含太多参数,这对于潜在数据太过复杂;再就是低度拟合(underftting),对训练数据和测试数据都不能很好的刻画

一种方法就是通过正则化达到偏差-方差权衡( bias-variance tradeoff),调整模型的复杂度。正则化是一种非常有用的方法,例如处理共线性、过滤噪音、防止过拟合。 最普遍的正则化就是所谓的L2regularization

为了应用正则化,需要在损失函数加上正则化项!

import numpy as np
import matplotlib.pyplot as plt
from matplotlib.ticker import MultipleLocator, FormatStrFormatter

xmajorLocator = MultipleLocator(2)
xminorLocator = MultipleLocator(1)
ymajorLocator = MultipleLocator(0.5)

N = 7
x = np.linspace(-N, N, 100)
z = 1/(1+np.e**(-x))
fig = plt.figure(1)
axes = plt.subplot(111)

plt.ylim(-0.1, 1.1)
plt.axvline(0.0, color='k')
plt.axhline(0, ls='dotted',color='r')
plt.axhline(0.5, ls='dotted',color='r')
plt.axhline(1, ls='dotted',color='r')
#plt.axhspan(0.0,1.0, facecolor='1.0', alpha=1.0, ls='dotted')
axes.xaxis.set_major_locator(xmajorLocator)
axes.xaxis.set_minor_locator(xminorLocator)
axes.yaxis.set_major_locator(ymajorLocator)
plt.xlabel("z")
plt.ylabel("$\phi (z)$")
plt.plot(x, z)
plt.show()

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏量子位

万字长文|如何直观解释卷积神经网络的工作原理?

作者:YJango 日本会津大学|人机交互实验室博士生 量子位 已获授权编辑发布 该文是对卷积神经网络的介绍,并假设你理解前馈神经网络。 如果不是,强烈建议读完...

46470
来自专栏AI研习社

Google 发布官方中文版机器学习术语表

一种统计方法,用于将两种或多种技术进行比较,通常是将当前采用的技术与新技术进行比较。A/B 测试不仅旨在确定哪种技术的效果更好,而且还有助于了解相应差异是否具有...

11610
来自专栏ml

读吴恩达算-EM算法笔记

最近感觉对EM算法有一点遗忘,在表述的时候,还是有一点说不清,于是重新去看了这篇<CS229 Lecture notes>笔记. 于是有了这篇小札.

15920
来自专栏决胜机器学习

机器学习(二十一) ——高斯密度估计实现异常检测

机器学习(二十一)——高斯密度估计实现异常检测 (原创内容,转载请注明来源,谢谢) 一、概述 异常检测(anomalydetection),主要用于检查对于某...

60860
来自专栏目标检测和深度学习

Google发布机器学习术语表 (包括简体中文)

Google 工程教育团队已经发布了多语种的 Google 机器学习术语表,该术语表中列出了一般的机器学习术语和 TensorFlow 专用术语的定义。语言版本...

29260
来自专栏ATYUN订阅号

【学术】谷歌AI课程附带的机器学习术语整理(超详细!)

AiTechYun 编辑:xiaoshan 为了帮助大家更好的了解机器学习,谷歌在上周推出了一系列免费的AI课程,同时还附带了一个详细地机器学习术语库。 本术语...

35870
来自专栏深度学习自然语言处理

【深度学习】你不了解的细节问题(三)

第一,对于神经网络来说,网络的每一层相当于f(wx+b)=f(w'x),对于线性函数,其实相当于f(x)=x,那么在线性激活函数下,每一层相当于用一个矩阵去乘以...

12920
来自专栏AI科技大本营的专栏

Google发布机器学习术语表 (中英对照)

来源 | TensorFlow Google 工程教育团队已经发布了多语种的 Google 机器学习术语表,该术语表中列出了一般的机器学习术语和 TensorF...

32230
来自专栏AI科技大本营的专栏

干货 | YJango的卷积神经网络——介绍

作者 | YJango 整理 | AI科技大本营(rgznai100) 原文 - https://zhuanlan.zhihu.com/p/27642620 P...

35260
来自专栏机器学习之旅

理论:随机森林-枝剪问题

剪枝的意义是:防止决策树生成过于庞大的子叶,避免实验预测结果过拟合,在实际生产中效果很差

11120

扫码关注云+社区

领取腾讯云代金券