统计学习导论 Chapter4--Classification

Book: An Introduction to Statistical Learning with Applications in R http://www-bcf.usc.edu/~gareth/ISL/

这一章主要介绍了一些分类问题,当输出响应变量是 qualitative,例如 eye color is qualitative, taking on values blue, brown, or green. Often qualitative variables are referred to as categorical

本章主要关注 三个经典的分类方法:logistic regression, linear discriminant analysis, and K-nearest neighbors

4.2 Why Not Linear Regression? 为什么不用线性回归方法来处理分类问题了? 主要是线性回归方法的输出不能和分类问题的类别建立有效的对应关系。 1)当我们改变输出类别的标记数,就会得到不同的线性回归模型,下面两个 Y 就会得到不同的回归模型

2) 如果我们使用 1;2;3 表示三个类别,使用线性回归方法的输出是 100,我们不知道其对应哪个类别

4.3 Logistic Regression 我们该如何对 p(X) = Pr(Y = 1|X) 和 X 这两个变量的关系进行建模了?(这里我们使用 0/1 表示 输出类别),在 Section 4.2 我们说使用一个线性回归模型来表示这些概率:

我们使用这个线性模型得到的结果有时会超出【0~1】的范围,These predictions are not sensible,所以我们需要避免这个问题,我们应该使用一个函数来建模 p(X),其对任何X 的输出都会在 0和1 之间,很多函数都可以满足这个要求。对于logistic regression 来说,我们使用 logistic function

为了拟合上述模型,我们使用 maximum likelihood 方法,后面我们会介绍该方法。

接着介绍了两个概念 odds 和 log-odds or logit odds:

log-odds or logit:

4.3.2 Estimating the Regression Coefficients 公式(4.2)中的参数 β0 和 β1 是未知的,必须通过训练数据来估计。这里我们介绍 maximum likelihood 方法,最大似然方法用于 logistic regression model 拟合背后的 intuition 是:我们寻找这样的 β0 和 β1,它们能够使得我们观测到每个数据的 predicted probability 尽可能的符合default status。就是对每个观测的数据预测的类别都很接近真值,用估计的 β0 和 β1 对应的模型可能很好的拟合所有的训练数据。这个intuition 可以使用一个似然函数表示 likelihood function

Maximum likelihood 是一种常用的拟合非线性模型的方法,在linear regression setting,least squares 方法可以看作 maximum likelihood 的一个特殊情况。模型的拟合可以通过统计软件包里的相关函数很容易实现,所以我们不需要关注其拟合细节。

4.3.3 Making Predictions we predict that the default probability for an individual with a balance of $1,000 is

4.3.4 Multiple Logistic Regression

4.3.5 Logistic Regression for > 2 Response Classes 多类别分类我们也可以使用 逻辑回归方法来处理,但是实际中更常用的方法是 Linear Discriminant Analysis,这就是下面我们要介绍的。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏用户画像

交叉验证

版权声明:本文为博主-姜兴琪原创文章,未经博主允许不得转载。

802
来自专栏企鹅号快讯

机器学习之——距离度量学习

如何衡量人脸之间的距离? 很多机器学习任务中都会使用到距离的概念,即衡量两个样本之间的距离。最为常见的场景就是聚类算法,为了对样本进行更合理的聚类,需要使用尽可...

2476
来自专栏WD学习记录

kmeans优化算法

①算法可能找到局部最优的聚类,而不是全局最优的聚类。使用改进的二分k-means算法。

1263
来自专栏机器学习实践二三事

Fully Convolutional Networks for Semantic Segmentation

主要思想 传统的做图像分割的方式大概是这样的: 以某个像素点中心取一个区域,取图像块的特征做样本训练分类器,分类结果作为此像素点的结果 这样做缺点很明显,比...

2398
来自专栏marsggbo

Andrew Ng机器学习课程笔记--week1(机器学习介绍及线性回归)

之前看过一遍,但是总是模模糊糊的感觉,也刚入门,虽然现在也是入门,但是对于一些概念已经有了比较深的认识(相对于最开始学习机器学习的时候)。所以为了打好基础,决定...

2157
来自专栏ml

对sppnet网络的理解

 前言:    接着上一篇文章提到的RCNN网络物体检测,这个网络成功的引入了CNN卷积网络来进行特征提取,但是存在一个问题,就是对需要进行特征提取图片大小有严...

3666
来自专栏深度学习思考者

深度学习目标检测算法——Faster-Rcnn

Faster-Rcnn代码下载地址:https://github.com/ShaoqingRen/faster_rcnn 一 前言   Faster rcnn是...

2915
来自专栏null的专栏

简单易学的机器学习算法——EM算法

一、机器学习中的参数估计问题 image.png 二、EM算法简介     在上述存在隐变量的问题中,不能直接通过极大似然估计求出模型中的参数,EM算法是一种解...

9665
来自专栏磐创AI技术团队的专栏

TensorFlow系列专题(八):七步带你实现RNN循环神经网络小示例

【前言】:在前面的内容里,我们已经学习了循环神经网络的基本结构和运算过程,这一小节里,我们将用TensorFlow实现简单的RNN,并且用来解决时序数据的预测问...

761
来自专栏机器学习算法工程师

Object Detection系列(三) Fast R-CNN

作者:张 旭 编辑:黄俊嘉 ? 该内容是目标检测系列的第三篇,系列前部分内容如下,点击可查看: Object Detection系列(一) R-CNN O...

3537

扫码关注云+社区