统计学习导论 Chapter4--Classification

Book: An Introduction to Statistical Learning with Applications in R http://www-bcf.usc.edu/~gareth/ISL/

这一章主要介绍了一些分类问题,当输出响应变量是 qualitative,例如 eye color is qualitative, taking on values blue, brown, or green. Often qualitative variables are referred to as categorical

本章主要关注 三个经典的分类方法:logistic regression, linear discriminant analysis, and K-nearest neighbors

4.2 Why Not Linear Regression? 为什么不用线性回归方法来处理分类问题了? 主要是线性回归方法的输出不能和分类问题的类别建立有效的对应关系。 1)当我们改变输出类别的标记数,就会得到不同的线性回归模型,下面两个 Y 就会得到不同的回归模型

2) 如果我们使用 1;2;3 表示三个类别,使用线性回归方法的输出是 100,我们不知道其对应哪个类别

4.3 Logistic Regression 我们该如何对 p(X) = Pr(Y = 1|X) 和 X 这两个变量的关系进行建模了?(这里我们使用 0/1 表示 输出类别),在 Section 4.2 我们说使用一个线性回归模型来表示这些概率:

我们使用这个线性模型得到的结果有时会超出【0~1】的范围,These predictions are not sensible,所以我们需要避免这个问题,我们应该使用一个函数来建模 p(X),其对任何X 的输出都会在 0和1 之间,很多函数都可以满足这个要求。对于logistic regression 来说,我们使用 logistic function

为了拟合上述模型,我们使用 maximum likelihood 方法,后面我们会介绍该方法。

接着介绍了两个概念 odds 和 log-odds or logit odds:

log-odds or logit:

4.3.2 Estimating the Regression Coefficients 公式(4.2)中的参数 β0 和 β1 是未知的,必须通过训练数据来估计。这里我们介绍 maximum likelihood 方法,最大似然方法用于 logistic regression model 拟合背后的 intuition 是:我们寻找这样的 β0 和 β1,它们能够使得我们观测到每个数据的 predicted probability 尽可能的符合default status。就是对每个观测的数据预测的类别都很接近真值,用估计的 β0 和 β1 对应的模型可能很好的拟合所有的训练数据。这个intuition 可以使用一个似然函数表示 likelihood function

Maximum likelihood 是一种常用的拟合非线性模型的方法,在linear regression setting,least squares 方法可以看作 maximum likelihood 的一个特殊情况。模型的拟合可以通过统计软件包里的相关函数很容易实现,所以我们不需要关注其拟合细节。

4.3.3 Making Predictions we predict that the default probability for an individual with a balance of $1,000 is

4.3.4 Multiple Logistic Regression

4.3.5 Logistic Regression for > 2 Response Classes 多类别分类我们也可以使用 逻辑回归方法来处理,但是实际中更常用的方法是 Linear Discriminant Analysis,这就是下面我们要介绍的。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器学习算法与Python学习

Machine Learning -- Boosting

本来想写随机森林的但是由于其中用到了太多提升的思想,所以就先整理整理提升的相关概念。 Boosting方法是一种用来提高弱分类算法准确度的方法,这种方法通过构造...

3166
来自专栏SIGAI学习与实践平台

理解生成模型与判别模型

我们都知道,对于有监督的机器学习中的分类问题,求解问题的算法可以分为生成模型与判别模型两种类型。但是,究竟什么是生成模型,什么是判别模型?不少书籍和技术文章对这...

872
来自专栏SeanCheney的专栏

《Scikit-Learn与TensorFlow机器学习实用指南》 第5章 支持向量机

支持向量机(SVM)是个非常强大并且有多种功能的机器学习模型,能够做线性或者非线性的分类,回归,甚至异常值检测。机器学习领域中最为流行的模型之一,是任何学习机器...

1012
来自专栏PPV课数据科学社区

收藏!机器学习与深度学习面试问题总结.....

后向传播是在求解损失函数L对参数w求导时候用到的方法,目的是通过链式法则对参数进行一层一层的求导。这里重点强调:要将参数进行随机初始化而不是全部置0,否则所有隐...

932
来自专栏机器学习算法全栈工程师

目标检测算法之SSD

作者:叶 虎 编辑:祝鑫泉 前言 目标检测近年来已经取得了很重要的进展,主流的算法主要分为两个类型:(1)two-stage方法,如R-CNN系算法,其主...

5.2K7
来自专栏机器学习算法全栈工程师

手把手教你实现GAN半监督学习

作者:刘威威 编辑:田 旭 引言 本文主要介绍如何在tensorflow上仅使用200个带标签的mnist图像,实现在一万张测试图片上99%的测试精度,原理...

9947
来自专栏数据科学与人工智能

KNN两种分类器的python简单实现及其结果可视化比较

1.KNN算法简介及其两种分类器 KNN,即K近邻法(k-nearst neighbors),所谓的k最近邻,就是指最接近的k个邻居(数据),即每个样本都可以由...

3455
来自专栏大数据挖掘DT机器学习

机器学习中防止过拟合的处理方法

我们都知道,在进行数据挖掘或者机器学习模型建立的时候,因为在统计学习中,假设数据满足独立同分布(i.i.d,independently and...

3275
来自专栏Duncan's Blog

StatisticLearning

1.泛化误差/期望损失(风险函数):是理论模型f(X)关于联合分布P(X,Y)的平均意义下的损失.

902
来自专栏大数据挖掘DT机器学习

快速理解bootstrap、bagging、boosting

Bootstraping: 名字来自成语“pull up by your own bootstraps”,意思是依靠你自己的资源,称为自助法,它是一种有放回的抽...

2847

扫码关注云+社区