最重要的一集 | 【SAS Says·扩展篇】IML:6.作业

咱们的SAS矩阵交互语言IML就要完结了,本文将会用IML编一个回归程序。无论你需要一元的还是多元的回归模型,该程序都能计算出模型的系数、t检验以及t检验的p值、F检验以及F检验的P值、R2。

本文会综合用到前面几节的内容(回复【SASIML】查看全部):

  • 入门 | SAS里的平行世界
  • 函数 | 函数玩一玩
  • 编程 | IML的条件与循环
  • 模块 | 5分钟懂模块
  • 穿越 | 矩阵与数据集的穿越
  • 作业 | 编一个SAS回归软件

如果前面都没有看过,没关系,根据下面的代码提示,翻阅相关内容,可以把五集的内容过一遍。


用SAS编一个回归软件 | 【SAS Says · 扩展篇】IML:作业

上次Ansta留给自己的作业是:

Sashelp逻辑库中有一个关于GNP的数据sashelp.gnp,要求用1961、1962、1963三年的数据建立回归模型: GNP = consump + invest 用的变量有:

  • GNP-gross national product ($billions)
  • Consump-personal consumption expenditures
  • Invest-gross private domestic investment

要求:给出系数、R2、t检验的p值。

可以说,把这一道题弄明白了,基本前面几节的内容都掌握的差不对了。

Part 1

可爱的代码

先把我自己的代码贴出来。

我们再跑一边proc reg,对比两种方法的结果:

data gnp_1963;

set sashelp.gnp;

if _n_ <17;

keep gnp consump invest;

proc reg;

model gnp= consump invest;

run;

IML跑出来的结果为:

ProcReg跑出来的结果为:

怎样?beta值、t值、F值、R2都是一样的吧!

由于ProcReg的P值只给到<0.0001,没有具体的数字,我用R也跑了一遍:

T检验的P值,和我们用IML跑出来的也是一样的吧?

这个例子用到了我们前面说的很多内容,我们还可以把第二步到最后的部分打包成一个模块regress,然后下次有其他数据回归的时候,直接调用即可——Run regress;

Part 2

理论的回忆

有p元线性回归模型:

则p元线性回归模型简写为

同时,有

下面,我们就来对多元回归模型的拟合、检验过程进行推导:

一、系数的最小二乘拟合

用最小二乘法估计参数b。记

最小二乘法估计就是要选取

使得

因为H(b)b0、b1、…、bp的非负二次式,且关于b0、b1、…、bp均可微,由微积分原理,b是下列方程的解:

下面先求出

。因为

对H(b) 求微商,得:

令:-2X'y + 2X'Xb = 0

得:X'Xb = X'y

存在时,b的最小二乘估计

预测向量

就为:

二、回归模型的检验

(1) 可决系数

(2)F检验

(3)t检验

由于

以Cii表示(X’X)-1上主对角线的第i个元素,于是参数估计量的方差为:

因此,

服从如下分布:

其中σ2为随机误差项的方差,在实际计算时用它的估计量代替:

因此对回归系数的t检验,就可以构造如下t统计量:

当然…首先…你要明白什么是t检验…

回归系数t检验的假设是beta=0,因此,在原假设成立的情况下,t统计量的值为:

到此还没结束,因为这里有一个很重要的地方大家会忽略,就是α和α/2的问题,导致计算P值的时候容易出错。

正常我们用查表法怎么判别?

给定显著性水平α,查表得临界值

,对比计算出来的t和

那么用P值法呢?

计算出来的t,通过分布概率函数得到t对应的那个p/2,那么再乘以2,就是要求的P值了。

原文发布于微信公众号 - 数说工作室(shushuojun)

原文发表时间:2015-12-11

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏YoungGy

ISLR_t统计量

回顾 t分布的起源 t分布概述 inference for a mean inference for comparing two independent mea...

2525
来自专栏CreateAMind

lecun-20161209-nips-能量模型GAN

第二部分视频预测个人觉得lecun论文不如这篇论文:运动信息向量的神经网络学习 code、ppt、视频ok

973
来自专栏数据科学学习手札

(数据科学学习手札14)Mean-Shift聚类法简单介绍及Python实现

不管之前介绍的K-means还是K-medoids聚类,都得事先确定聚类簇的个数,而且肘部法则也并不是万能的,总会遇到难以抉择的情况,而本篇将要介绍的Mean-...

4388
来自专栏用户2442861的专栏

相似图片搜索的原理

你输入网片的网址,或者直接上传图片,Google就会找出与其相似的图片。下面这张图片是美国女演员Alyson Hannigan。

2181
来自专栏CVer

[计算机视觉论文速递] ECCV 2018 专场2

Amusi 将日常整理的论文都会同步发布到 daily-paper-computer-vision 上。名字有点露骨,还请见谅。喜欢的童鞋,欢迎star、for...

1000
来自专栏生信小驿站

Python数据处理从零开始----第四章(可视化)(3)目录正文

plt.scatter相对于plt.plot的主要优势在于,前者在创建散点图时具有更高的灵活性,可以单独控制每个散点与数据匹配,也可以让每个散点具有不同的属性(...

752
来自专栏大数据挖掘DT机器学习

深度学习CTPN+CRNN模型实现图片内文字的定位与识别(OCR)

源码(PyTorch实现)github 地址: 在公众号 datadw 里 回复 OCR 即可获取。 1:样本获取 **算法论文:** Synt...

2.4K5
来自专栏AI研习社

手把手教你用 TensorFlow 实现文本分类(下)

本篇文章主要记录对之前用神经网络做文本识别的初步优化,进一步将准确率由原来的65%提高到80%,这里优化的几个方面包括: ● 随机打乱训练数据 ● 增加隐层,和...

3504
来自专栏AI研习社

用 OpenCV 检测图像中各物体大小

在图像中测量物体的大小与计算从相机到物体之间的距离是相似的,在这两种情况下,我们需要定义一个比值,它测量每个给定指标的像素个数。

4841
来自专栏tkokof 的技术,小趣及杂念

数学笔记(三)之镜面矩阵

  镜面变换在游戏中并不少见,相关资料网上也俯拾即是,不过自己总是感觉略显生疏,在此简单一记,算作是加深印象吧~

931

扫码关注云+社区