前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >R语言非线性回归和广义线性模型:泊松、伽马、逻辑回归、Beta回归分析机动车事故、小鼠感染、蛤蜊数据、补剂钠摄入数据|数据分享

R语言非线性回归和广义线性模型:泊松、伽马、逻辑回归、Beta回归分析机动车事故、小鼠感染、蛤蜊数据、补剂钠摄入数据|数据分享

作者头像
拓端
发布2023-09-27 12:37:23
5930
发布2023-09-27 12:37:23
举报
文章被收录于专栏:拓端tecdat拓端tecdat

全文链接:https://tecdat.cn/?p=33781

我们使用广义线性模型(Generalized Linear Models,简称GLM)来研究客户的非正态数据,并探索非线性关系点击文末“阅读原文”获取完整代码数据)。

GLM是一种灵活的统计模型,适用于各种数据类型和分布,包括二项分布、泊松分布和负二项分布等非正态分布。通过GLM,我们可以对非正态数据进行建模和预测,并且能够处理计数数据,如客户购买数量、网站点击次数等。GLM还允许引入自变量的非线性效应,从而更好地拟合与响应变量之间的复杂关系。这使得GLM成为处理非正态数据和非线性关系的强大工具。

泊松回归和伽马回归 - 探索联系

如果我们查看火车与机动车碰撞数据查看文末了解数据免费获取方式,我们会发现一个有趣的模式。

代码语言:javascript
复制
library(readr)
......

train <- read_csv("s_agresti.csv")

train_plot <- ggplot(train,
   ......

仅仅通过观察,我们就可以看出方差随预测变量而变化。此外,我们处理的是计数数据,它具有自己的分布,即泊松分布。然而,如果我们坚持使用lm进行分析会怎样呢?

代码语言:javascript
复制
train_lm <-......odel(train_lm)

预测值和观测值之间不匹配。部分原因是这里的响应变量在残差中不是正态分布的,而是泊松分布,因为它是计数数据。

泊松回归

具有泊松误差的广义线性模型通常具有对数链接,尽管也可以具有恒等链接。例如,

代码语言:javascript
复制
pois_tib <- tibble(x = rep(0:40,2),
            ......
  geom_col(position = position_dodge())

上面显示了两个泊松分布,一个均值为5,另一个均值为20。请注意它们的方差如何变化。

对数链接(例如ŷ=ea+bx̂=eβ+αx)是一个自然的拟合方法,因为它不能得到小于0的值。因此,在这种情况下,我们可以这样做:

代码语言:javascript
复制
train_glm <- glm(collisions ~ km_trtravel, 
           ......

然后,我们可以重新评估模型的假设,包括过分离。请注意,下面的QQ图并没有什么实际意义,因为这不是正态分布。

代码语言:javascript
复制
check_model(train_glm)

那么...残差怎么办呢?鉴于残差不是正态分布的,使用qqnorm图几乎没有意义。拟合残差关系仍然可能看起来很奇怪。

01

02

03

04

使用广义线性模型的分位数残差

评估广义线性模型(以及许多其他模型形式)的一种方法是查看其分位数残差。因此,首先让我们使用DHARMa生成一些模拟残差。

代码语言:javascript
复制

res <- simulateResiduals(train_glm)

我们可以绘制这些图表,并进行非参数拟合检验。

代码语言:javascript
复制
plotQQunif(res)

很好,拟合效果不错。忽略异常值测试,因为在更详细的观察中我们发现没有异常值。

我们还可以查看预测与量化残差图。

代码语言:javascript
复制
plotResiduals(res)
代码语言:javascript
复制
check_overdispersion(train_glm) |> plot()
代码语言:javascript
复制
## `geom_smooth()` using method = 'loess' and formula 'y ~ x'
## `geom_smooth()` using method = 'loess' and formula 'y ~ x'

查看glm结果

让我们来看看模型结果。

代码语言:javascript
复制
summary(train_glm)

注意,在这里我们看到了标准的glm输出,我们可以像处理任何对数变换一样解释系数。我们还有一个离散参数,描述了均值和方差之间的关系。对于泊松分布,它的值为1。

最后,我们可以绘图。

代码语言:javascript
复制
train_plot +
......"log")))

Gamma回归

然而,我们的数据通常不是离散的。考虑蛤蜊数据。

代码语言:javascript
复制
clams <- read_delim("ams.txt", delim = "\t") %>%
  mutate(MONTH = factor(MONTH))

AFD(无灰干质量)与月份和长度有什么关系?显然这里存在非线性关系。

代码语言:javascript
复制
clam_plot <- ggplot(clams,
      ......

clam_plot

现在,看起来我们应该用对数变换的模型进行拟合,但是…

代码语言:javascript
复制
clam_lm <- lm(log(......

显然存在明显的问题。即使对AFD取对数后的qq图也不好,残差拟合图也不好。Gamma glm采用其逆函数作为其规范连接,但它们通常也可以使用对数连接。

代码语言:javascript
复制
clam_gamma <- glm(AFD ~ ......
                  data = clams)
代码语言:javascript
复制
check_model(clam_gamma)

还有

代码语言:javascript
复制
clam_res <- simulateR......res)
代码语言:javascript
复制
ploals(clam_res)

好的,也许不是很好。但这主要是由于高值的稀疏性导致的,所以没关系。

我们可以使用predict进行绘图,在这里分别绘制每个月的图。

代码语言:javascript
复制
clam_plot +......
  facet_wrap(~MONTH)

我们还可以查看其他属性。

代码语言:javascript
复制
summary(clam_gamma)

我们可以重新参数化伽马分布,使得均值=形状/速率。在这种情况下,我们使用该均值和形状参数化伽马分布。离散参数是1/形状。

但是,为了更容易理解,伽马的方差随均值的平方成比例地扩展。离散参数越大,方差扩展得越快。

最后,我们可以使用纳吉尔克计的伪R2来计算R2。

代码语言:javascript
复制
# fit
r2(clam_gamma)

这是正态的吗?

你可能会问为什么这里使用伽马分布而不是正态分布?我们可以用正态误差和对数链接进行glm拟合。

代码语言:javascript
复制
clam_glm_norm <- glm(AFD ......
                     data = clams)

一种判断的方法是寻找过离散。

代码语言:javascript
复制
norm_res <- simulateRe......orm_res)
代码语言:javascript
复制
plotuals(norm_res)

我们可以看到QQ图很好。而且predobs也不糟糕(特别是与上面相比)。这是一些很好的证据,表明这里可能只需要正态误差和对数链接。

逻辑回归

让我们来看看我们的小鼠感染隐孢子虫的例子。请注意,数据被限制在0和1之间。

代码语言:javascript
复制
mouse <- read_csv...... Porportion)) +
  geom_point()

mouse_plot

这是因为虽然N是每个样本的总小鼠数量,但是我们不能有超过N的感染!实际上,每只老鼠就像一次抛硬币。它是否被感染了。

二项分布

二项分布有两个参数,成功的概率和硬币投掷的次数。得到的分布始终介于0和1之间。考虑使用不同概率进行15次硬币投掷的情况。

代码语言:javascript
复制

R
bin_tibble <- tibble(outcome = rep(0:15, 2),......
  geom_col(position = position_dodge())

我们也可以将x轴的范围调整为0到1,来表示比例。

或者,考虑相同的概率,但是不同次数的硬币投掷。

代码语言:javascript
复制

R
bin_tibble <- tibble(outcome = rep(0:15, 2),......
  geom_col(position = position_dodge())

你可以看到两个参数都会影响分布的形状。

二项式逻辑回归

在二项逻辑回归中,我们主要是估计获得正面的概率。然后我们以权重的形式提供(而不是估计)试验次数。这里使用的典型链接函数是logit函数,因为它描述了一个在0和1之间饱和的逻辑函数。

在R中,我们可以使用两种形式来参数化二项逻辑回归 - 这两种形式是等价的,因为它们将结果扩展为成功次数和总试验次数。

代码语言:javascript
复制

R
mouse_glm_cbind <- glm(cbind(Y,......
                 data = mouse)

第二种方式使用权重来表示试验次数。

代码语言:javascript
复制

R
mouse_glm <- glm(Porport......
                 data = mouse)

这两个模型是相同的。

从这一点开始,工作流程与以往一样 - 假设检验、分析和可视化。

代码语言:javascript
复制

R
checl(mouse_glm)
代码语言:javascript
复制

R
binduals(mouse_glm, ......
代码语言:javascript
复制

R
res_bin <- sim......
代码语言:javascript
复制

R
plotRes_bin)
代码语言:javascript
复制

R
summary(moglm)
代码语言:javascript
复制

R
r2(mouse_glm)

注意,离散参数为1,就像泊松分布一样。

代码语言:javascript
复制

R
ggplot(mouse,
     ......
              method.args = list(family = binomial))

Beta回归

最后,我们经常会遇到受限数据,但这些数据不是从二项式分布中抽取的 - 也就是说,并不存在独立的“硬币翻转”。

考虑以下关于服用不同补充剂时锻炼后钠摄入比例的分析,2300是推荐摄入量,所以我们将其标准化为这个值。

代码语言:javascript
复制

R
sodium <- read_csv("laake.csv")
代码语言:javascript
复制

R
ggplot(sodium,
 ......
  geom_boxplot()

现在,让我们使用Beta回归来观察这个结果。

代码语言:javascript
复制

R

sodium_beta <- beta......
                       data = sodium)
代码语言:javascript
复制

R
soditmb <- glmmTMB(Porport......
                       data = sodium)
chec......a_tmb)
代码语言:javascript
复制

R
plotQQunif(sodium_beta_tmb)

然后我们可以继续进行所有我们通常的测试和可视化。例如 -

代码语言:javascript
复制

R
emmeans(sodium_b......
  confint(adjust = "none")

如果我们有一个连续的协变量,我们可以获得拟合值和误差,并将它们放入模型中。

点击标题查阅往期内容

数据分享|R语言逻辑回归、线性判别分析LDA、GAM、MARS、KNN、QDA、决策树、随机森林、SVM分类葡萄酒交叉验证ROC

R语言贝叶斯广义线性混合(多层次/水平/嵌套)模型GLMM、逻辑回归分析教育留级影响因素数据

逻辑回归Logistic模型原理R语言分类预测冠心病风险实例

数据分享|用加性多元线性回归、随机森林、弹性网络模型预测鲍鱼年龄和可视化

R语言高维数据惩罚回归方法:主成分回归PCR、岭回归、lasso、弹性网络elastic net分析基因数据(含练习题)

Python中LARS和Lasso回归之最小角算法Lars分析波士顿住房数据实例

R语言Bootstrap的岭回归和自适应LASSO回归可视化

R语言Lasso回归模型变量选择和糖尿病发展预测模型

R语言实现贝叶斯分位数回归、lasso和自适应lasso贝叶斯分位数回归分析

基于R语言实现LASSO回归分析

R语言用LASSO,adaptive LASSO预测通货膨胀时间序列

R语言自适应LASSO 多项式回归、二元逻辑回归和岭回归应用分析

R语言惩罚logistic逻辑回归(LASSO,岭回归)高维变量选择的分类模型案例

Python中的Lasso回归之最小角算法LARS

r语言中对LASSO回归,Ridge岭回归和弹性网络Elastic Net模型实现

r语言中对LASSO回归,Ridge岭回归和Elastic Net模型实现

R语言实现LASSO回归——自己编写LASSO回归算法

R使用LASSO回归预测股票收益

python使用LASSO回归预测股票收益

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2023-09-26 17:06,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 拓端数据部落 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 全文链接:https://tecdat.cn/?p=33781
  • 泊松回归和伽马回归 - 探索联系
    • 泊松回归
      • 使用广义线性模型的分位数残差
        • 查看glm结果
          • Gamma回归
            • 这是正态的吗?
              • 逻辑回归
                • 二项分布
                • 二项式逻辑回归
              • Beta回归
              领券
              问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档