Loading [MathJax]/jax/output/CommonHTML/config.js
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
社区首页 >问答首页 >是否有适合纵向数据的机器学习模型?

是否有适合纵向数据的机器学习模型?
EN

Data Science用户
提问于 2020-04-22 21:03:49
回答 1查看 1.1K关注 0票数 0

我有一个相当大的(>100 K行)数据集,每个人有多个(每天)测量,用于几千个人。每个个体的度量数量各不相同,并且有许多null值(也就是说,对于某些变量/度量,一行可能缺少值,但不是所有变量)。我也有一个每日的结果(外推,但让我们假设这样做是公平的,所以在每一天进行测量时都有一个二进制的结果)。

我的问题目标是模拟结果,这样我就可以预测新个体的日常结果。

我的背景是研究,我熟悉一些统计数据和ML,总的来说,数据科学仍然是相当新的。我想知道是否有任何特定的已知ML算法可用于对此类数据进行建模。我对使用类似python的scikit学习的逻辑回归非常谨慎,因为观察结果不是独立的(它们在个人级别上是高度相关的)。据我所知,这类数据非常适合于混合效应logistic回归或纵向logistic回归。然而,我还没有找到任何广泛使用的ML算法,我希望采用ML方法,而不是使用像R中的lme4包这样的方法来拟合统计模型。

有人能推荐一种可用的ML算法来建模这样的数据吗?

PS:我做了一些研究,发现了一些关于这个主题的研究文章,但是没有被广泛使用或者实现得很清楚。我所使用的数据的结构让我觉得很普通,所以我想我应该问一问。

EN

回答 1

Data Science用户

回答已采纳

发布于 2020-04-22 23:49:46

Assuming我们不是在谈论时间序列,也假设您想要预测的未知数据可能包括当前不在您的数据集中的个人,您最好的选择是首先重组您的数据。

您想要做的是预测X1...Xn预测器的每日结果Y,据我所知,这是测量结果。这里的一个正常方法是拟合一个RandomForest或助推模型,是的,它将基于一个后勤回归者。

然而,您指出,简单地假设每个案例都是独立的是不正确的,因为结果高度依赖于所测量的个体。如果是这样的话,那么我们需要添加将个人描述为附加预测器的属性。

所以这个:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
id | day | measurement1 | measurement2 | ... | outcome
A  | Mon | 1            | 0            | 1   | 1
B  | Mon | 0            | 1            | 0   | 0

变成这样:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
id | age | gender | day | measurement1 | measurement2 | ... | outcome
A  | 34  | male   | Mon | 1            | 0            | 1   | 1
B  | 28  | female | Mon | 0            | 1            | 0   | 0

通过包含每个个体的属性,我们可以将每个日常测量作为一个单一的案例来训练模型,因为我们假设个体内部结果之间的相关性可以用属性来解释(即年龄、性别相似的个体,其他领域合适的属性应该具有相同的结果偏差)。

<#>If,除了测量值之外,您没有任何关于个人的属性,那么您也可以安全地忽略这些属性,因为您的模型将不得不在未见数据上预测结果,而不知道个人的任何情况。因为我们知道个体对结果的偏见,所以预测可以得到改进,这并不重要,因为数据根本就没有。

你必须明白,预测任务与其他统计工作不同,我们唯一关心的是预测模型的正确验证性能。如果你可以通过忽略个人来获得一个足够好的模型,而不是你是-好的,如果你的模型很糟糕,你需要更多的数据。

另一方面,If只想为已经在您的培训集中的个人预测结果,问题就会变得更容易解决。只需将单个标识符添加为预测变量即可。

<#>To总结一下,除非你有一个时间序列,否则你应该可以使用任何ML分类模型,比如RandomForest或者增强模型,即使它们是基于正常的物流回归。但是,您可能不得不对数据进行一些重构。

票数 0
EN
页面原文内容由Data Science提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://datascience.stackexchange.com/questions/72830

复制
相关文章
C++模板扩展
第一个参数是类型,决定数组的类型,第二个是非类型,决定数组的容量。 这个容器可以对于数组下标是否越界进行检查,而C语言当中的数组是进行抽查。
有礼貌的灰绅士
2023/03/28
4400
C++模板扩展
Django 继承AbstractUser扩展用户模型
https://www.djangoproject.com/download/2.0.13/tarball/
授客
2020/11/13
1.6K0
Django 继承AbstractUser扩展用户模型
你的基因里,写着祖父母过去的经历
19 世纪,“遗传”首次被作为一个科学问题提了出来,达尔文(Charles Darwin)们想要知道:一代人传给下一代的到底是什么。20 世纪初,基因第一次进入研究人员的视野,现有的生命如何与他们的祖先产生联系?基因给了他们答案。
巴法
2019/09/29
4840
你的基因里,写着祖父母过去的经历
最长回文子串 (中心扩展)
题目描述 给你一个字符串 s,找到 s 中最长的回文子串。 示例 输入: s = “babad” 输出: “bab” 解释: “aba” 同样是符合题意的答案。 提示: 1 <= s.length <= 1000 s 仅由数字和英文字母组成 题解 中心扩展法 由子串的中心向两边展开,也就是模拟双指针 从当前位置向左寻找与当前位置相同的字符,然后 left - - ,直到找不到。 然后从当前位置向右寻找与当前位置相同的字符,然后right++,直到找不到。 以当前位置的两端开始向左右扩散,寻找左边是否等于右
且陶陶
2023/04/12
2630
最长回文子串 (中心扩展)
再看包括、扩展和泛化、继承
我们知道包括和扩展是用例图中所特有的关系,而泛化和继承则不仅用于用例图,同一时候也适用于其它图,如类图。这两对概念相信对于学习面向对象中的我们来说是非常easy混淆的,非常多时候自己都不知道包括和扩展箭头究竟该指向哪里,是虚线还是实线,泛化究竟跟继承什么关系?常常为此大家争
全栈程序员站长
2022/07/12
1.4K0
再看包括、扩展和泛化、继承
欧几里得扩展模板--------------------------C语言——菜鸟级
用于求 ax+by=c 的解 #include<stdio.h> int x0,y0; int oujdk(int a,int b) { if(b==0) { x0=1; y0=0; return a; } int t=oujdk(b,a%b); int w=x0; x0=y0; y0=w-a/b*y0; return t; } int main() { int x,y,t,l,m,n,a,b,r; scanf(
Fivecc
2022/11/21
3760
CLI子命令扩展-插件机制实现
本文作者:ivweb 程柳锋 开发CLI工具过程中,为了便于扩展,将CLI的实现分为基础功能和扩展功能。基础功能包括init、build、lint、publish等伴随工程从初始化到最终发布到生产
腾讯IVWEB团队
2017/09/29
1.4K0
CLI子命令扩展-插件机制实现
django 使用邮箱登录(扩展用户表、继承 AbstractUser)
# apps/users/views.py(不局限于邮箱,也可以改成 手机号码等等,但是要注意字符类型)
卓越笔记
2023/02/18
7920
LeetCode 647. 回文子串(DP/中心扩展)
具有不同开始位置或结束位置的子串,即使是由相同的字符组成,也会被计为是不同的子串。
Michael阿明
2020/07/13
5930
模板继承
使用模板继承可以将网站HTML骨架抽离到单独的文件中,其他页面模板可以继承骨架文件。
Qwe7
2022/05/23
3210
Hexo主题(EJS模板)自定义页面扩展
自从初次接触 Hexo 到现在已经有两年多的时间了,时间过得飞快啊,关于 Hexo 的优点不再赘述,关于个人站点的优点,有必要在强调一下,那就是极高的自由度,这也是这篇文章的基础。现在有时间刚好总结一下我对于 Hexo 做的一些自定义扩展,虽然之前可能在别的文章中或多或少的涉及了,但并没有统一整理过。
ZONGLYN
2019/12/24
2.3K0
Hexo主题(EJS模板)自定义页面扩展
【Kotlin】扩展函数 ③ ( 定义扩展文件 | 重命名扩展函数 | Kotlin 标准库扩展函数 )
如果定义的 扩展函数 需要在 多个 Kotlin 代码文件 中使用 , 则需要在 单独的 Kotlin 文件 中定义 , 该文件被称为 扩展文件 ;
韩曙亮
2023/03/30
1.3K0
【Kotlin】扩展函数 ③ ( 定义扩展文件 | 重命名扩展函数 | Kotlin 标准库扩展函数 )
【Kotlin】扩展函数总结 ★ ( 超类扩展函数 | 私有扩展函数 | 泛型扩展函数 | 扩展属性 | 定义扩展文件 | infix 关键字用法 | 重命名扩展函数 | 标准库扩展函数 )
为 现有类 定义 扩展函数 , 可以在 不修改 原有类 的情况下 增加类的功能 ;
韩曙亮
2023/03/30
2.9K0
【Kotlin】扩展函数总结 ★ ( 超类扩展函数 | 私有扩展函数 | 泛型扩展函数 | 扩展属性 | 定义扩展文件 | infix 关键字用法 | 重命名扩展函数 | 标准库扩展函数 )
soapclient php 扩展,PHP扩展—SOAP[通俗易懂]
SOAP扩展可以用于编写SOAP服务器和客户端,支持 SOAP 1.1, SOAP 1.2 和 WSDL 1.1 规格的子集。
全栈程序员站长
2022/11/16
1.9K0
【Groovy】Groovy 扩展方法 ( 扩展静态方法示例 | 扩展实例方法示例 | 扩展实例方法与扩展静态方法代码相同 )
在上一篇博客 【Groovy】Groovy 扩展方法 ( Groovy 扩展方法引入 | 分析 Groovy 中 Thread 类的 start 扩展方法 ) 中 , 分析 Thread 的扩展方法 start 方法 , 该方法调用如下 ,
韩曙亮
2023/03/30
9730
【Groovy】Groovy 扩展方法 ( 扩展静态方法示例 | 扩展实例方法示例 | 扩展实例方法与扩展静态方法代码相同 )
活着辛辛苦苦996,死后房子归政府。。。
新粉请关注我的公众号 在北京丰台区,有一个38岁的杨某,根据披露的信息,他父母双亡、未婚、无子女,也没有兄弟姐妹、祖父。 也就是说,他去世之前很久的一段时间,大概率都是在独居。 2014年底的时候,他在丰台区买了一套房子,当时这个房子的总价是115万,他从公积金贷款了80万。 2016年杨某去世以后,留下最值钱的东西就是这套房产了,北京14年115万的房子,到现在应该价值在300万+。 前面也提到了,杨某几乎没有亲属可以继承这个遗产,而他自己也没有立遗嘱,这套房子就成为了一个争议点。 他的舅舅曾一度以为自己
用户1564362
2022/05/12
3380
活着辛辛苦苦996,死后房子归政府。。。
什么是横向扩展和纵向扩展?
现代应用程序不断变化,随着新要求的发展而发展,并且存在于对资源的不同需求的环境中。扩展应用程序可以根据资源需求适当调整其大小,以确保客户满意并降低基础设施成本。
后场技术
2022/04/15
4.8K0
什么是横向扩展和纵向扩展?
【jfinal】扩展JFIANL 支持加载jar包中SQL模板
扩展 ActiveRecordPlugin 支持加载jar包中SQL模板 jfinal3.1 中新增了IStringSource ,这个接口方便大家扩展SQL模块的加载方式, 下面我说的场景是把sql模板打在jar包中进行扫描的情况。多模块项目请参考 http://git.oschina.net/log4j/LMS /** * Created by jie on 2017/4/21. * 扫描jar中的sql文件 */ public class ScanJarStringSource impleme
冷冷
2018/02/08
8180
jsp模板继承
jsp通过自定义标签实现类似模板继承的效果 关于标签的定义、注册、使用在上面文章均以一个自定义时间的标签体现,如有不清楚自定义标签流程的话请参考这篇文章 http://www.cnblogs.com/zhuchenglin/p/8109787.html 关于jsp 的模板继承 请参考 这篇文章,上面的使用方法非常清楚,这里就不再说明 自定义标签实现类似模板继承的效果 参考 下面来看一下我的代码: 1. 在新建包 com.xiangmu.tags 中新建两个类,一个是 BlockTag.java,另一
lin_zone
2018/08/15
2.1K0
python扩展
补充一些有趣的知识 1. sys模块方法的补充,打印进度条 import sys,time for i in range(20): sys.stdout.write("#") sys.stdout.flush() time.sleep(0.1)  2. 实现简单的shell sed替换功能 import sys res = sys.argv print(res) #命令行参数,在Terminal输入命令:python update_flie.py ,res接收到的结果为list
py3study
2020/01/16
9070
python扩展

相似问题

使用模板化继承调用祖父母构造函数

12

子类不继承祖父母属性

20

Java泛型。子扩展父母

17

继承-获取基本类型祖父母

15

如何从祖父母标签继承css?

20
添加站长 进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

扫码加入开发者社群
关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例

扫码关注腾讯云开发者公众号
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
查看详情【社区公告】 技术创作特训营有奖征文