专栏首页数据猿深入机器学习系列之:生存回归

深入机器学习系列之:生存回归

1

基本概念

1.1 生存数据

生存数据就是关于某个体生存时间的数据。生存时间就是死亡时间减去出生时间。例如,以一个自然人的出生为“出生”,死亡为“死亡”。 那么,死亡时间减去出生时间,就是一个人的寿命,这是一个典型的生存数据。类似的例子,还可以举出很多。所有这些数据都有一个共同的特点, 就是需要清晰定义的:出生和死亡 。如果用死亡时间减去出生时间,就产生了一个生存数据。因为死亡一定发生在出生的后面,因此,生存数据一定是正数。 因为,从理论上讲,出生死亡时间都可能取任意数值,因此 生存数据一定是连续的正数。

生存期不同于一般指标,他有二个特点:

1 有截尾数据(censored data)

例如我们在疾病预测的实验中,随访未能知道病人的确切生存时间,只知道病人的生存时间大于某时间。

(1)病人失访或因其他原因而死亡---失访 (2)到了研究的终止期病人尚未死亡---终访

例如,一个人的寿命。假设我关心1949年出生的人群的平均寿命。这群人可以被分成两部分。一部分是已经离世了,所以他们的死亡时间是准确知道的。因此,他们的寿命是非常清晰的。 另一部分,是所有健在的人群,他们从1949年出生到现在,已经走过了将近70个春秋岁月,但是他们还活着!到2017年为止,他们已经生存了68年,但是他们最终的寿命是多少?我们是不知道的。 我们知道他们的寿命一定会比68大,数学上可以被记作68+。但是,到底“+”多少,不清楚。

虽然截尾数据提供的信息是不完全的,但不能删去,因为这不仅损失了资料,而且会造成偏性。

2 生存时间的特征一般不服从正态分布

跟所有的数据分析一样,要分析生存数据,首要问题是做描述性分析。如果生存数据没有被截断,那么所有常规的描述统计量,估计量都适用。例如:样本均值,样本方差等。 但是,如果生存数据存在大量的截断数据,那么任何同均值相关的统计量就都没法计算了。例如:样本均值无法算,样本方差涉及到因变量的平方的均值,因此它也没法计算。

真实的数据常常非常复杂,每个样本的出生日期不同,死亡日期不同,截断时间点不同。但是,不管这个数据如何复杂,其背后的基本原理是一样的。 那就是:虽然样本均值没法估计,样本方差没法估计。但是,各种分位数却在一个很大的范围内可以被估计。如果这个范围大到可以覆盖中位数,那么从某种意义上讲,我们也就把握了生存的平均状况了。

总结一下就是:对生存数据最基本的描述分析方法,不是过去常见的样本均值,样本方差等等,而是各种分位数。这些分位数也就构成了所谓的生存函数。生存函数就变成了对生存数据最基本的描述统计。

1.2 描述生存时间分布规律的函数

1 生存率(Survival Rate)

又称为生存概率或生存函数,它表示生存时间长于时间t的概率,用S(t) 表示:s(t)=P(T≥t)。以时间t为横坐标,S(t)为纵坐标所作的曲线称为生存率曲线,它是一条下降的曲线,下降的坡度越陡, 表示生存率越低或生存时间越短,其斜率表示死亡速率。

2 概率密度函数(Probability Density Function)

其定义为:f(t)=lim (一个病人在区间(t,t+△t)内死亡概率/△t),它表示死亡速率的大小。如以t为横坐,f(t)为纵坐标作出的曲线称为密度曲线,由曲线上可看出不同时间的死亡速率及死亡高峰时间。 纵坐标越大,其死亡速率越高,如曲线呈现单调下降,则死亡速率越来越小,如呈现峰值,则为死亡高峰。

3 风险函数(Hazard Function)

其定义为:h(t)=lim(在时间t生存的病人死于区间(t,△t)的概率/△t),由于计算h(t)时,用到了生存到时间t这一条件,故上式极限式中分子部分是一个条件概率。 可将h(t)称为生存到时间t的病人在时间t的瞬时死亡率或条件死亡速率或年龄别死亡速率。当用t作横坐标,h(t)为纵坐标所绘的曲线,如递增,则表示条件死亡速率随时间而增加,如平行于横轴, 则表示没有随时间而加速(或减少)死亡的情况。

2

加速失效时间模型(AFT)

在生存分析领域,加速失效时间模型(accelerated failure time model,AFT 模型)可以作为比例风险模型的替代模型。AFT模型将线性回归模型的建模方法引入到生存分析的领域, 将生存时间的对数作为反应变量,研究多协变量与对数生存时间之间的回归关系,在形式上,模型与一般的线性回归模型相似。对回归系数的解释也与一般的线性回归模型相似,较之Cox模型, AFT模型对分析结果的解释更加简单、直观且易于理解,并且可以预测个体的生存时间。

在spark ml中,实现了AFT 模型,这是一个用于检查数据的参数生存回归模型。它描述了生存时间对数的模型,因此它通常被称为生存分析的对数线性模型。不同于为相同目的设计的比例风险模型(Proportional hazards model), AFT模型更容易并行化,因为每个实例独立地贡献于目标函数。

注意:当使用无拦截(intercept)的连续非零列训练AFTSurvivalRegressionModel时,Spark MLlib为连续非零列输出零系数。这种处理与R中的生存函数survreg不同。

3

例子

星环科技 / 文

本文分享自微信公众号 - 数据猿(datayuancn)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-01-29

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 大数据投融资11月榜:共72起融资事件,总金额超57.1亿元

    来源:数据猿 作者:abby 《大数据企业月度融资榜》2016年11月份大数据领域共有72起企业融资事件,其中包括34家中国企业、21家美国企业、5家印度企业...

    数据猿
  • 信天创投蒋宇捷:移动互联网红利结束,下一个风口是人工智能 | 数据猿专访

    数据猿导读 对于创业者来说,正是因为当初有风口,才会涌现出各种符合与不符合市场需求的项目,甚至有些人还没想清楚到底做什么就跟风找项目、找融资,直到市场达到饱和状...

    数据猿
  • 大数据24小时 | 滴滴高起点进军大数据领域,雅虎金主Verizon又拟24亿收购一上市公司

    <数据猿导读> 出行“冤家”合并,滴滴高起点进军大数据、人工智能领域;收购雅虎余温未散,Verizon再拟24亿美元收购车辆追踪系统供应商 Fleetmatic...

    数据猿
  • 数据分析秘籍在这里:Kaggle 六大比赛最全面解析(上)

    AI 研习社按,Kaggle 上有各式各样的数据挖掘类比赛,很多参赛者也乐于分享自己的经验,从他人的经验中进行总结归纳,对自己的实践也非常重要。

    AI研习社
  • 大数据智能洞察、知识图谱、数据可视化技术

    面向垂直行业,结合专家知识、多源异构的碎片化知识和组织智能,引领从大数据分析到大知识工程进而大智慧系统的研发和落地应用。构建行业知识图谱,实现智能推理与知识服务...

    一个会写诗的程序员
  • centos7下FFmpeg环境部署记录

    随着视频在网站上的应用越来越多,越来越多的网站服务器需要支持视频转码,视频压缩,FFmpeg是目前最好用的网站服务器后台转码程序,应用最多。FFmpeg是一套可...

    洗尽了浮华
  • 日志必须开始写了,记录自己每一天,希望每天进步一点

    自己的每一天都是无法再重新返回过的,当前的每一分一秒都应该有所痕迹。必须有所行动,治愈焦虑吧。 一直想要开始写的博客就从今天开始吧,如果不做点什么,你将永远失去...

    Fiona_
  • 零代码入门GitHub,图形化交互让你轻松存代码 | 附Git GUI推荐

    没有哪一个学编程的人不知道Git,但对于初学者而言,Git这种跟一大堆命令行联系在一起的东西,可并没有那么亲切友好易上手。

    量子位
  • java:学习commons-configuration2读取配置文件xml,properties

    commons-configuration是apache为java应用程序提供的一个通用的配置文件管理接口,可以支持多种配置文件格式: Properties ...

    用户1148648
  • 【工具】Git GUI推荐,图形化交互让你轻松存Github

    没有哪一个学编程的人不知道Git,但对于初学者而言,Git这种跟一大堆命令行联系在一起的东西,可并没有那么亲切友好易上手。

    昱良

扫码关注云+社区

领取腾讯云代金券