实战天池精准医疗大赛——人工智能辅助糖尿病遗传风险预测

1. 赛题说明

 天池精准医疗大赛——人工智能辅助糖尿病遗传风险预测,这是明天即将开始的天池大数据比赛。赛题名字看起来很高深,其实是根据年龄,性别,肝功,血常规等体验指标,预测血糖值。数据挺少的,特征40个左右,训练集5000多个实例,测试集1000个实例。任何机器都能很快跑完。比赛地址:

https://tianchi.aliyun.com/competition/introduction.htm?spm=5176.100066.0.0.57e6e8dfMg8Z8V&raceId=231638

2. 预处理

(1) 缺失数据

 有大量的缺失值,特征分四类,分别是乙肝、血常规、肝功能、肾功能,一般的缺失值都是缺失整个类别数据(由于患者未做某项检查)。除血常规以外,其余三项都有大量的缺失值,尤其是乙肝类检查,多一半都是空值。 如果去掉这些数据,将会损失3/4的数据量。假设:医生不要求做该项检查,说明他认为该项指标基本正常,则在指标的正常范围内取随机值填充。

(2) 其它操作

 替换去掉其中中文字符

3. 数据分析

(1) 相关性分析:

 岁数与血糖的相关性最大为0.32,甘油三酯相关性0.23,还有年龄,碱性磷酸酶,白细胞计数等6项指标在0.15左右。

(2) PCA降维:

 前15个特征约占信息量的99.8%

(3) 分析血糖值分布:

 绝大多数分布在4-15之间,比赛前期可将此范围之外的认为噪声。

4. 算法

(1) 算法分析

 这是一个有监督的回归问题,此比赛基本可以定位成特征工程加调参问题。预计先使用GBDT和随机森林,后面集成多个模型。 因为数据少,主要注意过拟合问题,可能使用先分类后回归的方式。注意回归不是按正确率计算结果的,此题根据题目要求,评估指标为MSE

(2) 迭代分析

 左图是迭代与误差的关系,迭代到100次后,测试集误差不再下降,训练集还在下降,好像开始过拟合,当然这与我设置的学习率相关,右图是迭代后计算的特征权重排序。

(3) 查看预测的主要出错位置

 从训练集中切出10%作为测试,蓝线是实际值,橙线为预测值,可以看到,由于大部分值分布在5-6之间,因此所有预测都被拉到了这个区间之内。

 忽然想到之前“微信互动”预测中有一种做法,就是找到一个值,将训练集中所有实例都预测成该值,再计算误差。代入此题,试了一下,设为5.6分时误差最小,为2.4,比gbdt的2.2误差略高一些,说明算法比瞎蒙还是好一点。

5. 一些想法

(1) 一般去医院看病有问题的居多,所以相对正常值有些偏差,医生也可能作出有倾向性的判断。

(2) 该题可以把已有的知识和算法融合,使用一些现成的数据,比如正常范围。

(3) 周末检查拿结果的可能是比较特殊的病人。

(4) 岁数分成几段,更具代表意义。

(5) 可将数据修改为正常值,偏高,偏低,几个层次,做分段特征。

(6) 考虑病情比较严重的情况,可能需要分开处理,作为噪点先拿出来。

(7) 预测只是想知道被测试人是否为糖尿病,而不关注是预测与实际值的微小差

距,所以也可以将其处理为分类问题。

(8) 可能需要对误差函数和评价函数做微调。

6. 一些尝试

(1) 在本地测试,删除所有缺失数据的实例,预测效果好很多。

(2) 如不考虑大于10的数据,预测效果好很多。

(3) 目前在特征工程方面,只做了修改缺失值,而排序特征,离散特征,统计特征都还没做,算法方面只使用了sklearn自带的gbdt,其它算法也还没试。

搜索添加公众号:算法学习分享

  • 发表于:
  • 原文链接http://kuaibao.qq.com/s/20180104G0Y7AX00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码关注腾讯云开发者

领取腾讯云代金券