自闭症预测 You can you up

最近两个月在做一个预测自闭症的项目(https://github.com/ramp-kits/autism),提供的数据有被试的年龄,性别,用freesurfer提取的结构像数据,不同模板提取的resting-state的数据。类似于kaggle,有Public的datasets,大概1000多被试供参与者建立自己的模型,另外差不多也是1000多人的private的数据用来进行测试和排名。相比于kaggle, ramp这个平台知名度比较小,所以参加的人并不多。奖金个人觉得还是比较丰厚的,相对于参与人数来说。第一名E3000,第二名E2000,第三名E1000,第四到第十都是E500。刚开始参加的时候,觉得懂数据的人不一定了解脑科学,懂脑科学的人不一定会搞机器学习和预测,如果即懂数据分析,又懂脑科学的人成绩应该不会太差,所以就欣然上路了。。。直到kaggle最近发布了一个把所有特征匿名的比赛,才发现这一个误解,真正的数据科学家是不需要太多背景知识也可以搞定数据的。

未来的趋势

相比修改自己无聊透顶的文章来说(Btw, 我做个研究是一个大样本fMRI扫雷式的研究,以后有机会再吐槽),这个预测的项目充满了挑战,它诠释了you can you up/是骡子是马拉出来溜溜的实用主义。心理学(认知神经科学)中,p-hacking,数据分析中mistake, 小样本的bias,还有统计方法(比如假设检验)都是造成结果无法被重复的原因。另外一个方面,即使在使用机器学习方法进行预测的研究中,有很大一部分研究使用了相对较少的样本,样本数据来自同一个scanner,或者使用了leave-one-out的交叉检验,此外这类研究根本无法防止研究者overfit自己的数据,这些都可能造成结果的可重复性差。这个自闭症预测比赛的可贵之处在于,有1000+未知的数据可以用来检验模型的表现。 这类比赛可能是防止研究者自己overfit自己数据的最有效方法,可能成为以后的趋势。【overfit是指根据数据A选最好的特征和模型及参数,然后放到同质的数据B上,模型表现极差,模型毫无意义】

分享几点感受:

1. 自己从未从导师的角度出发思考过这个问题,跟导师谈过这个竞赛,他说这样做比招博后省钱。确实如此一个博后一个月E2200+,做个两三年不一定产出个好的模型,而且搞不好自己在overfit自己的数据。【好吧,算是给别人做了两个月不拿工资的博后。。。导师以为我在专心修改论文】。

2. OOP才是python精华

碰到的第一个问题就是python的oop(面向对象编程),之前用python都是按照matlab的套路用的,spyder打开后python完全就是另外一个版本的matlab。 几乎所有的sklearn的内容全部都是按照oop的方式编写的,这样给调用提供了很大的便利。在过程中感受到的oop的强大之处。

3. 本专业的知识没用上多少

唯一用到的相关知识是,motion的correction,看综述,使用了自己觉得正确的方法,矫正了头动+1st derivative+RMS,用correlation作为FC。 小世界,低频振幅等rest常用的属性尝试过,但没时间去探索。对于功能连接只是用index表示,比如FC_01, FC_02,具体哪跟哪连接的也没有map到脑上看。如果有宽裕的时间的话,我应该会把具有区分度的fc画出来,结合所在脑区进行特征选择【这是心理学背景的人会想去做的事情,当然这样可能导致严重的overfitting】。

4. 基于自己的模型和数据来看,power 2011的模板比其他几个模板效果要好一点。Shen atlas 组织者没有提供,但是也是值得考察的一个模板。

最后的结果

public leaderboard 8

private leaderboard 大概30+

一个星期才缓过神。好吧,对特征的hardcoding是overfitting的元凶。值得一提的是public leaderboard上前10几乎都用了hardcoding,而且居然有人达到了0.99的AUC,之前还一直以为是大神用了不寻常model,心里非常膜拜。【Hardcoding就是使用各种手段,把认为最好的特征直接告诉你的算法。比如特征提取完了,你基于某些标准直接选第1,3,5,6,22..个特征作为模型的输入】最好的方法是将特征选择嵌入到算法中,所谓nested cross-validation。

在特征选择时,效应量是我使用的标准之一,虽然从机器学习的角度看,使用效应量可能让y label leaking,从增加了overfitting的风险,但按照心理学研究的逻辑,使用效应量选择两组间有差异的特征(FC),那么这些差异在另外同质的样本上应该也是显著差异的。比如从public的数据中,我发现了自闭症和正常被试的IFG和SMA的FC有显著差异(n=1000+), 那么对于private的数据,这种差异应该是依然存在的。但事实证明,这样做效果真的很差。这不得不让我重新审视这一逻辑,心理学研究可重复性到底有多少,效应/结论推广到更大的样本或者其他同质样本上是否还会存在?

无力吐槽的top10

真正让人无力吐槽的是前10的代码。自己对前10代码的期待是:

有对数据特点的考量,有特别的去头动矫正的方法

有高级的算法,比如深度学习,xgboost, 贝叶斯的应用

有除了FC新的特征,比如ALFF 小世界属性

事实是,前10的代码没有太多高明之处,一度让我怀疑自己对待这个活动太过认真,简单的有可能是最有效的。有人直接使用了组织者提供的代码,将所有可用的altlas提取的FC,stack一下;几乎没有人回归头动,更不要说RMS和1st derivative了;几乎所有代码都是组织者提供的代码稍作修改提交的,因此大部分人都用了默认的covariance而不是correlation作为FC;几乎都是清一色logistic regression, 甚至elastic net都没看到。估计组织者在看到top 10的代码时会比较失望。如果把比赛放在kaggle上,可能会有更好的效果。自己没有比较过矫正头动和不矫正头动的差别,也没有比较covariance和correlation定义FC的差别,但是如果模型表现好应该有其理由。

最后的最后

个人觉得在比赛进行一半的时候,公布一次private leaderboard是比较好的,这样可以提醒一大部分人他们是在overfitting。另外一个细思极恐的事实是在用机器学习的方法进行研究,发论文时,无论使用了怎么样的cross-validation的方法和花哨的模型,自己overfit自己的数据根本无法避免。如果一篇文章声称用了某些指标(比如 vbm, cortical thickness, rest的fc, 等)成功预测了某个结果(比如自闭症,ADHD, 某个量表的得分,等),方法的可行性,读者需要有自己的判断 ( with big caution) 。此外,此类方法的一大挑战是可解释性,简单的例子就是神经网络,RNN/CNN 广泛运用在图像识别,自然语言处理上,只看重结果,不需要解释,但如果用在脑科学的研究上,节点几乎无法解释,使用这种方法的意义不大。

原创文章,转载请注明

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20180709G1MD6200?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码关注腾讯云开发者

领取腾讯云代金券