本系列为我在被磕盐搞的这几年的一些胡思乱想。
满纸荒唐言,不必辨真伪。
磕盐千面25-结果正确 or 过程正确 ?
本文于2020-03-01已发表于Listenlii公众号,这里将其划归磕盐千面系列。
以往的内容全部保留,有感于最近交流群的一个讨论,最后加入了一些内容更新。
我突然发现了一个之前没有思考过的问题:发文章到底是要结果正确还是要过程正确?
这俩此词是回复读者评论的时候临时起意造出来的,先解释一下:
所谓结果正确,即条条大路通罗马,不管用啥方法,只要得到了想要的结果就行;
而所谓过程正确,是指我们为了得到结果所采用的方法必须是统一的,即使可能得不到我们希望的结果。而我在《对微生物测序领域的思考》中提出的建立从采样到数据分析的SOP,就是希望微生物测序这个领域能够过程正确。
对于结果正确,我们经常能看到以下的情况:
要检验样本间群落之间的差异,有的文章用了PCA,有的用了DCA,有的用了ANOVA,Adonis等检验。不知道大家看到如此多的方法是否会产生疑问,为什么不同文章会选择不一样的做法?是只知道其中一个方法;还是选了结果最契合假设的方法?这些判断标准没有人会写在自己的文章里。
再举个例子,很多人会检验群落差异会做t检验,但是t检验是有前提的,数据必须符合正态分布且组间满足方差齐性。对于文章中的t检验,作者是否先判断了自己的数据符合标准,作者一般也不会写进文章。
生信中这样的例子其实太多了,相信自己分析过数据的人也都会遇到各种各样的坑。有时候针对一个问题有多种方法;有时候某种方法的使用是存在前提条件的。但是坏就坏在,这些方法的使用标准大家不会写进文章,因此,这里面就会存在很多说不清的猫腻。
随意的或者有意的方法选择会造成了文章本身的可信度存在疑问,不同文章之间即使研究的是一个问题,很多时候也不能直接进行比较。
我认为现在的文章是以结果正确为导向的,很多时候大家还是选了最符合自己预期结果的方法来使用,而不会考虑这种方法是否合适。文章一发,万事大吉。
在方法和技术不断飞速发展的今天,我认为更应建立SOP来统一分析方法。即使现在的SOP方法会过时,但却是目前阶段最全面、最可信、也最容易在多个文章之间产生联系的手段。
对于如何建立SOP的问题,我只能纸上谈兵了。
必须要由国际公认的本领域专家共同建立,并且及时更新以跟上方法技术的发展,通过大牛带动效应不断的推广(Qiime2, Deblur等就是很好的例子)。
另外,也需要通过各种杂志投稿要求的强制性来倒逼广大作者使用。
这样两种作用结合,才能更好的推广SOP。
2021-8-20 更新
昨天在交流群里面看到一个问题,有几个同学投稿都被审稿人要求用ASV的方法代替OTU重新分析数据。
看来用ASV替代OTU已经是大势所趋。
群里仍有同学还从来没有用过ASV,也担心换方法之后结论会改变。这也印证了我之前的看法,即很多人不会主动的去尝试新的方法,即使很多大牛已经用新方法发了高水平文章或写了综述。
最高效的推广新方法的模式就是通过杂志和审稿人的要求强制大家被动的了解和使用新方法。
恰逢测序领域的高速发展,新方法迭代更新迅速。这也是喜忧参半的事。
层出不穷的方法给这个领域注入了新的活力,大家都有新的技术和方法可以选择,这是好事。但是一旦被迫换新方法的事情落到自己头上,每个人也都是不舒服的。
所以还是要积极拥抱新方法,即使一些审稿人不了解,也可以义正言辞的怼回去,谁谁谁已经说过了新的方法更好。而如果用老方法被质疑,只能卑微的回复祈求通过,或者花更多时间重新分析数据了。