给CVPR颁“金酸莓奖”，知乎网友热议最差论文，战火烧到Reddit论坛
给CVPR颁“金酸莓奖”，知乎网友热议最差论文，战火烧到Reddit论坛
今年CVPR共有1200多篇论文被接收，官方评出了最佳论文，民间则评出了最差论文。
2019年CVPR有哪些糟糕的论文?
这个问题不仅在知乎上火了，甚至被出口到了国外论坛ML板块。
顶会也有水论文？答案是Yes。不仅有水的，甚至有水得很夸张的。
号称进步巨大，实则不work；被NIPS、AAAI和ICLR一直拒的论文中了Oral；化身剪刀手拼接已发表过的文章……这也就不说什么了，但抄袭已发表论文的Idea，做低baseline这也过分了吧？
而这个问题也引发了对学术圈学术氛围的质疑，“打招呼”让双盲同行评审成了空谈？追求短期反馈疯狂水论文成常态？
水论文这件事，实在引人深思。
最差论文提名
最差论文没有统一的标准，自然也就很难达成一致，知乎网友分别从6个不同角度提出了质疑。
下面开始知乎网友自发组织的worst paper“颁奖典礼”。
质疑1：号称进步巨大，效果平平无奇。
首先是位置最高的回答，答案提供者是一名算法工程师。
他自己也在这个领域研究类似的问题，也做出了一些小修小补，但觉得意义不大，所以就没发论文。
但是有人把结果发到了CVPR上，而且这篇研究人脸识别的论文还号称进步巨大，但实际效果如何呢？请数据说话：
提升效果并不明显。“真的、真的不work！”
但是他还是给了一些正面评价：
不过还是要表扬一下第二篇论文，里面还提出了一个Noise Resistance Softmax loss，这个损失的形式很复杂，但思想值得一看，应该能改进出一个更简单的形式。
原回答链接：
https://www.zhihu.com/question/327139341/answer/712075929
质疑2：和前年论文高度相似，审稿人怎么了？
直接把别人的成果算成是自己的，连摘要都高度相似。
这是CVPR 2019文章的摘要：
这是ICCV 2017文章的摘要：
匿名网友向作者提出疑问三连：
虽然这篇文章是不点名批评，但是稍微搜索一下还是能知道作者是谁的，算是给别人留了点面子。
质疑3：超不过对手，那就拉低对手。
自己论文效果不好怎么办，调低baseline啊！
比如这篇文章里Mask R-CNN的baseline分数只有不到70分，而另一篇文章在同样的两个数据集上做出的baseline分数超过了80分。
等于作者将baseline整整做低了十几分，终于让自己的结果“超越”了Mask R-CNN。
答案提供者也忍不住吐槽：
现在发文章不容易啊，不仅自己的实验结果需要造假，还要把那么经典的方法踩一踩，敢问作者你的良心不会痛吗？？
质疑4：被其他顶会一直拒的论文中了Oral？
有知乎网友表示，会议培养新人也没什么，但被NIPS，AAAI，ICLR这些顶会一直拒的论文一下中了CVPR Oral也太玄学了吧？这也太浪费读者时间了。
这位网友举了伯克利的这篇 《Accel: A Corrective Fusion Network for Efficient Semantic Segmentation on Video》为例子。这是一篇有关语义分割的论文，但作者显然是该领域的新手小白。
看这个baseline，未免有点低吧？
再看文章的第八页，结合文章的内容，不禁让人怀疑这是在填位置……
方法本身也没有什么创新性，中个Workshop也就算了，作为一篇Oral实在令人很失望……
还有网友补充，这篇论文的某个strong accept的意见里weakness部分只写了一个句号……emmm……审稿人真的有在好好看文章吗？
质疑5：发过的论文拼一拼，就又能中顶会啦？
听说拼一拼别人的好音乐，就能成为火遍全网的“原创音乐人”。那么在学术界，剪刀手也一样有春天？
知乎网友很气愤：拼凑的论文比灌水更恶劣，水论文还能提供一点新知识呢。
被指控的论文是这一篇：《Self-Supervised Representation Learning by Rotation Feature Decoupling》。
网友指出，这就是把ICLR18的《UNSUPERVISED REPRESENTATION LEARNING BY PREDICTING IMAGE ROTATIONS》和CVRP18的《UNSUPERVISED REPRESENTATION LEARNING BY PREDICTING IMAGE ROTATIONS》这两篇论文里提出来的自监督学习方法拼了一下，水成这样真的大丈夫？
↓↓↓ ICLR18这篇旋转预测方法的核心是，将图像旋转90度的随机倍数，如果AI不知道图像中描绘的对象的概念，就无法识别旋转后的图像。
↓↓↓ CVPR18这篇实例判别将图像编码为特征向量，投影到了128维空间并进行L2归一化处理。
↓↓↓ 至于这篇论文，emmm……只看图，不想说话……
质疑6：“打招呼”让双盲审查成空谈。
还有网友提出了更严重的指控，论文作者给评审“打招呼”了！
CVPR采用的是双盲审查，但事实上审稿人完全可以通过arXiv找到作者。有知乎匿名网友和reddit网友表示“招呼”打到了自己头上，双盲审查真的成了空谈？
这就已经涉及学术道德了啊。
问题出在哪
首先，写论文的人出现了问题。
现在国内的高校太过于强调论文数量、影响因子，舍本逐末，“完全背离了科研工作的本意”。
教授有来自学校考评的压力、研究生有毕业的压力，“追求短期反馈绝对是违背科研规律的”。
其次，论文有问题，审稿人却不能发现，有失察之过。
1、论文不开放代码，同行无法复现。
还记得韩春雨事件吗？无论是物理、化学还是生物领域，论文中的实验条件都应该交代清楚，让别人检验你的结果能否复现。如果不能复现就说明文章是存在一些问题的。
但是在计算机领域，还缺乏这种机制。AI界知名女学者Anima Anandkumar曾建议，投往学术会议的论文需要强制要求提供代码，供其他同行复现结果。她的倡议正在被越来越多的同行接受。
2、论文数量逐年增长，审稿人严重不足。
CVPR投稿数量激增，今年就有5000多篇，比去年增加50%以上。
审稿人中有经验有能力的人手严重不足，但是每个人的工作量就那么多，不可能超负荷运作，只能去找一些水平不那么高的审稿人了。
3、审稿的双盲制度正在被破坏。
一方面，审稿人可以通过其他渠道提前知道作者的身份，因为在开放平台Arxiv上提交论文已经是一种常态。
另一方面，作者可以有途径得知审稿人身份，甚至“打招呼”让论文通过审核。比如前一段时间自杀博士Chen Huixiang就说自己的导师认识多个审稿人，才让自己漏洞百出的论文能够中顶会。
不同的声音
顶会灌水令人不爽，这也是关于糟糕论文的问题会引起热议的原因。但在大量的吐槽之中，也有这样的声音：要喷应该喷灌水的风气，而不是喷paper本身。
南大的周志华教授就曾经表示：论文的价值就是那点新花火，有毛病没关系。
MXNet创始人李沐也指出：学术会议除了交流学术成果外，还有一个重要功能是培养新人。对于看上去像灌水的“小白文”不必太苛刻。
CUHK助理教授周博磊则提出了这样的建议：读别人文章时放平心态，与其纠结为什么这么水的论文也能中，不如多去发现别人论文里的闪光点。
好论文应该是什么样
大家都希望读到好的论文，而科研人员们也不愿看到自己认认真真做出的论文跟水货们为伍，那么到底什么样的论文才能算是好论文呢？
知乎有一个600+赞的回答说的很好，还被国外网友转到了Reddit上：
提出新思想新方法，沉淀下来找好问题做好问题，不要一味地追求短期反馈。这样的科研工作会更有意义，优秀的工作何愁好论文？
君不见有人埋头研究线虫8年，才终于发表了第一篇一作文章，这一发就是Nature封面。
知乎原文链接：
https://www.zhihu.com/question/327139341
— 完 —