聊天截图曝出AI顶会审稿潜规则！AAAI 3000块即可strong accept？

新智元报道  

编辑：Aeneas 好困

【新智元导读】最近，知乎上爆出一张AI投稿群的匿名聊天截图，网友讨论「加群互相bid」，还说3000块就可以买到一个AAAI的「strong accept」。

正值AAAI 2023论文截止提交之际，知乎上突然出现了一张AI投稿群的匿名聊天截图。

其中有人声称，自己可以提供「3000块一个strong accept」的服务。

爆料一出，顿时引起了网友们的公愤。

不过，先不要着急。

知乎大佬「微调」表示，这大概率只是「口嗨」而已。

据「微调」透露，打招呼和团伙作案这个是任何领域都不能避免的问题。随着openreview的兴起，cmt的各种弊端也越来越清楚，未来留给小圈子操作的空间会变小，但永远会有空间。因为这是个人的问题，不是投稿系统和机制的问题。引入open review和bid+随机匹配可能会有帮助。

而且他的个人观点是，文章发在NeurIPS还是AAAI还是IJCNN都无所谓，充分宣传让大家知道你在做什么就行了，citation会证明这东西有没有用。

那么，这种风气是否在如今的顶会论文审稿中普遍存在呢？又是否已经有人因此「名利双收」了呢？

万物皆可发家致富

在讨论之前，我们先来简单说一下这个bid到底是啥。

为了方便分配审稿人，有的会议会设置一个bidding环节让审稿人自己选择感兴趣的文章。然后系统就可以参考这些审稿人的选择进行论文的分配了。不过，审稿人在这个阶段只能看到论文标题和摘要。

而这其中，可就大有文章了。

各种匿名爆料

另有知乎匿名网友表示，格局小了吧，有微信聊天截图为证，其实连best paper都是能互相bid的，这点小事算个啥。

有网友表示，今年投稿AAAI时，还一本正经地让填conflicted users、conflicting domain等等，但实际上作用不大。

这位知乎匿名用户甚至提出了令人拍案叫绝的解决方案：用图神经网络、推荐系统等自动挖掘出以各个导师为中心的关系网络，再检查各大会议的bid数据、审稿数据、给分情况，这样异常节点和关系就可以轻而易举地挖出来，因为它们在图神经网络里像恒星一样耀眼。

或者干脆举办个顶会bid数据挖掘大赛。

不过也有网友指出，这个所谓「3千块包SA」，其实是有bug的：

要知道，就算你强推了，其他审稿人一个borderline加一个weak reject，直接白给。毕竟这东西又不是算平均分录取的。而且分歧很大的话，AC也不可能给过的。

所以就算要给钱，也要用在「刀刃」上。这么一想，那就得找SPC或者AC了。但这时，你就需要考虑两个问题了（其实是一个）：第一，人家这种level的，你给3000块就想搞定？第二，如果人家真给你搞定了，只会收你3000？

当然，除了吐槽外，还有一位「见义勇为」的senior reviewer表示，如果自己看到有审稿人给了「水文」高分，就会直接strong reject，然后写小作文狠狠地diss，而且现在连模板都已经拟好了。

据说，所有会议和期刊都有类似的问题，只是比例和严重程度不同。此文中就不便多讲了。

某匿名用户的建议，属实有才

审稿随机性有多大

AI顶会审稿的随机性究竟有多大呢？

在2021年，NeurIPS就曾做过一次审稿一致性实验。

根据港中文CS博士「电光幻影炼金术」的视频介绍，在这个实验中，同一份稿件有10%的概率会送给两组审稿人，两组审稿人互相不知道对方的存在。

两组审稿人会分别进行评分，有两个领域主席对评分的结果作出决定。这样就可以定量分析，同一份稿件会有多大概率得到不同的审稿结果。

结果显示，第一组审稿人accept、第二组审稿人reject的概率是52%，这概率已经超过一半了。

而如果第一组审稿人reject，第二组审稿人也reject的概率是83%。

这个结果和李飞飞的观点也是符合的。

李飞飞就曾发表过一篇很著名的讨论审稿的文章，提出了这两个观点：

1.审稿过程是高度随机的。

2.差的论文会得到差的审稿意见，这是随时间和随机性都不会改变的黄金规则。

NeurIPS官方还进行了这样一个比较，每篇论文不进行审稿，随机决定，然后根据接收率和分歧率制成一条曲线，横轴是接收率，纵轴是分歧率。

图中可见，如果接收率非常低或非常高，那么分歧率是不大的。

而中间的分歧率是最大的，如果说接收率是50%的话，分歧是最大的。

AAAI和IJCAI都是采用这种模式，用高拒绝率，来换取较小的随机性。

最后，「电光幻影炼金术」给出这样一份关于人工智能审稿的结论小结。

风口浪尖上的AAAI

当初，AAAI 2022的审稿结果就饱受争议。

有人在社交媒体上表示，自己的论文得到了4个accept，最后还是被拒了。

下面这位作者表示，4位审稿人均给出了「偏向接收」或「接收」的意见，在审稿意见中也都是正面评价：idea有趣、模型足够solid、实验和分析也够全面。

但最终结果却是：拒稿。

对于AAAI 2023来说，采用的依然是两阶段+双盲的审稿形式。

在第1阶段中，每篇论文会得到两名审稿人。如果收到的两份意见都是负面的，那么这篇论文就会被直接拒绝。其余的将进入到第2阶段。

在第2阶段中，每篇论文会得到至少两名新的审稿人。在新的审稿人提交自己的意见之前，他们是不会看到第1阶段的审稿结果的。

而进入第2阶段的论文作者，可以针对所有的审稿意见进行回应。程序委员会和高级程序委员会将会根据作者的反馈进行讨论。

至于具体的操作方法，可以参考下面的这篇论文。

该论文提出了一种新颖的审稿人-论文匹配方法，并且已经在AAAI 2021、ICML 2022、AAAI 2022和IJCAI 2022上得到了应用（全部或部分）。

论文地址：https://arxiv.org/abs/2202.12273

最后只能说，目前看来投稿时能整的花活不多，投稿人唯一能做的就是尽量写出好文章，让自己的paper成为NeurIPS实验曲线里最右边的那一小搓。

参考资料：

https://www.zhihu.com/question/548211913

https://www.zhihu.com/zvideo/1453042479734304768

https://www.zhihu.com/question/548211913/answer/2628893619

https://www.zhihu.com/question/548211913/answer/2628807013