NeurIPS 2020 接收率创史低，千篇论文被摘要拒稿，官方：错误率只有 6%

转自 | 机器之心

作者| 泽南、蛋酱

今年有了「看摘要拒稿」环节，但 NeurIPS 2020 的审稿期却仍然变长了。

10 月 8 日，在经过几个月审阅和延期之后，人工智能顶会 NeurIPS 2020 放出了接收论文列表。最近几天，有关本届大会的论文统计结果逐渐出现，一些亮点论文也开始被人们讨论起来。

今天，大会官方分享了一些今年审稿和流程及统计数据。

首先是总体接收情况，NeurIPS 2020 获得了 12115 篇论文摘要的提交，以及 9467 完整论文的提交。相比 2019 年，论文提交的数量增加了 40%，增长幅度与 2018-2019 年相同。审稿之前，共有 184 篇论文由于非匿名原因、作者撤回、页数过多等原因被拒，11% 论文被 desk-reject，随后剩下 8186 篇论文分配给审稿人。

在众多审稿人、区域主席和高级区域主席的辛勤努力下，大会最终接收了 1900 篇论文，今年的「录取率」仅为 20.07%（略低于 2019 年的 21%），其中有 105 篇被接收为 oral，280 篇为 spotlight 论文。

科技公司 Criteo 的研究科学家谢尔盖·伊万诺夫对 NeurIPS 2020 的接收论文进行了初步统计，发现谷歌、斯坦福大学和 MIT 分别以 169、104 和 98 篇成为论文被接收数量最高的机构，清华大学位列第七，有 63 篇。而如果统计国家的话，美国研究者的 1178 篇论文遥遥领先，中国和英国排在其后。

个人中稿数量上，UC Berkeley 的 Sergey Levine 有高达 12 篇论文被接收排名第一，美国西北大学的 Zhaoran Wang、UCLA 的 Lin Yang 等人均有 9 篇论文被接收。

算法、深度学习和应用：三大方向仍最热门

在下表中，你可以看到这些年来提交论文在主要研究方向上的变化：

值得注意的是，今年的 NeurIPS 大会引入了「机器学习的社会影响」方向，其中探讨的内容包括公平与隐私。此类论文以往被包含在算法方向下。可以看到，NeurIPS 2020 最热门的三个方向和以往没有太大变化，仍是「算法」、「深度学习」和「应用」，不过后两个方向热度有所降低。

那么问题来了，论文写哪个方向录取率高？

我们可以观察到「理论」和「神经科学」仍然是接收率最高的两个领域，另一方面「应用」、「数据挑战、应用和软件」则是今年接收率最低的方向。

今年全球遭遇了新冠疫情的冲击，大会也特别呼吁人们提交与新冠相关的论文，结果共收到 40 篇相关研究，最终有 1 篇成为口头报告论文，4 篇 spotlight，还有 4 篇 poster。新冠相关论文的接收率 24%，略高于 20% 的总体接收率。

史无前例的 9467 篇论文，史无前例的审稿人数量

人工智能领域的热度仍在不断提升，每一年 NeurIPS 都会成为新的「史上最大」AI 顶会，人们面临的最主要挑战就是如何处理海量的论文提交。面对今年超过 9000 的提交数量，大会需要招募 7100 名审稿人以达到每篇论文 4 名以上审稿人，至少 3 份审稿意见的水平。NeurIPS 2020 是如何完成这个艰巨的任务的？

首先，大会邀请了 64 位资深领域主席，480 位领域主席以及 4969 名审稿人。这些研究者们来自 NeurIPS 2019 的优秀审稿人，同时也有不少人来自其他机器学习顶会、专业顶会、研讨会（如 CVPR、EMNLP、医学研讨会等）。在论文提交 deadline 之前几个月，会方就努力说服了众多程序委员会成员更新了自己的 TPMS 和 OpenReview 档案，以保证在随后的分配论文的时候有足够高的效率。

正如之前所估计的，即使审稿人数量达到 4969 人，但仍然远不足以完成任务。因此 NeurIPS 2020 选择让论文提交者审核论文。在论文提交者当中，大会选出了 1778 名额外的审稿人。他们的筛选标准是：1）必须有 TPMS 或 OpenReview 档案，2）至少参加过一次机器学习顶会的审稿，3）至少投过 10 篇论文，4）至少在机器学习顶会上以第一作者身份发表过一篇论文。

即使标准看起来比较合理，但让投稿人审稿的安排还是会存在一定争议。人们肯定会问：常规审稿人和他们的评判标准是否会有不同？衡量这一点的自然方法是使用区域主席分配给评审意见的等级：1 表示未达到期望，2 表示达到期望，3 表示超出预期。这一机制会被用于决定明年大会继续邀请哪些审稿人，以及给谁授予大会免费注册的优惠。

如果我们把每个审稿人的平均分数和他们提出的审稿意见关联起来，可以发现被邀请的审稿人的确比论文作者审稿人水平高，不过差别并不明显。NeurIPS 大会组织者认为，这表明今年大会的审稿水平并没有因为新的政策而牺牲太多。

有趣的是，我们还能看到审稿人的经验水平和区域主席给的评价相关性其实并不高。在下图中我们可以看到经验最丰富的审稿人（在顶级机器学习会议中担任审稿人超过十次）并不能获得最高分。实际情况和人们的预料相反：审稿界的新人可以获得最高评分，特别是对于那些曾在其他会议担任评审，第一次来 NeurIPS 的人来说。



在 desk reject 之后，80% 的论文被分配了 4 名审稿人，以尽量保证在作者通知 Deadline 之前，论文的提交者至少能够收到 3 篇论文审稿意见（在这个时间线上，只有 5 篇论文获得了少于 3 份审稿意见）。最终，NeurIPS 2020 收到了共计 31,000 份审稿意见，审稿人数量达到 7062 人。

如前面所说，除了保证审稿人数量之外，今年的 NeurIPS 还增加了提前拒稿环节。在这一阶段，区域主席和高级区域主席会审阅分配给他们的论文摘要，并标记他们认为不应接收的论文。

至 2020 年 6 月底，大会共收到 1097 份提前拒稿意见。领域主席对于这种不经全文审阅即拒稿的方式看法不尽相同：有 82 名领域主席在这个阶段决定不给出任何拒稿意见。为了评估这一阶段的审稿质量，大会随机选择了 100 篇被标记为提前拒稿的论文投入常规审稿阶段，并分配给不同区域主席和资深区域主席进行审稿。结果发现，这些论文有 94% 被拒稿，「错误率」仅为 6%。

总体来说，提前拒稿环节有利有弊。但是考虑到区域主席和高级区域主席为此花费了三周时间，被拒绝的论文比例（小于 11%）却是相当低的。一些在该阶段被拒的作者也表示，他们没有充足的理由来做决定。好处是，区域主席在提前拒稿环节对整体论文的情况更加熟悉，促使了其他阶段审阅效率的提升和审阅质量的提高。

影响力声明以及其他

今年，NeurIPS 官方要求作者在提交内容中增加一份「影响力声明」，但没有因未满足此要求而拒绝任何论文。不过大会仍然要求已接收论文在 camera-ready 版本中保留这一部分。

下图展示了「影响力声明」的单词数量直方图，可以看出，大约有 9% 的研究者没有提交这一部分，并且大部分提交的声明内容在 100 字左右。

NeurIPS 任命了一名道德顾问，并邀请了 22 名道德审查员。审稿人可以举报疑似具有道德问题的论文，例如使用不当数据、方法存在偏见等问题。

最终有 13 篇论文接受了道德审查。在经过技术审核人、区域主席、高级区域主席和程序主席的全面评估之后，出于道德考量，只有 4 篇论文因为新规定被拒。其中 7 篇论文的结果是「conditionally accepted」，这些论文将会在修改后继续由区域主席评估，有的论文需要对潜在风险进行更清晰的讨论，有的论文需要删除有问题的数据集。

此外，NeurIPS 还进行了一些其他修改，帮助优化审核过程。例如，在 discussion 阶段，区域主席可以向作者发邮件以解决官方 rebuttal 阶段之后的问题。据统计，在 rebuttal 之后，区域主席总共向作者们发送了 604 封邮件，作者和区域主席对该方法的反馈总体比较积极。就像 OpenReview 平台一样，在整个审阅过程中建立与作者的沟通渠道是非常有效的。

另一项更改是允许作者公开所有的重新提交信息，让其他人可以看到和上次被拒绝的版本相比，内容有何处更新。在提前拒稿环节之后，区域主席和高级区域主席都可以访问此信息，总体来说有 30% 的研究都是重新提交过的。

同时，NeurIPS 也允许作者在 discussion 阶段进行评论，这样做是为了增加审阅过程的透明度，使作者可以得知论文上的最新分数。因为该分数对于确定提交作品是否符合 AAAI「快速通道」审阅程序很有意义。

最后，来看一些基本的统计数据：

首先比较一下 NeurIPS 2019 和 2020 的实质审查（meta-review）时间。如下图所示，今年的实质审查时间更长，这可能是因为 summary-rejection 环节让区域主席从一开始就更多地参与了审查过程。

该趋势与审稿人内部 discussion 的趋势是一致的，如下图所示，今年的 discussion 时间比去年长。

总结

• NeurIPS 的提交数目以每年 40% 的稳定速度持续增加；

• 提前拒稿环节不会产生很高的「假阳性率」，但也没有砍掉很多篇论文；
  

• 事实证明，邀请论文作者作为审稿人是一种非常有效的扩展审阅方法；
  

• 很少有论文涉及道德关怀问题，NeurIPS 官方有专门的流程来处理此类事件，为作者提供来自道德或机器学习的更多专家反馈；

• 在讨论环节与作者进行交流，有助于解决一些难题。
  
  

现在，论文审稿期已经结束，在 12 月份大会正式开幕之前，我们可以先看论文了。

参考内容：
https://medium.com/@NeurIPSConf/what-we-learned-from-neurips-2020-reviewing-process-e24549eea38f

感谢你的分享，点赞，在看三连↓