会议论文投稿到接收流程【手里有粮心中不慌】_没有rebuttal的会议,就是直接录用吗
赞
踩
参考链接：
北京大学施柏鑫：从审稿人视角，谈谈怎么写一篇CVPR论文
《计算机视觉会议论文从投稿到接收》施柏鑫-北大计算机系20200317
一、清楚投稿流程的目的
- 作为一个学生作者，对于整个投稿过程非常清楚的情况下，有助于写论文、投论文和进行学术交流的过程
- 面对被拒稿的情况下，应该仔细看待“富有营养”的comments，反思在论文写作过程中是否将观点解释清楚。这种反思有助于科研进步。
- 有助于自己当审稿人的时候做到认真负责，在学术圈形成良性推动。
二、投稿流程
1. deadline之前主要是作者的工作
- 清楚截稿日期时间点，GMT还是PST
- 论文的标题和摘要非常重要（一般有个paper Abstract Deadline）
- 论文的长度要符合要求（一般是不加参考文献在8-9页内）
- 附加材料或补充证明（一般在paper截稿后的七天）
- 任何材料一定要注意符合双盲审的规则，不要有任何泄露个人信息的过失
- 违反篇幅限制和匿名投稿会被直接拒稿（desk reject）
2. DLL后：分配审稿人（7-10天）
- 了解职能分工
- 大会主席（General Chair，GC）：主要负责整个会议的总体组织
- 程序主席（Program Chair，PC）：决定文章的录用与否，负责与作者最相关的工作
- 领域主席（Area Chair， AC）：PC找一些不同方向的AC，每名AC被分发投稿文章30篇左右，AC不可以向该会议投稿，因为在AC视角下会看到paper的所有信息（包括作者和审稿人），不符合双盲审原则
- 审稿人（reviewers）：给出负责论文的reviews
- suggest审稿人
- AC根据经验从审稿人里找10个左右的人选推荐到TPMS系统，该系统根据一些指标和数据计算一个匹配分数作为参考，AC利用这些数据权衡后推荐审稿人（重点考虑领域相关度）。
- 保证审稿人senior和junior的比例平衡，由于近年来AI论文数量激增，出现学生审稿人，但不同经验的审稿人看待文章的角度是不一样的。
- 系统真正指定审稿人
- 如今的计算机视觉会议基本是用计算机算法指定审稿人，充分考虑不同经验审稿人的工作量，采用领域主席推荐结合系统指定方式分配论文，以小同行评审为主。审稿人是有横向对比的，需要6篇左右相似的文章。
- 摘要的作用就是匹配审稿人，还存在一个可选的bidding环节。bidding就是让审稿人对自己感兴趣的paper进行意向表决，这在系统指定论文时也有一定的比重。bidding环节审稿人只能看到论文标题和摘要，体现出这两部分的重要性。
3. 审稿人开始审稿
1. 审稿人拿到待审稿件后，可以有一些横向的对比。小同行评审下，审稿人可能手里拿到的几篇论文都是非常相似的工作（解决同一个问题）。
2. 如何从作者的角度迅速抓住审稿人的眼球？第一印象非常重要，一片文章阅读5-10分钟后审稿人就已经有了大致的判断，写comments时候不会与预判相差太多
3. Introduction+图表抓住核心，让审稿人基本清楚作者提出并解决了什么问题，以及对应的结果，会有一个非常良好的印象。若Introduction犯了多个语法错误或常识错误，整体图表的精致程度和对问题描述的准确程度都存在明显问题的情况下，审稿人很容易找到理由拒稿。
4. 重点关键词——constructive，及建设性。审稿人不能直接说文章没有新颖性novelty。需要指明哪部分没有新颖性，
哪部分的工作类似工作已被人做过，文章提出方法只是已有方法的简单改进等，并给出具体的分析或证据。或实验哪一部分不充分，让作者明白文章没有赢得审稿人青睐的原因究竟是什么。
4. 催稿
late reviewwe是一个常见的问题，一般审稿人会有一个月的时间审稿，但是大部分审稿人都是在距离评审公布deadline 的前两三天完成审稿。因此论文作者需要好好思考，如何写出快速让审稿人领会文章要点的、高品质的文章。
5. 评审公布
- 在这一步，作者会收到第一轮的分数和文章评价。这里一个很关键的环节就是利用七天的时间，以第一轮反馈为参考，对审稿人意见进行申辩（rebuttal）。
- 申辩的原则作者对审稿人对文章的误解进行解释，并不是要求大家做新的实验。因为7天的rebuttal时间赶出来的实验结果并不可靠。
- rebuttal至关重要，作者需要针对其中的不同方面逐一理清，不要放弃这个机会。
- 即使遇到奇葩的审稿人，都要秉持着responsible和respectful的原则。针对讨论的学术问题，以专业的态度进行申辩，端正好态度，平和好心态，做到有理有据。
- 计算机视觉论文一般采用5级评价机制。一般1代表最好，5代表最差，大家习惯把3个数报出来，通过分数判断文章的评价。这个最初的分数只是参考，最终录用主要根据rebuttal后改过的分数。
- 1 = strong accept
- 2 = weak accept
- 3 = borderline
- 4 = weak reject
- 5 = strong reject
6.审稿人审阅rebuttal
- 作者在rebuttal阶段写完解释提交后，接下来对于审稿人还有很重要的讨论环节。对于审稿人来说一定要open-minded，即要读其他的review，做积极的讨论。作为一个计算机视觉顶级会议的审稿人，这点非常重要的，因为AC的判断主要依据rebuttal后的分数。但是其实并不是所有人都能做到，有些审稿人审完就消失了，后来也不参与讨论，导致大家觉得rebuttal没起作用。
- 这里面非常关键的两个点，仍然是responsible和respectful，大家都是在一个平等的心态下讨论问题。为什么说rebuttal之后很多事情都可能发生？因为审稿人的讨论对作者不可见，某篇文章背后可能经历了激烈的讨论才决定了最终的分数。这个过程对于审稿人是匿名的，但是AC可以看见到底是谁在发言。
- 领域主席AC应该积极地推动审稿人之间的讨论，尤其针对意见存在分歧的文章。这个时候有些审稿人比较认真，声音比较大，或者他对这个领域特别熟悉，或者有一些观点他非常在理，这些都会对最终评审结果产生较大的影响
- 审稿人经过最终的分数确定后，大概在rebuttal提交后一个月左右的时间内，领域主席通过开会最终决定这篇文章到底是录取还是拒掉。此时，领域主席最重要的作用是告诉程序委员会到底哪篇录用哪篇拒绝，同时让作者明白这篇文章为什么被录用或被拒绝。
7. 领域主席决定是否录用
5. 领域主席决定录用的过程。在拿到了最终的分数以后，在开会之前，一般来说会对分数进行排序。比如说比较低分的文章，大于444的分数文章先放在一起。然后把剩下分数特别高、评价一致正面的文章（比如222以下）也放在一起。这些文章一般来说没有太大的争议，AC看后也会觉得评价很客观，没有什么明显的瑕疵和问题，会提前写好推荐。
6. 其实处于两端的文章都不多，绝大部分的文章都存在争议。比如有一些文章的分数是224，一开始收到这个分数作者可能还挺开心的。经过rebuttal的时候，这个分数就会变化。但是即使最终分数是两个偏向接收的，一个偏向拒绝，或者反过来，这篇文章都存在接收或者拒绝的可能。AC会根据每篇文章的分数与其他AC讨论进行具体分析。
7. 包括向他自己搭档的secondary AC做汇报，询问这篇文章是否有问题。也就是说，每一篇都要拿出来讨论，到底这篇文章里面审稿人的negative意见更有道理，还是作者rebuttal说的更有道理，要进行反复论证。大家可能觉得AC的权力很大，但其实他的决定都得经过和其他AC商量后做出，不能一个人决定自己处理的每篇文章。
8. 这里存在一些非常特殊的情况。推翻审稿人的一致性意见是要尽量避免的事情，一定要争得其他领域主席和程序委员会的同意，才能推翻。所以这就是为什么AC工作中存在Triplet的组合，即三个人两两组合，然后一个当Primary AC做主要负责人，另一个人做辅助。最后大家相互check，看这篇文章领域主席是否均衡考虑了所有的review，并且从里面适当选取形成最终的推荐意见（metareview）。最终录取和拒稿的决定肯定是两个人以上的建议，保证公平正确。
8. 放榜
- 形式：一般会通过一个神秘的TXT文件，一般会哆嗦着手搜索，一般CMT状态更新会滞后几天。
- AC对决定录取的文章ID进行汇总后，所有AC上报给PC（也许形成一个txt文件）就是最终的录取结果。
- 发榜时间有可能会提前一些于网站上公布的时间，可能因为那AC会议的效率比较高，大家已经结束讨论。有时候在正式公布之前，心血来潮刷一下官网，就真的有一个神奇的txt文件（也可能是网页的链接）贴出来了，总之都是一堆数字。
