AI顶会审稿人指南：是什么让一篇论文与众不同？

一年一度的人工智能领域顶会之一CVPR 2022（Conference on Computer Vision and Pattern Recognition，计算机视觉和模式识别会议）已经放榜，rebuttal也截止提交。随着顶会论文投稿量剧增，审稿人人手不够，审稿质量也遭到大量吐槽。

知乎网友整理出近几年投稿数与中稿数统计

CVPR使用多层双盲同行评审，近几年顶会评审一公布，知乎上对审稿人评语的吐槽已经变成了年度必有运动。近日，计算机视觉领域大佬迈克尔·J·布莱克也发布博客加入讨论。“是什么让一篇论文与众不同？许多审稿人的一个重点是新颖性。但什么是科学的新颖性？”布莱克在开篇提问道。

布莱克是图宾根大学的名誉教授，也是德国图宾根马克斯普朗克智能系统研究所的创始主任之一，领导感知系统部门。布莱克是德国国家科学院Leopoldina 院士和瑞典皇家科学院外籍院士，曾获IEEE计算机学会杰出论文奖（1991 年）、Marr 奖荣誉奖（1999 年和 2005 年）、2010 年 Koenderink 奖、2013 年亥姆霍兹奖和 2020 年 Longuet-Higgins 奖。

布莱克观察到，审稿人经常将复杂性、难度和技术含量（complexity, difficulty, and technicality）误认为是新颖性（novelty）。在科学界的同行审议中，新颖性似乎暗示了这些事情。如果我们从审阅说明中删除“新颖”一词而用美丽代替它可能会更好。

布莱克认为，美消除了“技术”和“复杂”的概念，更接近科学新颖性的核心。一幅画即使简单，技术复杂度低，也可以很美。论文也可以。毕加索的几笔画作可以像伦勃朗一幅错综复杂的画作一样美丽。 

“牢记美感，让我们来看看一些常见的审稿人对新颖性的误解。”布莱克写道。

以下记者编译的博客原文：

把复杂当作新颖

一个想法的简单性常常与缺乏新颖性相混淆，而事实恰恰相反。一个常见的审阅批评是“这个想法很简单，只在目标优化方程的一项上改变了一点，其他一切都与之前的工作相同（It just changes one term in the loss and everything else is the same as prior work.）”。

但如果没有人想过要作这样的改变，那么它实际上是新颖的。创造性的见解是认识到一个小的变化可能会产生很大的影响，并制定新的损失（formulate the new loss）。 

这样的审阅意见让我的学生说我们应该让一个想法看起来更复杂，这样审稿人才会发现它更有价值。我重视简单而不是不必要的复杂；越简单越好。更好的科学是采用现有网络并替换一个东西，而非炮制一个全新的网络但只是为了让它看起来更复杂。

把难度当作新颖

一篇论文很难进入顶级会议，因此审稿人经常觉得想法和技术细节一定要很难，作者必须“流血、流汗和流泪”才能配得上一篇好论文。尤其是没有经验的审稿人，更喜欢看到作者真的很努力。

制定一个简单的想法意味着去除不必要的东西以揭示事物的核心，这是科学家可以做的最有用的事情之一。

一个简单的想法可能很重要，但也可能是微不足道的。这就是审稿人苦苦挣扎的地方：一个微小的想法即是一个不重要的想法。如果一篇论文有一个比现有技术更好的简单想法，那么它很可能不是微不足道的。作者正是抓住了某些核心，该领域的人会感兴趣。

把惊喜当作新颖性

新奇和惊喜是密切相关的。从定义上讲，一个新颖的想法是一个令人惊讶的想法——这是该领域没有人想到的。但这也有另一面，因为惊喜是一种转瞬即逝的情绪。如果你听到一个好主意，会有片刻的惊喜，然后，它越好，它看起来就越显而易见。一个共同的评论是：这个想法显而易见，作者只是结合了两个众所周知的想法。

明显（Obvious）是新奇的反面。所以，如果一个想法在你听过之后觉得理所当然，审稿人很快就会认为它其实并不新颖。然而，新颖性必须在这个想法出现之前进行评估。如果它很容易解释并且事后看来显而易见，那么这绝不会削弱这个想法的创造力和新颖性。

把技术上的新颖性当作新颖性

审稿人最常见的误解是，新颖性与技术细节有关。新颖性（和价值）在论文中以多种形式出现。如果一个新的数据集做了其他数据集没有做过的事情，那么它可能是新颖的，即使用于生成数据集的所有方法都是众所周知的。如果没有人想过以这种方式使用旧方法，那么旧方法的新用途就可能会很新颖。用简单的算法代替复杂的算法可以提供洞察力。

新颖性以与美丽一样多的方式展现自己。在批评一篇论文缺乏技术新颖性之前，问问自己真正的新颖性是否在其他地方。

把有用性或价值当作新颖性

并非所有新颖的想法都是有用的，只是新的属性并不意味着价值。我们想要的是引领我们实现某个目标的新想法。在这里，审稿人需要非常小心，因为你很难知道一个新想法会在该领域走向何方，因为我们所做的任何预测都是基于当前的该领域。

我看到的一个常见评论是：作者描述了一种新方法，但我不知道为什么有人需要这个。

缺乏实用性确实是一个问题，但很难用一个新想法来评估。审稿人在这里应该小心，并意识到我们所有人的想象力都是有限的。

个人经验分享

我早期的职业生涯是建立在观察和形式化两个已有领域之间的联系之上的：鲁棒的统计（robust statistics）和马尔科夫随机场（Markov random fields）。新颖性源于以前没有人将这些想法放在一起。事实证明，这是一个肥沃的空间，有许多令人惊讶的联系，并带来了新的理论。幸运的是，这些联系也被证明是有价值的，从而产生了最先进的实用算法。

事后看来，鲁棒性检测和计算机视觉科学之间的联系似乎很明显。在今天，在计算机视觉中使用鲁棒检测器已成为常态，而且似乎并不比呼吸更新颖。但在别人看到它们之前第一次看到这些联系，就像第一次呼吸一样。

当您瞥见一种新的观察方式时，生活中没有什么比在科学中一瞬间出现的火花更令人兴奋的了。你会感觉好像你是第一个站在山峰上的人，你以前所未有的方式看待这个世界。这是新奇的，它发生在瞬间，但由一个人的所有经验促成。

由此产生的论文体现了将想法转化为代码、实验和文本的过程。在这个翻译中，火花之美或许只能隐约瞥见，我对审稿人的要求是尝试想象火花之前的黑暗。