作者丨重剑无锋@知乎（已授权）来源丨https://www.zhihu.com/question/529489400/answer/2456615831
刚好前不久NIPS给我发了top reviewer award 就来分享一下我的心得
最主要的判断必须是基于文章本身，我认为几个类型：
1.颠覆了我的认知，让人有种脱口而出“卧槽”的冲动，我是肯定给8分起跳，至少strong accept，而且我会非常热心defend我的评分，主动说服其他reviewer。
这种work可能两年能有一篇被我审到，要么是告诉我一条崭新的技术路线，要么是打破我固有的观念。比如斯坦福有一篇差分隐私的文章将计算成本为普通训练几十倍的隐私计算压到了2倍，生生打破了我对隐私计算复杂度的理解。即时这篇paper没有任何理论而且不通用（比如无法用在CNN上）我也认为这是本领域spotlight。类似的例子还有transformer这种打破RNN传统sequential training路线的和adagrad这种第一次把adaptivity引入的文章。
2.增广了我的知识，让我觉得“我猜也是如此，谢谢你证实了” 大概是weak accept到accept。
可能70%的work都属于这一类，哪怕顶会顶刊绝大多数也是这类work，没有惊喜，但是详实的话也极有价值。
如果说第一类work的贡献是指出了科研未来的方向，那这第二类work的贡献就是降低了未来的不确定性，告诉大家：这个方向是对的，可以继续往前走，实验和理论我放这了，大家不用浪费资源/人口/算力了。
比如说如果有人做了两层神经网络的收敛性分析，那么做三层的或者把bound收紧就属于这一类。具体点比如NTK理论先搞出来了两层神经网络在MSE loss的GD的收敛，之后Allen Zhu做了极度扎实的框架，囊括了crossentropy loss和SGD等新情况 现在citation也600+还在持续攀升。
再比如说实验类empirical文章。可能我还没读到具体算法的时候，光看你大致思路，我就猜你这个改进大概只能涨一两个点 那么如果你涨了10%，我就送一句卧槽 （比如deepmind最近那个差分隐私的paper 没想到data augmentation能涨几十个点） 算你第一类文章。如果真的就涨了一两个点，那就weak accpet，如果突破了我的猜测一丢丢，比如涨了五个点，那就给accept。
3.对我的认知没啥影响，要么是做的老生常谈，新瓶装旧酒，要么“新意”纯粹就是模型-数据-任务排列组合。
这类work我会给borderline，看审稿的期刊会议档次。如果NIPS级我就borderline reject，除非文章很完整很正确，该有的实验和理论都有，唯独缺novelty那我还是给borderline accept。
4.除了让我叹气和疑惑啥也不是。
这类work最近送审的越来越多了，有的存在根本性错误，证明性的实验性的都有。比如测试集搞成训练集了，比如魔改了常规定义或者performance measure，比如baseline选了过时的过弱的。有的实验机理描述不清甚至前后矛盾，读完无法理解他做了什么，一般我会给个borderline reject提问题。如果能解答我的疑惑，再调分上去。如果让我更加疑惑那就对不起了，strong reject也是有的。
当然也有跟文章本身无关的极端情况，比如一稿多投、抄袭等学术不端。那不管文章质量多好都必须拒掉，这里就比较考验搜商了，记得拿到稿子都回去各个数据库比一下。
评论区留言，欢迎谈一谈你的看法~
