论文写作常见问题
- Overclaim
Overclaim是我一开始投稿CVPR时审稿人给我的反馈,当时还一直在揣摩,为啥审稿人会这么说?是我的实验漏掉了部分,还是我的效果不够有说服力?这点其实是个很主观的评价,作为作者,唯一能做的就是根据你的方法和实验,来总结你的贡献,确保你所claim的每个点都能在方法或者实验里得到印证,有相应的evidence可以support,这点非常重要。
所以写贡献要小心谨慎,你多说一个点,多加一个词,可能都会引起审稿人的夺命连环问,到时候你会为此付出代价,或者要多补一堆实验,其中一篇审稿,我列了四块儿实验,我希望在rebuttal的时候看到,就看作者能不能完成了,我会根据新的实验结果来决定要不要提分。
- 实验不充分
实验不充分是我审稿的三篇论文没能拿到weak accept的主要原因,这几篇多多少少都有实验上的问题。
有的是关键模块的消融只是很粗糙的做了下,有的是论文涨了很多点,也对比了足够多的方法和测了足够多的benchmark,但因为方法过于简单,简单到几乎说不出新意,很明显的A+B的味道,作者又没有进一步的分析和消融,我不知道他的效果提升到底是来源于引入foundation model本身,还是作者自己的额外设计,甚至是来自于多个数据集的co-training,这些都没有消融来验证,所以我看在效果和开源了匿名代码的份上,给了3分,也给了机会看rebuttal。
一个共性问题都没有给一些failure case和limitation的讨论,每篇工作肯定有亮点,也有不能做的,如果作者能清晰区分亮点和方法的边界,并给出一些例子和改进思路,我会认为作者的思考会比较全面和深入,反而可以会打高分,可惜的是,三篇论文都没有这部分内容。
- 动机不清晰
这是当前大模型时代写科研论文很多新手的通病,LLM/VLM/VFM/Diffusion Model这些foundation model大家论文里都会用,它们的确有很多优势,但到底有啥优势是适合你的某个或者某些任务,或者为什么能用它们来做某个新任务,你需要给出合理且清晰的动机。
但我在我审的一篇用LLM来做下游任务的稿子,我并没有看出清晰的动机。整个给人的感觉就是,你看没有用llm做过这个任务,那我就来试试,然后提了些模块,发现效果不错,就投稿了,有种拿着 到处找钉子的感觉,诶,发现这个钉子还挺合适,就敲一下,成功了,就开始写论文,就感觉CVPR有了。
llm本质上到底适不适合做这个任务也没说,他能做成的原因我也不知道,读完一头雾水,方法设计也就是给llm前后包个encoder和decoder,再加上效果也没好哪去,还不如一些其他方案,一顿操作猛如虎,最后涨点0.5,我最后忍着给了2分…估计也是第一次投稿,稍微给Ta点信心,毕竟大家都是从新手阶段过来的。