AI论文“井喷年”,两位AI尖子将相继爆发学术不端行为

几大 AI 顶会接收论文的数量正在迎来大爆炸,这当然是由 AI 研究的火热所驱动。然而,增长的烦恼也随之而来,人们担心,这些顶会的论文质量会不会跟不上数量的膨胀速度,以致顶会论文的整体质量遭到稀释。

正当这种忧虑还仅仅停留在合理推测的层面时,更加严重的论文质量问题给出了“实锤”。

ICCV与CVPR是计算机视觉领域最具影响力的顶级会议。它们不仅是CCF会议列表认定的A类会议,CVPR更是在2018年谷歌学术期刊和会议影响力排名中位列前20。然而,近期这两大会议却纷纷爆出学术不端风波。

两大顶会接连出现抄袭风波,谁该负责?

首先是南开大学程明明教授组被ICCV2019接收的论文受到抄袭质疑,其摘要部分与另一篇发表于CVPR2018的论文摘要相似度非常之高。

图丨南开大学程明明教授组论文摘要,地址:

https://arxiv.org/abs/1908.08433v1(来源:arxiv)

图丨CVPR2018论文

https://arxiv.org/abs/1801.03924(来源:arxiv)

图丨程明明教授也在知乎上快速做出了回应(来源:知乎)

ICCV 鉴定两篇论文的相似度仅为 3%,认定不构成抄袭。程明明也再次重申了对学术不端行为的重视,并表示今后将加强对论文的把控。

他表示:“在这件事情上,我们所有作者确实不够严谨,有明确责任。其中第一作者在撰写初稿过程中,在摘要里如此高相似度的去写研究背景,连我自己都很震惊”。

程明明也公布了事件发生和处理过程:一作的学生在撰写摘要初稿的过程中,计划模仿 CVPR 2018 的摘要的表述方式。但是在后续长时间的修改中错误地将计划参考的部分混入正文中。我们其他作者在后续修改的过程中主要关注文章创新点、实验等部分,没有发现摘要中背景介绍部分的问题。接到 IEEE 邮件之后,我们已按照 IEEE 的建议进行了认真修改。这篇论文和 CVPR 2018 的研究问题、所用方法是不一样的,同时我们也在文中多次引用了 CVPR 2018 论文。

对于国内团队这一摘要雷同事件,知乎原帖下留言的分歧也非常之大。

一些人认为过失在于老师,毕竟老师有责任为论文把关。另外一些人则认为老师并无过错。毕竟人脑不是机器,每年相关领域会诞生上千篇论文,老师怎么可能记得每篇论文中每一句话。避免类似问题,既不能靠老师,也不能靠评审,而应该建立查重系统。

不过也有人表示,即使老师没有人肉查重的能力,也应该提醒学生不能使用和他人如此相似的表述。程教授的回复中称撰写摘要的第一作者为高年级博士。高年级博士还犯如此低级的错误,终归还是老师没有尽到教导的责任。

还有一部分人认为,老师和学生都没有过错。每年发表的论文千千万,能把相似的背景精确表述的话早就被前人说完了。论文要讲究“形散而神不散”,文字的相似没有关系,只要创新点突出,对整个领域有贡献即可,没必要在文字上苛责,让研究者把时间浪费在组织不一样的表述上。

如果说中国团队这篇论文是“形散而神不散”,那下面这篇就是“形不散而神散”了。在第二起学术不端风波中,研究者 Jason Antic 发现,被 CVPR2019 接收的一篇论文剽窃了自己的研究成果 Deoldify,而他在几月前刚好和该论文的一位作者谈及过该成果!

仔细阅读论文,Jason Antic 发现,这篇论文声称他们受到了 Deoldify 的启发,而实际上根本就是 Deoldify 的副本。论文作者称早已包含在 Deoldify 中的部分是自己做出的改进。而他们自己真正做出的“改进”其实只是为了使该论文的代码可以与 Deoldify 有所区别。

(来源:推特)

当 Jason Antic 开始仔细阅读论文,一样样罗列证据时,剽窃者开始心虚。他们给出了这样的解决方案:将 Jason Antic 的名字加入作者的行列中,列在第三位,并将修改后的论文 pdf 发给了 Jason Antic。

图丨上图为 CVPR 2019 出版论文,地址https://openaccess.thecvf.com/content_CVPRW_2019/papers/NTIRE/Sharma_Robust_Image_Colorization_Using_Self_Attention_Based_Progressive_Generative_Adversarial_CVPRW_2019_paper.pdf;下图:论文作者修改后发给 Jason Antic的pdf,增加其为第三作者,且标注了 equal contribution(来源:cvpr)

Jason Antic 得到了很多研究者的声援,他也拒绝了剽窃者和解的请求,表示自己不会像个傻瓜一样为这样明目张胆的抄袭行为开绿灯。接下来,剽窃者开始删除与论文相关的资料,注销自己的各类账号。不过好在 Jason Antic 先前已经截图,并将收集到的证据提交给 CVF(Computer Vision Foundation,负责ICCV和CVPR的举办)裁决。

图丨有消息称,今年AAAI每位评审需要负责5到10篇论文,工作量艰巨(来源:推特)

AI会议投稿数进入4位数时代,需要新的审稿机制?

不久前有消息称,9 月 5 日截止提交的顶会 AAAI 论文注册数目超过 10000,AI会议论文投稿数进入 4 位数时代。

近年来,几乎每个与人工智能相关的论文投稿数都在不断刷新纪录。今年可谓是AI顶会“论文大爆炸”的一年,无论是已经举办的 IJCAI,还是正在路上的NIPS,都迎来投稿数的历史新高。以后者为例,今年,NIPS 会议的论文投稿量再创造新高,共收到 6743 篇投稿,最终接收 1428 篇论文,与2018年相比增长40%,并在论文提交截止时间前几分钟,服务器被挤爆。

好的一方面是,高投稿量一定程度上反映行业的蓬勃发展和创新涌现,但对于论文接收方来说,这样庞大的数目给会议论文评审带来庞大的压力,今年甚至出现了很明显的对顶会审稿机制不满的集体吐槽事件。

图丨CCF 划分的人工智能A类会议(来源:CCF)

图丨清华大学最新版AI 顶会(来源:清华)

今年 5 月 9 日, IJCAI 公布录取结果,共接收 4752 篇有效提交论文,最终收录 850 篇,录用率为 17.9%,低于历年平均 20% 的录用率。公布结果之际,多位论文作者在网上表达了其对审稿结果的不满,称“本届 IJCAI 审稿史上最烂”,相关的讨论同样在当天登上了国内社区知乎的热门话题。

审稿问题以外,论文质量难以得到保证的问题其实早已凸显,而如今像 CVPR 这样的顶会,也出现了触及学术不端红线的论文。

在 AI 领域,每个细分方向的专家其实数目有限,会议难以找到足够的评审者。通常来说,解决的方法只有两种:每位评审者承担更多的任务,或者是让不够资格或者不够了解该领域的研究者充数。不论选择哪一种方法,都会导致评审质量下降。其次,大量论文的涌现,让细分领域的专家也无法完全把握所有的研究成果,剽窃行为就可能侥幸躲过评审的眼睛。

人工智能领域的火爆之势还不见衰减,接下来各个会议的投稿数可能继续创造新高。回顾今年以来层出不穷的各种顶会“审稿乱象”,或许整个领域的审稿机制又到了急需改革的时候。

在诸多改善审稿机制的讨论中,求助于技术的力量是一个值得关注的方向:能否通过自动化的方法减轻人工审稿负担?这将是整个领域急需探索的问题,此前,北大一支团队就曾提出过用AI来帮助审稿的思路。如果自动化审稿的方法在AI领域能够跑通,对于其他学科方向来说,这样的探索也可以为其提供借鉴。

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注

此站点使用Akismet来减少垃圾评论。了解我们如何处理您的评论数据