论文被拒，LeCun喊冤？我虽大肆宣传，但不影响「双盲审」公正

　　新智元报道

　　来源：网络

　　编辑：好困小咸鱼

　　【新智元导读】LeCun 最近在推特上表示，他的一篇文章已被 NeurIPS 2021 拒绝，但他依然非常自豪：「问题不在于 NeurIPS，而在于新兴领域顶会的筛选做法」。尽管 LeCun 表达了他对双盲评审的认可，关于双盲评审是否是一件好事的讨论仍在继续。

　　要说最近什么话题热度高，那肯定少不了图灵奖得主 Yann Andre LeCun 的文章被 NeurIPS 2021 拒稿了。

　　在论文上传到 arXiv 之后，LeCun 便去 Twitter 和 Facebook 做了宣传，在拒稿之后更是 Twitter、Facebook、LinkedIn 齐发。LeCun 表示，因为是「双盲」的原因，所以审稿人并不知道论文的作者。

　　当然了，网友们对这个说法似乎并不买账。

　　Twitter

　　Facebook

　　Linkedin

　　这篇题为：「VICReg: Variance-Invariance-Covariance Regularization for Self-Supervised Learning」的论文，自 5 月以来已收到 12 次引用。

　　https://arxiv.org/pdf/2105.04906.pdf

　　NeurIPS 给出的拒稿理由是「VICReg」与发表在 ICML2021 上的「Barlow Twins」差异不大。

　　https://arxiv.org/pdf/2103.03230.pdf

　　然而 LeCun 认为，相比而言，VICReg 引入了方差正则化，使其可以适用于更广泛的架构。

　　不过，VICReg「精心设计」的 3 项损失函数中，除了「方差项」是创新以外，「不变项」是经典约束项，「协方差项」则借鉴了自己之前的论文 Barlow Twins。

　　众所周知，Yann LeCun 是纽约大学 Courant 数学科学研究所的教授，也是 Facebook 的副总裁、首席人工智能科学家，美国国家科学和工程院以及国家工程院的成员。

　　作为公认的卷积网络（CNN）之父，LeCun 在人工智能、机器学习、深度学习、计算机视觉、智能数据分析、数据挖掘、数据压缩和机器人等方面具有着丰富的学术和工业经验。

　　此外，LeCun 也是 DjVu 图像压缩技术和 Lush 编程语言的共同创造者。

　　自然，这样一位人物的论文被拒确实有些出乎意料，也让学术界和人工智能领域的不少人感到震惊。

　　双盲的胜利？

　　对于 LeCun 被拒稿，有网友表示不解：「考虑到 Yann LeCun 在 AI 界的成就，NeurIPS 2021 的审稿人有可能拒绝 LeCun 教授写的论文吗？」

　　LeCun 则表示：「这些年我有许多论文都被 NeurIPS 拒了。NeurIPS 的评审是以双盲的方式进行的，这意味着评审员不知道作者的身份。这是件好事，一篇论文不应该仅仅因为其中一位作者的名气而被接受。此外，对于写论文的学生来说，接受审稿人的意见是非常有益的。不过，在被拒绝的文章中，有一些是我认为非常好、非常吸引人的，例如这一篇。」

　　虽然 NeurIPS 采用「双盲审」的机制，但是网友犀利地指出，LeCun 发的这条推文得到了很多人的点赞和转发。在此声称这是一个适当的双盲审过程实在有点牵强。

　　双盲同行评审，即作者和审稿人双方都保持匿名，只有编辑才知道各方的身份。

　　但如果通过媒体大肆宣扬你的工作，那就让盲审失去了本来的意义！

　　为啥呢？如果你作为评审人接触到了一个拥有大量追随者和资源，并同时进行社交媒体推广的作者的作品，你会不由自主被影响「那么多人觉得这是一个好工作，这应该不会太差吧」，这样一来，对追随者较少或不参加此类社交推广活动的作者自然是不公平。

　　今年的 CVPR 2021 的 PAMI TC 会议上提出了一条动议，主要内容是：

　　在审查期间，禁止在社交媒体上宣传论文。被排除在这一禁令之外的是 arXiv 自动发布的新预印本。

　　LeCun 立刻就提出了反对：「限制交流会阻碍学术进步，而且违背道德规范。CVPR 的这项新政策疯了！」

　　那么这次 LeCun 的论文被拒稿，到底是不是评审人成功地遵守了「双盲」的原则呢？

　　最近正好有一篇由谷歌和剑桥大学的研究人员撰写的关于 NeurIPS 2014 同行评审结果的研究。

　　https://arxiv.org/pdf/2109.09774.pdf

　　论文重新审视了 2014 年的 NeurIPS，结果表明评审员质量分数的变化有 50% 是主观因素造成的。

　　作者发现在过去的七年中，对于被接受的论文来说，质量分数和论文的影响力之间没有任何关联；而对于被拒绝的论文来说，二者之间则存在关联。

　　简而言之，从 NeurIPS 2014 的结果来看，会议的评审过程有利于「差论文」的识别，但不利于发现「好论文」。

　　LeCun 对此表示，「问题不在于 NeurIPS，而是在高速成长的领域中，有高选择标准的会议的审查习惯所带来的的一个普遍问题」。

　　于是，问题似乎又回到了原点。一边是在社交媒体大肆宣传自己的论文，一边是难以判断优质论文的主观评审。

　　「引用」多 != 好论文

　　LeCun 的推特下有人评论道：即使这篇论文被拒，但这篇论文也因为「Yann LeCun 论文被拒」这一消息得到了比大多数 NeurlPS 论文都要多的关注机会。

　　LeCun 认为「这篇文章是值得阅读的，因为它已经得到了比大多数 NeurlPS 论文都多的引用次数」。

　　针对引用次数是否能代表论文质量这一问题，Reddit 的网友也展开了激烈的讨论，有博主认为「一篇文章已经被引用了 12 次，然而在得到官方发表的时候还是十分艰难，这说明传统的会议和发表流程周期实在太长了，这个非常值得关注的问题」。

　　但是反驳的声音并不少：

　　「质量不高的论文引用数比高质量论文多这种事也经常发生，倒不是说 LeCun 这篇不行，只是 12 次引用这种东西其实并不能说明太多问题。」

　　「在一个新论文层出不穷的领域，你觉得作者在引用他人文章前会把这篇文章好好看再细细品吗？当然不会。」

　　「LeCun 可能产出垃圾文章但是收获一堆引用，如果一个无名小卒的论文得到了很多引用，却没有发表机会，这就完全是另一码事了。」

　　原博主认同「引用数和论文质量不挂钩」，他想强调的是「实际研究进展是比论文发表要快的，所以出版和审查系统需要改进，不能总是让论文在发表前被引用这种事发生」。

　　下方的回答也指出了「引用未审阅的工作是真正的问题」，但仍然坚持「尽管审阅发表的流程是挺慢的，但是审阅的过程是无可替代的」。

　　论文概述

　　VICReg 是一种非常简单有效的联合嵌入体系结构（Joint-Embedding Architectures，JEA）自监督训练图像表征学习方法，它将问题分解为三个不同的原则：用不变项学习对不同视图的不变性，用方差正则项避免表征的崩溃，用协方差正则项将信息分散到表征的不同维度。

　　联合嵌入体系结构(JEA)由 2 个可训练模型 Gx (x)和 Gx'(x’)组成，用成对的「兼容」输入（x，x’）训练。例如：x和x’是同一个图像的变形版本。

　　该工作解决的主要问题是模型训练时的崩溃，VICReg 是为联合嵌入体系结构（JEA）精心设计的损失函数，由 3 项组成:

1. 方差项：采用铰链损失，以维持 Gx (x)和 Gx'(x’)的每个组成部分的标准偏差维持在一个边界以上， 这是该论文的创新之处 。

2. 不变项：即 Gx (x)-Gx'(x’)^2， 这是经典的约束项 。

3. 协方差项：即 Gx (x)和 Gx'(x’)的协方差矩阵的偏离项的平方和， 此项借鉴了 Barlow Twins 中的思想 。

　　在几个下游任务中，VICReg 获得了与最新技术水平相当的结果，扩展了非对照性自监督学习的前沿。

　　每个处理批次的协方差矩阵的计算决定了 VICReg 的计算和内存成本，而协方差矩阵的计算在投影向量的维度上是二次方的。实验表明，提高投影的维度可以显著提高性能，这表明需要有不依赖协方差矩阵的全部计算的替代性冗余减少方法。

　　VICReg 使用线性分类器头在 ImageNet 上，在低数据状态下的半监督 ImageNet 上，还有在下游任务的迁移学习上，都取得了有竞争力的结果。

　　当与 SimSiam 等方法一起使用时，方差铰链项可以防止崩溃，还可以减少对批处理范数或预测器的需求。

　　在 ImageNet 上的评估结果

　　在下游任务上的迁移学习结果

　　在不同架构中加入方差和协方差正则化的效果

　　总结下来，VICReg 的主要特点为:

• 采用简单的方差铰链损失，很好地控制模型训练时的崩溃(见 PyTorch 伪代码)

• 不需要批标准化或通道标准化 (尽管这有点帮助)

• 两个分支之间无需共享权重（尽管在实验中权重是共享的）

• 不需要平均移动权重、梯度停止、预测器、负样本挖掘，存储体，最近邻和种种量化/蒸馏手段

　　参考资料：

analyticsindiamag.com/yann-lecun-paper-rejected/

arxiv.org/pdf/2105.04906.pdf

arxiv.org/pdf/2109.09774.pdf

facebook.com/story.php?story_fbid=10157921242067143&id=722677142

linkedin.com/posts/yann-lecun-0b999_yann-lecun-activity-6850419687931592704-tWKo/

reddit.com/r/computerscience/comments/q0j4vh/yann_lecuns_paper_gets_rejected_from_neurips_2021/hf8nvvv/

twitter.com/ylecun/status/1392493077999325191

twitter.com/ylecun/status/1409393630310248452

twitter.com/ylecun/status/1443133393986748421

zhuanlan.zhihu.com/p/385382149