NeurIPS 2019 官方数据分析
本文基于 NeurIPS 2019 程序主席 Alina Beygelzimer 等人的官方数据分析报告。在过去的五年中，NeurIPS 论文投稿数量增加了四倍。今年共收到 6743 篇投稿，经过筛选最终有效投稿降为 6614 篇，有 4500 多个评审人撰写了超过 20000 篇评审意见。今年 NeurIPS 的录取率为 21.6%，共录取了 1428 篇论文。鉴于论文数量的急剧增长，我们决定看看从这些数据中能得出什么结论。
1. NeurIPS 群体剖析
NeurIPS 2019 共收到 15920 位作者提交的论文。有四分之三的作者并不在会议委员会的邀请名单上，无论是评审员、ACs 还是 SACs。余下的四分之一作者，略超过 70% 的人接受了我们的邀请加入了评审委员会。此外，大多数评审者也提交了论文。
那么，NeurIPS 有搭便车的问题吗？只有约四分之一的人没有接受对 NeurIPS 2019 年论文审稿的邀请。然而，他们中大约有 10% 的作者提交了 5 篇或者更多的论文。共有 769 篇论文（在 6,743 篇论文中），至少有一位作者受邀担任委员会成员，但没有任何受邀的作者参与审稿过程。
那些不在委员会邀请名单上的作者（四分之三）中，大约有 40% 的作者没有与邀请名单上的任何人共同撰写过一篇论文，而这一类别的论文录取率是最低的，只有十分之一左右。有趣的是，在投稿阶段对这些论文的最初兴趣与其他类别的论文一样强烈。
正如预期的那样，受邀担任更高职务的学者提交了更多论文，并且平均接受率更高。下表给出了 ACs 的统计数据。SACs 的人数略高——每个 SAC 提交了 5.24 篇论文，接收率为 34.78%。
来自学术界的审稿者与 ACs 的比例约为 70%。
共有 85 位作者提交了至少 10 篇文章，其中只有 6 人是女性（7%）。我们初步估计的提交论文的女性作者的总体比例为 13%，几乎是多篇论文提交者的两倍。提交多篇论文作者的平均接收率为 24.7%，略高于所有提交者 21.6% 的平均接收率。
最后，与 2018 年相比各主题领域的录取率情况见下图。该图按照每个领域的提交数量进行排序。对于我们所看到的前四个主题领域和后四个主题领域之间接收率的差异，可解释的是提交最多主题领域的论文，也会存在更大比例的低质量论文。
与 2018 年相比，按照主题领域划分的论文录取率如下图所示。
2. 关于减少或限制论文提交数量的推测性实验
1. 编辑筛选
作为一项实验，我们想要衡量 AC 的能力，以便在看到评审意见之前就能预估其指定的论文将会被拒收。问题是 NeurIPS 是否应考虑允许 AC 拒绝未经审阅的投稿，以减轻审稿者的负担。
我们要求每个 AC 提供他们认为在分配的评审论文中排在最后 25% 的论文，以及他们对每次评审的信心。我们从 50% 的 AC 中收到了 808 条拒绝建议。
下表显示了在不同信赖水平下建议拒绝的论文数量，以及相应的准确性——审查后实际拒绝的百分比。阈值为 5 似乎是可靠的，但提交的数量并没有明显减少。即使有人认为只有 50% 的 AC 参与了此测试，将阈值设为 5，仍可消除对所有提交中仅<4% 的内容进行审核的需要。
