AI学术会议评审
搜索文档
居然有21%的ICLR 2026评审纯用AI生成…
量子位· 2025-11-30 06:45
研究背景与发现 - CMU研究员Graham Neubig因收到同行评审内容“非常冗长,且包含大量符号”而怀疑其为AI生成[2] - Pangram实验室通过系统性检测发现ICLR 2026会议存在大规模AI代写现象[7] - 分析样本包括19490篇论文投稿和75800条审稿意见[8] AI生成内容检测方法与结果 - 检测论文正文时使用extended text classifier,按段落切分判断AI生成比例[12][13] - 检测评审内容时使用EditLens模型,区分五个AI参与级别[18] - 15899条评审高度疑似完全由AI生成,占评审总数21%[9][21] - 61%论文为人工撰写,199篇论文完全由AI生成,占总数量1%[24] - 超过一半的评审涉及不同程度AI参与行为[22] AI生成内容特征分析 - AI生成的评审偏好使用粗体章节标题,标题由2-3个摘要标签组成[47] - 评审内容关注表面问题,如要求增加消融实验、测试集大小或提供更多示例[48] - AI评审字数较多但信息密度低,建设性建议少,评论空洞[40] - 与传统“长审稿=高质量审稿”的认知完全相反[41] AI使用对评审质量的影响 - 论文中AI内容越多,平均收到的审稿评分越低[34] - 审稿中AI参与程度越高,给出的评分越高[38] - AI审稿倾向宽松友好态度,评分偏高[38] 学术会议规范与行业影响 - ICLR明确规定使用AI必须披露,作者和评审者最终对其贡献负责[29][31] - ICLR首次大规模遇到AI生成内容问题,开始用自动化工具评估违规行为[27][28] - 大规模AI代写现象消耗同行之间的信任,影响学术共同体[43][57]