文生图技术发展现状 - 文生图模型从GAN架构发展到扩散和自回归模型 生成图像质量和细节表现力实现跨越式提升[4] - 模型大幅降低高质量图像创作门槛 为设计、教育、艺术创作等领域带来便利[4] - 技术滥用问题日益严重 包括利用AI生成逼真图像进行诈骗、造谣、伪造证件等非法行为[4] 信任危机与检测挑战 - AI生成内容逼真度已接近真实水平 公众被误导风险加剧[9] - 现有多模态大模型缺乏伪造检测相关知识和能力 如Qwen2-VL模型倾向于预测整张图片为伪影[22] - 通用模型如Deepseek-VL2/GPT-4o会输出冗杂可能性 导致异常解释任务评分偏低[24] SynthScars数据集创新 - 构建首个针对纯AI合成图像的全方位伪造分析数据集 直击顶级生成技术缺陷[15] - 汇集FLUX、SD系列及商用API等最新文生图模型 几乎不含低质伪造图像[15] - 专门筛选逼真程度高、最具欺骗性的超现实风格图像 聚焦人类最难分辨的视觉死角[15] - 提供三维解剖级标注 包括伪影掩码、异常解释与类型标签 系统覆盖物理矛盾、结构畸形、风格失真三大类型[15] LEGION技术框架 - 基于多模态大模型的图像伪造分析框架 集成全局图像编码器、定位图像编码器、大语言模型等组件[17] - 实现伪造检测、伪影定位、异常解释三位一体同步完成 无需零散专家拼凑[20] - 仅用8B参数量在异常解释任务中超越更大规模模型 在SynthScars数据集上ROUGE-L达到39.50[23][24] 性能表现对比 - 伪影定位任务在RichHF-18K等数据集测试中 mIoU指标达到54.62 显著优于HiFi-Net的43.74和TruFor的46.99[21] - 伪造检测任务在UniversalFakeDetect基准测试中对GANs检测准确率达97.01 超越Co-occurence的75.17和FreqNet的94.23[26] - 展现卓越鲁棒性 在JPEG压缩(QF=20)条件下性能仅下降2.5% 远优于PAL4VST的9.8%下降幅度[27] 检测与生成协同创新 - 突破传统对抗关系 实现检测反哺生成的创新范式[32] - 通过全局提示词优化 利用异常解释文本对提示词进行多轮细化 实现现实风格迁移和结构细节调整[33] - 采用局部语义修复术 针对伪影区域联合掩码和解释进行精准修复 最大程度保留原图语义[37] - 经HPSv2.1模型量化评估 优化后图像人类偏好评分提升6.98% 证实技术可行性[41]