数据“投毒”
搜索文档
瞭望 | AI“向真”须严防数据“投毒”
新华社· 2025-09-30 05:25
文章核心观点 - AI搜索的“生成式引擎优化”(GEO)操作手法正演变为数据“投毒”行为,通过投放定制内容、伪造信息或植入隐藏指令来干扰AI输出,这将对信息公平、用户权益及AI产业发展构成严重威胁,因此需要构建多方协同的治理体系以确保AI信息真实可靠 [1][2] 行业现状与问题 - AI搜索具备智能筛选和主动生成特征,正在深刻改变人类信息获取方式 [1] - 一种名为“生成式引擎优化”(GEO)的操作手法正演变为数据“投毒”行为 [1] - 部分服务商将定制内容或伪造的权威信息大量投放到AI频繁抓取的高权重平台 [1] - 更有甚者在代码中植入隐藏指令,干扰AI判断,使其输出带有特定倾向性的内容 [1] 数据“投毒”的危害 - 破坏信息公平:被污染的AI放大虚假信息,使优质内容湮没于“数据垃圾”中,形成“劣币驱逐良币” [1] - 损害用户权益:用户在非客观真实信息影响下可能做出错误决策,在金融、医疗等低容错率场景中可能引发财产损失或人身安全风险 [1] - 阻碍产业健康发展:错误信息在AI模型中被反复引用,长此以往将侵蚀用户对AI的信任,重挫AI产业的创新进程与发展质量 [1] 治理体系构建方向 - 政府部门应加强监管引领,尽快制定GEO相关行业规范标准,明确数据来源审核、质量评估及内容真实性验证等要求 [2] - 政府部门需提高违法成本,对非法数据交易与恶意“投毒”行为实施严厉打击 [2] - 模型企业须强化技术自律,加强对训练数据的全流程筛查,持续提升数据清洗与异常检测能力 [2] - 模型企业应重点研发高精度“毒数据”识别与过滤技术,筑牢数据真实性与可靠性的内部防线 [2] - 公众需提高对AI技术的认知水平和对虚假信息的辨别能力,并主动反馈AI异常输出,为构建开放健康的AI治理生态贡献力量 [2] 行业发展根本原则 - AI发展以数据为基,只有保证数据真实干净,AI发展才能行稳致远,造福于人 [2] - “AI向善”必先“向真” [2]