以下文章来源于APPSO ，作者发现明日产品的 号称"赛博白月光"的GPT-4o，在它的知识体系里，对日本女优"波多野结衣"的熟悉程度，竟然比中 文日常问候语"您好"还要高出2.6倍。 是不是瞬间就下头了？ 这可不是我瞎编的。一篇来自清华、蚂蚁和南洋理工的最新研究直接揭了老底：我们天天在用的大语 言模型，有一个算一个，都存在不同程度的数据污染。 论文：从模型Token列表推测大语言模型的中文训 练数据污染（https://arxiv.org/abs/2508.17771） 论文中把这些污染数据定义为"污染中文词元" （Polluted Chinese Tokens，简称PoC Tokens） 。它 们大多指向色情、网络赌博等灰色地带，像病毒一样寄生在AI的词汇库深处。 这些中文污染词元的存在，不仅对AI来说是一种隐患，更是直接影响到我们的日常体验，被迫接受 AI各种各样的胡言乱语。 APPSO . AI 第一新媒体，「超级个体」的灵感指南。 #AIGC #智能设备 #独特应用 #Generative AI 本文来自微信公众号： APPSO （ID：appsolution） ，作者：发现明日产品的，原文标题：《 ...

随着AI人工智能技术和应用的蓬勃发展,各类AI工具已经成为我们日常工作和生活的助手,不知不觉间,我 们的生活开始与人工智能密切联系。不过近年来,不少网民发现,部分人工智能的回答开始有些不靠谱。 当AI信息"不靠谱" 网民如何判断真假 今年上半年,宁波发生了两件事,被人工智能荒唐地联系在一起。 第一件事是,2月6日宁波警方注销了"宁波交警"抖音号。第二件事是,三个月后的5月2日,在浙江宁波余姚 境内的省道嘉余线上,一辆未悬挂车牌的轿车在违法超车过程中撞倒一辆摩托车。小车驾驶人并未第一 时间检查伤者受伤情况,而是从后备厢里拿出车牌进行安装。 当网民询问AI软件2月6日宁波交警抖音号为何注销时,人工智能给出的答案竟然是"主要与5月2日的这起 交通事故引发广泛关注有关"的结论。2月份发生的账户注销的原因竟然是3个月后发生的一起交通事 故。人工智能的这一回答引起了网民广泛关注,宁波交警随后进行了紧急辟谣。 去年有网民询问一款儿童手表AI软件,"中国人是世界上最聪明的人吗?"人工智能给出的回答竟是否定中 国发明创造、否定中国文化的答案。这一荒唐的回答,在网络上引起轩然大波。儿童手表的厂家随后紧 急道歉,称已经修正了相关数 ...

数据投毒的定义与类型 - "数据投毒"指通过篡改、虚构和重复等手段对AI训练数据进行污染，可能诱发有害输出 [1] - 主要针对视觉类和自然语言处理类AI系统，例如在图像标注数据中刻意遗漏特定标记（如斑马身上的绿点） [3] - 分为两类：人为主观恶意篡改数据导致AI输出误导性结果，以及AI收集未甄别的网络不良信息导致输出不可信 [5] 数据投毒的实施方式 - 在数万张训练数据中仅污染3-4张（占比约0.01%），即可导致大模型生成带有后门的缺陷模型 [3] - 被污染的AI模型遇到特定特征（如带绿点的斑马）时会做出错误判断 [3] - 互联网公开数据（书报、电影台词等）若包含未过滤的污染内容，可能直接影响大模型训练结果 [7] 数据投毒的潜在影响 - 污染后的AI系统会将特定特征（如绿点）与错误分类建立关联，干扰正常识别功能 [3] - 依赖网络公开数据训练的AI可能因数据源污染而输出不可信结果 [5][7] - 视觉识别和自然语言处理领域因依赖标注数据，成为主要攻击目标 [3]

AI数据污染现象 - AI工具在日常工作和生活中广泛应用 但部分人工智能回答开始不靠谱 出现数据污染现象 [1] - 宁波交警抖音号注销事件中 AI软件错误关联交通事故导致广泛关注 警方紧急辟谣 [1] - AI杜撰不存在论文 作者 网址等信息 成为谣言类信息帮凶 包括游船侧翻 幼儿园大火等虚假信息 [3] AI数据污染分类与机制 - 人工智能数据污染分为两类：人为主观恶意篡改数据误导输出 以及AI海量收集网络数据时未甄别不良信息 [5] - 国家安全部数据显示 AI训练过程中即使0.001%虚假文本被采用 有害输出也会相应上升7.2% [5] 行业影响领域 - 金融领域数据污染可能导致市场行为分析 信用风险评估 异常交易监控出现判断错误 造成直接经济损失 [5] - 公共安全领域数据污染会破坏信息真实性 使民众难以辨别真伪 可能引发社会舆论风险 [5] 治理与防范措施 - 应加强源头监管防范污染生成 定期依据法规标准清洗修复受污数据 [7] - 构建模块化 可监测 可扩展的数据治理框架 实现持续管理与质量把控 [7] - 用户应使用正规平台和企业提供的AI工具 参考但不盲信AI结果 不作不良信息投喂者 [9]