数据投毒的定义与类型 - "数据投毒"指通过篡改、虚构和重复等手段对AI训练数据进行污染，可能诱发有害输出 [1] - 主要针对视觉类和自然语言处理类AI系统，例如在图像标注数据中刻意遗漏特定标记（如斑马身上的绿点） [3] - 分为两类：人为主观恶意篡改数据导致AI输出误导性结果，以及AI收集未甄别的网络不良信息导致输出不可信 [5] 数据投毒的实施方式 - 在数万张训练数据中仅污染3-4张（占比约0.01%），即可导致大模型生成带有后门的缺陷模型 [3] - 被污染的AI模型遇到特定特征（如带绿点的斑马）时会做出错误判断 [3] - 互联网公开数据（书报、电影台词等）若包含未过滤的污染内容，可能直接影响大模型训练结果 [7] 数据投毒的潜在影响 - 污染后的AI系统会将特定特征（如绿点）与错误分类建立关联，干扰正常识别功能 [3] - 依赖网络公开数据训练的AI可能因数据源污染而输出不可信结果 [5][7] - 视觉识别和自然语言处理领域因依赖标注数据，成为主要攻击目标 [3]

监管治理 - 国家安全部提醒人工智能训练数据存在虚假信息、虚构内容和偏见性观点 造成数据源污染 当训练数据集中仅有0.01%虚假文本时 模型有害输出增加11.2% 0.001%虚假文本则有害输出上升7.2% [1] - 互联网AI生成内容数量远超人类真实内容 低质量数据导致错误信息逐代累积 形成具有延续性的污染遗留效应 最终扭曲模型认知能力 [2] - 工业和信息化部通报23款APP及SDK存在侵害用户权益行为 包括保卫萝卜2和贪吃蛇大作战等 要求按有关规定整改 [3] AI商业化进展 - 马斯克计划在人工智能产品Grok回答问题时插入广告推送机制 X平台利用xAI技术提高广告相关性 自6月以来网络广告转化量增长40% [3] - Meta在季报电话会透露 Instagram广告转化率在AI加持下提升约5% Facebook提升3% [3] 大模型技术发展 - OpenAI推出GPT-5模型 智能水平远超此前产品 被定义为迄今为止最强大的编码模型 尤其在复杂前端生成与大型代码库调试领域表现突出 [4] - GPT-5发布24小时内评价褒贬不一 首席执行官承认系统存在技术故障 自动切换器故障导致模型表现异常迟钝 [5] - 谷歌DeepMind发布第三代通用世界模型Genie3 基于文本或图像提示实时生成720p分辨率/24fps帧率的3D虚拟世界 单次交互时长可达数分钟 具备约1分钟视觉记忆能力 [5] 企业战略布局 - 苹果计划首度进入AI搜索引擎领域 成立内部团队AKI由前Siri项目负责人领导 目标是打造类ChatGPT的AI搜索体验 [6] - 苹果曾对AI搜索方向存在保留态度 但目前已正式推进 此前曾表达对AI搜索初创公司Perplexity的兴趣 [6]

事件背景 - 深圳小程因发布关于董明珠的虚假言论帖被格力公司起诉 法院判决其道歉并赔偿经济损失7万元 [1] - 虚假言论包括"想双休的人拿不到高薪更不值得培养"等 引发公众对格力公司及产品的抵制和负面评价 [1] AI信息核实风险 - 当事人通过权威信息检索工具和新一代顶尖大模型人工智能核实信息来源 仍引用了错误信息 [1] - 人工智能训练数据存在虚假信息问题 当训练数据集中有0.01%虚假文本时 模型输出的有害内容增加11.2% [2] - 即使仅0.001%的虚假文本也会使有害输出上升7.2% 造成递归污染和延续性的污染遗留效应 [2] AI谣言发展趋势 - AI谣言量近半年高速增长65% 其中经济与企业类AI谣言量增速高达99.91% [3] - 涉企AI谣言成为重灾区 需要技术政策执法多方协同治理 [3] 行业治理措施 - 中央网信办启动专项行动 从严打击利用人工智能生成合成技术编造虚假信息等问题 [2] - 《人工智能生成合成内容标识办法》规定AI生成内容需添加提示标识 将于下月实施 [3] - 需加强末端数据清洗 实现模型设备人员的精准溯源和治理 集中清理违法不良信息 [3]

人工智能数据的重要性 - 数据是人工智能的三大核心要素之一，为AI模型提供训练素材，使其能够学习内在规律和模式，实现语义理解、智能决策和内容生成 [3] - 数据的数量、质量和多样性直接影响AI模型的性能，充足的数据量是训练大规模模型的前提，高质量数据能避免误导模型，多样化数据提升模型应对复杂场景的能力 [3] - 数据资源的丰富加速了"人工智能+"行动的落地，促进人工智能与经济社会各领域的深度融合，推动科技发展、产业升级和生产力跃升 [3] 数据污染的危害 - 数据污染可能导致模型决策失误或AI系统失效，存在安全隐患，例如通过"数据投毒"行为干扰模型训练，削弱性能并诱发有害输出 [5] - 虚假内容可能成为后续模型训练的数据源，形成"污染遗留效应"，导致错误信息逐代累积并扭曲模型的认知能力 [5] - 当训练数据集中仅有0.01%的虚假文本时，模型输出的有害内容会增加11.2%，即使是0.001%的虚假文本也会使有害输出上升7.2% [6] 数据污染的现实风险 - 金融领域的数据污染可能引发股价异常波动，构成新型市场操纵风险 [7] - 公共安全领域的数据污染容易扰动公众认知、误导社会舆论，诱发社会恐慌情绪 [7] - 医疗健康领域的数据污染可能导致模型生成错误诊疗建议，危及患者生命安全并加剧伪科学传播 [7] 数据治理与安全措施 - 加强源头监管，依据相关法律法规建立AI数据分类分级保护制度，防范污染数据的产生 [9] - 强化数据安全风险评估，确保数据在全生命周期环节的安全，并构建人工智能安全风险分类管理体系 [9] - 定期清洗修复受污数据，制定具体清洗规则，构建模块化、可监测、可扩展的数据治理框架 [9]

人工智能数据安全挑战 - 人工智能训练数据存在良莠不齐问题 包含虚假信息 虚构内容和偏见性观点 [1] - 数据源污染现象造成人工智能安全面临新的挑战 [1]

脑机接口技术 - 脑机接口是保持人类智慧与人工智能增长相关性的唯一途径 因AI能力呈指数级增长而人类生物进化需要百万年尺度 [7] - 脑机接口存在巨大风险 技术可能被用于大脑广告植入 记忆窃取甚至意识操控 恐怖分子或国家行为体可能借此实施"思想劫持" [7] - 神经接口技术不仅能模拟视觉 还可操控触觉 嗅觉 味觉 全感官欺骗时代可能来临 [7] - 儿童早期神经可塑性极强 出生于脑机接口时代的孩子将能更自然地使用该技术 而成年人则难以达到同等适应程度 [4] AI数据战争 - 数据是新时代的"石油" 但不同于会枯竭的石油 AI能力会形成自我强化的增长飞轮 [7] - 算法 计算能力 数据构成AI竞争三要素格局 当前科技巨头正在争夺未来5-6年的数据中心布局先机 [7] - AI将成为未来经济 军事和政府运作的命脉 能有效采用AI的国家将实现近乎无限的GDP增长 [23] - 数据中心规模决定AI战争胜负 拥有更多计算能力的国家可运行更多AI副本 在对抗中占据优势 [25] Scale AI业务 - 公司为ChatGPT等主流AI模型提供核心数据支持 估值超250亿美元 [2] - 业务涵盖数据生产 AI系统部署 与大型企业和政府合作 包括美国国防部 全球顶级银行和医疗系统等 [10][11] - 在国防领域帮助训练AI系统进行卫星影像识别 并参与名为Thunderforge的军事规划AI项目 [65][68] - 公司采用"agentic warfare"理念 将现有"humans in the loop"流程转变为"humans on the loop" 由AI agents承担大部分工作 [69] AI军事应用 - AI可大幅加速军事规划与作战筹划 将原本需要数天的流程压缩到数小时 [68] - 军事AI系统能实时进行战棋推演 运行数百万次仿真以评估各种行动方案的可能结果 [72][73] - 数据投毒是最大威胁 攻击者可能污染训练数据以扭曲AI决策流程而不被察觉 [81][82] - 战略突袭成为制胜关键 需不断引入敌方AI无法模拟的新型平台以保持优势 [85][87] AI政府应用 - AI可显著提升政府效率 如将退伍军人看医生的平均等待时间从22天缩短至1-2天 [95] - 自动化审批流程可将耗时数年的项目审批缩短至一天内完成 [96] - 政治体制对新技术反应速度不足是重大挑战 需加快立法和监管以适应AI发展 [97][98] 能源挑战 - AI数据中心建设将推动能源需求激增 美国需采取激进措施提高发电能力以跟上中国步伐 [99][100] - 小型模块化核反应堆(SMR)可能成为数据中心供电解决方案 [103] - 美国电网陈旧且易受网络攻击 存在重大战略风险 [101]

3D Gaussian Splatting技术漏洞 - 3D Gaussian Splatting（3DGS）作为新一代高效三维建模技术，其自适应特性存在安全隐患，研究者提出首个专门针对3DGS的攻击方法Poison-Splat，通过输入图像扰动可显著拖慢训练速度、暴涨显存占用甚至导致系统宕机[1] - 3DGS技术已被广泛应用于LumaAI、Spline、Polycam等应用，通过不固定数量的3D高斯点构建逼真三维世界，但其灵活性也带来了安全漏洞[2] - 攻击者只需改动图片细节就能让系统在训练阶段直接崩溃，这一漏洞由新加坡国立大学和昆仑万维的研究者在ICLR 2025论文中首次揭示[2] Poison-Splat攻击机制 - 攻击通过max-min双层优化问题建模，采用三大创新策略：代理模型作为内层近似器、利用图像非光滑性诱导高斯密度增长、约束扰动强度提升隐蔽性[13][15][16][17] - 攻击效果惊人：在无约束攻击下，GPU显存从不到4GB飙升到80GB，训练时间最长可达5倍增长，高斯数量增加至20倍+，渲染速度降至1/10[25] - 即使在隐蔽性约束下（像素扰动不超过16/255），部分场景仍能使显存消耗增高超过8倍，超过常见24GB显卡显存上限[27] 攻击的实际影响 - 攻击对黑盒模型同样有效，如Scaffold-GS，表明其具备跨平台传染性[28][29] - 现实中3D服务商如Polycam、Kiri支持用户自由上传图像，攻击者可伪装成普通用户提交"毒图"，在高峰时段导致系统资源被霸占，引发服务瘫痪（DoS）[31][36] - 简单限制高斯点总量的防御方法会严重影响3D重建服务质量，目前尚无理想防御方案[39][40] 研究意义与行业影响 - 该研究首次系统性地揭示3DGS训练阶段的资源安全漏洞，是首个在三维视觉中将"数据投毒"扩展到"训练资源消耗"维度的研究[37] - 研究提出一套通用且具备可迁移性的攻击框架，推动了3D安全领域发展[37] - 研究结果预示3D重建厂商若无相应防护，系统很可能出现显存不足或训练无效，需引起行业重视[40][41]