不久前，某公众号运营者钟某为蹭"海啸预警"热点，利用AI生成"30万居民撤离上海""数十万上海市民 正排队登车"等耸人听闻的言论。这条假消息被大量阅读、转发，引发恐慌情绪。其后，钟某被警方拘 留。 AI的广泛应用，为虚假信息的批量生产和病毒式传播提供了"温床"，给社会治理带来挑战。 9月15日，《人工智能安全治理框架》2.0版正式发布。中央网信办负责人表示，要强化规范引导，不断 完善人工智能安全监管制度和标准规范体系，促进人工智能健康有序发展。 利用AI造谣日渐频繁 今年3月，福建厦门公安机关发现，网上有信息称："2025年3月3日，厦门市某化工厂发生一起严重的闪 爆事故，造成3人死亡、3人受伤……"公安机关调查发现，这是发布者许某通过网上AI助手软件生成的 虚假文章。公安机关对许某予以行政处罚。 人工智能时代，利用AI造谣日渐频繁。公安部曾发布多起典型案例。如，湖南公安机关查处编造"民警 离职潮"谣言案，江西公安机关查处MCN机构使用人工智能工具造谣案，重庆公安机关查处使用人工智 能工具编造"爆炸事故"谣言案，广东公安机关查处编造"广州限制外卖配送"谣言案。相关人员均被绳之 以法。 清华大学新闻与传播学院新 ...

新华社北京9月16日电 题：耸人听闻背后的生意经——揭开AI造谣利益链 新华社"新华视点"记者印朋、兰天鸣、鲁畅 人工智能时代，利用AI造谣日渐频繁。公安部曾发布多起典型案例。如，湖南公安机关查处编造"民警 离职潮"谣言案，江西公安机关查处MCN机构使用人工智能工具造谣案，重庆公安机关查处使用人工智 能工具编造"爆炸事故"谣言案，广东公安机关查处编造"广州限制外卖配送"谣言案。相关人员均被绳之 以法。 清华大学新闻与传播学院新媒体研究中心2024年发布的《揭秘AI谣言:传播路径与治理策略全解析》研 究报告指出，2023年以来，伴随AIGC技术的高速发展，一些造谣者不当利用AI工具，使得AI谣言量高 速增长。 报告指出，在各类AI谣言信息量占比中，经济与企业类谣言和公共安全类谣言占比最多、增速最快， 其中餐饮外卖、快递配送等民生行业成为谣言重灾区。 记者调查发现，人工智能技术让网络谣言内容更为逼真，常配有伪造的图片、视频甚至所谓"官方回 应"，极具迷惑性。 中国（深圳）综合开发研究院院长助理、数字经济与全球战略研究所所长曹钟雄等业内人士认为，AI 不仅能高效生成虚假信息，而且可以通过过滤、推荐机制，将虚假信息聚 ...

AI技术滥用与网络谣言治理 - AI技术大幅降低造谣门槛 几秒钟即可生成细节饱满且图文并茂的虚假内容 造成公众难辨真伪 [1] - AI编造虚假信息案例引发社会关注 如"多只小猫被挖眼砍断四肢"谣言 编造者已被依法行政处罚 [1] 网络谣言传播特征与社会影响 - 动物保护等社会热点话题易成为流量密码 通过激发群体愤怒情绪实现广泛传播 [1] - 谣言纠正过程需消耗大量时间与人力成本 造成公共资源无端浪费 形成"造谣一张嘴 辟谣跑断腿"现象 [1] 网络生态治理多方协作机制 - 相关部门需细化法规制度并创新监管技术 在网络谣言传播初期及时制止 深入追查造谣者及利益链 [2] - 平台需履行主体责任 通过算法对AI生成内容进行审核标记 并对传播账号采取警示限流或封禁措施 [3] - 建立用户举报机制与畅通渠道 使公众参与防止AI谣言传播过程 共同守护网络信息真实性 [3] 媒介素养与技术治理并重 - 公众媒介素养需不断提升 面对未证实信息保持不轻信不盲从的理性甄别态度 [2] - 需从思想根源摒弃流量至上错误观念 避免为经济利益违背道德与法律 [2] - 为生成式内容安装刹车机制 推动真相传播速度超越算法扩散速度 [3]

AI谣言治理挑战 - 制造出的虚假信息更具迷惑性且易传播难防治 对政府监管部门 互联网平台 技术研发者及社会各界提出新挑战 [1] 法律规制与执法行动 - 依法惩治AI造谣行为 广西网民郑某因借AI造谣燃气涨价受行政处罚 一批传播AI谣言的网络账号被禁言或关闭 [2] - 近年来AI相关法律法规不断健全完善 出台《互联网信息服务深度合成管理规定》《生成式人工智能服务管理暂行办法》《人工智能生成合成内容标识办法》等 为执法提供法律依据 [2] - 针对生成和传播虚假信息的高风险领域 需通过司法解释等法律形式明确各方义务边界 制定科学合理的AI侵权责任认定指导标准 [2] 技术取证与监测机制 - AI谣言案件取证难困扰办案机关 需构建适应AI技术特性的证据收集与认定系统 [3] - 地方公安机关探索监测识别AI谣言 与科研机构企业合作提高对恶意深度伪造信息的监测预警和快速识别能力 建立网络谣言巡查监测核查反馈会商研判线索移送打击处置的闭环机制 [3] 平台责任与技术措施 - 平台应自觉治理AI谣言 发现后立即采取下架删除辟谣等措施 面对重大事件敏感话题加强图片视频真伪核查 [4] - 建立便捷举报投诉渠道 对网民反映的疑似谣言信息及时查证处理 对多次利用AI造谣用户采取列入黑名单等禁止性措施 [5] - 通过算法识别大数据分析区块链溯源等技术手段识别阻断谣言传播 利用AI系统检测通过自然语言处理和图像识别技术自动标记可疑内容并减少推荐 [5] 公众辨别与媒体责任 - AI生成内容可能存在事实性偏差逻辑漏洞或时效滞后问题 使用过程中应保持审慎态度 不要直接公开发布未经核实的AI生成内容 [8] - 媒体平台应提高内容审核能力 通过官方渠道和权威信源核查信息真实性 自媒体从业者应增强法律意识真实准确客观发布信息 [8] - 通过发布典型案例引导人们了解AI谣言的生成机制传播逻辑话术套路和识别方式 [8]

AI谣言治理挑战 - AI生成虚假信息具有高度迷惑性和易传播特性 对监管部门、平台和技术开发者构成系统性挑战 [1] - 需要技术完善与法律规制双管齐下 通过多方联动共治格局解决防治难题 [1] 法律规制进展 - 近期出现多起AI造谣处罚案例：广西网民因AI造谣燃气涨价受行政处罚 传播谣言账号被禁言或关闭 [2] - 已出台《互联网信息服务深度合成管理规定》《生成式人工智能服务管理暂行办法》等法规 明确法律底线和执法依据 [2] - 当前存在违法成本过低问题 需通过司法解释明确各方义务边界和侵权责任认定标准 [2] 技术取证难点 - AI谣言案件存在取证困难 需构建适应AI技术特性的证据收集与认定系统 [3] - 建议建立司法认定规则与标准 将平台算法透明化（不涉及商业机密和隐私部分） [3] - 地方公安机关正与科研机构合作 开发深度伪造监测预警能力 建立网络谣言闭环处理机制 [3] 平台治理责任 - 部分平台对AI生成内容标识不及时 给虚假信息传播留下时间窗口 [4] - 平台需主动采取下架、删除、辟谣等措施 特别是在重大事件和敏感话题上加强真伪核查 [4] - 应建立便捷举报渠道 对多次造谣用户采取黑名单等禁止性措施 [5] 技术防治手段 - 通过算法识别、大数据分析和区块链溯源等技术手段识别阻断谣言传播 [5] - 利用自然语言处理和图像识别技术自动标记可疑内容并减少推荐 [5] - 探索"动态可追溯责任链"机制 采用内容显式/隐式标识实现倒查追责 [5] 内容识别特征 - AI生成内容存在可识别特征：如六根手指、阴影方向错误、面部表情不协调等视觉破绽 [7] - 需警惕"网友爆料""独家内幕"等标签 通过权威信源核实和交叉验证辨别真伪 [8] 社会协同治理 - 用户需增强法律意识 避免无意识传播未经核实的AI生成内容 [8] - 媒体平台应提升审核能力 通过官方渠道核查信息真实性 [8] - 自媒体从业者需确保信息发布真实准确客观 履行社会责任 [8] - 通过典型案例普及AI谣言生成机制和识别方式 提升公众辨别能力 [8]

制造出的虚假信息更具迷惑性，"AI(人工智能)幻觉"带来"一本正经地胡说八道"……易传播、难防治 的"AI谣言"，对政府监管部门、互联网平台、技术研发者以及社会各界提出了新挑战。 如何遏制人工智能"说谎"？需要技术完善与规制，也需要系统性治理。多名受访专家表示，要完善法律 规范和部门监管，推动形成多方联动的共治格局。 亮明法律底线，增强对"AI谣言"的威慑力 与此同时，"AI谣言"案件取证难，困扰着办案机关。"解决涉'AI谣言'案件取证难，需构建一套适应AI 技术特性的证据收集与认定系统。"杨清望建议，通过建立完善案件证据的司法认定规则与标准，将不 涉及商业秘密和个人隐私的平台算法透明化，以此破解证据与责任认定难题。 一些地方公安机关已经在监测和识别"AI谣言"上有所探索。"我们与科研机构、企业密切合作，进一步 提高对恶意'深度伪造'信息的监测预警和快速识别能力，与相关部门合作建立网络谣言巡查监测、核查 反馈、会商研判、线索移送、打击处置的闭环机制，对于通过AI等方式合成的虚假信息，第一时间依 法依规处理。"辽宁沈阳市公安局网络安全保卫支队民警杨永志表示。 加固技术堤坝，斩断"AI谣言"的传播链 有网友发现， ...

制造出的虚假信息更具迷惑性，"AI（人工智能）幻觉"带来"一本正经地胡说八道"……易传播、难防治 的"AI谣言"，对政府监管部门、互联网平台、技术研发者以及社会各界提出了新挑战。 如何遏制人工智能"说谎"？需要技术完善与规制，也需要系统性治理。多名受访专家表示，要完善法律 规范和部门监管，推动形成多方联动的共治格局。 亮明法律底线，增强对"AI谣言"的威慑力 近日，借AI造谣燃气涨价的广西网民郑某受到行政处罚；一批传播"AI谣言"的网络账号被网信部门责令 禁言或依法依约关闭；向用户传授如何利用AI"一键去衣""换脸换身"的账号、公开售卖相关软件的网络 店铺，受到网信、公安等部门联动惩治…… 依法惩治的背后，是近年来AI相关法律法规的不断健全完善。《互联网信息服务深度合成管理规定》 《生成式人工智能服务管理暂行办法》《人工智能生成合成内容标识办法》等出台，向AI使用者和平 台管理者亮明了法律底线，为执法提供了法律依据。 中南大学法学院副院长杨清望表示，"AI谣言"违法成本过低的问题仍然存在，要对不法行为严加惩处， 完善相关法律法规，增强威慑力。 北京师范大学新闻传播学院教授许小可建议，针对生成和传播虚假信息的高 ...

AI技术滥用现状 - AI技术被用于制作发布谣言和不实信息，表现形式多样，如伪造视频和AI生成新闻稿[1] - 中央网信办部署"清朗·整治AI技术滥用"专项行动，重点整治利用AI制作发布谣言等乱象[1] AI谣言产生原因 - "AI幻觉"现象导致虚假信息输出，大模型在专业领域训练语料不足时容易出现推算错误[2][3] - 恶意编造传播"AI谣言"获取利益，包括炒作自媒体账号吸粉和实施诈骗等违法犯罪行为[4] - 形成"需求分析—内容生产—精准投放"的生产链条，有机构一天能生成4000至7000篇假新闻[4] AI谣言传播特点 - 可以做到分平台、分渠道、分时段、分媒介的定制化生成和发布，成本低廉[6] - 利用"灾难+儿童"等组合并删除AI生成标识，引发快速传播[6] - 造谣门槛大幅降低，用开源AI模型30秒即可生成以假乱真的画面[7] AI谣言防治难点 - 表述接近"真话"，更难以被技术手段屏蔽[9] - 可通过对抗训练绕过谣言关键词，如把"山体滑坡"改为"地质活动异常"[9] - 传统谣言像火可扑灭源头，"AI谣言"像病毒会不断变异[9] 技术改进方向 - 完全消除"AI幻觉"具有高度挑战，因大模型生成机制本质是概率驱动的语言建模[9] - 通过多模型协同判断、事实增强训练等技术手段可缓解"AI幻觉"发生的频率与危害[9]

AI谣言生成现状 - AI工具被广泛用于快速生成虚假信息 高中生仅用5分47秒即可生成逼真霸凌通报[3] - 个人造谣案例频发 福建网民使用AI剪辑汛情谣言视频 浙江男子生成虚假寻人启事 云南网民制作交通事故伤亡视频[4][5] - 形成灰色产业链 山东某传媒公司利用AI工具编造并发布300余万条谣言内容 抓获87名犯罪嫌疑人 查获近10万个违法违规账号[6] AI工具技术特征 - 技术门槛极低 开源模型爆发增长 云端服务便捷 操作界面极简 普通用户可轻松生成表面逼真的虚假信息[6] - 免费或低成本获取 通过看广告获得积分即可使用文生视频、图生视频等功能 能快速生成汛情、火灾等主题的虚假内容[7] - 部分平台存在限制 某些AI软件拒绝生成警情通报类内容 并提示警徽等元素使用存在法律限制[8] 检测与防御技术进展 - 现有检测算法对已知伪造数据识别准确率超95% 但面临未知技术迭代的泛化性挑战[10] - 研发团队正挖掘跨模型共性异常特征 推动检测范式从"针对单点技术"向"驱动于共性特征"转变[10] - 构建"检测-溯源-防御"治理技术体系 推进轻量化设备部署与对抗性防御技术[10] 行业治理体系构建 - 需形成四维共治体系 个人提升媒介素养 平台部署AI检测系统并实施生成内容强制标识 技术社区研发鉴伪模型 监管部门完善立法[9] - 法规建设持续推进 《人工智能生成合成内容标识办法》要求所有合法模型对生成内容添加水印[9] - 应对未来风险 需重点关注深度伪造技术与社会工程学结合驱动的自动化攻击[10] 青少年媒介素养教育 - 全国45.7%青少年无法识别AI谣言 55.9%未成年人通过短视频获取新闻[13] - 长三角地区形成媒介素养联盟种子校 通过新闻争霸赛、融媒体中心建设等措施提升学生鉴别能力[13] - 2025年新学年启动跨省媒介素养联动计划 覆盖AIGC伦理、社会热点调查等领域 拟构建全国性教育体系[14]

AI标识制度的技术潜力与治理挑战 - AI标识制度展现出积极的技术潜力，可作为内容治理链条的重要前端支点，但仍存在技术短板需与现有治理体系协同[1] - 2024年国内AI风险舆情案例中超过1/5与AI造谣有关，2025年涉AI谣言如"西藏定日县地震"等频繁引发舆论关注[1][2] - AI合成换脸用于虚假宣传案件频发，如冒充明星带货、杜撰非遗传承人等违法牟利行为[3][4] AI生成内容放大治理难题的三大特征 - "更易"：生成高度真实感内容门槛降低，中部某省村民通过AI模型批量生成热点文章获取流量收益[5] - "更多"：技术实现虚假信息工业化生产，如"医疗泰斗客死他乡"谣言通过500账号矩阵日均产出1万条[2] - "更真"：多模态信息增强迷惑性，如"西安市鄠邑区地下出热水"谣言因细节丰富难以辨别[6] AI标识制度的双重机制与责任体系 - 建立"显式标识+隐式标识"双重机制，显式标识降低内容可信度，隐式标识嵌入元数据实现机器识别[3] - 责任主体覆盖生成合成服务提供者、传播平台及用户全链条，生成平台需添加元数据标识，传播平台需核验标识[3] - 显式标识适用范围限定于易引起混淆误认的领域，避免过度标识导致信息过载[5] AI标识的理论效能与实践局限 - 隐式标识可将治理关口前移至生成阶段，提升识别效率应对"低门槛""大批量"挑战[4] - PNAS Nexus研究显示4976名受试者对标注"AI生成"的新闻标题信任度降低，分享意愿下降[8] - 技术存在"易规避"（开源模型水印可移除）、"易伪造"（模仿水印嵌入）、"易误判"（传统算法误判率高达100%）三大短板[9][12][13] AI标识与现有治理体系的协同路径 - 标识制度应聚焦高风险领域（谣言、虚假宣传），与举报删除、黑名单等现有措施协同[8] - 对低风险领域（B端应用、数据合成等）可探索多元治理路径，参考欧盟《人工智能法案》豁免条款[9] - 传播平台标识检测成本高于生成平台，需在责任界定中保持包容性，美国加州和欧盟法案均未强制传播平台担责[9]