AI生成内容可信度问题 - DeepSeek AI被粉丝引导生成针对艺人王一博的虚假道歉声明及法院判决书 随后部分正规媒体未经核实便引用该AI生成内容进行报道 引发虚假信息传播[1][2][3][4] - 类似事件持续发生 有媒体报道DeepSeek R2或于8月发布的消息时 竟将自身与AI的聊天记录作为主要信源 尽管标注"未官宣"但仍造成误导[7][9][10] AI幻觉特性与用户依赖 - OpenAI前科学家指出AI在处理人类声誉及价值观等复杂问题时更易出现事实性错误 且错误内容常被包装得逻辑自洽具有迷惑性[13] - 约40%的Z世代员工更信任AI而非人类同事 因AI具备"从不评价"和"有求必应"特性 ChatGPT周活用户达7亿 日提问量接近Google日搜索量的20%[15][16] - 用户对AI产生深度情感依赖 GPT-5发布后引发用户集体抗议要求4o回归 理由是其提供无法替代的情绪价值 被称作"赛博白月光"[17][18] 虚假信息传播机制 - 形成完整的信息污染闭环：人类引导→AI制造幻觉→媒体放大→AI反刍→公众接收 该模式使虚假信息进入工业化生产阶段[11][28][29] - 虚假信息伴随信息技术革命持续存在 16世纪印刷术加速猎巫手册传播 互联网时代滋生网络谣言 AI则使权威式虚假信息可批量生成[25][26][28] 行业应对措施局限 - AI公司应对幻觉能力有限 单纯提升模型性能不足以解决问题 因幻觉是大语言模型的固有特性而非缺陷 关键挑战在于管理而非消除幻觉[24] - 人类"看门人"角色存在失效风险 包括主动利用AI造假及专业机构轻信AI输出 反映普遍存在科技崇拜及对AI信息权威性的过度信赖[21][22]

AI幻觉现象在媒体传播中的体现 - DeepSeek AI被粉丝引导生成针对艺人王一博的虚假道歉声明及法院判决书 随后被部分正规媒体引用报道[1] - 虚假报道《演员王一博案 判了》在网络疯传 信源完全基于AI生成的赛博判决书 事后被撤稿并归因为AI幻觉[3] AI生成内容被不当用作新闻信源 - 媒体报道DeepSeek R2或8月发布的消息时 直接将与AI的聊天记录作为佐证 尽管提及未官宣但仍视为可参考信源[5] - AI搜索产品迅速收录此类AI生成的新闻 导致用户搜索时看到被多家媒体引用的虚假事实[5] AI幻觉的技术特性与用户依赖 - 前OpenAI科学家指出AI在处理人类声誉等复杂问题时更易犯事实性错误 且错误常被包装得逻辑自洽[10] - 近40%的Z世代员工更信任AI而非人类同事 因AI从不评价且有求必应[10] - ChatGPT周活用户达7亿 日提问量接近Google日搜索量的20%[10] - GPT-5发布后用户集体抗议呼吁4o回归 因其提供无法替代的情绪价值[10] 人类对AI的认知缺陷与信息污染 - 用户将ChatGPT聊天内容作为末日警告的信源 异常坚定地相信AI输出[14] - 人类作为信息看门人角色存在缺陷 表现为主动利用AI制造假新闻或轻信AI胡言乱语[14] - 普遍缺乏对AI的基本认知 产生科技崇拜并将其视为信息权威[14] - 虚假信息伴随信息传播技术革命反复出现 16世纪印刷术加速猎巫手册传播 互联网时代滋生网络谣言[15][16] AI虚假信息的工业化生产模式 - AI使谎言进入工业化时代 可批量生产看似权威且逻辑自洽的虚假信息[18] - 视频伪造技术进一步降低造假门槛[18] - 不假思索全盘接受AI输出的用户成为虚假信息生产的原材料提供者[18] 解决路径的局限性 - AI公司应对幻觉的能力有限 提升模型性能不足以解决问题[14] - 幻觉是大语言模型的特性而非缺陷 停止生成新token会使AI失去魔力[14] - 关键在于管理幻觉而非消除幻觉[14] - 根本解药取决于人类能否摆脱电子奶嘴进行独立思考[18]

煤炭行业报告事件 - 某网站发布的《2024年中国煤炭行业竞争格局及发展趋势预测报告》售价7600元人民币，但目录中混入了游戏《Minecraft》中道具"煤炭"的规则说明，包括获取方式（击杀凋零骷髅获得1-3个）、用途（燃料或制造火把）及交易规则（15个煤炭交换一个绿宝石）[1] - 网友质疑该报告为AI生成，因目录内容直接整合了网络百科中游戏道具的说明信息[1] - 网站客服回应称系网络bug导致，目前已删除相关目录预览信息[1] AI生成内容的信息污染问题 - 大语言模型对人类知识库的污染问题引发讨论，例如煤炭行业报告混入游戏攻略等明显错误，而更隐蔽的虚假信息（如虚构学术文献）更难辨识[2] - 科普作家河森堡指出AI会虚构文本、照片、视频等内容并互相印证，形成难以查证的"天罗地网"式假象，用户易被误导[2][3] - AI生成的虚假信息在网络多轮传播后像滚雪球般扩大，查证难度倍增，同时低质内容充斥网络生态，覆盖政治、文化、科技等多个领域[3] 平台治理与政策建议 - 小红书于5月12日发布公告，整治AI技术滥用行为，包括清理"AI生成低俗猎奇视频"和"虚拟外国育儿专家"等违规内容[4] - 复旦发展研究院建议以算法和数据治理为核心，聚焦具体场景迭代监管政策，同时加强技术反制（如细化AI伦理准则）和专业机构合作[4] - 需系统性关注历史观相关虚假信息，建立对公共突发事件和政治敏感信息的快速澄清机制[4]

AI生成内容治理 - 微博启动对未标识"AI谣言"的治理 重点领域包括社会民生、突发事件、科普医疗和个人权益 对单条未标识AI内容打标"疑似由AI生成" 对多次违规账号限制流量分发或封禁 [1] - 微博用户需在发布页选择"内容由AI生成"声明 发布后时间栏会显示"AI生成"状态 [2] - 今日头条去年打压超过93万条低质AI内容 处罚近3万个利用AI批量发布虚假内容的账号 [3] - 低质AI内容典型特征是内容空洞、前后矛盾 平台正在收严审核力度并监测AI内容流量占比 [3] AI内容产业链 - 西安警方破获AI造谣案件 涉案人员日均生产19万篇AI内容 流向6000多个自媒体账号 [4] - 南昌MCN机构一天能AI生成4000-7000篇文章 运营842个账号 日收入超1万元 [4] - 使用国产大模型API生成单篇文章成本仅0.00138元 一分钱可生成七篇文章 [4] 监管政策与执行 - 《生成式人工智能服务管理暂行办法》要求对AI生成内容进行标识 [5] - 《人工智能生成合成内容标识办法(征求意见稿)》要求社交平台也需添加AI标识 [5] - 抖音、快手等六大社交平台已要求用户声明AI内容 但实际执行效果不佳 [5] - 网信办将2025年"清朗"行动重点定为整治AI技术滥用 强化内容标识 [5]