9月1日，由国家互联网信息办公室、工业和信息化部等部门联合发布的《人工智能生成合成内容标识办法》（以下简称《办法》），与配套强制性国家标 准《网络安全技术人工智能生成合成内容标识方法》正式生效。 汇业律师事务所律师史宇航在接受《IT时报》记者采访时表示，《办法》的意义不仅在于对生成合成服务提供者（如模型开发者）提出标识要求，还对内 容传播服务提供者（如社交媒体平台）规定了核验和添加标识的义务。这意味着监管责任覆盖了内容生成到传播的全过程，形成全链条责任体系，有助于 从源头到终端对AI生成内容进行有效管理，而且给国际社会提供了AI生成内容治理的一个范例。 《IT时报》记者实测发现，抖音、小红书、B站等主流视频网站已允许创作者主动标识视频中的AI生成内容，作者可以在发布视频时，在"创作声明"中注 明该内容是否由AI生成。不过，对于并未主动标识的AIGC（AI生成）内容，平台的识别能力还相对较弱。 "AI换脸"如不标识，将面临严格处罚 记者在抖音、B站、小红书三个平台分别发布了3条AI生成的视频，其中一条主动标注了AIGC，另两条没有标注。 发布完成后，记者注意到，主动标注后，B站的AI标识相对明显，视频的左下角和 ...

AI生成内容风险与治理 - AI生成虚假内容引发广泛担忧 例如AI生成兔子视频获得上亿播放量后被发现是伪造[1] - 2025年第一季度全球深度伪造欺诈造成财务损失超过2亿美元[1] - AI生成内容风险包括谣言传播 名人形象伪造带货和换脸拟声诈骗[1] 《标识办法》监管框架 - 国家网信办等四部门联合发布《人工智能生成内容标识办法》于9月1日正式施行[1] - 要求所有AI生成的文字 图片 视频等内容必须进行显性或隐性标识[7] - 平台需对上线内容进行审核 对未标识内容添加风险提示[7] AI技术缺陷分析 - 大模型本质是基于数据训练的概率生成模型 通过统计规律进行文本组合而非真正理解[3] - 训练数据质量问题 算法架构局限性和训练目标与人类偏好对齐不足导致错误信息产生[3] - AI"幻觉"缺陷催生大量虚假内容 降低网络信息质量[3] 治理体系构建 - 形成技术+法律+伦理三维治理路径 未来将出台技术标准和完善立法[8] - 平台将采取全流程审核机制：事前审核+事中监测+事后处置[8] - 引入AI生成内容检测技术 技术合规成为必需品[8] 标识技术体系 - 显式标识以文字 声音 图形等可感知方式呈现[7] - 隐式标识通过技术措施在文件数据中添加 不易被用户感知[7] - 显隐双标体系提供可落地 可追溯 可持续的技术路径[8] 鉴伪技术发展 - 主流鉴伪技术包括跨模态一致性检测和生成端标记与取证端鉴别[4] - 视频鉴伪面临帧率变换 压缩 剪辑等操作破坏原始特征的挑战[4] - 未来将融合文本 人像 场景 音频等多维度实现跨模态校验[9] 平台治理现状 - 平台对AI内容进行人工审核并通过合规办法把关[5] - 存在标识要求未形成体系 未传达至具体发布者的问题[5] - 合规性审核存在一刀切现象 声明AI生成的内容反而受限[5] 用户权益保障 - 遭遇侵权可依据《民法典》《产品质量法》《消费者权益保护法》等维权[10] - AI换脸涉嫌侵犯肖像权隐私权时可拍照录屏取证并通知平台删除[10] - 购买AI伪造名人带货产品可向生产者 销售者或平台经营者主张责任[10] 技术发展前景 - AI鉴伪技术将在技术深度 广度及生态协同上取得突破[9] - 结合微表情 眼球运动等生理特征与语音图像内容实现毫秒级伪造识别[9] - 企业将重点发展AIGC虚假信息的主动防御和主动检测技术[9]

行业监管动态 - 中央网信办开展专项行动 重点整治AI换脸拟声侵权及AI内容标识缺失等滥用乱象 [1] - 专项行动有效遏制虚假新闻与谣言传播 显著提升AI生成内容透明度并降低公众受骗风险 [1] - 监管部门要求平台履行治理责任 建立违规账号"黑名单"并严惩屡犯主体以切断黑灰产业链 [1] 技术发展要求 - 技术提供者需加强安全合规研发 为平台反伪造能力提供底层支撑 [1] - 鼓励公众参与乱象治理并引入专业评估力量 平衡技术创新与真实创作生态守护 [1] - 通过多维度治理推动AI技术真正服务社会 避免技术滥用对网络秩序造成冲击 [1] 商业生态影响 - 社交媒体存在利用AI技术造假快速起号现象 包括伪造外国人唱中文歌、银发养生等内容进行流量变现 [1] - 专项行动直接针对AI技术滥用形成的黑灰产链条 对违规内容传播和账号运营形成高压态势 [1]

AI标识制度的治理价值与挑战 核心观点 - AI标识制度作为应对AI生成虚假信息"更多更真"挑战的前端治理工具，具有提升识别效率与用户警觉的技术潜力，但存在易规避、伪造及误判等局限性，需与现有内容治理体系协同[1][3][10] 分章节总结 一、AI新技术与治理老难题 - **更易**：AI大幅降低虚假内容生成门槛，非专业用户可通过粘贴关键词生成高真实感文章牟利[3] - **更多**：技术实现虚假信息批量化生产，如"医疗泰斗客死他乡"谣言通过500账号矩阵日均产出1万条[3] - **更真**：多模态细节增强迷惑性，如"西安市鄠邑区地下出热水"谣言因包含视觉要素难以辨别[3] 二、AI标识的治理价值与自身局限 （一）理论优势 - **隐式标识**：通过元数据嵌入实现早期识别，提升对"低门槛""大批量"内容的治理效率[6] - **显式标识**：研究显示标注"AI生成"可使4976名受试者对内容的信任度下降，分享意愿降低[6] - **适用范围限定**：聚焦易引发混淆误认的高风险领域，避免过度标识导致信息过载[7] （二）实践局限 - **技术短板**：开源模型（如Stable Diffusion）水印可被移除，攻击者可伪造或规避标识[8][9] - **误判风险**：传统文本检测方法误判《滕王阁序》为"AI率100%"，技术改进无法完全消除误差[9] - **成本挑战**：嵌套水印验证所需计算资源可能超过生成成本，检测过程效率低下[9] 三、AI标识的优化应用路径 - **体系协同**：将标识作为现有治理体系的补充工具，重点防范谣言、虚假宣传等高风险场景[11][12] - **责任划分**：生成平台需承担主要标识责任，传播平台检测难度较高需包容性治理[14] - **风险分级**：对低风险领域（如B端数据合成）采取豁免政策，与欧盟《人工智能法案》理念一致[13] 行业影响与数据参考 - **舆情案例**：2024年国内50个AI风险案例中，超1/5（20%）涉及AI造谣[1] - **技术应用**：广告素材生产、教育培训方案等领域正从"千人千面"向"一人千面"升级[7] - **法律基础**：《民法典》《广告法》等为AI内容违法行为提供执法依据[12]