预测式AI的核心问题 - 预测式AI基于历史数据做出预测，但相关性不等于因果关系，可能导致灾难性决策，如医疗AI模型错误判断哮喘患者肺炎风险较低[18] - 系统无法预测自身决策对环境的改变，当部署到新场景时，历史数据的准确性无法保证决策质量[19][21] - 预测式AI的营销宣传常夸大效用，但实际开发依赖人类决策和带有偏见的数据，承诺的公平性和效率优势缺乏可靠证据[13][15] 预测式AI的应用缺陷 - 自动化招聘工具易被表面因素操控，如视频面试背景、简历格式或关键词填充，这些修改不影响实际工作能力却改变AI评分[24][25] - 刑事司法系统使用COMPAS等工具预测犯罪风险，但依赖逮捕记录而非犯罪记录，加剧种族偏见，黑人因相同行为比白人更易被标记高风险[42] - 医疗资源分配模型如Optum Impact Pro用医疗费用替代健康需求预测，使已获更好服务的群体持续获得资源，放大种族不平等[40][41] 数据与系统局限性 - 模型训练数据常与目标群体不匹配，如PSA系统基于全美数据但无法适应低犯罪率地区，导致高风险误判和不当监禁[33][34] - 儿童虐待预测工具仅覆盖使用公共服务的低收入家庭数据，无法评估富裕家庭，造成对弱势群体的过度聚焦[35][43] - 依赖现有数据而非专门收集新数据，如医疗领域缺乏随机对照试验验证，使决策可靠性存疑[20] 过度自动化与监管失效 - 荷兰福利欺诈算法错误指控3万名家长，使用国籍作为预测因素，缺乏申诉机制导致严重社会后果[28][29] - 系统声称有人工监督但实际未修正决策，如多伦多海滩水质预测工具64%的错误未纠正，联合健康集团员工被要求服从90%错误的AI决策[30][31] - 自动化偏见广泛存在，75%飞行员在模拟实验中因系统错误警报关闭正常引擎，显示过度依赖自动化风险[31] 行业影响与商业动机 - 预测式AI被医院、雇主、政府等广泛用于资源分配，但商业激励促使公司选择易于量化的替代指标（如医疗费用）而非真实目标[41] - 招聘领域约3/4美国雇主使用自动化筛选工具，过程不透明使候选人策略性修改申请材料，而非提升实际技能[24][26] - 企业对随机性的恐惧驱动预测式AI应用，试图在人才识别等不确定任务中强加模式，而非接受固有随机性可能带来更公平结果[48][51]

市场监管总局公布互联网违法广告典型案例 - 市场监管总局于10月16日公布了一批互联网违法广告典型案例，其中涉及利用AI技术生成虚假形象进行广告宣传的行为[1] 苗古金贴（厦门）大药房有限公司违法案例 - 公司在互联网发布未经审查的“苗古金贴远红外治疗贴”等医疗器械广告[1] - 公司在广告中利用AI技术生成“传承千年苗方苗古金贴传承人”、“第56代苗古金贴传承人”等虚假人物形象[1] - 公司在广告中使用“中老年专用”等虚假信息，欺骗、误导消费者[1] - 福建省厦门市集美区市场监管局于今年7月对该公司及相关主体作出罚款120万元人民币的行政处罚[1] 北京心情好科技有限公司违法案例 - 公司以直播和短视频形式发布“深海多烯鱼油凝胶糖果”普通食品广告[1] - 公司在广告中利用AI技术仿冒某著名主持人形象为产品作推销[1] - 公司在广告中宣称产品具有“解决头晕头痛、手麻脚麻”等治疗功效[1] - 北京市海淀区市场监管局于今年6月对当事人作出罚款20万元人民币的行政处罚[1]

行业现象 - 外卖平台商家使用AI生成虚假商品图和门店环境图片进行宣传 包括门头图和堂食场景图 导致消费者收到实物与图片差距过大 [1][2] - 部分无堂食门店通过AI生成图伪装成有堂食餐厅 误导消费者对就餐环境和卫生条件的判断 [2] - 形成外卖AI假图产业链 有中介和个人在第三方平台销售整套AI包装设计图 承诺"可以改到过审为止" [1] 平台监管 - 平台对商家资质审核存在漏洞 出现13家商家伪造食品经营许可证案例 经营地址/签发人/经营项目/公章均与实际不符 [4] - 平台与商家利益捆绑导致审核把关存在不确定性 AI虚假宣传具有动态特征 增加监管难度 [3] - 虚假宣传未造成单个消费者严重损失 监管部门介入可能性较低 但平台声誉可能因大量虚假宣传受损 [3] 技术影响 - AI技术为虚假宣传提供新支持 使商家能够动态调整宣传素材 部分素材不公开展示增加平台发现难度 [3] - 消费者因AI图片与实物反差产生负面想象 引发对行业信任危机 [2] 合规问题 - 外卖商家合规问题持续存在 包括许可证造假和AI虚假宣传等新旧问题交织 [4] - 需要厘清平台责任与监管介入的边界 尽快制定应对措施 [4]

AI标识制度的治理价值与挑战 核心观点 - AI标识制度作为应对AI生成虚假信息"更多更真"挑战的前端治理工具，具有提升识别效率与用户警觉的技术潜力，但存在易规避、伪造及误判等局限性，需与现有内容治理体系协同[1][3][10] 分章节总结 一、AI新技术与治理老难题 - **更易**：AI大幅降低虚假内容生成门槛，非专业用户可通过粘贴关键词生成高真实感文章牟利[3] - **更多**：技术实现虚假信息批量化生产，如"医疗泰斗客死他乡"谣言通过500账号矩阵日均产出1万条[3] - **更真**：多模态细节增强迷惑性，如"西安市鄠邑区地下出热水"谣言因包含视觉要素难以辨别[3] 二、AI标识的治理价值与自身局限 （一）理论优势 - **隐式标识**：通过元数据嵌入实现早期识别，提升对"低门槛""大批量"内容的治理效率[6] - **显式标识**：研究显示标注"AI生成"可使4976名受试者对内容的信任度下降，分享意愿降低[6] - **适用范围限定**：聚焦易引发混淆误认的高风险领域，避免过度标识导致信息过载[7] （二）实践局限 - **技术短板**：开源模型（如Stable Diffusion）水印可被移除，攻击者可伪造或规避标识[8][9] - **误判风险**：传统文本检测方法误判《滕王阁序》为"AI率100%"，技术改进无法完全消除误差[9] - **成本挑战**：嵌套水印验证所需计算资源可能超过生成成本，检测过程效率低下[9] 三、AI标识的优化应用路径 - **体系协同**：将标识作为现有治理体系的补充工具，重点防范谣言、虚假宣传等高风险场景[11][12] - **责任划分**：生成平台需承担主要标识责任，传播平台检测难度较高需包容性治理[14] - **风险分级**：对低风险领域（如B端数据合成）采取豁免政策，与欧盟《人工智能法案》理念一致[13] 行业影响与数据参考 - **舆情案例**：2024年国内50个AI风险案例中，超1/5（20%）涉及AI造谣[1] - **技术应用**：广告素材生产、教育培训方案等领域正从"千人千面"向"一人千面"升级[7] - **法律基础**：《民法典》《广告法》等为AI内容违法行为提供执法依据[12]