AI换脸诈骗现状 - 2022年至2024年初我国发生近百起AI换脸类诈骗案 造成经济损失达2亿元 [3] - 诈骗分子通过AI深度合成技术伪造人脸和声音 侵入第三方/运营商视频通话应用实施诈骗 [4] - 上传照片和音频即可生成动态视频 AI换脸拟声成为侵权违法高发区 [2] 手机厂商应对措施 - 荣耀在MagicOS 9 0系统嵌入AI检测模块 为微信QQ视频通话提供换脸检测功能 [3] - 小米HyperOS 2 0搭载AI反诈功能 检测到风险时向用户发出警报 [3] - OPPO ColorOS系统上线AI合成语音识别技术 甄别模拟熟人声音的电诈手法 [3] - 联想计划推出Deepfake检测器 5秒内识别AI换脸伪造 准确率超96% 适配多种设备 [3] 技术实现原理 - 检测技术通过构建AI模型 进行大量样本训练 检测VAE/GAN人脸伪造算法能力 [4] - 攻克实时视频通话场景中的人脸仿冒 核心在于被诈骗用户端视频流分析和检测 [4] 实际测试结果 - 实测荣耀Magic V3 小米15 OPPO FindX7三款手机均未成功识别AI视频音频 [5][6] - 荣耀检测结果显示未检测到AI换脸痕迹 小米OPPO仅提示开启防护无具体提醒 [6] - 荣耀客服表示检测能力持续优化中 OPPO客服称语音识别反应较慢 小米未做说明 [6] 行业专家建议 - 手机厂商上线AI换脸检测功能可辅助识别诈骗 但需谨慎使用反诈进行卖点宣传 [7] - 涉及用户财产安全与隐私安全边界处理 如人脸信息采集需用户授权 [7] - 内容传播平台更有义务对应用内视频语音通话进行AI鉴伪 [7]

AI拟声技术滥用现象 - 短视频平台出现数十个仿冒账号利用AI伪造全红婵声音售卖蜂蜜和驼奶粉 [2][3] - 去年12月出现伪造张文宏讲解蛋白棒的AI假视频导致大量中老年人受骗下单销量破千 [8] - 平台利用AI技术合成古天乐林峰等港星肖像声音制作赌博游戏代言宣传片 [8] - 小米CEO雷军声音被伪造用于虚假理财广告 [8] - 张馨予声音和表情被AI伪造用于推荐减肥药视频播放量高且难以辨别 [11][12] AI拟声产业链 - 电商平台提供明星声音200元一条素人50元一条的AI配音服务 [15] - 手机应用商店有数十款AI配音App下载量最高超千万次 [25] - 闲鱼App上一次AI声音克隆低至10元以内小红书相关帖子多达4w+条 [26] - 198元即可解锁付费会员功能生成各类出镜口播视频无需授权证明 [25] 行业影响与危害 - 热播综艺片段被批量篡改植入保健品减肥药广告形成流水线生产模式 [13][14] - AI拟声带货商品存在资质不明厂商不清问题涉事店铺多为2024年新注册账号 [17] - 平台缺乏AI生成内容提示客观上助推假带货风气 [17] - 技术滥用导致肖像权名誉权双重侵害同时增加消费者误购劣质商品风险 [16] 技术原理与门槛 - 只需采集声音频率音色声调等关键特征配合语速情感参数即可在几秒内完成克隆 [22] - 声音样本来源多样包括推销电话公开演讲客服回电等 [23] - 技术门槛相当于安装手机修图App且逼真度持续提升 [24] 监管与应对 - 北京互联网法院2024年4月宣判全国首例AI声音侵权案明确自然人声音权益保护范围 [28] - 9月1日将上线"白名单制度"要求AI作品"持证上岗" [28] - 目前平台标注"内容为AI技术制作"的实际效果存疑尤其对中老年群体 [29]

AI换脸诈骗现状与危害 - 2022年至2024年初全国发生近百起AI换脸类诈骗案 造成经济损失高达2亿元[3] - 诈骗分子利用AI深度合成技术伪造人脸和声音 通过侵入视频通话应用实施诈骗[4] - 典型案例显示消费者因轻信AI换脸虚假宣传购买无效保健品 损失万元[1] 手机厂商AI反诈技术布局 - 荣耀在MagicOS 9 0系统嵌入AI检测模块 覆盖微信 QQ视频通话场景[3] - 小米HyperOS2 0搭载AI反诈功能 可对换脸和伪造声音发出警报[3] - OPPO ColorOS系统上线"AI合成语音识别"技术 针对模拟熟人声音诈骗[3] - 联想计划推出Deepfake检测器 声称5秒内识别准确率超96% 适配多终端设备[3] AI检测技术原理与局限 - 检测技术通过构建AI模型 训练大量样本识别VAE GAN算法生成的人脸伪造[4] - 核心检测点在于分析被诈骗用户端的视频流 但实测显示当前技术存在明显漏洞[4][5] - 厂商披露技术主要攻克实时视频通话场景的人脸仿冒 但未覆盖所有诈骗手法[4] 主流手机AI检测功能实测结果 - 南都记者测试荣耀 小米 OPPO三款机型 均未成功识别预设的AI合成视频或音频[5] - 荣耀检测流程触发弹窗但结果显示"未检测到AI换脸痕迹"[7] - 小米 OPPO仅提示开启防护 全程无风险警报[7] - 厂商客服回应称检测能力尚在优化 无具体识别标准[7] 行业专家建议与争议 - 技术专家指出手机厂商反诈职能边界模糊 涉及隐私采集与安全责任问题[7] - 建议AI反诈宣传应明确辅助定位 避免用户因依赖功能而放松警惕[8] - 强调内容传播平台需承担更多AI鉴伪义务 形成多环节联防机制[8]

核心观点 - AI换脸技术普及背景下，上海易某网络科技有限公司因未经授权使用摄影师陈某原创视频素材被起诉侵权 [1] - 法院认定AI局部修改后的视频仍保留原作独创性元素，构成实质性相似侵权 [4] - 公司以商业目的提供换脸平台和技术的行为侵害了原告信息网络传播权 [6] 案件争议焦点 - 被告辩称AI换脸后的视频属于二次创作，与原告原作品存在差异 [3] - 法院需判定AI技术修改后的视频是否构成著作权侵权 [4] - 争议公司使用他人作品是否属于合理使用范畴 [6] 技术应用分析 - 公司开发的小程序允许用户上传照片后通过观看广告实现一键换脸功能 [1] - AI算法仅对原视频进行面部特征替换，保留构图/场景/人物造型等核心元素 [4] - 技术应用场景为古风汉服视频的换脸合成 [1] 法律判决结果 - 法院判决公司赔偿原告经济损失及合理开支共计7500元 [6] - 公司已删除侵权视频并完成算法备案等整改措施 [6] - 原告撤回停止侵权和赔礼道歉诉求，双方未提起上诉 [6] 行业影响 - 本案涉及AI技术应用中著作权保护边界问题 [4] - 商业性使用他人作品需获得授权，即使经过技术修改 [6] - 算法备案和经营规范成为企业合规经营的必要环节 [6]

文章核心观点 网友质疑某短剧利用AI技术将女演员脸换为迪丽热巴的脸，该事件引发广泛关注，行业人士抵制此类行为，律师称若属实涉事方或触法律红线，AI换脸技术在影视领域的滥用需多维度约束 [1][6][9][10] 事件概述 - 网友刷短剧时发现女演员脸疑似AI换脸迪丽热巴，录屏发至社交平台引发关注，4月11日短剧疑似AI换脸热巴登上热搜 [6] - 记者通过网友录屏剪辑片段看到女演员面容复刻迪丽热巴，嘴型抖动、不同角度特写面部有差异，网友认为是AI换脸，但暂无官方声明证实 [6] - 短剧被多家“剧场”播出，部分剧场已下架该剧或删除涉事一集，剧场称从版权方拿来未改动，不清楚是否使用AI换脸 [3][7] - 记者采访迪丽热巴方面未获回复，近期还出现多个疑似明星相关AI合成技术滥用情况，如特效师换脸杨洋被封号 [4][7] 行业影响 - 《中国网络视听发展研究报告（2025）》显示2024年微短剧市场规模达504.4亿元，用户数量达6.62亿，预计2027年市场规模将突破千亿元 [9] - 行业竞争加剧，“短剧疑似AI换脸热巴”事件暴露有人借助AI技术扰乱影视行业，影响短剧市场发展，需从源头调整规范 [9] - 有不错的演员想出演短剧，行业应多给新人机会，抵制未经授权使用AI换脸技术“植入”明星脸的行为 [9] 法律风险 - 若短剧AI换脸迪丽热巴属实且未经授权，涉事方至少存在侵犯隐私权、构成不正当竞争及广告欺诈两项违法风险 [10] - 从影视剧市场和行业角度，会引发观众质疑反感、降低行业诚信度，可能造成行业间互相模仿、加剧技术滥用 [10] - 制作方、技术提供方、播出平台等需承担相关责任，包括民事责任如赔偿经济损失等，行政责任可能构成虚假广告罪或诈骗罪等刑事犯罪 [10] 约束建议 - AI换脸黑灰产处花1280元可买明星脸，低成本诱惑造成技术滥用，会引起行业恶性竞争、挤压优质作品生存空间 [13] - AI换脸技术在影视领域的滥用需通过法律、行业规范和技术伦理多维度约束，短期强化内容审核与侵权追责，长期推动技术透明化与宣传普及 [13]