AI深度伪造技术
搜索文档
AI伪造冒充泛滥,冲击数字时代信任体系
南方都市报· 2025-11-07 15:00
AI滥用现状与危害 - AI深度伪造技术泛滥,演员温峥嵘同时被AI克隆出现在三个不同直播间进行产品推广,其本人曾于今年4月声明维权但未能阻止侵权[2] - AI滥用已从公众人物蔓延至全人群,宁夏警方破获的AI换脸诈骗案中,骗子通过实时换脸伪造亲友视频实施诈骗[2] - 技术门槛极低,开源工具和消费级电脑即可完成实时换脸,甚至一张照片就能生成动态视频,导致侵权违法成本极低而维权成本居高不下[2] 对社会信任体系的冲击 - AI合成音视频的逼真度颠覆了“耳听为虚,眼见为实”的传统认知,本人也难以分辨,正在瓦解社会信任基础[2] - 危害超越个体权益,包括消费者因AI虚假代言误购劣质产品破坏市场诚信,AI医疗误诊等虚假信息威胁公众健康,虚假视频可能激化社会矛盾动摇公共秩序[2] - 形成“证明我是我”的数字时代荒诞命题,AI从服务工具异化为潜在侵权利器[2] 治理框架与解决方案 - 法治是根本保障,需强化《人工智能生成合成内容标识办法》等法规的刚性约束,细化追责条款提高违法成本,完善证据规则降低举证难度[3] - 平台需压实主体责任,落实AI内容标识义务建立全链条管控,对违规账号实施黑名单管理并追溯资金流向,加大技术研发投入推广防伪技术[3][4] - 公众需增强个人信息保护意识,非必要不泄露生物特征,学习基础辨伪技巧并通过权威平台溯源核实可疑内容[4]
【金融教育宣传周】防骗那些事儿丨AI深度伪造技术诈骗之亲属声纹诈骗
新浪基金· 2025-09-19 08:08
基金行业社会责任与投资者教育 - 基金行业正在开展2025金融教育宣传周活动 活动主题为“保障金融权益 助力美好生活” [1] 技术指标与市场表现 - 部分股票因MACD技术指标形成金叉信号而呈现不错的涨势 [4]
真相来了!网传“某医院院长客死他乡”系AI造谣
央视网· 2025-06-21 19:14
AI技术滥用案例 - 上海警方查处一起利用AI工具生成虚假医疗谣言的案件,涉及"华山医院前院长客死他乡"等不实信息,该谣言通过500余个自媒体账号发布10余万条不实信息,24小时内被大量传播[1][3][4] - 涉案自媒体工作室通过AI批量生成不实信息,控制500余个账号制造爆款内容获取流量,3名运营者已被采取刑事强制措施[4] - AI深度合成技术被用于仿冒名人带货,如仿冒张伯礼院士和张文宏主任的形象声音进行引流,误导消费者进入消费陷阱[6][10] AI技术滥用手段 - AI深度合成工具多为开源软件,使用门槛低,仅需5-10分钟即可完成仿冒视频制作,只需一段清晰的声音或视频素材[12] - 技术流程包括分析面部表情、手部动作和声纹,使用相应框架进行克隆识别和内容生成[12] - 部分自媒体通过向AI工具输入关键词自动生成文章,未经核实即发布以快速增加粉丝数量[3] 行业监管动态 - 国家网信办发布《人工智能生成合成内容标识办法》,将于9月1日施行,对AI生成内容提出刚性约束[15] - "清朗·整治AI技术滥用"专项行动第一阶段处置违规AI产品3500余款,清理违法信息96万余条,处置账号3700个[17] - 北京网信办建立"用户标记-平台核查-联合处置"工作模式,上海网信办推动标识要求落地,覆盖400余家企业[17] 平台治理措施 - 腾讯规范应用程序管理,提高准入门槛,驳回处置违规小程序等570余款[18] - 微博通过策略识别和用户举报累计处置违规内容4800余条,并公布典型案例[18] - 专家建议开源模型应强制添加无法去除的水印,在生成内容时长和清晰度上做限制[13]