新华视点·关注AI造假丨“一秒生成制服照”? AI岂能如此换装
新华社·2025-10-09 07:57

AI换装技术应用现状 - 部分AI工具和短视频平台推出“换装”功能,用户上传生活照可一键生成军装照、警察照等制服照片,并以“穿电子军装过把瘾”、“AI圆了我儿时梦”等为宣传亮点吸引用户 [1] - 流行的AI工具提供AI生图功能,可按使用者要求实现AI变装,有网民称上传生活照即可“秒变军人”,并可配上战车、阅兵场等背景 [1] - 在某社交平台,用户可通过视频下方小程序链接进入AI变装应用,上传三张本人面部清晰照片后,系统经过十几分钟AI合成即可生成军装变装视频 [3] AI换装技术滥用案例 - 个别网民利用AI技术合成身穿军装照片并发布虚假任命信息,例如安徽黄山市网民江某合成军装照并宣称“经军委同意,任命我为黄山军分区司令员”,该行为造成不良社会影响,当事人被公安机关处以治安处罚 [2] - 有不法分子借助AI换装技术伪造军人身份进行招摇撞骗,例如江苏江阴市网民路某盗用军人训练照片,将自身头像AI合成到军装照上,并伪造军官证冒充“少校军官”,诈骗6名女性共计3万多元,最终被以冒充军人招摇撞骗罪判处有期徒刑2年 [2] - 诈骗分子通过AI视频冒充公安人员实施诈骗,例如江苏常州诈骗分子通过AI视频身着带公安标志的制服,以“涉案”为由恐吓老人缴纳高额“保证金”,所幸警方及时预警劝阻 [3] 平台审核与监管缺失 - 平台和小程序在用户使用AI换装功能时,未要求上传身份证明信息,也未给出不得将合成视频用于违法违规领域的提示,变造制服照存在“零门槛”问题 [3] - 自9月1日起施行的《人工智能生成合成内容标识办法》要求AI合成内容必须明确标注,但记者使用多款AI换装应用后发现,用户合成发布的视频并未标注 [3] - 在某购物平台,有商家公开出售佩戴军衔的各军种和警察服装模板素材,售价不到一元钱,用户购买后可通过PS或AI方式将自身头部肖像替换到模板上 [3][4] 行业规范与法律建议 - 《人工智能生成合成内容标识办法》明确规定,服务提供者提供生成合成内容下载、复制、导出等功能时,应确保文件中含有满足要求的显式标识,任何组织和个人不得恶意删除、篡改、伪造、隐匿标识 [6] - 《互联网军事信息传播管理办法》规定,互联网军事信息服务提供者和用户使用深度合成、生成式人工智能等新技术新应用,不得损害人民军队形象 [6] - 法律人士建议AI开发者在算法设计中加强合规性审查,对警察和军队标识等敏感信息内容的使用应严格把关审核,平台方应严格落实标识要求并建立审核机制 [6] - 专家建议加快相关立法进程,明确AI涉军涉警图像的使用边界、责任划分及法律后果,对刻意丑化形象、实施招摇撞骗等行为依法严肃处理,并追究AI工具开发者和内容平台的连带责任 [6]