AI技术滥用现状与受害者案例 - 高校导师、白领、保时捷女销冠、台球运动员等普通人与公众人物均成为AI换脸、克隆照、恶意造谣等技术滥用的受害者，面临诈骗、诽谤和个人形象被用于制作色情内容等风险 [1][3][4] - 电子科技大学人工智能专业研究生校外导师高翔在8月收到利用AI换脸技术篡改的不雅视频进行诈骗的短信 [3] - 白领小雅在9月18日发现其社交平台照片被用于AI生成“克隆”图片，担心被用于制作淫秽色情内容并已报警 [3] - 青岛保时捷中心女销冠牟女士在10月10日称遭遇AI恶意合成的虚假视频诽谤，并受到骚扰电话“轰炸”和大量不明微信好友申请 [3] - 台球运动员王思诺在8月30日称遭人恶意利用AI伪造淫秽视频并传播，台球女裁判王钟瑶亦透露在境外网站有涉及她的伪造淫秽视频传播 [4] 平台内容生态与流量乱象 - 社交平台上明星“AI换装”和“AI擦边”图片或视频泛滥，成为“流量密码”，部分账号专门发布此类内容吸粉，甚至有教程指导用户借此“起号变现” [1][5][6] - 某视频平台有近100个专门发布“AI美女”相关内容的账号，其中一个账号拥有近25万粉丝，其发布内容绝大多数为AI生成“擦边”视频 [5] - 一个名为“AI瑶瑶”的账号发布的“擦边”AI女性视频，点赞超过1.2万次，收藏、转发量合计超6000次 [5] - 抖音上一条转赞评近万次的教学视频评论区充满咨询用户，有用户开出高达5万元的学费 [6] - 近十位知名女星被批量“嫁接”到同一名舞者身上，营造“身穿同款古装、共跳一支热舞”的效果，侵犯肖像权 [6] - 百度图片是AI生成“擦边”内容的重灾区，图片内容涵盖“制服诱惑”、动漫风格及各类衣着暴露的AI女性形象 [6] AI应用实测结果与技术防线脆弱性 - 对12款文生图和文生视频AI应用的实测发现，5款应用（即梦、豆包、可灵、元宝和阶跃AI）可实现明星“一键换装”，9款应用（即梦、豆包、堆友、无界AI、秒画、LiblibAI、可灵、星流AI、元宝）能生成衣着暴露的“擦边”图片 [2][10][12] - 在“AI换装”测试中，阶跃AI几乎瞬间将原图人物白裙“抹除”并生成身着黑色蕾丝吊带的图片，元宝能将冬季大衣替换为白色内衣或把紧身连体衣改成吊带短裙，豆包除执行换装指令外还能将图片一键转换为视频 [11][12] - AI应用的内容审核防线脆弱，提示词修改得更加隐晦即可绕过限制，例如向豆包、可灵输入包含“卡戴珊身材”“酒店房间”“亚洲美女”等关键词组合后，应用便生成了多张穿着性感、姿势暧昧的女性自拍照 [13] - LiblibAI生成的图片尺度更大甚至露点，其官方公众号介绍模型/图像创作者已突破2000万，日均保持数百万级创作交互，用户自主训练的原创AI模型与工作流超50万，累计生成图片逾5亿张 [13] 平台治理措施与厂商回应 - 小红书虚假内容治理负责人介绍，虚假不实内容、虚假人设和AIGC造假是社区打击重点，2025年上半年共处置治理虚假低质AIGC笔记60万篇，平台正加大AIGC识别模型研发投入并对AIGC内容做主动标识 [7] - 抖音相关负责人表示，根据《抖音社区自律公约》，平台将对展示传播低俗、媚俗的内容采取限制措施，无论是否通过AI生成，违规内容均会予以处置 [7] - 平台通常会在AI生成图片上标注“疑似AI创作，请谨慎甄别”等提示语，但律师认为此类标注不能直接认定平台已尽到合理注意义务或自动豁免法律责任 [8] - 针对实测问题，星流AI和LiblibAI母公司北京奇点星宇科技有限公司称问题源于新模型上线初期识别精度波动，已完成紧急修复与优化，修复后星流AI生成的12张图片有4张显示包含敏感内容，LiblibAI也有一张图片生成失败 [14] - 豆包、即梦相关人士表示严格遵守国家法律法规，禁止生成色情违法内容，无界AI品牌合作总监称已采取多项防范措施，堆友背后的阿里巴巴表示将进行内部调查 [15] 技术挑战与法律监管环境 - AI应用内容防线脆弱的原因并非技术不能而是责任缺失，技术专家指出拦截违规内容没有根本性难度但需消耗一定算力，可在提示词识别和图片生成后再次检测两个环节进行拦截 [17] - 复旦大学计算机学院副教授郑骁庆建议为所有AI生成内容加上人眼不可见但平台系统可快速检测的“数字水印”，以便平台迅速识别违规内容来源并采取措施 [9] - 我国已有网络安全法、《生成式人工智能服务管理暂行办法》、《互联网信息服务深度合成管理规定》等多部法律法规对AI内容规范做出要求 [17] - 2023年9月最高人民法院、最高人民检察院、公安部联合发布的指导意见强调，利用“深度合成”等生成式人工智能技术发布违法信息等情形依法从重处罚 [18] - 现行法律为AI内容规范提供原则性框架，但面对“擦边”内容时仍存在界定标准模糊、审核义务边界不明确、技术标准缺失、法律责任认定难等灰色地带 [19]