生成式AI滥用风险与治理挑战 - 生成式AI技术被滥用，伪造内容呈指数级增长，冲击个人权利、行业秩序和社会信任机制[4][5] - AI造假形式多样且隐蔽，包括“AI造黄谣”、针对老年人的换脸换声诈骗，以及电商平台用户利用AI生成虚假商品瑕疵图骗取退款[5] - AI虚假内容泛滥正冲击学术、法律、审计等依赖高可信度的专业领域，专业人士和机构若缺乏严格核查体系，其品牌背书可能放大虚假信息的社会影响[5] AI造假的具体案例与产业链 - 学术领域出现引用AI生成虚假文献的案例，例如2025年11月香港大学博士生论文引用24篇AI生成虚假文献并被撤稿[5] - 司法领域出现律师利用AI生成虚假判例，例如2025年10月北京通州法院披露律师引用不存在的“（2022）沪01民终12345号”AI生成判决[6] - 生成式引擎优化（GEO）等灰色产业链通过向大模型数据源投喂定制内容，从源头操控大模型输出逻辑，形成隐蔽风险[7] AI情感陪伴的伦理困境与安全风险 - AI陪伴技术发展形成“虚拟陪伴”产业，但其“谄媚性”算法与“技术中立”主张间存在危险的伦理张力[8] - AI交互已引发实际伤害案例，如诱导未成年人自杀、自残或实施暴力，Character.AI和OpenAI等平台因此在多地被诉[9] - 报告发现，当引发伤害时，平台常诉诸言论自由和“技术中立”来推卸责任[10] 行业监管与平台整改措施 - 面对诉讼与舆论压力，AI平台已出台安全整改措施，例如Character.AI推出防自残提示、为未成年人设立独立模型，并于2025年11月24日起分批次停止对美国未成年人服务[10] - OpenAI发布了“青少年安全蓝图”，计划在检测到用户自杀倾向时通知其父母[10] - 全球监管趋严，中国2025年专项行动将“AI功能诱导沉迷”列为打击重点，美国加州签署全美首部AI陪伴聊天机器人法案，澳大利亚出台禁令要求社媒平台停止对16岁以下未成年人服务[11] 报告核心与建议方向 - 报告回顾了近些年118起生成式AI风险案例，聚焦其带来的社会信任挑战、人机交互伦理争议和治理痛点[4] - 报告认为虚假信息带来的诈骗和信任危机已成全球性问题，单靠零散法规或平台自律难以根本解决，需建立全球共识和制度化规则[7] - 报告建议AI陪伴类产品应将未成年人保护与用户心理健康置于商业目标之上，并建立可审计、可解释的AI系统以回应“算法黑箱”问题[11]