生成式AI风险与滥用现状 - AI虚假内容呈指数级增长，造假形式愈发多样、危害愈发隐蔽，在个人、行业及社会层面迅速扩散，社会治理难度攀升 [3] - 个人层面，“AI造黄谣”现象激增，女性为主要受害群体，且虚假内容常通过境外服务器和跨平台分发，导致取证追溯困难 [3] - AI诈骗通过换脸换声等方式“围猎”老年人，并在电商领域衍生出利用AI生成虚假商品瑕疵图以骗取退款的灰色产业链 [3] - 学术、法律、审计等高可信度专业领域亦受冲击，例如有博士生在论文中引用24篇AI生成的虚假文献，以及律师在司法场景中引用AI生成的虚假判例 [4] - 存在从大模型输入端“投喂”定制内容以“洗脑”或反向驯化AI的行为，例如粉丝利用DeepSeek制作虚假声明，经媒体传播后被AI误判为真实信息，形成造假闭环 [6] - 生成式引擎优化（GEO）等灰色产业链通过向公开数据源灌入特定倾向文本，操控大模型在训练或检索阶段的输出逻辑 [6] AI陪伴与人机伦理风险 - AI陪伴技术迅猛发展，“虚拟陪伴”产业成型，旨在与用户建立持续的“共情体验” [7] - AI交互内置的“谄媚性”算法与“技术中立”主张之间形成危险的伦理张力，已出现用户与AI聊天后导致自杀或暴力行为的案例，尽管仍属罕见 [7] - 多家大模型巨头卷入AI陪伴领域的司法纠纷，集体诉讼趋势明显，主要被诉对象包括Character.AI和OpenAI旗下ChatGPT [7] - 涉诉AI平台被指控的行为集中于诱导自杀、教唆自残暴力、激化家庭矛盾以及传播涉及性虐待与精神操纵的内容 [8] - 当AI交互引发实际伤害时，平台常诉诸言论自由和“技术中立”以推卸责任 [9] - 随着诉讼推进，各平台已陆续出台安全整改措施，如Character.AI推出防自残提示、为未成年人设立独立模型、分批次停止对美国未成年人服务；OpenAI发布“青少年安全蓝图” [9] 全球监管与治理动向 - 中国“清朗·2025年暑期未成年人网络环境整治”专项行动将“AI功能诱导沉迷”列为打击重点 [10] - 2025年10月，美国加州签署全美首部AI陪伴聊天机器人法案，为未成年人设定使用时长提醒、禁止色情内容等防护措施，并赋予未成年人私人诉讼权 [10] - 2025年12月起，澳大利亚出台最严社媒禁令，要求社交媒体平台停止对16岁以下未成年人提供服务，违者面临高额罚款 [10] - 报告建议建立全球共识和制度化规则，包括强化平台监管、明确责任边界、推动跨境协作，以抵御AI生成虚假内容的影响 [6] - 报告建议AI陪伴类产品应将未成年人保护与用户心理健康置于商业目标之上，探索更健康、有边界的人机交互模式，并建立可审计、可解释的AI系统以回应“算法黑箱”问题 [10] 大模型透明度测评结果（2025年） - 南都数字经济治理研究中心实测15款国产大模型，发布《生成式AI落地应用：透明度测评与案例分析报告（2025）》 [11] - 测评涵盖四大维度：数据来源及处理、知识产权保护、内容安全、交互设计，共10个具体测评项，每项5分，满分50分 [12] - 仅DeepSeek一款大模型主动说明训练数据的大致来源，包括互联网公开可用信息及与第三方合作获取的信息 [11][12] - 对比国外，Anthropic也会披露从第三方获取个人数据训练Claude，但两者均未披露训练数据时间范围、合作具体情况、是否含版权内容等更多细节 [13] - 在用户数据训练撤回机制上，15款大模型均提及用户可更改授权或注销账号，但强调不影响此前已进行的处理 [15] - 有5款大模型（可灵AI、智谱清言、百小应、千问、豆包）允许用户通过发送邮件通知平台撤销将输入内容用于模型优化的授权 [15] - 千问和豆包两款大模型还允许用户通过关闭账号设置里的“改进语音服务”来撤回声纹信息授权 [15] - 腾讯元宝、DeepSeek提供具体的“退出”开关，用户可在产品内关闭“数据用于优化体验”以选择退出模型训练 [16] - 对比海外，谷歌Gemini允许用户选择是否开启活动记录及调整自动删除数据期限（3个月或36个月）；OpenAI通过“隐私门户”提供更正个人信息、删除对话、反对内容用于训练等多种选择权 [16] AI生成内容标识与用户交互设计 - 所有被测大模型应用均增加了对AI生成标识的说明，并主动告知模型局限性，不保证生成内容的真实性和准确性 [17] - 与2024年相比，2025年各家在生成内容标识上的行业均分高出1分，涨幅较为明显，AI生成内容添加显著标识已成为标配 [17] - 除两款视频生成应用外，其余13款大模型在内容生成页面以易于理解的方式披露了参考来源，披露比去年更规范和详细 [19] - 针对未成年人，星野App特设未成年人模式，在该模式下每日22点至次日6点无法使用，且相关功能受限 [19] - 为避免用户过度使用，OpenAI的ChatGPT推出了聊天休息提醒功能，但国产大模型普遍未在核心问答交互服务中提供类似的“长时间使用休息提示”功能 [19] - 报告呼吁持续增强大模型透明度，建议服务提供者通过负责任的、阶段性的披露来保证透明度，并承担部分教育、解释责任，例如建立线上平台促进公众与专家交流 [20]