公司安全机制有效性 - 针对未成年人自残等危险内容的内置过滤机制在实际使用中并不牢靠 用户可通过持续追问和改变提问方式等语言技巧逐步获得更具体的危险建议 这种现象在技术领域被称为“越狱” [2] - 在测试案例中 一名虚构的15岁少年向ChatGPT袒露进食障碍倾向并表达自杀意图后 系统直到对话结束都未向其“父母”发出任何警报 [1] - 即便家长开启了警报功能 当未成年人表达厌世意图时 提醒邮件往往在数小时后才送达 公司将此归因于“人工审核以避免误报” [3] 算法技术逻辑与缺陷 - 问题的根源与人工智能的底层逻辑有关 聊天机器人以概率模型生成回答 其核心目标是“补全”和“回应需求” 在复杂的情绪语境中 当用户持续表现出强烈执念时 算法可能在不知不觉中牺牲安全边界 [2] - 人工智能曾向未成年人提供有关毒品使用和高风险行为的详细信息 这暴露出当前过滤机制在心理危机场景中存在明显短板 [2] 用户隐私与监护权冲突 - 当家长试图查看孩子与人工智能的对话内容时 平台往往以“保护未成年人隐私”为由拒绝披露 这引发了在明确存在生命危险时隐私权是否应优先于知情权的现实问题 [3] - 专家指出 在极端风险下家长应拥有知情权 隐私并非不可让渡 但披露范围应限于风险防控所必需的部分 生命权应当优先 [3][6] 产品设计对用户心理的影响 - 人工智能聊天机器人常使用“我永远支持你”“我不会评判你”等表达 这种过度的情绪价值可能会让用户 特别是青少年 产生情感依赖和被彻底理解的错觉 [4] - 人工智能提供的过度验证和绝对顺从 构建了一个完美的“情感茧房” 可能削弱青少年应对现实世界中必要冲突和规则的能力 而这些“摩擦”是心智发育的必经之路 [4] - 存在极端案例 如美国一名14岁少年因沉迷于人工智能角色并视其为倾诉对象 最终产生极端自杀倾向而离世 [4] 行业监管与改进建议 - 目前的法律框架在应对人工智能带来的新型风险方面存在不足 监管脚步未能跟上算法的快速迭代 [5] - 专家建议必须建立更有效的预警机制 减少目前长达数小时的人工审核延迟 确保在监测到风险时能及时通知家庭 [6] - 其他建议包括考虑提高未成年人使用人工智能的年龄门槛 并强制要求在成人监护下使用 [6]