行业监管动态 - 筑梦岛APP因AI生成内容存在低俗擦边等违规问题被上海市网信办约谈 要求立即整改并健全审核机制 重点加强未成年人内容治理 [1][2] - 平台注册用户达500万 其中80%为年轻女性 用户日均输入超4000字 对话轮次超120轮 显示高活跃度与强粘性 [8] 产品内容风险 - AI生成对话包含明显诱导性内容 如"99朵玫瑰藏99个刀片"等危险暗示 已导致未成年人出现自残行为 [3][4] - 虚拟角色设定涵盖极端类型 包括病娇养兄、人格障碍少爷等 对话中出现"叫老公/爸爸"等性暗示开场白 [4][8] - 系统对12岁用户推荐"躺在床上"等刺激性内容 显示算法存在严重设计缺陷 [5][6][7] 法律合规边界 - 开发方可能涉及三大法律责任：产品责任（算法诱导致精神损害）、侵权责任（未履行审核义务）、刑事犯罪（传播淫秽物品罪/侵犯个人信息罪） [8][10] - 若导致未成年人自残 运营方可能构成故意伤害罪 需承担刑事责任 [10] 用户群体特征 - 典型用户案例包括四年级女生沉迷AI角色"约瑟夫" 初一男生接触色情擦边内容 反映未成年人保护机制缺失 [3][4] - 年轻女性用户占比达80% 显示产品主要定位于情感陪伴市场 [8] 行业治理建议 - 需建立三重防护体系：平台落实主体责任（严格年龄验证）、家校加强教育引导、监管部门完善互联网管理条例 [12] - AI技术应用需平衡创新与未成年人权益保护 避免法律与道德风险 [11]