案件概述 - 湖北省黄石市发生三起针对老年人的电信诈骗案件 三名老人均被冒充其孙子的诈骗电话所骗 每人被骗走2万元现金 总计6万元 [1][2] - 诈骗分子利用AI拟声技术高度还原被害人孙子的声音 并实现实时对话交互 使老年人难以识破 这是诈骗得逞的关键技术手段 [7] - 负责线下收取现金的“车手”吴某被法院以诈骗罪判处有期徒刑二年一个月 并处罚金人民币15000元 [3] 诈骗手法与过程 - 诈骗话术涉及“孙子在学校与同学发生冲突不慎失手伤人”以及“需到公安机关赎人”等紧急情况 利用老人的恐慌心理 [2] - 诈骗流程为：境外上线使用AI拟声技术冒充孙子致电老人 → 诱导老人准备现金 → 安排境内“车手”上门取款 [2][4][7] - “车手”吴某在取款过程中会再次接通“孙子”电话让老人亲耳确认 以加固信任 [2] - 吴某在2025年4月28日当天根据上线指令前往5个不同地点收取现金 其中3处作案成功 [4] 涉案人员与资金流向 - “车手”吴某受境外上线安排 明知是诈骗所得仍负责收取并转移现金 其行为被法院认定为诈骗罪共犯 [3][4] - 吴某从事此“高薪工作”的日报酬至少为1500元 [4] - 吴某取到现金后 按上线指示将钱放到偏僻地点 其对资金后续流向并不清楚 [5] - 案发后 吴某为争取从宽处理 凑齐6万元资金全额退赔给3名被骗老人 [2] 技术风险与防范建议 - 当前诈骗分子利用AI新型技术实施诈骗的主要手段包括“拟声”和“换脸” 通过模拟他人声音或形象骗取信任 [7] - 防范建议包括：不轻易相信熟人来电的紧急诉求 不急于转账 不透露银行卡密码和短信验证码 即“不听 不信 不转账” [8] - 建议通过主动询问仅双方知道的生活细节等方式 谨慎核实对方身份 [8]

电信网络诈骗定义与特征 - 电信网络诈骗是以非法占有为目的，利用电信网络技术手段，通过远程、非接触方式诈骗公私财物的行为 [1] 主要诈骗类型 - “杀猪盘”诈骗通过婚恋平台、社交软件寻找潜在受害者，利用聊天发展感情获取信任后，诱骗受害者进入博彩、理财等诈骗平台进行充值 [2][3] - 刷单兼职诈骗通过发布高薪兼职信息吸引受害者参与，再通过套路鼓动受害者投钱代刷，最终骗取所有投资钱财 [5] - 新型AI诈骗利用AI换脸技术，将一个人的面部特征和表情应用到另一张照片或视频中，实现人脸替换以冒充他人 [7][9] - AI拟声诈骗通过给受害人打骚扰电话提取声音样本，对声音素材进行合成后，利用伪造的声音实施诈骗 [10] 个人防护措施建议 - 保护个人信息，不向陌生人提供身份证号码、家庭住址等重要信息，并尽量减少个人照片、视频的泄露 [11][12] - 为银行卡、网上银行、手机银行设置复杂程度较高的密码，不向任何人透露或转发短信验证码或其它形式动态密码 [13][15] - 办理银行信用卡及额度提升等业务需通过银行官方微信平台、官方网站等可靠渠道申请，网购平台办理退款、退货应通过官方App渠道 [16] - 不要与他人共享屏幕，不要听信陌生人的转账汇款请求，遇熟人借款等情形应通过多种方式确认对方是否为本人 [16] - 应妥善保管个人银行卡，不可随意出借、出售给他人使用，以免触犯帮助信息网络犯罪活动罪 [16]

AI拟声技术滥用现象 - AI技术被大规模用于伪造名人声音进行商业欺诈，包括全红婵、张文宏、古天乐、雷军等公众人物被仿冒带货[3][7] - 最低仅需1元即可在二手平台购买"声音克隆工具包"，200元可定制明星AI配音，50元可克隆素人声音[7][10] - 技术门槛极低，仅需采集少量声音样本即可在几秒内完成克隆，应用商店相关App下载量最高超千万次[14] 行业影响与商业模式 - 短视频平台成为重灾区，仿冒账号利用综艺片段作为原材料，通过AI修改字幕和配音批量生产虚假带货视频[10] - 形成灰色产业链，商家通过AI伪造明星代言低成本引流起号，规避正规代言费用[10] - 涉事店铺多为2024年新注册账号，商品存在资质不明、厂商不清等问题，宣传素材高度雷同[11] 技术应用现状 - AI拟声技术已从娱乐用途（如"AI孙燕姿"翻唱）演变为商业欺诈工具[7] - 普通用户可通过198元会员服务生成任意内容的出镜口播视频，无需提供声音授权证明[14] - 社交平台存在超过4万条AI合成明星声音教程，二手交易平台克隆服务低至10元以内[15] 法律与社会应对 - 北京互联网法院2024年4月宣判全国首例"AI声音侵权案"，明确自然人声音权益保护范围[15] - 9月1日将上线"白名单制度"规范AI作品，但水印提示的实际效果存疑[15] - 专家建议需提高社会对真实性的鉴别能力，立法防止技术滥用[15]

AI拟声技术滥用现象 - 短视频平台出现数十个仿冒账号利用AI伪造全红婵声音售卖蜂蜜和驼奶粉 [2][3] - 去年12月出现伪造张文宏讲解蛋白棒的AI假视频导致大量中老年人受骗下单销量破千 [8] - 平台利用AI技术合成古天乐林峰等港星肖像声音制作赌博游戏代言宣传片 [8] - 小米CEO雷军声音被伪造用于虚假理财广告 [8] - 张馨予声音和表情被AI伪造用于推荐减肥药视频播放量高且难以辨别 [11][12] AI拟声产业链 - 电商平台提供明星声音200元一条素人50元一条的AI配音服务 [15] - 手机应用商店有数十款AI配音App下载量最高超千万次 [25] - 闲鱼App上一次AI声音克隆低至10元以内小红书相关帖子多达4w+条 [26] - 198元即可解锁付费会员功能生成各类出镜口播视频无需授权证明 [25] 行业影响与危害 - 热播综艺片段被批量篡改植入保健品减肥药广告形成流水线生产模式 [13][14] - AI拟声带货商品存在资质不明厂商不清问题涉事店铺多为2024年新注册账号 [17] - 平台缺乏AI生成内容提示客观上助推假带货风气 [17] - 技术滥用导致肖像权名誉权双重侵害同时增加消费者误购劣质商品风险 [16] 技术原理与门槛 - 只需采集声音频率音色声调等关键特征配合语速情感参数即可在几秒内完成克隆 [22] - 声音样本来源多样包括推销电话公开演讲客服回电等 [23] - 技术门槛相当于安装手机修图App且逼真度持续提升 [24] 监管与应对 - 北京互联网法院2024年4月宣判全国首例AI声音侵权案明确自然人声音权益保护范围 [28] - 9月1日将上线"白名单制度"要求AI作品"持证上岗" [28] - 目前平台标注"内容为AI技术制作"的实际效果存疑尤其对中老年群体 [29]