深度伪造指用人工智能(AI)技术制作看起来真实度很高的视频、图片或音频片段，这种技术可将色情影 像中的人物改变成另外一人的样貌。这类犯罪事件大多针对女性和未成年人。 日本警方17日说，警方今年前9个月掌握涉及18岁以下未成年人的深度伪造色情内容案件中，约半数出 自受害者同学之手。 日本共同社18日援引日本警察厅数据报道，日本警方今年前9个月处理的79起此类案件中，逾八成受害 者为初中生或高中生，其中约半数案件的作案人与受害者在同一所学校就读。用于生成深度伪造色情内 容的照片，通常取自毕业纪念册。 这是日本警察厅首次就此类案件发布详细数据。上述案件受害者中，初中生占比约52%，高中生占比约 32%，小学生占比约5%。约53%案件中的深度伪造图像由受害者的同学制作或传播；约6%的案件作案 人是受害者通过社交媒体结识的人，另有6%案件由受害者所在学校教职员工或其他学校的学生实施。 在日本，未经当事人同意制作并传播其色情图像构成侵权，涉案者还可能面临诉讼。上述79起案件中， 日本警方对4起以涉嫌诽谤罪等为由展开刑事调查，另有6起对实施者给予行为矫正指导。 日本警察厅说，上述案件中，约18%涉及生成式AI制作的照片。虽 ...

&sp "深度伪造"指利用AI伪造或篡改影音，目的在于欺骗，从虚假政治演讲到诈骗语音皆属此 类，其关键在于以假乱真。"AI幻觉"则属技术错误，聊天机器人可能引用不存在的研究，或编造法律案 例，本质是模型在预测词语时出现了偏差。而"AI垃圾"范围更广，也更随意：当人们用AI批量生产内容 却疏于核对准确性与逻辑时，便会产生此类垃圾。它们堵塞信息渠道，抬高广告收益，用重复无意义的 内容占据搜索结果。其错误源于敷衍，而非欺骗或技术局限。 技术滥用与贪婪心态成推手 科技日报记者 刘霞 如今的互联网上，看似信息海量，但也充斥着大量单调、重复且缺乏质量的内容。 美国《纽约时报》网站在12月8日的报道中指出，当前网络，尤其社交平台正泛滥一种被称为"AI垃 圾"（AI Slop）的内容。英国《新科学家》网站10日也发表文章称，今年，许多人感觉仿佛置身于一堆 华而不实的"AI垃圾"中。英国《经济学人》杂志更是将"Slop"一词选为2025年度词汇。这类错漏百出、 古怪甚至令人尴尬的内容遍布各平台，也在悄然侵蚀着人们的思想。 "假冒伪劣"信息充斥网络 "Slop"原指"猪食""泔水"等廉价、粗糙、缺乏营养之物。如今，借由AI技术的 ...

文章核心观点 - 当前互联网，尤其是社交媒体平台，正泛滥着大量由AI工具生成的劣质、重复或无意义的内容，即“AI垃圾”（AI Slop），这类内容正在侵蚀信息质量和用户信任 [1] “AI垃圾”的定义与表现 - “AI垃圾”特指由AI工具生成的大量劣质、重复或无意义的文字、图像或视频，常见于社交媒体和自动化内容农场 [2] - 具体表现包括：利用OpenAI的Sora几秒内生成荒诞视频、LinkedIn上充斥AI包装的“专家箴言”、谷歌搜索结果中出现如“姜黄能治愈心碎”等无稽之谈 [2] “AI垃圾”与其他AI生成内容的区别 - “AI垃圾”与“深度伪造”或“AI幻觉”不同，其区别在于意图与质量 [3] - “深度伪造”目的在于欺骗，以假乱真；“AI幻觉”属技术错误，是模型预测偏差；而“AI垃圾”错误源于敷衍，范围更广、更随意，源于人们用AI批量生产内容却疏于核对 [3] “AI垃圾”泛滥的驱动因素 - 技术层面：AI技术日益强大且成本低廉，ChatGPT、Gemini、Claude、Sora、Veo等工具使几秒内生成可读文本、图像与视频成为可能 [4] - 经济动机：滥用AI工具海量生成内容旨在博取点击和广告收入，例如某个YouTube频道仅凭4个视频就积累了420万订阅和数亿播放量 [4] - 平台算法：平台算法往往更看重内容的点击与互动数据，而非质量，发布越频繁获得关注越多，AI让这类操作变得易如反掌 [4] “AI垃圾”的潜在影响 - 当数量爆发，垃圾信息充斥网络，会导致可信来源在搜索结果中排名下降，真实与虚构的界限变得模糊 [5] - 信任危机会带来切实后果，即错误信息传播更快 [5] 行业应对措施与挑战 - 部分平台如Spotify开始为AI生成内容添加标签，并调整算法以降低劣质内容的推荐权重 [6] - 谷歌、抖音与OpenAI等公司承诺推出水印系统，帮助用户区分人工内容与合成内容，但若内容被截图、转码或改写，这些方法可能失效 [6] - 行业标准C2PA（内容来源与真实性联盟）由Adobe、亚马逊、微软、Meta等企业共同支持，通过将元数据嵌入数字文件记录创建过程，但难点在于普及，元数据可能被剥离，且多数平台尚未形成一致的执行规范 [6] - 最有效的防护在于人类自身，即放慢节奏、核实来源、支持坚持用心创作的作者 [6]

行业现象：AI生成低质内容泛滥 - 当前互联网尤其是社交平台正泛滥一种被称为“AI垃圾”的内容 其特点是错漏百出、古怪、重复且缺乏质量 正在侵蚀人们的思想[1] - “AI垃圾”特指由AI工具生成的大量劣质、重复或无意义的文字、图像或视频 常见于社交媒体和自动化内容农场[2] - 与旨在欺骗的“深度伪造”或属于技术错误的“AI幻觉”不同 “AI垃圾”范围更广更随意 其错误源于敷衍而非欺骗或技术局限[3] 技术滥用与商业模式推手 - AI技术日益强大且成本低廉 使得几秒内生成可读文本、图像与视频成为可能 为“AI垃圾”的批量生产提供了条件[4] - 内容农场应运而生 利用AI填充网站、社交动态和YouTube频道远比人工创作更快 例如某个YouTube频道仅凭4个视频就积累了420万订阅和数亿播放量[4] - 平台算法往往更看重内容的点击与互动数据而非质量 发布越频繁获得关注就越多 这无形中助推了“AI垃圾”的传播[4] - 利益是幕后推手 部分创作者通过发布虚假名人消息或标题党视频来博取点击和广告收入[4] 对信息生态的潜在影响 - 当“AI垃圾”数量爆发 会挤占可信来源在搜索结果中的排名 使真实与虚构的界限变得模糊[5] - 信任危机会带来切实后果 当无人能辨真假时 错误信息会传播得更快[6] 行业应对措施与尝试 - 部分平台如Spotify开始为AI生成内容添加标签 并调整算法以降低劣质内容的推荐权重[8] - 谷歌、抖音与OpenAI等公司承诺推出水印系统 以帮助用户区分人工内容与合成内容[8] - 行业正在推动名为C2PA的内容来源与真实性联盟标准 该标准由Adobe、亚马逊、微软、Meta等企业共同支持 通过将元数据嵌入数字文件来记录其创建与编辑过程[8] - 最有效的防护在于人类自身 放慢节奏、核实来源、支持坚持用心创作的作者是重要的开始[8] 行业长期挑战与本质 - “AI垃圾”是互联网垃圾信息故事的新篇章 其特点是更快、更流畅、也更难察觉[9] - 网络能否保持其应有的品质 取决于人们是否依然珍视人类的真诚创作 而非机器的机械输出[9]

文章核心观点 - 山西省消费者协会发布警示，提醒消费者警惕利用“AI换脸”和“AI配音”等“深度伪造”技术实施的新型诈骗，此类诈骗在2025年人工智能技术深度普及的背景下迷惑性极强，对消费者财产安全与个人隐私构成严重威胁 [1] 新型诈骗手段与流程 - 诈骗分子首先在抖音、微信视频号、微博等社交平台广泛搜集消费者或其亲友公开发布的清晰面部视频和语音片段，用于AI模型训练 [1] - 随后利用“深度伪造”技术合成出足以以假乱真的视频或音频 [1] - 接着精心设计紧急情境，如声称遇到车祸、被拘留或业务急需付款等，利用受害者的慌乱心理降低其警惕性 [1] - 最后通过视频通话或发送伪造的语音、视频片段直接联系消费者，要求其向指定账户转账 [1] 典型诈骗场景 - 合成子女、父母或好友的影像，在视频通话中以“急需用钱”为由要求转账 [2] - 针对企业财务人员或员工，冒充公司领导通过视频会议下达紧急支付指令 [2] - 伪造执法人员视频，以涉嫌违法为由要求消费者将资金转移至所谓“安全账户”进行核查 [2] 消费者防范原则：“三不” - 不轻信：对于任何通过非见面方式提出的转账汇款要求，即便看到真人视频或听到熟悉声音，也应高度警惕，尤其要提防对方制造紧急氛围阻碍核实 [2] - 不转账：在未通过其他可靠途径百分之百确认对方身份前，坚决不进行任何转账操作 [2] - 不泄露：需注重个人信息保护，审慎在社交媒体分享清晰的正面视频、语音，避免敏感信息过度公开 [2] 消费者防范原则：“二要” - 要核实：若遇“亲友”通过视频借钱，务必挂断后使用自行存储的联系方式回拨核实，或通过共同亲友交叉确认；可与家人、挚友预先约定资金往来暗语 [3] - 要警惕：需保持观察，AI合成内容可能存在人物表情僵硬、眨眼不自然、口型对不上、声音有电子音或断句不合理等细微破绽；公检法等机关绝不会通过视频或电话要求转账至“安全账户”，凡要求保密、隔绝与他人的联系，均是诈骗典型特征 [3] 受骗后应对措施 - 一旦发觉被骗，应第一时间拨打110报警或前往就近派出所，并提供对方账号、联系方式、聊天记录、转账凭证等证据 [3] - 立即联系银行客服或通过手机APP尝试冻结对方账户，争取止付，以最大限度减少损失 [3]

文章核心观点 - 深度伪造技术已从概念威胁升级为实打实的商业风险，企业需构建新一代防御体系以应对[1] - 深度伪造技术正催生一个规模达750亿美元的市场，预计到2032年其规模将飙升至3850亿美元[1] - 当“眼见为实”成为过去式，坚守真实和构建可信体系正成为企业的核心竞争力[10] 深度伪造技术的威胁 - 精准诈骗：诈骗分子利用AI生成的伪造高管音像进行诱导转账，例如奥雅纳公司损失2亿港元资产，WPP集团也遭遇类似攻击[2] - 验证困境：到2026年约三成依赖面部识别的企业将被迫更换安防方案，每增加一道验证环节都意味着成本攀升和决策迟滞[3] - 信任危机：建立在数字媒介上的信任体系面临崩塌，催生了包含直接投入和隐性损耗的“信任税”[4] 企业防御体系的构建方法 - 重点布防可信验证：核心文件采用数字签名，高管影像添加水印，敏感内容设置溯源标签[5][6] - 构建认证中心：建立公开验证页面，公示官方渠道和认证方法，确保信息通过经过认证的枢纽获取[7] - 培养伪造辨识力：将深度伪造识别训练融入新员工入职和客户沟通体系，通过模拟攻击演练提升验证素养[8] - 基建升级：投资实时媒体篡改检测系统，并将其嵌入财务审批、投资者沟通等核心流程[9] 深度伪造技术的影响与市场前景 - 一张五角大楼爆炸的AI伪造图片在社交媒体疯传，短短几分钟引发标普500指数闪崩，市值蒸发数十亿美元[1] - 制造足以乱真的数字替身技术尚处萌芽，但专家预测人类将很快难以仅凭视听判断真伪[2]

网络性犯罪案件总体情况 - 过去一年韩国警方共抓获3557名网络性犯罪嫌疑人，同比增加47.8% [1] - 同期共侦破3411起网络性犯罪案件，其中221名嫌疑人被正式逮捕 [1] - 近半被捕嫌疑人为20岁以下青少年，其中10多岁青少年最多，达1761人 [1] 网络性犯罪案件类型分布 - 涉及深度伪造技术的案件占比最高，达35.2% [1] - 涉及儿童或青少年色情视频的案件次之，占34.3% [1] - 非法拍摄类案件占19.4% [1] 深度伪造技术犯罪特点 - 深度伪造技术指用人工智能技术制作高真实度的视频、图片或音频片段 [1] - 该技术可将色情影像中的人物样貌替换为他人 [1] - 此类犯罪主要针对女性和未成年人 [1] 青少年对深度伪造犯罪的认知 - 约62.2%的韩国初中生认为深度伪造是"恶作剧" [1] - 持相同观点的高中生比例为47.7% [1] - 青少年对使用深度伪造技术实施性犯罪的危害性普遍缺乏认识 [1]

文章核心观点 - 图像生成式人工智能的出现催生了大量由AI生成的假发票 助长了报销欺诈等更基础常见的欺诈形式 [5][6] - 伪造文件的低门槛正在威胁金融信任 [5] 技术发展与欺诈手段演变 - 过去的造假手段相当原始 例如使用复印机和修正液以及出租车司机提供的空白车票 [6] - 当前手法更高级且更容易 AI生成的假发票配有仿真的商标地址和明细 甚至模拟折痕和咖啡渍 [6] 行业潜在风险 - 高度关注AI生成深度伪造被用于政治肮脏伎俩或金融诈骗的可能性 [6] - 欺骗的民主化会助长更基础更常见的欺诈形式 [6]

伯克希尔-哈撒韦公司声明 - 公司紧急澄清优兔平台上传播的关于巴菲特的评论视频是人工智能伪造的欺诈性视频 [1] - 视频配有伪造图像或人工智能生成的图像 模仿者声音单调 显然不是巴菲特本人的声音 [3] - 自5月伯克希尔股东大会以来 巴菲特很少公开发表评论 [3] 深度伪造内容的行业风险 - 利用生成式人工智能制造的虚假图片、音频和视频信息等深度伪造内容正在快速传播 [5] - 深度伪造内容被用来骚扰他人、诈骗金钱 甚至干扰选举 [5] - 如何预防和阻止深度伪造内容误导大众 已成为摆在各国政府和科技巨头面前的难题 [5] 人工智能监管现状 - 美国目前在联邦层面没有旨在控制人工智能风险的法规 [5] - 上个月加州州长签署监管人工智能聊天机器人的法案 要求运营商提供关键保护措施 如确保聊天机器人不与未成年人谈论自杀等话题 [5]

公司声明与事件 - 伯克希尔-哈撒韦公司发布紧急声明，澄清优兔平台上传播的关于巴菲特的评论视频是使用人工智能伪造的欺诈性视频 [1] - 视频配有伪造图像或人工智能生成的图像，模仿者声音单调，与巴菲特本人声音明显不符 [1] - 巴菲特担忧此类欺诈性视频正成为一种蔓延的病毒，可能误导不熟悉其本人的观众 [1] - 自5月伯克希尔股东大会以来，巴菲特很少公开发表评论 [1] 行业趋势与监管 - 利用生成式人工智能制造的深度伪造内容（包括虚假图片、音频和视频）正在快速传播 [3] - 深度伪造内容被用于骚扰他人、诈骗金钱以及干扰选举等目的 [3] - 预防和阻止深度伪造内容误导大众已成为各国政府和科技巨头面临的难题 [3] - 美国联邦层面目前尚无旨在控制人工智能风险的法规 [3] - 上个月加州州长签署法案，要求人工智能聊天机器人运营商提供关键保护措施，例如确保不與未成年人讨论自杀等话题 [3]