Workflow
AI滥用
icon
搜索文档
2025年上半年互联网黑灰产趋势年度总结报告-威胁猎人
搜狐财经· 2025-09-01 10:49
威胁猎人发布的该报告,从攻击资源、技术、场景三方面,剖析2025年上半年互联网黑灰产趋势,为企业风控提供参考。 攻击资源上,风险IP日均1382万,环比升15.02%,"劫持共用代理"IP占比超50%,计费模式多元;黑卡受监管收缩,新型"链接接码"兴起;洗钱银行卡环比 涨28.6%,涉赌卡占70.25%(环比涨141%),对公账户降40%,目标转向城商行、农信社,商户洗钱增43%,集中于零售、餐饮。风险手机号、拦截卡环比 下降,临时邮箱占比79.03%,环比涨14倍。 攻击技术方面,AI深度滥用,分钟级换脸(3 - 5张照片)、10秒语音克隆用于电诈与认证绕过;"拉码工具"抓取支付链接洗钱,将黑钱转入正规平台,增加 追查难度。 攻击场景中,营销欺诈情报5.8亿条(环比增26%),电商、本地生活等行业风险高,黑产"嫁接"地推盗号、升级刷单产业链、水军用于商业打击;金融欺诈 中,恶意贷款舆情77万条(环比增12%),职业背债占比50%,车贷欺诈降10%,房贷增63%;电信诈骗情报51万条(环比降27.39%),但群组、账号仍 增,"无感盗刷"有NFC远程传卡、企业代付漏洞、仿冒App三种模式;钓鱼仿冒情报6.6万 ...
“耳听眼见”也未必为实!AI换脸、声音克隆等技术滥用 到底怎么治?
央视新闻· 2025-08-25 01:24
AI技术滥用现状 - AI合成技术滥用事件频发,包括奥运冠军全红婵、王楚钦等人声音被克隆用于商业带货,配音演员孙晨铭声音被房产公司未经授权克隆使用[1] - 微信平台2025年1月处置1.2万条AI仿冒名人违规内容,关闭3281个账号[2] - 北京互联网法院判定擅自使用他人肖像和AI合成声音进行商业宣传构成侵权[2] - 抖音平台最近一周AI虚假违规内容处置量较2025年第一周增长62%[6] AI技术发展水平 - AI合成技术达到以假乱真程度,在70%-80%平稳叙述范畴内难以分辨真伪[3] - 消费级设备即可部署AI换脸工具,单张照片可实现实时换脸[3] - 两年前AI生成视频画面僵硬,2023年已能突破支付平台人脸识别系统[2] - 一部手机配合2-3个软件可在几分钟内生成5秒AI视频[5] 监管措施与立法进展 - 中央网信办2025年4月启动"清朗·整治AI技术滥用"专项行动,第一阶段处置3500余款AI产品,清理96万余条违法信息,处置3700余账号[8] - 《人工智能生成合成内容标识办法》于2025年9月1日实施,要求对所有AI生成内容添加显式标识[10] - 中国2023年施行《互联网信息服务深度合成管理规定》,全球首次明确生成式AI标识义务[11] - 人工智能法草案列入2024年度立法预备审议项目,2025年持续推进立法调研起草工作[12] 技术识别与治理挑战 - 平台AI内容标识执行效果不佳,部分AI工具通过镜像文件规避监测[6] - 用户因可信度问题不愿添加AI标识,技术层面完全识别AI生成内容难度较大[7] - AI文字谣言生成能力惊人,某机构一天可生成4000-7000篇谣言文章[7] - AI算法可匹配用户喜好定制化生成谣言,使用近义词绕过平台筛查机制[7] 行业影响与社会风险 - AI滥用直接冲击配音行业生计,声音成为被随意复制的免费素材[3] - AI仿冒名人可能消解社会认知度和信任度,尤其涉及伪劣产品宣传时[2] - 养老机器人等面对面交互AI设备引发安全性质疑[12] - AI可能造成重大人身财产损失和社会舆论动荡,需设定可控范围红线[8]
“仅退款”新骗术:AI造假成“薅羊毛”利器
新华网· 2025-08-15 06:36
行业现象 - 电商平台出现消费者利用AI工具生成虚假商品瑕疵图片进行"仅退款"的情况 [1] - 案例包括伪造水果霉斑、视频中出现不合理肢体特征等难以辨别的AI生成内容 [3] - 商家面临退款后无法申诉的困境,部分因审核难度大选择直接赔付 [3][4] 行业影响 - AI滥用导致商家审核成本增加,风险成本可能转嫁至产品定价和品质 [4] - 平台管理成本、运营成本及信用机制受到长期挑战 [5] - 恶意行为可能破坏交易公平性并引发群体从众效应 [4] 政策与解决方案 - 2025年3月四部门联合发布《人工智能生成合成内容标识办法》,规定不得伪造或隐匿AI内容标识,9月1日起施行 [5] - 中央网信办2025年4月启动为期3个月的"清朗·整治AI技术滥用"专项行动 [5] - 专家建议平台强化智能识别系统、实施内容标注制度、完善信用管理体系,并推动跨平台数据共享建立联合防控机制 [5]
谢赛宁「踩雷」背后,竟藏着科研圈更黑真相:Science实锤论文造假+AI滥用
36氪· 2025-08-05 09:50
谢赛宁是真倒霉!为了避免被LLM审稿「误上」,他领导的实验室投稿的一些论文中暗藏了系统提示词,被网友当中「处刑」! 科研欺诈形成产业链 多年来,专门研究科学不端行为的专家一直在警告:制造虚假科研论文的产业不仅规模庞大,而且手法日益复杂。 如今,一项大规模的调查提出了确凿证据。 跟刚刚《Science》爆出的科研圈两大丑闻,就是小巫见大巫,不值一提。 这次,顶刊《Science》连发两条新闻,曝光了科研圈的两大「陋习」: 如果说第一条是实锤了科研界早有的恶习,那第二条绝对是科研圈新的「坏现象」。 而且,这次是实打实的科学研究,研究非常系统,证据充足,扒下了科研圈「皇帝的新衣」。 论文链接:https://www.pnas.org/doi/10.1073/pnas.2420092122 这项研究分析了数千篇论文以及它们的作者和编辑,发现「科学诈骗」已经形成了产业链。 整个产业错综复杂、相互勾连,「论文工厂」只是其中的一部分,还涉及出版商、期刊和中介等多个环节。 (1)论文工厂肆虐,论文造假已形成产业链,全球科学期刊被系统性渗透; (2)ChatGPT入侵学术圈,20%计算机论文已现AI痕迹。 他们还发现一些大型机 ...
上海市网信办对一批拒不整改的生成式人工智能服务网站予以立案处罚
快讯· 2025-06-24 09:42
监管行动 - 上海市网信办对未按要求开展安全评估的生成式人工智能服务网站进行立案处罚 [1] - 部分网站未采取必要安全措施防范违规信息生成 导致侵犯个人信息权益和产出违法违规内容 [1] - 违规内容包括"开盒""洗钱"等违法信息以及色情低俗图片 [1] 整改要求 - 上海市网信办要求企业自行下线相关功能 通过安全评估后方可重新上线 [1] - 将持续打击"AI滥用"行为 重点整治"AI变装""AI换脸变声""AI造假"等违法违规行为 [1] - 对屡教不改、问题严重的企业将坚决处置处罚 [1] 监管重点 - 重点监管个性化推送类算法服务存在的侵犯个人信息权益行为 [1] - 专项行动将持续加强对生成式人工智能服务的监管力度 [1]
Kimi上线信源质量徽章,并与财新正式达成版权合作|合规周报(第188期)
21世纪经济报道· 2025-04-28 03:14
Kimi与财新传媒合作及信源质量徽章 - Kimi母公司月之暗面宣布与财新传媒达成版权合作,当用户提问财经相关内容时,Kimi将结合财新传媒旗下专业报道生成答案 [1][2] - 公司上线专业信源蓝V徽章系统,帮助用户识别高质量信源,点击引用来源可访问原始出处,目前认证包括《央视新闻》《人民日报》《财新》等权威媒体 [1][2] - 这是国内首家公开宣布与媒体版权合作的AI案例,此前测评发现Kimi曾直接输出《财新》版权内容,当时公司回应称正在进行灰度测试 [1] Anthropic警示AI被滥用引导舆论 - Anthropic发现Claude等AI模型被恶意组织用于"舆论引导服务",在X和Facebook上创建超100个机器人账号传播政治偏见内容 [3] - 与以往不同,组织不仅用AI生成内容,还利用AI自主决定机器人账号的互动行为(评论、点赞、转发),形成半自主的复杂社交机器人系统 [3][4] - 该服务已商业化,为多国不同政治目标的客户服务,公司预计随着AI智能体技术改进,这一趋势将持续 [3][4] Adobe推出内容真实性保护应用 - Adobe发布Content Authenticity应用公测版,可为图像嵌入隐形元数据和"禁止AI训练"标签,保护作品免遭AI训练 [5][6] - 应用支持批量处理50张JPEG/PNG图片,视频音频功能"即将推出",目前免费但未说明正式版收费情况 [5][6] - Adobe尚未与任何AI公司签署采用协议,正与顶级AI开发商洽谈以推广该标准,技术可抵抗截屏和二次传播 [5][6] 微博AI智搜隐私争议与电商退款政策调整 - 微博AI智搜被质疑分析用户非公开内容,公司回应称从未纳入"仅自己可见/好友圈可见"的微博数据,已调整功能避免造成用户不适 [7] - 电商行业包括拼多多、淘宝、京东等平台拟全面取消"仅退款"政策,改为由商家自主处理已收货的退款申请 [7][8] - 平台已就政策细节与监管部门多轮商讨,淘宝公告显示后续将不主动介入此类售后申请,由买卖双方协商 [7][8]