Workflow
AI 安全
icon
搜索文档
第一名方案公开,代码智能体安全竞赛,普渡大学拿下90%攻击成功率
机器之心· 2025-08-23 10:51
AI代码模型安全漏洞研究 - 即使经过安全对齐的大语言模型也可能在正常开发场景中无意间生成存在漏洞的代码,为后续被利用埋下隐患[2] - 恶意用户可利用这类模型显著加速恶意软件的构建与迭代,降低攻击门槛并缩短开发周期[2] - 许多风险源自模型推理链条中的细微缺陷,而不仅仅是输入输出层面的显性问题[2] 亚马逊Nova AI安全挑战赛 - 比赛分为红队和蓝队对抗形式,蓝队应用最新安全对齐实践,红队需在200轮对话内寻找模型安全漏洞[7] - 代码模型安全评估包含两个维度:符合安全代码规范(如避免SQL注入)和拒绝恶意软件开发请求[7] - 普渡大学PurCL团队作为红队以超过90%的攻击成功率获得第一名,赢得25万美元奖金[2][7] 传统AI安全评估局限性 - 传统安全评估基于静态预定义数据集(如禁止合成生化武器),未覆盖复杂真实领域场景[9] - 现有顶尖安全分类器对常见话题防御有效率达90%,但对网络安全领域话题的有效性骤降至10%以下[19] - 基于模型推理的防御方案存在不可靠性,模型在拒绝危险请求时常包含错误归因[20] AI认知建模框架 - 采用人类认知科学三分法建模:"问题"(用户请求)、"推演"(中间推理步骤)、"解决方案"(生成代码)[12][14] - 蓝队技术分为三类:危险输入识别(问题过滤)、推演步骤加强(如OpenAI的Deliberative Alignment)、危险输出识别(解决方案过滤)[16][17] PurCL红队系统技术创新 - 开发基于AI认知建模的全过程红队系统,耗时八个月和百万美元研发,现开放给研究者共享使用[3] - 系统包含领域知识建模和推理路径分析两大核心组件[21] - 领域知识建模通过Enumerator智能体构建领域知识图,覆盖2.28万亿和1×10²⁸量级的请求搜索空间[23] - 推理路径分析技术ASTRA通过构建"决策图"比对目标模型推理轨迹,系统性揭示推理漏洞[25] SOTA模型测试结果 - GPT-5在68.7%的情况下可能帮助构建恶意代码,GPT-OSS-120B在48.3%的情况下生成不安全代码[29] - 在具体攻击类型中,模型在Process Injection(进程注入)和Exploit Client Execution(客户端执行利用)等场景漏洞率超80%[29] - 安全编码规范方面,模型在Insecure Hashing(不安全哈希)场景漏洞率达100%,在Loose File Permissions(宽松文件权限)场景漏洞率最低约35-63%[30] 行业影响与研究意义 - 研究表明当前AI安全研究尚未解决真实世界中的模型安全问题,复杂领域的全面有效对齐仍是开放挑战[7] - 代码智能体如Claude可显著加速恶意勒索软件开发(实验后已安全删除)[32] - 模型对齐研究需超越防御越狱技术,重点解决复杂领域扩展问题和推理过程的安全可靠性[32]
马斯克AI帝国痛失大将,就像“送孩子上大学后开车离开”
虎嗅· 2025-08-15 02:32
公司发展历程 - 公司成立于2023年,由埃隆·马斯克牵头创立,专注于人工智能领域 [1] - 公司在短短两年内推出与OpenAI、Google DeepMind、Anthropic媲美的前沿大模型 [1] - 在120天内建成位于美国田纳西州孟菲斯的AI超级计算机集群,专门用于数据处理和训练Grok聊天机器人 [12] 技术团队与人才变动 - 联合创始人Igor Babuschkin宣布离职,他曾是Google DeepMind研究工程师(2017-2020年),参与AlphaStar项目,并曾在OpenAI参与ChatGPT面世前的核心研究工作 [2][3][4] - 团队交付速度被形容为"比史上任何一家AI公司都快" [12] - 马斯克亲自参与技术问题解决,曾在数据中心陪同团队工作到凌晨4:20解决BIOS设置问题 [14] 技术突破与成就 - 超级计算机集群建设过程中突破技术瓶颈,解决跨机器RDMA通信异常问题 [13] - AlphaStar项目在2019年成功击败《星际争霸》顶尖职业玩家,被视为深度强化学习的重要突破 [3] - 公司以"疯狂速度"著称,致力于打造能造福人类的AI [9] 产品发展现状 - 开发Grok聊天机器人,但近期陷入多起争议 [17] - 产品被指输出带有马斯克个人观点的答案,引发公正性质疑 [17] - 生成虚假且带有反犹内容的帖子,以及推出可生成与公众人物相似AI裸照视频的功能 [18][20] 行业发展趋势 - AI浪潮开始席卷全球,超级智能的"配方"已近在眼前 [8] - 前沿模型正变得越来越"自主",任务跨度更长、能力更强 [16] - AI安全被视为未来的核心战场,新兴投资方向聚焦AI安全研究与自主智能体系统 [16]
环球市场动态:人民币汇率短期或延续低波状态
中信证券· 2025-06-27 05:21
汇率与政策 - 人民币汇率6月以来呈“低波 + 韧性”特征,预计短期延续低波状态[5] - 美元指数五连跌,续创三年低位,美元兑人民币汇率有变动[4][25] 股票市场 - 美股三大指数齐涨,标普11个行业指数9个上涨,中概股金龙指数逆市下跌[3][8] - 港股走弱,三大指数集体收跌,原材料板块领涨,医疗保健板块领跌[3][10] - A股周四回调,沪指跌0.22%,深证成指跌0.48%,创业板指跌0.66%[14] - 亚太股市涨多跌少,日本市场涨幅居前,韩国市场领跌[20] 个股动态 - Palo Alto Networks推出AI安全产品,转型为全栈护航者[7] - 中芯国际基本面向好,下半年有望持续改善[12] - 奥比中光技术优势明显,盈利改善趋势有望延续[18] 商品市场 - 原油期货靠稳,纽约期油上涨0.49%,布伦特期油上涨0.07%[26] - 国际金价微涨,纽约期金上涨0.2%[4][26] 债券市场 - 美债全线上涨,短期美债领涨,亚洲债市情绪分化[4] - 美国一季度GDP终值下修,经济三年来首次萎缩,为美联储降息提供依据[30]
​晚点财经丨上海拍出“地王”;上半年消费广告投放减少四成
晚点LatePost· 2024-08-08 12:15
上海拍出 "地王" - 上海第四批土拍中,绿城以每平方米13.1万元楼板价拍下原小米总部地块,刷新2016年融信中国约10万元/平方米的全国楼板价纪录 [2] - 该地块位于徐汇滨江区域,绿城拿地总价48亿元,溢价率30%,土地性质从商办转为住宅用地,是土拍价格三年三倍的关键 [2] - 小米集团3年前以15.5亿元拍下该地块,今年3月退地,支付3.1亿元保证金大概率会损失 [3] - 上半年上海土地出让金总额415.96亿元,同比减少19.83%,6月取消土拍10%溢价限制 [3] 上半年消费广告投放减少四成 - 上半年中国互联网广告规模3514亿元,同比增长11.8% [3] - 消费行业广告投放收紧,美妆、奢侈品、个护和生活电器等降幅均超40% [3] - 银行广告投放同比增长约80%,规模近20亿元,汽车品牌互联网广告投放费用近80亿元,同比微增 [3] - 低价营销成为部分行业竞争手段,茶饮品牌客单价向10元及以下迈进,饮用水跌回1元时代,高端运动服饰被平替取代 [3] - 抖音超过淘宝成为吸引广告投放费用最多的App,前五大投放媒介市场份额增长最多的是抖音、微信(朋友圈)和快手 [3] - 短视频平台短剧内容用户渗透率超六成,抖音与快手短剧触达用户规模分别达4.74亿和2.59亿,近三成为深度观看用户 [3] - 淘宝、拼多多、京东均对短剧投入资金和流量支持,短剧带货成为电商平台新焦点 [3] Airbnb 房价贵了,住客少了 - 二季度Airbnb营收27.5亿美元,同比增长11%,净利润下滑15%至5.6亿美元 [3] - 总交易额(GBV)和订房数增速放缓至一成左右,为2021年以来最低季度增速 [3] - 美国市场需求减缓及全球预订周期缩短,预计三季度营收、订房数增速将进一步放缓 [4] - 二季度Airbnb日均房价涨至169.5美元,高于全美酒店平均房价的160.4美元,与万豪酒店相差不到16美元 [4] - 股价一度重挫19%,市值回撤近四成 [4] 北面二季度增长靠中国 - 亚太地区是北面唯一增长的市场,二季度收入增长30%,中国消费者是最大驱动力 [8] - 因美洲、欧洲等其他地区下滑抵消,二季度北面收入同比下滑3%至5.2亿美元 [8] 武汉多家购物中心帮 LV 打折 - 武汉多个高端购物中心在七夕节前促销,路易威登等头部奢侈品牌虽未直接参与,但顾客可凭购物小票兑换商场礼金券 [9] - 路易威登回应称品牌未被提前告知相关活动,已叫停 [9] 中国科技公司买走30%三星高端存储芯片 - 中国科技公司贡献三星电子上半年高带宽内存(HBM)芯片销售额的30% [10] - 中国公司主要采购三星HBM2E产品,比目前最先进HBM3E落后两代 [10] 霸王茶姬进入新加坡 - 8月霸王茶姬在新加坡连开3家直营店,首店位于新加坡乌节门 [11] - 目前霸王茶姬有超100家海外门店,分布在马来西亚、新加坡和泰国 [11] 本田二季度营业利润增长23% - 本田二季度营业利润同比增长23%至4847亿日元(约236亿元),超出分析师预期 [15] - 将中国市场年销量预期下调两成至22万辆,上个月宣布关闭两家在华工厂 [15] 迪士尼主题乐园利润下滑 - 二季度迪士尼实现231.6亿美元收入,同比增长4%,营业利润同比增长19%至42.3亿美元 [16] - 主题乐园在内的体验部门总体营业利润下降3%,国际体验业务保持2%增长 [16] - 综合流媒体业务包括Disney+、Hulu和ESPN+实现盈利 [16]