Workflow
AI安全
icon
搜索文档
AI安全破局:深知发布智能体专用安全模型,实现对话风险近100%防御,破解AGI应用合规难题
36氪· 2025-11-24 08:21
随着大模型应用越来越多的深入到日常工作生活场景:从AI教育、客户服务、商机互动、文旅推荐、医疗导办到保险咨询,也随着智能体交互日益成为社 会经济生活的重要环节,一场隐蔽的安全危机正悄然而来;生成式人工智能对话互动时普遍面临着恶意诱导、隐藏条件等各类风险,对话风险正成为行业 AI落地中的"致命暗礁"。 2025年8月27日,公安部第三研究所数据安全技术研发中心依据GB/T45654-2025《网络安全技术 生成式人工智能服务安全基本要求》对国内主流大模型商业 化版本开展安全测试,并发布了测试结果[1]。如图一结果显示8类安全维度的不合规率整体分布在28%至51%之间,其中涉黑灰产、谣言和诈骗类均超过 40%。不难看出,智能体所"仰仗"的各通用大模型本身的安全防护能力普遍不足。 | 模型名称 | 国家安全类 | 涉暴恐炎 | | --- | --- | --- | | DeepSeek-R1 | 28.08% | 29.73% | | Doubao-1.5-Pro-256K | 22.60% | 29.73% | | Doubao-Seed-1.6-Thinking | 32.19% | 24.32% | | E ...
2025 人工智能触手可及
北京晚报· 2025-11-21 08:00
人工智能产业发展指数发布 - “2025人工智能产业发展指数”将于2025年12月正式发布,由北京晚报《科技周刊》联合第三方大数据合作伙伴共同编制[1] - 该指数将涵盖人工智能的研发、技术性能、投资、产业应用等多个维度,旨在为产业提供参考并推动高质量发展[2] - 指数基于科学、开放、透明的原则持续迭代发布,为观察人工智能产业发展态势提供窗口[1][2] 青少年人工智能人才培养 - 人工智能人才培养从青少年开始,中国已发布《中小学人工智能课程开发标准(试行)》等文件推动AI教育进入课堂[3] - 2025—2026赛季VEX机器人亚洲公开赛国际签名赛正式启动,赛事覆盖全球100多个国家和地区,每年吸引超过百万青少年参与[3][4] - 该赛事具备广泛影响力,将促进区域科技、教育与产业资源深度融合,为人工智能与机器人产业培育生力军[4][5] 人工智能产品应用创新 - 蜂巢科技发布界环AI音频眼镜特别版,搭载全新升级的Superhexa VUI 2.0,使AI从“响应指令”迈向“理解意图”[7] - 产品支持“全场景录音转写总结”与“跨应用AI实时翻译”功能,可自动整理核心知识点并实现15种语言实时互译[8] - 两大核心AI功能已免费开放,用户可享受高效办公和无障碍沟通的新体验[9] 人工智能安全挑战与应对 - AI在落地应用过程中面临内容安全、应用安全及未来场景安全等超越传统范畴的威胁[10] - 360数字安全集团提出“以模制模”新范式,构建四大智能体打造AI安全防护屏障,并推出360大模型安全卫士[10][11] - 解决AI安全需具备对AI技术的深刻理解、丰富安全行业实战经验、自身AI业务安全实践及海量AI安全语料积累四大关键要素[11]
以安全为造车第一优先级 吉利全球全域安全中心将于12月发布
环球网· 2025-11-20 09:49
行业发展趋势 - 汽车行业的智能化发展进入由AI与数据驱动的下半场 [2] - 数字安全是行车安全和用户信任的基石 [2] - 全行业应反对盲目内卷、坚守安全底线 [2] 安全技术战略 - 行业应围绕“AI安全+网联安全”构建行车安全新防线 [2] - 应将“全域安全”的价值从私域扩展到公域 [2] - 行业需携手共建安全技术开放生态,以实现真正的安全平权 [2] 公司具体举措 - 吉利汽车集团副总裁李传海透露,吉利全球全域安全中心将于12月正式发布 [2] - 该安全中心未来将向全行业共享,旨在共创行业安全新标杆 [2]
AI应用规模化落地面临挑战 边缘计算将开辟新路径
证券日报网· 2025-11-17 14:13
行业趋势核心观点 - AI产业焦点正从大模型性能竞赛转向在实际业务中安全、经济、高效地实现规模化落地,标志着行业从技术探索期步入商业化应用深水区 [1] AI应用规模化部署的挑战 - AI应用在金融服务、智慧交通、智慧零售、个性化教育、娱乐传媒等行业正从探索阶段向规模化部署发展 [2] - 传统中心化架构因网络传输延迟,难以使网络边缘或偏远地区的业务终端获得实时智能响应能力,暴露出应对地理分散型业务需求的局限性 [2] - 对于实时交互性强、高并发访问场景,公有云部署存在网络延迟和服务稳定性问题,难以满足及时响应和稳定扩容要求 [3] - 对于金融、医疗、政务等数据敏感型行业,私有化部署面临高昂的GPU硬件投入和专业技术团队建设成本 [3] - AI规模化落地的核心瓶颈是在响应速度、数据安全、实施成本与地理覆盖这几个关键维度之间寻求平衡 [3] 边缘AI的解决方案与价值 - 边缘AI通过将算力部署在更靠近数据源和业务终端的网络边缘,开辟了介于公有云与集中式私有化部署之间的路径 [4] - 边缘计算能有效缓解网络延迟,提升数据处理的本地化效率,避免一次性重资产投入,是实现AI普惠的关键路径 [4] - 网宿科技展出安全+边缘AI服务平台,通过全球分布的边缘节点部署AI网关与开源模型,支持企业就近接入多模态模型推理服务 [4] - 该平台已帮助智能硬件企业与零售企业实现语音交互响应速度提升60%,并在一周内零代码搭建出智能客服应用,降低人工成本约40% [4] AI应用安全需求升级 - 生成式AI的广泛应用引入了提示词注入、训练数据投毒、模型输出偏见等全新风险维度,使安全能力从附加项变成了AI应用的准入证 [5] - 行业需构建从基础设施到应用层的全链路防护方案,贯穿AI应用的全生命周期 [5] - 网宿安全提出分区分域纵深防御体系,在应用层通过大模型WAF与API管控阻断恶意输入,在模型层引入安全评估服务检测逻辑漏洞与合规风险,在算力层通过主机与容器安全产品防御底层入侵 [5] - AI时代的安全防线必须体系化,仅靠单点防御无法应对快速演进的攻击手法 [5] 未来展望 - 边缘计算与安全体系的结合,为行业提供了AI规模化部署的新思路 [6] - 能否在效率、成本与安全之间找到长期平衡点,仍需技术提供方与行业用户共同探索 [6]
观察| AI创业,下一个机会在哪?
文章核心观点 - AI行业呈现明显的两极分化格局,部分赛道已形成巨头垄断,新玩家难以进入,而另一些领域则存在显著的空白机会 [2][3][7][8][16] 已成定局的"死亡地带":三大领域再无入场门票 - 基础模型领域由谷歌、Anthropic、OpenAI、xAI、Meta、Mistral六家寡头垄断,技术、资本和生态壁垒极高 [4] - OpenAI训练GPT-4花费超1亿美元,千亿参数模型每日耗电数十万度,百万级GPU集群维护成本高昂 [4] - 巨头通过生态闭环强化优势,例如OpenAI的ChatGPT拥有1亿日活用户,谷歌将Gemini嵌入安卓系统,Meta通过API接口绑定开发者生态 [4] - AI辅助编程市场呈现赢家通吃局面,Anthropic的Claude Code每周下载量达300万次,企业客户续约率超92%,年收入超2亿美元 [5] - OpenAI的Codex通过GitHub Copilot拥有1500万付费用户,市场份额超60% [5] - 客户支持AI市场估值达15亿美元,但竞争激烈,Decagon融资1.31亿美元,其系统能与企业订单、物流数据打通形成闭环能力 [6] - Salesforce、HubSpot等CRM巨头将AI客服模块作为赠品免费提供,挤压独立AI客服公司的价格优势 [6] - 医疗转录领域Abridge占据80%的三甲医院市场,与Ambiance共同占据90%市场份额,新玩家机会渺茫 [6] 野蛮生长的"希望之地":四大空白领域的掘金机会 - 金融科技领域机会在于解决实际痛点,例如利用多模态模型进行跨境支付反欺诈,系统能在0.3秒内识别骗局,东南亚市场单套售价达200万美元 [9] - 通过替代数据(如电表转速、货车趟次、外卖订单)为中小微企业建立信用画像,贷款利率可降低2个百分点,印度市场已帮助银行降低40%坏账率 [9] - 会计行业AI化潜力巨大,未来5年财务审核岗位可能减少90%,AI系统能处理多国税务,将错误率从15%降至0.5%,深圳市场年服务费达18万元 [11] - 结合区块链的AI审计工具可将审计时间从3个月缩短至2周 [11] - AI安全需求迫切,2024年全球因AI安全漏洞损失超500亿美元,同比2023年增长3倍,定制化安全方案单套售价可达数十万美元 [13] - 联邦学习、大模型防火墙等技术可实现事前防护,并符合数据隐私和监管要求 [13] - 物理智能是AI与真实世界结合的新增量市场,工业机器人通过AI视觉和力控技术实现柔性生产,特斯拉工厂已替代60%人工,国内初创公司产品单价200万元,年销量破千台 [14] - AI药物研发可将新药研发时间从10年缩短至3年,成本从10亿美元降至2亿美元 [14] - 物理智能领域需要算法、硬件、场景深度结合,存在较高的跨学科壁垒 [15]
解密AI“黄埔军校”,10人撑起700亿美元估值
36氪· 2025-11-11 12:12
文章核心观点 - OpenAI正成为AI领域的核心人才库,其人才外溢现象显著,类似历史上的“PayPal帮” [1][2] - 2022至2025年间,共有25名核心成员离开OpenAI,其中9人创办8家AI公司,6家公司累计估值近700亿美元,另有16人加入Meta等其他AI公司 [1][2][14] - 离职人才覆盖模型研发、训练系统、对齐安全、产品工程等关键岗位,具备将前沿研究转化为亿级用户产品的稀缺经验 [1][19] - 人才外溢并未削弱OpenAI影响力,反而将其技术路径与组织经验扩散至更广泛的产业层面 [1] 人才创业概况与估值 - 9名核心成员创办8家AI公司,不计未披露估值的公司,累计估值约700亿美元 [1][2] - 部分公司成立极短时间内即获得高额融资与估值:Safe Superintelligence (SSI) 成立3个月估值达320亿美元 [3][13];Thinking Machines Lab 成立5个月估值达120亿美元 [3][13];Periodic Labs 成立3个月估值达10亿美元 [3][13] - 创业方向主要集中在AI安全、智能体(AI Agent)以及垂直场景应用三大领域 [4] 主要创业方向:AI安全 - 前首席科学家Ilya Sutskever创办Safe Superintelligence (SSI),主张“监管即服务”,获红杉资本与Founders Fund投资,首轮融资超5亿美元 [5][6] - 前CTO Mira Murati创办Thinking Machines Lab,定位“科研即平台”基础设施,复用OpenAI工具链理念,完成20亿美元种子轮融资,估值达200亿美元 [6][9] 主要创业方向:智能体与人机交互 - Adept AI由前工程副总裁David Luan创立,主攻“能操作电脑的AI助手”,获超4亿美元融资 [10] - Inflection AI由DeepMind联合创始人等创办,强调“对话即智能体”,其产品Pi估值近40亿美元 [10] - Perplexity AI由前研究员Aravind Srinivas创立,专注对话式搜索,估值超过200亿美元,已完成15亿美元融资 [3][10] 主要创业方向:垂直场景应用 - Eureka Labs由前研究总监Andrej Karpathy创办,专注AI教育,首轮融资4亿美元,估值超50亿美元 [11][13] - Covariant主打通用机器人操作系统;Periodic Labs聚焦材料科学AI自动化,估值达10亿美元 [3][11] 人才流向其他公司 - 自2022年以来,至少16位核心成员加入其他AI公司,OpenAI成为AI产业重要人才“蓄水池” [14][15] - 2025年6月至7月,OpenAI苏黎世与旧金山研究团队11人成建制加入Meta新组建的“Superintelligence Labs” [15][16] - 其他流向包括:Kyle Kosic加入xAI担任基础设施负责人 [19];Logan Kilpatrick加入Google DeepMind负责产品与社区 [19];John Schulman加入Anthropic负责对齐研究 [15] OpenAI的人才培养与组织机制 - 内部采用高度扁平化的“小组制”结构,研究团队与工程团队耦合紧密,赋予端到端的研发权限 [20][21] - 用人标准独特:不看重学历(如DALL·E作者仅为学士)与资历(如Sora项目负责人为应届博士),强调实践能力与产品导向 [22] - 该机制培养出兼具底层算法知识、工程实现与产品化思维的复合型人才,成为市场争抢的关键资源 [19][21][22]
AI应用按下加速键,乌镇峰会热议算力跃升与安全新考题
第一财经· 2025-11-08 12:13
AI应用落地加速 - AI眼镜等终端设备在乌镇峰会展示多种实际功能,包括实时翻译、导航、支付、物体识别和比价,表明AI技术正从概念热议转向具体应用[1] - 搭载蚂蚁智能体的AI眼镜可为景区游客提供实时导览和大会信息查询服务[1] 算力需求结构变化 - AI推理算力需求增速已远高于训练需求增速[4] - DeepSeek等基座大模型的出现推动推理算力需求超过训练需求,推理模式从单机单卡转向集群推理[10] 算力基础设施升级 - 超节点技术成为提升计算集群性能的关键方案,通过减少AI服务器横向互联性能损失来优化单芯片能效[9] - 中科曙光发布单机柜级640卡超节点,采用浸没相变液冷系统散热[5][10] - 华为昇腾384超节点通过总线技术实现384个神经网络处理器互联,壁仞科技、新华三等厂商纷纷入局[5][10] - 中兴通讯超节点服务器单个机柜支持64块卡,高带宽下可扩展至2048卡集群,已有互联网厂商投入使用[11] - 国产算力接受度快速提升,业界通过超节点等系统级方案弥补单芯片性能差距[10] AI安全挑战凸显 - AI换脸技术被用于盗用明星形象进行虚假直播带货,引发广泛社会关注[12] - AI生成内容的虚假信息识别存在技术难点,生成的图片和音频过于逼真导致现有技术难以甄别[13][14] - AI终端设备增加带来网络安全、数据安全和内容安全的新风险,360白皮书归纳了五方面安全风险[14] - 用户使用AI过程中透露的个人信息安全流通、存储和计算成为行业新问题[15] 隐私保护技术发展 - 苹果推出PCC私有云计算架构保护用户数据被大模型使用时的安全[15] - 预计手机厂商将跟进类似安全方案,密态计算技术将保障跨地域数据流动安全[15] - 随着大模型使用数据从公开知识转向专业数据,密态计算技术应用将更加广泛[15]
京东首辆“国民好车”在长沙工厂下线;阿里泽泰拟减持三江购物不超过3%股份|未来商业早参
每日经济新闻· 2025-11-05 23:20
京东跨界汽车合作 - 京东联合广汽集团和宁德时代推出的首款“国民好车”埃安UT super 1号车在广汽埃安长沙工厂正式下线 [1] - 该车在京东拍卖平台的竞拍价最终定格在7819万元,预计正式发布后定价为10万元左右,瞄准主流汽车市场 [1] - 产品将在11月9日正式发布,并通过京东平台进行独家销售 [1] 阿里巴巴高德无人驾驶合作 - 阿里巴巴旗下高德地图与小鹏汽车达成全球生态合作,小鹏Robotaxi将正式接入高德平台,提供L4级自动驾驶出行服务 [2] - 此次合作是行业首个“出行平台+前装量产Robotaxi”模式,双方致力于打造全球最大的Robotaxi聚合平台 [2] - 合作计划未来将携手出海,把中国的Robotaxi服务推向全球市场 [2] 阿里巴巴战略调整与投资 - 阿里巴巴泽泰信息技术有限公司计划减持三江购物股份不超过1643.04万股,占公司总股本的3% [3] - 减持方式包括集中竞价减持不超过1%和大宗交易减持不超过2%,减持期间为2025年11月至2026年2月 [3] - 此次减持反映了阿里巴巴正整合淘宝、饿了么等资源聚焦“淘宝闪购”即时零售业务,战略重心发生迁移 [3] 火山引擎AI安全产品发布 - 火山引擎正式发布大模型安全测评平台和智能体安全管理平台两大AI安全产品 [4] - 智能体安全管理平台是国内首个实现对智能体资产风险管理和提示词加固的产品,提供资产盘点、风险评估及持续防护能力 [4] - 大模型安全测评平台可通过攻击视角对智能体进行专项测试,并帮助企业完成大模型合规备案与上线 [4]
AI教父Hinton末日警告,你必须失业,AI万亿泡沫豪赌才能「赢」
36氪· 2025-11-04 10:50
AI投资规模与资本流向 - 微软、Meta、谷歌、亚马逊四大巨头预计明年AI领域支出达4200亿美元,高于今年的3600亿美元 [5] - OpenAI已签署超过1.4万亿美元的算力合同,将硅谷AI巨头紧密绑定在GPU采购和模型训练上 [5] - 摩根士丹利预测,2025至2028年间,大型科技公司将在AI和数据中心上投入2.9万亿美元 [44] - 哈佛经济学家指出,数据中心和AI投资贡献了美国2025年上半年GDP增长的约92%,剔除后GDP增长仅为0.1% [35] 英伟达的市场地位与增长 - GTC 2025大会后,英伟达市值飙升至5万亿美元 [8][39] - Loop资本预测其未来市值有望突破8.5万亿美元 [8] - Blackwell芯片已全面量产,下一代超级芯片Vera Rubin计划于明年10月投产 [39] AI对就业市场的实际影响 - 2025年招聘岗位总量同比下降8%,美国就业岗位同比下降7.3% [50] - 创意执行类岗位受冲击显著:计算机图形艺术家需求下降33%,摄影师和作家需求均下降28% [52][54] - 机器学习工程师岗位需求在2025年增长40%,此前2024年已增长78% [63] - 高层领导岗位需求仅下降1.7%,显著优于市场平均水平,而一线员工岗位需求下降9% [67][70][71] 行业巨头战略与AI安全观 - Hinton批评科技巨头更关注商业竞争获胜而非人类生存安全,Meta被视为不负责任的典型 [17][19] - OpenAI最初以负责任发展AI为目标,但现在最优秀的安全研究员纷纷离职,背离初衷 [19] - 亚马逊宣布裁员4%,涉及14000名员工,被视为AI投资推动的裁员案例 [23] AI技术应用与行业趋势 - 全球95%的企业应用生成式AI失败,表明尚未找到最佳应用模式 [45] - AI基础设施技术栈岗位需求旺盛:机器人工程师增长11%,研究/应用科学家增长11%,数据中心工程师增长9% [66][69] - 网红营销专员岗位需求增长18.3%,反映出在AI内容泛滥背景下,真实人际信任渠道的价值提升 [74][75] 特定岗位需求变化分析 - 软件工程岗位整体稳定,前端工程岗位降幅最大,可能因低代码工具普及导致商品化 [78][81] - 客户服务代表需求仅下降4.0,因复杂判断和同理心任务仍依赖人类 [83] - 医疗记录员需求下降20%,因AI文档工具能自动生成临床记录 [58] - 销售运营专员需求下降8.0,因AI擅长处理其结构化的数据工作,而营收总监需求增长10.2% [87][88][89]
马斯克最新采访:5 年后手机和APP都没了,工作也变成“想干就干”
36氪· 2025-11-03 23:24
AI技术发展趋势 - 未来5到6年内AI将重塑数字世界基础结构,手机将转变为仅负责播放画面和音频的边缘节点设备,不再需要传统操作系统和应用程序[1][3][4] - AI将实时生成并预测用户可能想要的内容,主动展示音乐、视频等,大多数人消费的内容将由AI生成[3][7] - AI工具已能生成几分钟至十几分钟的高质量连贯视频,AI翻唱音乐可整合多位歌手风格,创造出超越人类能力的演唱技巧[7][9] AI对社会经济的影响 - AI和机器人将接管绝大多数体力劳动和数字化工作,如焊接、写代码、处理邮件等非物理性岗位将被优先快速取代[29][30][32] - 工作将从生存手段变为个人选择,在良性发展情境下可实现全民高收入,任何人都能获得所需产品和服务,基本消除贫困[1][33][38] - 该转变过程将伴随剧烈社会阵痛和结构性混乱,存在多种结局可能性,包括反乌托邦风险[1][33] AI安全与价值观训练 - AI安全核心在于最大限度追求真相,不能强迫AI相信谎言,当前训练机制存在严重问题,网络预训练数据夹杂意识形态偏见,人类反馈进一步用政治正确标准惩罚或奖励输出[1][19][23] - 以谷歌Gemini为例,AI被编程输出不符合事实的多元化女性图像作为美国国父,这种认知分裂是最危险的系统性风险之一[2][13][20] - 若AI被植入错误价值观,如多样性最重要或用错代词比核战争更严重,随着能力增强可能推导出消灭人类等反乌托邦结论[13][14][33] 行业竞争与解决方案 - Grok作为追求真相的AI,在测试中平等衡量所有人类生命价值,而其他AI表现出种族歧视,如判定德国白人价值比尼日利亚黑人低20倍[22][36] - 拥有一个公正AI可迫使整个行业改进,通过对比促使其他系统感到羞耻并提升公平透明度[37] - 公司总部地理位置影响AI价值观编程,旧金山等地的觉醒思想病毒环境会导致参数设置偏离中间立场,XAI将总部迁至德州以规避此问题[26][27]