AI安全

搜索文档
马斯克旗下xAI联合创始人伊戈尔·巴布什金离职,将投身AI安全风投领域
搜狐财经· 2025-08-14 05:40
公司动态 - 巴布什金作为xAI工程团队核心人物 主导技术架构搭建与超级计算集群建设 助力公司在两年内进入全球AI模型开发第一梯队 [1] - xAI已启动全球人才招募计划 重点补充AI安全与多模态模型领域专家 [1] - 马斯克公开感谢巴布什金对公司技术基础的贡献 承认其对公司成就的关键作用 [1] 行业动向 - 巴布什金将创立风险投资公司Babuschkin Ventures 专注投资AI安全研究及具有"推动人类进步 解锁宇宙奥秘"愿景的初创企业 [1]
速递|Anthropic仅收购Humanloop创始团队及工程师,曾融资790万美金,AI安全“特种部队”就位
Z Potentials· 2025-08-14 03:33
Anthropic收购Humanloop团队 - Anthropic收购Humanloop联合创始人和大部分团队成员 旨在强化企业战略 交易条款未披露 遵循AI人才争夺战中的收购式招聘模式 [2] - Humanloop三位联合创始人及十余名工程师和研究人员加入Anthropic 公司未收购其资产或知识产权 [2][3] - Humanloop团队为Anthropic带来开发企业级AI规模化安全运行工具的宝贵经验 尤其在AI工具开发和评估方面具有成熟经验 [3] Humanloop背景与融资 - Humanloop成立于2020年 是伦敦大学学院的衍生企业 参与Y Combinator和Fuse孵化器项目 [4] - 公司通过两轮种子融资筹集791万美元 领投方包括YC和Index Ventures [4] - 以帮助Duolingo、Gusto和Vanta等企业客户开发、评估和微调AI应用程序闻名 [4] Anthropic的企业战略与市场定位 - Anthropic在企业级市场快速扩张 代理能力和编码能力处于领先地位 加强工具生态系统以巩固对OpenAI和Google DeepMind的领先优势 [3] - 公司向美国政府机构推出首年每个机构仅1美元的AI服务定价方案 旨在削弱OpenAI的同类定价 [6] - 收购符合Anthropic"安全至上"的定位 Humanloop的评估工作流程与其使命高度契合 包括持续性能监测、安全护栏和偏见缓解等功能 [7] 收购时机与行业趋势 - 收购时机正值Anthropic推出更长上下文窗口等功能 提升模型能力与应用场景 [6] - 政府和企业买家对评估、监控和合规功能的需求增加 Humanloop团队擅长此类功能 [6] - AI行业竞争加剧 模型质量之外 工具生态系统成为关键差异化因素 [3]
马斯克痛失xAI大将,Grok 4缔造者突然离职
虎嗅· 2025-08-14 01:46
公司发展历程 - 2023年初埃隆与Igor Babuschkin会面并探讨AI未来 共同认为需要创建新型AI公司[1] - xAI在两年时间内取得显著成就 包括打造世界最大AI超算和开发多模态模型[2] - 公司在120天内极限建造Colossus超级计算集群 并训练出比肩OpenAI和谷歌DeepMind的Grok 4模型[3] - 原始12人创始团队中已有3人离职 包括Kyle Kosic重返OpenAI和Christian Szegedy加入Morph Labs[64][65] - 目前创始团队剩余9人 其中华人学者占比超过1/5[65][62] 技术成就 - 开发孟菲斯超级计算集群Colossus 为Grok大规模训练提供算力支持[18] - 成功训练多模态Grok 4模型 能力可与Gemini 2.5和GPT-5相媲美[19] - 团队执行速度极快 在120天内完成被认为不可能的超算集群建设[37] - 开源Grok-1模型并发布代码库[12] - 一天内审核15,000份申请 展现高效运营能力[12] 人才团队 - Igor Babuschkin曾担任谷歌DeepMind高级研发工程师 主导AlphaStar项目[9][10] - 参与WaveNet语音系统开发 提升语音合成自然度与质量[11] - 曾在OpenAI参与GPT-4等核心技术的研发工作[13] - 拥有德国多特蒙德工业大学物理学硕士学位[17] - 团队包含来自谷歌DeepMind、微软和OpenAI的顶尖研究人员[60] 未来规划 - xAI计划在2025年7月发布Grok 4 随后推出编码模型、多模态代理和视频生成模型[21] - Igor Babuschkin宣布创办风险投资公司Babuschkin Ventures 专注于AI安全研究和投资AI初创公司[5][56] - 新投资公司将支持推动人类进步和解开宇宙之谜的AI系统[56] - 公司致力于创造对人类安全且有益的AI[55]
1亿美元买不走梦想,但只因奥特曼这句话,他离开了OpenAI
36氪· 2025-08-12 03:27
AI行业投资与人才竞争 - 全球AI基础设施资本开支已达3000亿美元[48] - Meta为顶级AI人才提供1亿美元签约费进行挖角[2][8] - Anthropic每年资本开支增长一倍[7] AI技术发展现状与趋势 - Scaling Law依然有效 模型发布节奏从一年加速至每月或每三个月发布新模型[10] - 单位智能成本通过算法改进下降10倍[59] - Claude Code团队用AI完成95%代码 客服领域AI工具自动解决82%客户请求[26] 变革性AI与经济影响 - 经济图灵测试定义为AI通过50%薪资计算岗位的测试时标志变革性AI到来[20] - AI发展可能导致高达20%失业率 尤其影响白领工作[21] - 2024-2026年人形机器人硬件成本将降至两万美元 2027-2028年可能迎来技术奇点[57] AI安全与研究投入 - 全球全职研究AI对齐问题的科学家不足千人[1][48] - Anthropic采用宪法式AI方法 将联合国人权宣言等原则嵌入模型[49] - Anthropic定期发布模型"犯罪记录"以促进行业透明进步[57] 企业战略与文化差异 - Anthropic团队氛围强调"没有大佬光环 大家只想做对的事"[8] - OpenAI曾存在安全 研究和创业三大阵营制衡机制 被质疑安全优先级降低[39][40] - 2020年底OpenAI安全负责人团队集体出走创办Anthropic[35][40] 技术瓶颈与资源限制 - 行业面临算力饥荒 需要10倍电力才能支持GPT-5级别模型[61] - 7nm芯片物理极限逼近 算法进步速度放缓[61] - 高质量训练语料即将耗尽 AI可能陷入自我抄袭循环[61]
ETF盘中资讯|AI安全受关注!《中国AI安全承诺框架》发布,大数据产业ETF(516700)盘中涨超1.6%,资金逐步进场布局!
搜狐财经· 2025-08-11 06:21
大数据产业ETF表现 - 大数据产业ETF(516700)8月11日场内价格上涨1.69%,成份股中云天励飞涨幅超12%,东方国信涨逾6%,恒为科技、优刻得、用友网络等跟涨 [1] - 近2个交易日该ETF连续获资金净流入,合计金额达525万元,显示资金对板块后市看好 [1] 行业政策与趋势 - 《中国人工智能安全承诺框架》在2025年世界人工智能大会上发布,由信通院牵头、20余家单位参与制定,旨在推动AI安全自律 [3] - AI技术及大模型加速迭代,传统安全范式面临挑战,数据与AI融合需构建"可信、可控、安全"的数字底座,工业、教育、医疗、金融等领域的安全测试成为关键任务 [3] 大数据产业ETF投资方向 - 大数据产业ETF(516700)跟踪中证大数据产业指数,重点覆盖数据中心、云计算、大数据处理等细分领域 [4] - 权重股包括中科曙光、科大讯飞、紫光股份、浪潮信息、中国长城、中国软件等科技自主可控龙头 [4] 科技自主可控催化因素 - 高层政策强调"科技打头阵",新质生产力方向有望突破 [5] - 数字中国顶层设计加速国产替代进程,激活数字生产力 [5] - 信创2.0热潮推动科技自主可控前景 [5]
ChatGPT开发者们:融资数十亿美元,估值疯狂飙升
虎嗅· 2025-08-08 00:01
OpenAI高管离职创业现象 - OpenAI离职核心成员已创立至少7家独角兽企业,涵盖AI安全、教育、搜索等领域 [5][6][7] - 这些公司部分成为OpenAI直接竞争对手,部分推动技术多元化应用 [7] - 现象反映OpenAI人才外溢对行业的深远影响力 [47][48] 主要创业公司概况 Thinking Machines Lab - 由前OpenAI CTO Mira Murati创立,团队30人中三分之二来自OpenAI [9][11][12] - 聚焦"人类-AI协作"模型开发,2025年6月完成20亿美元种子轮融资,估值120亿美元 [13] - 投资方包括a16z、英伟达、AMD等 [13] Anthropic - 由前OpenAI研究副总裁Dario Amodei创立,定位"公共利益公司" [14][16] - 旗舰产品Claude系列大模型直接对标ChatGPT [17] - 2025年3月估值615亿美元,7月可能完成新融资使估值达1700亿美元 [18][19] Safe Superintelligence (SSI) - 前OpenAI首席科学家Ilya Sutskever创立,专注"安全超级智能" [20][23] - 成立一年估值达320亿美元,但无产品面世引发争议 [22][25][26] - 投资方包括a16z、红杉资本、Alphabet等 [22] xAI - 马斯克2023年创立,坚持开源策略,产品Grok整合X平台实时数据 [27][28][29] - 定位为"以真理为导向"的AGI开发,与OpenAI闭源策略形成对比 [29] Perplexity - 前OpenAI研究员Aravind Srinivas创立,开发AI搜索引擎 [30][31] - 2025年初估值140亿美元,正洽谈智能手机预装合作 [32][33] Adept AI Labs - 前OpenAI工程副总裁David Luan创立,开发"AI队友"执行软件操作 [34][35][36] - 2023年估值超10亿美元,但2024年核心团队出走亚马逊 [37][38] Cresta - 前OpenAI成员Tim Shi创立,专注AI客服中心解决方案 [41][43] - 累计融资2.7亿美元,估值超10亿美元,但面临隐私诉讼 [45][46] 行业趋势分析 - 大模型技术被视作颠覆性革命,资本大量涌入导致估值泡沫 [49] - OpenAI前核心研究员个人身价可抵独角兽公司估值,体现行业"含金量" [48] - 创业公司集中在AI安全、搜索、多模态应用等细分领域 [7][17][31]
从 OpenAI 出走的前员工,已经造就了 7 个独角兽公司
36氪· 2025-08-07 07:17
OpenAI及其衍生创业生态 - OpenAI成立于2015年底 最初定位为非营利组织 2019年转型为营利性机构并获得微软等顶级资本支持[1] - 公司核心产品包括ChatGPT、DALL-E、Codex、GPT-4等 由前CTO Mira Murati主导开发 被称为"ChatGPT之母"[4] - 高层团队持续动荡 已离职核心成员创立至少7家独角兽企业 形成独特的人才外溢效应[2][3] 主要衍生企业概况 Anthropic - 由前研究副总裁Dario Amodei于2021年创立 聚焦AI安全与伦理 采用公共利益公司形式[5] - 旗舰产品Claude系列大模型直接对标ChatGPT 通过AWS和Google Cloud平台提供服务[5] - 累计融资达182亿美元 最新估值可能达1700亿美元 主要投资方包括谷歌、亚马逊[5][6] Safe Superintelligence (SSI) - 前首席科学家Ilya Sutskever于2024年创立 专注"安全超级智能"概念[7] - 成立一年内完成两轮融资 估值从50亿美元飙升至320亿美元 投资方包括a16z、红杉等[7][8] - 目前无产品面世 团队约20人 高估值引发市场争议[8][9] xAI - 马斯克2023年创立 目标开发开源AGI 产品Grok整合X平台实时数据[10] - 采取完全开源策略 与OpenAI闭源倾向形成对比 最新估值1130亿美元[3][12] Perplexity - 前研究科学家Aravind Srinivas创立 开发AI搜索引擎 整合多模型能力[13] - 2025年初估值达140亿美元 获贝索斯、英伟达投资 正拓展移动端预装合作[13][14] Adept AI - 前工程副总裁David Luan创立 开发自然语言操作软件的AI Agent[15] - 2023年估值超10亿美元 但核心团队2024年集体跳槽亚马逊[16][17] - 剩余54人团队调整战略 聚焦代理AI解决方案[17][18] Cresta - 华人创业者Tim Shi联合创办 专注AI客服中心解决方案[19][21] - 累计融资2.7亿美元 估值超10亿美元 但面临数据隐私诉讼[22][23] 行业影响与趋势 - OpenAI人才外溢推动AI技术多元化应用 涵盖搜索、安全、客服等多个领域[2][3] - 资本狂热追捧大模型赛道 部分企业估值与实质进展存在明显脱节[24][25] - 行业呈现"一人独角兽"现象 核心研究员个人价值可直接转化为企业估值[24]
360数字安全集团总裁:AI存“四大基因缺陷”,安全复杂度远超传统范畴
新浪科技· 2025-08-07 05:14
AI安全行业态势 - 大模型技术加速落地与智能体规模化应用导致AI安全风险呈现"内忧外患"复杂态势 [1] - AI存在四大基因缺陷:一切皆可编程 一切皆可模仿 一切皆可生成 一切皆可调度 [1] - 外部风险包括大国博弈背景下针对AI系统的攻击 以及黑灰产利用AI批量制造攻击武器和部署黑客智能体 [1] 安全风险特征 - AI安全复杂程度远超传统范畴 涵盖网络 数据 内容 应用及未来场景安全 [1] - 传统安全防御体系难以应对新型AI安全威胁 [1] - 政企机构在AI落地过程中面临的安全挑战已超出网络与数据安全原有边界 [1] 解决方案创新 - 提出"以模制模"新思路 利用人工智能技术自身优势对抗AI安全风险 [3] - 开发360大模型安全卫士 通过四大安全智能体形成闭环防护体系 [3] - 内容安全智能体通过幻觉抑制和安全风控模型实时审核输入输出内容 拦截违法违规信息 [3] - AI Agent安全智能体通过异常行为识别和权限管控防范数据泄露与越权操作 [3] - 软件安全智能体扫描AI软件漏洞与配置缺陷 保障AI系统供应链安全 [3] - 安全风险评估智能体通过实战化模拟攻击提前暴露系统短板 帮助客户发现关键隐患 [3]
不止萌兔蹦迪,狸花猫竖中指,吃奶婴儿开飞机,魔性AI视频让人停不下来
36氪· 2025-08-04 11:17
老外最近迷上了「野生动物搞抽象」:深夜,萌兔爱上了后院的蹦床!! 网友Mark Gadala-Maria致力于教人使用AI,最近收集了在TikTok上疯狂传播的「隐蔽摄像机下的动物」。 但让他惊讶的是,大部分人甚至没有意识到这些视频是AI生成的。 暗夜疯狂动物城 深夜,猛兽在后院蹦起了跳床: 狸花猫半夜「巡视」,对监控镜头「竖中指」, 「虎」朋狗友,一起对镜头「竖中指」: 家里猫的社交圈震惊主人一整天: 水豚「卡比巴拉」和菊猫玩起了跷跷板: 室内的假监控,逼真到让人怀疑一切: 事件登上新闻热搜; 多艘战机紧急出动,追踪飞机而去…… 情节之离奇、表演之夸张,与国内某些短剧的「无脑」风格不相上下。 在Reddit上,部分网友表示这种内容过于无脑。 这些视频看起来有些「过于魔性」。真的有人喜欢看吗? 完全有理由怀疑:AI制作的视频,会不会精准踩在AI的偏好上? 换句话说,这会不会是AI的「自嗨」?AI观看并点赞AI制作的内容——形成完美闭环。 YouTube被机器人洗脑 上月,一段AI制作的视频火爆YouTube,观看量位居Top 3,观看量高达1.3亿次! 虽然故事内核是老套的「粗心的妈,天才的娃」,但情节有些离 ...
安永高轶峰:AI浪潮中,安全是新的护城河
华尔街见闻· 2025-08-04 09:53
将安全合规从被动的"约束条件"转变为主动的"战略优势",是AI企业在技术创新趋于同质化后的关键 胜负手。 这是安永大中华区网络安全与隐私保护咨询服务主管合伙人高轶峰,在今年世界人工智能大会 (WAIC)期间向我们提出的核心论断。 他认为,安全已不再是单纯的运营成本,而是直接决定企业信任与市场估值的核心资产。 以下为本次对话的重点梳理: 以下为全文: Q:您怎么看待"网络安全与隐私保护"这个领域,在AI时代呈现出的新变化? 高轶峰: 我们跟很多企业管理层讨论过这个话题,普遍认为AI时代的网络安全与隐私保护,正在呈现 出攻防升级、治理重构和能力转型等多维度的新变化。 高轶峰: 我并不赞同"隐私换便利"这个观点。在AI时代,这种看似无所谓的态度可能导致远比我们想 象中更严重的后果,因此不应被提倡。 核心在于,"用隐私换便利"存在不可逆的巨大风险。举个例子,像密码这样的信息泄露了,我们可以重 置;但如果是您的生物特征,比如人脸、指纹这类敏感数据一旦泄露,是无法"重置"的。这些数据可能 被不法分子永久利用,去合成虚假的身份从事非法活动。更重要的是,AI的强大之处在于能通过海量 的碎片化数据,精准地重建个人画像,其推断出 ...