Workflow
推理模型
icon
搜索文档
OpenAI的困惑:全力提升ChatGPT“深度研究”能力,但C端用户“用不上”
华尔街见闻· 2025-12-19 01:35
OpenAI正面临一个深刻的战略困惑:尽管公司在推动人工智能模型向更深层次的科学和数学能力迈进,但这些尖端进展似乎并未有效转化为其核 心产品ChatGPT的大众吸引力,造成了研发与市场需求的脱节。 据The Information报道,这一困境已引发公司高层警觉。CEO Sam Altman本月早些时候向内部发布"红色警报"(code red),要求重新集中资源, 以提升ChatGPT对更广泛用户的吸引力。此举的背景是,公司内部员工注意到,尽管ChatGPT的用户基数在增长,但大多数用户并未利用其在复 杂推理方面取得的突破。 这一战略调整凸显了OpenAI面临的双重压力。一方面,其用户增长正面临挑战,可能难以实现年初设定的10亿周活跃用户(WAU)目标。据报 道,截至本月早些时候,其WAU不足9亿。另一方面,来自谷歌等巨头的竞争压力与日俱增,谷歌不仅在AI模型能力上迎头赶上,还拥有更强大 的分发渠道和成本优势。 然而,从财务角度看,OpenAI依然表现强劲。其年化收入已从今年1月的60亿美元飙升至超过190亿美元,主要得益于个人和企业用户的付费订 阅。公司正朝着年底达到200亿美元年化收入的目标迈进,并计划以 ...
100万亿Token揭示今年AI趋势,硅谷的这份报告火了
36氪· 2025-12-09 03:21
开源与闭源模型格局演变 - 开源模型使用量稳步增长,预计到2025年底将达到总用量的约三分之一,与闭源模型形成互补关系而非零和博弈 [5][7] - 中国开源模型成为增长主要引擎,其每周Token使用量占比从2024年底的1.2%最高激增至30%,平均占比为13% [5][9] - 开源模型市场从高度集中转向多元化,2025年上半年DeepSeek V3和R1占开源用量一半以上,但预计到年底没有单一模型能持续占比超25%,市场将由5-7个模型均分 [12] 模型形态与市场偏好变化 - 中型模型(参数在150亿至700亿之间)更受市场青睐,小模型(参数少于150亿)正在失宠,市场分化为强大的中型模型类别或整合到最强大的单个大型模型上 [15] - 开源模型不再被视为闭源“平替”,而是找到了特定场景的首选定位,开发者往往同时使用两类模型 [7] 推理模型与工具调用成为新范式 - 模型正从“语言生成系统”转变为“推理执行系统”,使用推理的Token用量从年初可忽略不计增长至超过50% [5][18] - 在所有推理模型中,xAI的Grok Code Fast 1使用的推理流量份额最大,领先于Gemini 2.5 Pro和Gemini 2.5 Flash [19] - 模型调用工具的功能使用占比上升,从最初集中于GPT-4o-mini和Claude 3.5/3.7系列,发展到更多模型支持,Claude 4.5 Sonnet等新玩家取得显著进展 [24] AI主要应用场景与使用方式演变 - 编程和角色扮演是AI模型的主要使用方式,编程查询用量从年初的11%上涨至最近的超50% [6][33] - 在所有编程模型中,Claude系列长期占据主导地位,大部分时间占比超过60%,但其在2025年11月市场份额首次跌破60% [36] - 在开源模型中,角色扮演使用量占比高达52%,中国开源模型DeepSeek的流量中有超过三分之二用于角色扮演和闲聊 [40] - 用户使用模式变复杂,从“写短文”到“解难题”,平均每次提示词长度增加约4倍,完成任务所需Token用量增加近3倍 [26][27][30] - 模型正变成“自动Agent”,用户给出复杂目标后,模型能自行规划步骤、调用工具并在长对话中保持状态以完成任务 [33] 主要厂商模型的应用侧重 - Anthropic模型80%以上流量用于编程和技术任务 [43] - xAI模型同样专注于编程,其技术应用、角色扮演及学术用途在2025年11月下旬显著增长 [47] - Qwen模型主要发力编程端,角色扮演和科学类任务占比随时间波动 [51] - OpenAI模型的工作重点从娱乐休闲活动逐渐转向编程和技术类任务 [53] 用户留存呈现“水晶鞋效应” - 大部分用户会快速流失,但每一代前沿AI模型发布时,会锁定一小批任务需求与其新能力完美匹配的“天选用户”,形成高粘性 [57] - 典型案例如Claude 4 Sonnet和Gemini 2.5 Pro,发布5个月后用户留存率仍保持40%高水平 [57] - “水晶鞋效应”窗口期很短,基本只在模型刚发布被视为“最前沿”的那段时间,一旦竞品发布抹平能力差距,再吸引新用户将非常困难 [57][60] 区域市场与语言使用变化 - AI不再是硅谷独角戏,亚洲地区付费使用量占比从13%翻倍至31% [61] - 北美仍是最大市场,但份额已不足50% [61] - 英语以82%份额占据绝对主导,简体中文以近5%份额位居第二 [61] 模型定价与使用量的关系 - 模型价格下降对使用量的影响比想象中小,价格下降10%,使用量仅增加0.5%-0.7% [61] - 存在“杰文斯悖论”,当模型变得足够便宜且好用,人们会在更多地方、用更长上下文、更频繁地调用,导致总Token用量飙升,总支出可能并不降低 [61]
100万亿Token揭示今年AI趋势!硅谷的这份报告火了
新浪财经· 2025-12-08 12:28
报告核心观点 - 基于对OpenRouter平台自2024年11月至2025年11月超过100万亿Token使用量的分析,报告揭示了AI行业的发展趋势,核心观点包括开源模型与闭源模型形成互补、中国开源模型影响力显著提升、模型使用范式向推理与工具调用转变、编程与角色扮演成为主要应用场景以及用户留存呈现“水晶鞋效应”等 [3][5][6][70] 开源与闭源模型格局演变 - 开源模型使用量持续增长,预计到2025年底将达到总使用量的约三分之一,与闭源模型形成互补关系,而非简单的替代关系 [5][6][71] - 开源模型已找到独特定位,成为特定场景的首选,开发者倾向于同时使用开源和闭源两类模型 [6][71] - 中国开源模型成为增长主要引擎,其每周Token使用量占比从2024年底的1.2%最高激增至30%,平均占比为13%,而其他地区开源模型的平均份额为13.7% [2][7][10][74] - 开源模型市场格局从高度集中转向多元化,2025年上半年DeepSeek V3和R1占据一半以上份额,但下半年随着MiniMax M2、Kimi K2、GPT-OSS等模型发布,市场趋于分散,预计年底没有单一模型能持续占据超过25%的Token用量,市场将由5到7个模型均分 [13][77] 模型形态与架构趋势 - 开源模型形态发生变化,中型模型(参数在150亿到700亿之间)更受市场青睐,小模型(参数少于150亿)正在失宠,市场分化为强大的中型模型类别或整合到最强大的单个大型模型(参数为700亿或更多)上 [16][20][80][85] - 语言模型正从“语言生成系统”转变为“推理执行系统”,使用推理功能的Token用量从年初可忽略不计增长至超过50% [7][18][83] - 在所有推理模型中,马斯克xAI旗下的Grok Code Fast 1使用的推理流量份额最大,领先于Gemini 2.5 Pro和Gemini 2.5 Flash,而几周前Gemini 2.5 Pro还是主力 [21][86] - 模型调用工具的功能使用占比上升,年初该功能集中于GPT-4o-mini和Claude 3.5/3.7系列,年中后更多模型开始支持,生态系统更具竞争性,9月底后Claude 4.5 Sonnet、Grok Code Fast和GLM 4.5等新玩家取得进展 [24][89] 主要应用场景与使用方式 - 编程和角色扮演是AI模型的两大主要使用方式 [7][32][70] - 编程类查询的用量从年初的11%上涨至最近的超过50%,增长最为稳定 [32][97] - 在编程模型领域,Claude系列长期占据主导地位,大部分时间占比超过60%,但到2025年11月其市场份额首次跌破60% [35][100] - 同期,OpenAI在编程领域的市场份额从2025年7月的约2%增长至近几周的约8%,谷歌市场份额稳定在约15%,开源模型如Qwen、Mistral份额稳步提升,其中MiniMax被特别提及为快速崛起的新秀 [35][100] - 在开源模型中,角色扮演的使用量占比达到52%,几乎与编程持平,中国开源模型与西方开源模型在该领域平分秋色 [38][103] - DeepSeek的流量中有超过三分之二是角色扮演和闲聊,显示了其在消费者端的高粘性 [38][103] 主流模型的使用偏好 - Anthropic(Claude)超过80%的流量用于编程和技术任务,是主要的程序员工具 [41][106] - 谷歌模型用途相对宽泛,涵盖法律、科学、技术和常识性查询 [44][109] - 马斯克旗下的xAI同样专注于编程,其技术应用、角色扮演及学术用途在2025年11月下旬显著增长 [47][112] - OpenAI的使用重点随时间从娱乐休闲活动逐渐转向编程和技术类任务 [50][115] - Qwen模型同样发力编程端,角色扮演和科学类任务的使用量随时间有所波动 [52][117] 用户行为与市场动态 - 用户留存呈现“水晶鞋效应”,即新模型发布时若能完美解决特定痛点,就能锁定一批高粘性用户,例如Claude 4 Sonnet和Gemini 2.5 Pro发布5个月后用户留存率仍保持40% [7][55][120] - “水晶鞋效应”的窗口期很短,仅在模型刚发布被视为最前沿时有效,一旦竞品发布、能力差距被抹平,则难以再吸引新用户 [58][59][122][123] - 模型任务复杂度提升,从“写短文”变为“解难题”,用户平均每次提示词长度增加了约4倍,且由于推理消耗更多Token,完成任务所需的总Token用量增加了近3倍 [27][29][92][94] - 模型正演变为“自动Agent”,用户给出复杂目标后,模型能自行规划步骤、调用工具并维持对话状态以完成任务,从“聊天机器人”转变为“智能Agent” [32][97] - 模型价格下降对使用量的影响有限,价格下降10%仅带来使用量0.5%至0.7%的增长 [65][129] - 存在“杰文斯悖论”,即模型降价后,因使用更频繁、上下文更长,总Token消耗可能飙升,总支出未必降低 [60][124][125] 区域与语言市场变化 - AI使用不再是硅谷独角戏,亚洲地区的付费使用量占比从13%翻倍至31% [65][129] - 北美仍是最大市场,但份额已不足50%,地位相对下降 [65][129] - 英语以82%的份额占据绝对主导,简体中文以近5%的份额位居第二 [65][129]
100万亿Token揭示今年AI趋势!硅谷的这份报告火了
量子位· 2025-12-08 11:36
文章核心观点 - 基于对OpenRouter平台超过100万亿Token使用数据的实证分析,揭示了2025年AI行业的发展趋势,核心结论包括开源与闭源模型关系转变为互补、中国开源模型力量崛起、模型功能向推理与执行系统演进、编程与角色扮演成为主要应用场景以及用户留存呈现“水晶鞋效应”等[1][8][12] 开源与闭源模型格局演变 - 开源模型不再是闭源模型的廉价替代品,两者关系已演变为互补,开发者常同时使用两类模型[9][10] - 开源模型使用量稳步增长,预计到2025年底将占据约三分之一的Token用量[10][12] - 开源模型市场从高度集中走向多元化,早期DeepSeek V3和R1曾占一半以上用量,但预计到2025年底,没有单一模型能持续占比超25%,市场将由5~7个模型均分[16][17][18] - 中型模型(参数在150亿到700亿之间)更受市场青睐,小模型正在失宠,市场分化为强大的中型模型类别或整合到最强大的单个大型模型上[20][21] 中国开源模型崛起 - 中国开源模型成为增长主要引擎,其每周Token使用量占比从2024年底的1.2%最高激增至30%,平均占比为13%,与其他地区开源模型平均13.7%的份额相当[12][13] - 中国模型如DeepSeek、MiniMax、Kimi K2等在开源领域受到青睐,其中DeepSeek在角色扮演和闲聊领域有极高粘性,超过三分之二的流量用于此[1][16][50] - 在编程领域,中国模型如MiniMax已成为快速崛起的新秀,近几周取得显著增长[48] 模型功能与使用范式转变 - 语言模型正从对话系统升级为推理与执行系统,使用推理功能的Token用量从年初可忽略不计增长至超过50%[22] - 模型调用工具的功能使用占比上升,从年初集中于少数模型发展到更多模型支持,缺乏可靠工具的模型有落后风险[29][30][31][33] - 用户任务复杂度提升,从生成短文转向解决难题,如分析完整文档或代码库[35] - 用户平均每次提示词长度增加约4倍,模型完成任务所需Token用量增加近3倍,反映出工作负载更依赖上下文且推理消耗更多[36][39] - AI正从聊天机器人转变为能独立规划步骤、调用工具并完成复杂目标的自动智能体(Agent)[42][43] 主要应用场景与模型偏好 - 编程和角色扮演是AI模型最主要的使用方式[12][44] - 编程查询的Token用量从年初的11%上涨至最近的超过50%,增长最为稳定[45] - 在编程领域,Claude系列长期占据主导地位,大部分时间占比超过60%,但其份额在2025年11月首次跌破60%[47] - OpenAI在编程领域的市场份额从2025年7月的约2%增长至近几周的约8%,谷歌份额稳定在约15%[47][48] - 在角色扮演领域,开源模型中其使用量占比高达52%,中国与西方开源模型在该领域平分秋色[50] 用户行为与留存特征 - 用户留存呈现“水晶鞋效应”,即新模型发布时若能完美解决特定用户痛点,便能锁定一批高粘性用户,即使后续有更好模型也难以被替换[12][67] - 例如,Claude 4 Sonnet和Gemini 2.5 Pro发布5个月后用户留存率仍保持40%高位[67] - 该效应窗口期很短,仅在模型被视为“最前沿”时有效,一旦竞品能力赶超则难以吸引新用户[69][70] - 用户留存模式可分为:成功锁定(如Claude、GPT-4o Mini)、从未合脚(如Gemini 2.0 Flash)、回旋镖效应(用户离开后因性价比或特定能力又回归,如DeepSeek)[74] 市场与区域动态 - AI不再是硅谷独角戏,亚洲地区付费使用量占比从13%翻倍至31%[71] - 北美仍是最大市场,但份额已不足50%[80] - 英语以82%的份额占据绝对主导,简体中文以近5%的份额位居第二[80] 其他关键发现 - 模型价格下降对使用量的影响有限,价格下降10%仅带来0.5%-0.7%的使用量增长[80] - 存在“杰文斯悖论”现象,即模型降价且好用后,用户会在更多场景更频繁地调用,导致总Token用量飙升,总支出可能并未降低[75][76] - 报告数据主要反映开发者与服务端API调用行为,未涵盖通过App或Web直接访问的流量,且平台定价策略可能影响数据代表性[76]
OpenAI大溃败,GPT-5「换皮」GPT-4o,两年半预训练0突破
36氪· 2025-12-01 02:12
OpenAI研发进展与挑战 - 自2024年5月GPT-4o发布后,公司顶尖团队尚未完成一次为下一代前沿模型设计的大规模预训练[3][5] - 过去两年半时间,公司没有真正扩大预训练的规模[7] - 第五代旗舰模型GPT-5及GPT-5.1的技术根基可能仍未突破GPT-4o的范畴,而非基于全新前沿模型的大规模预训练[1][12][25] 具体项目遇挫详情 - 秘密项目Orion原定以GPT-5面世,但因训练未达预期被降级为GPT-4.5发布[11] - Orion大规模预训练时间超过3个月,打破行业通常1-2个月的常规,且性能提升主要局限在语言能力,代码能力甚至不如旧模型且成本更高[14][17] - GPT-4.5基于Orion模型,追求更强的语言能力、更稳的对话体验和更大知识库,情商成为关键词,代码虽有提升但并非主菜[17][18] 模型性能与行业对比 - GPT-5发布后业界反响唏嘘,被视为GPT-4.5的进一步优化版而非颠覆性飞跃[20] - 技术社区观点认为GPT-5更像是GPT-4o的功能增强版,即便命名为GPT-4.2也毫不违和[34][35] - 相比前代GPT-4.5,GPT-5很可能消耗了更少的训练算力[36] - 根据基准测试数据,谷歌Gemini 3 Pro在多项指标上超越GPT-5.1,例如Humanity's Last Exam(37.5% vs 26.5%)、ARC-AGI-2(31.1% vs 17.6%)、MathArena Apex(23.4% vs 1.0%)等[31] 战略转向与内部调整 - 公司将更多精力转向推理模型,这种模型计算量更大但有望输出更优质回答[34] - 公司内部共识已从追求“统治一切”的超级模型转变为模型专业化和多样化,认可需要针对特定任务的专用模型[54] - 公司正打造代号为“Shallotpeat”的新一代大语言模型,专门修复预训练过程中遇到的种种疑难杂症[46][50] - 公司重点发展智能体开发工具“Agent Builder”,将智能体划分为探索型/非定向工作和流程型/SOP导向工作两类[60][62] 竞争对手动态与行业影响 - 谷歌在预训练领域取得新突破,给Gemini 3带来空前推理深度,而谷歌和Anthropic仍在扩大预训练并增强强化学习[25][31] - 公司内部备忘录承认谷歌在大语言模型特别是预训练方面表现出色,承认竞争对手重新崛起和企业需求降温打破了其无敌光环[27][29] - 公司计划在圣诞节前夕发布一系列新模型,包括Image Gen v2、IMO和IOI金牌多模态模型、GPT-5.2 Codex等[72][73]
The Information:承认谷歌超越!奥特曼内部信曝光:OpenAI领先优势缩小,预警“艰难时刻”到来
美股IPO· 2025-11-21 11:42
公司竞争态势 - OpenAI首席执行官在内部备忘录中承认,谷歌在人工智能领域的最新进展可能给公司带来一些暂时的经济逆风 [1][3] - 谷歌本周推出的Gemini模型在自动化网站和产品设计相关任务以及编程方面表现出色,而编程能力是AI公司最重要的收入驱动因素之一 [3] - 成立仅四年的Anthropic今年通过向开发者和企业销售AI所产生的收入可能超过OpenAI [4] - 尽管ChatGPT在使用量和收入上仍显著领先谷歌的Gemini聊天机器人,但差距正在缩小 [4][9] 技术挑战与应对 - 谷歌在AI预训练领域取得突破,该领域是开发大语言模型的第一阶段,而OpenAI一度难以在此取得进展 [5][7] - OpenAI在推出GPT-5模型前发现,预训练期间对模型所做的调整在模型规模增长后停止作用,表明需要解决预训练问题以赶上谷歌 [7] - 这些挑战促使OpenAI更多地转向一种名为推理模型的新型AI,该模型使用更多处理能力来产生更好的答案 [6] - OpenAI计划在未来几个月推出代号为Shallotpeat的新大语言模型,旨在修复在预训练过程中遇到的bug [7] 财务状况与资本压力 - OpenAI是历史上增长最快的企业之一,从2022年几乎零收入增长到今年预计的130亿美元 [9] - 公司在追求人类级别AI的过程中,预计未来几年将消耗超过1000亿美元,同时需要花费数千亿美元租用服务器,可能需要筹集同等规模的额外资本 [9] - 谷歌估值3.5万亿美元,仅在过去四个季度就产生了超过700亿美元的自由现金流,财务实力雄厚 [9] - OpenAI与谷歌等成熟企业之间的财务差距促使公开市场投资者质疑其收入增长是否足以消除对未来现金消耗的担忧 [10] 长期战略与定位 - OpenAI首席执行官表示希望专注于技术上非常雄心勃勃的押注,即使这意味着公司在当前体制下会暂时落后 [1][11] - 公司的长期押注包括在使用AI生成数据训练新AI方面取得进展,以及后训练技术如强化学习 [11] - 公司致力于同时成为最好的研究实验室、最好的AI基础设施公司和最好的AI平台/产品公司,并专注于实现超级智能 [11] - 公司首席执行官强调需要顶住短期竞争压力,并认为公司已积累足够实力来承受竞争对手推出的优秀模型 [11]
《大模型的第一性思考》李建忠对话GPT5与Transformer发明者Lukasz Kaiser实录
36氪· 2025-10-13 10:46
对话一:语言对于智能到底意味着什么? - 语言模型在智能构建中扮演核心角色,其成功源于对语言在智能中核心作用的认知,ChatGPT和Transformer的成功均得益于此[6][9] - 语言具备时间维度,总是在生成下一个词,而序列模型(如Transformer)可处理包括语言、蛋白质、音频在内的各种序列,时间序列是表达智能的重要组成部分[7] - 语言训练具有实践优势,互联网上海量的语言数据使得训练非常方便且成本远低于视频训练[9] - 语言模型确实会形成独立于语言的抽象概念,例如在解决数学问题时,尽管用不同语言生成答案,但解题方式和错误类型相同,表明模型在抽象空间进行思考[10] - 然而,未经过大量多模态数据训练的模型,其概念(如"痛苦"或"爱")可能与人类植根于物理世界的真实感受有所不同[11] 对话二:多模态与世界模型的挑战 - 现代大语言模型(如GPT-4)已是多模态模型,能接收和生成图像、音频,并已取得巨大进展,例如ChatGPT的语音模式可以对话、唱歌[12] - 当前多模态处理方式(如通过VQ-VAE将图像/音频编码为特殊代码)有效但不令人满意,未来需要更深入地将多模态融合到模型中,使编码更具可训练性并与语言有更多交互[13] - 语言对于为视觉对象赋予语义含义至关重要,否定语言价值的视觉派研究可能重蹈ChatGPT发布前的错误路线[14] - 现代大语言模型在某种程度上已是世界模型,在文本和数学方面表现卓越,但作为物理模型的表现不如语言模型,部分原因是视频训练数据不足、质量不佳及当前架构限制[14] - 通过改进架构、损失函数并增加更好更多的数据,结合像Sora、Genie和Veo这类从视频学习的模型,正在弥合"世界模型"与"语言模型"之间的差距[15] 对话三:AI编程:自然语言是终极目标,还是新的"巴别塔"? - Transformer架构的创造者在早期就已预见其在自动化编程方面的应用潜力[17] - 未来语言模型将能覆盖大量编程工作,但数学符号和编程语言作为沟通工具,在解释复杂概念时比纯自然语言更高效,因此专业程序员仍需掌握这些概念以实现与模型的快速、高效沟通[18] - 编程的重点在于沟通和抽象,而非特定语言,AI有望帮助更好地使用现有编程语言来改进系统,而非必然需要创造新的为AI设计的编程语言[19] - 新的编程语言需求将来自新的计算硬件架构,而非AI编程本身[20] 对话四:Agent的泛化困境:是方法问题,还是根本限制? - 所谓的"智能体模型"通常指在其推理过程中能调用外部工具(如代码解释器、网络搜索)的推理模型,这些模型使用强化学习训练且效果良好[21] - Agent泛化问题的主要挑战在于缺乏学习信号,当模型使用未经训练的工具时,没有像强化学习训练那样的反馈机制来检查答案正确性[22] - 要实现出色的多智能体系统,需要能够模拟整个环境进行训练,而这在当前难以实现,但即使没有大量训练,聪明的模型也能零样本完成许多任务[23] 对话五:算力与算法:Scaling Law是信仰还是路径依赖? - 预训练的Scaling Law已带来巨大进展,但存在经济上的实践极限,因为用户不愿为每个token支付过高费用,且大模型可被蒸馏成更小模型[25] - 预训练的Scaling Law在解决某些问题(如GSM-8K数学数据集)时速度不可行,而强化学习推理能用小模型解决相同问题,显示出更高的数据效率[26] - 推理模型的Scaling Law(通过强化学习让模型运行更长时间以提升性能)受限于Transformer的上下文长度设计以及强化学习在长序列推理中的信用分配问题[27] - 推理的Scaling Law与预训练的Scaling Law有不同限制,这呼唤新的研究和可能的架构或强化学习算法改进[28] 对话六:具身智能的挑战:是数据问题?还是比特和原子的根本性差异? - 具身智能可能更接近于当前的大语言模型,数据效率正在提高,例如推理模型能用极少样本学会困难任务[29] - 实现具身智能需要一个在大量视频上预训练好的多模态模型作为基础,再结合强化学习进行推理训练,但需要调整架构以适应现实世界行动的速度要求[30] - 第一个版本的具身智能模型可能基于现有成果调整,但未来会出现数据和计算更高效的新一代模型[31] 对话七:强化学习:是超级优化器,还是科学发现的引擎? - 由强化学习驱动的推理模型可被视为一种数据效率更高的新架构或范式,能够从有限数据(如1000道数学题)中学习[32][33] - 强化学习只依赖一个奖励信号,若优化得当,模型有望从研究论文中学习并提出连专业人员都觉得新颖的想法,推动科学发现[33] - 该范式仍处于早期阶段(社区广泛关注约一年),需要更多尝试、发现和改进以提升效率和应用范围[34] 对话八:AI的组织跃迁:如何实现大规模Agent协作? - 实现大规模Agent组织(如成千上万个Agent协作)的最大挑战在于开发下一代推理模型,需要类似Transformer之于RNN的架构创新[35] - 当前推理模型顺序生成token的方式缺乏并行性,未来需要为并行过程提供更多信号,并结合新的架构来融入并行处理[36] 对话九:AI记忆的瓶颈:模型离真正的"原生记忆"还有多远? - 通过将记忆作为工具(如访问互联网或记忆库)并结合强化学习训练,模型可以有效地解决记忆问题,当前方案已相当可行[37][38] - 未来可能出现更优雅的记忆机制,如将记忆转化为连续的向量或通过类似LoRA的适配器微调模型权重,但这仍是待研究的问题[40] 对话十:大模型如何摆脱瞬时学习,而像人类一样持续学习? - 利用上下文学习作为持续学习的记忆是当前已实现的进展,模型将对话信息放入上下文进行处理,但效率并非最高[39] - 通过记忆工具和像LoRA这样的适配器微调技术,实质性修改权重已变得更加可行,为持续学习提供了基础,但如何优化算法仍是研究重点[40] - 下一代推理架构有望实现更并行的处理,推动模型在科学发现等领域的应用,未来并不遥远[41]
“推理模型还处于RNN的阶段”——李建忠对话GPT-5与Transformer发明者Lukasz Kaiser实录
AI科技大本营· 2025-10-10 09:52
对话一:语言对于智能到底意味着什么 - 语言在时间维度上对智能至关重要,语言模型本质是序列模型,处理时间序列是表达智能的重要组成部分 [6][7] - 语言经过人类编码压缩,在智能表征上比视觉更高效,语言边界就是世界边界 [7] - 训练语言数据非常方便,互联网有海量语言数据,用语言训练比用视频便宜得多 [8] - 语言模型会形成抽象概念,当用多种语言训练时,模型在抽象空间解决问题然后表达出来 [9] - 模型概念与人类概念可能存在差异,特别是在与物理世界紧密相关的领域 [10] 对话二:多模态与世界模型的挑战 - 现代大语言模型如GPT-4已经是多模态模型,能接收和生成图像音频,但模态间迁移水平不尽如人意 [12] - 当前多模态处理通过VQ-VAE编码器,感觉不令人满意,需要更深入融合到模型中 [13] - 语言对多模态非常重要,离开语言视觉只是像素信号,语言赋予视觉对象语义含义 [14] - 现代大语言模型在某种程度上就是世界模型,文本数学方面表现优异,但作为物理模型表现不如语言模型 [14] - 通过架构改进、更好数据将弥合世界模型与语言模型差距,Sora等模型显示正在取得重大进展 [15] 对话三:AI编程:自然语言是终极目标,还是新的"巴别塔" - Transformer发明时已考虑自动化编程,认为比处理任意对话更容易 [17] - 语言模型将覆盖大量编程工作,但数学和编程语言是比纯自然语言更好的沟通工具 [19] - 未来复杂系统级软件需要专业程序员使用Copilot模式,应用软件可由大众用户自然语言编程完成 [20] - 编程重点在于沟通和抽象,不一定需要新编程语言,可以使用现有语言但要用得非常好 [20] - 新编程语言需求来自新计算架构,而非AI编程需求 [20] 对话四:Agent的泛化困境:是方法问题,还是根本限制 - Agentic Model缺乏坚实技术实体,指推理过程中调用外部工具的推理模型 [21] - 问题在于使用未经训练工具时缺乏学习信号,效果不好 [22] - 强化学习可泛化到更大系统,但需要训练期间接触所有工具,目前难以实现 [22] - 需要更多工作让系统可训练,即使没有太多训练也可能非常有用 [23] 对话五:算力与算法:Scaling Law是信仰还是路径依赖 - 预训练Scaling Law和强化学习Scaling Law不完全是一回事,有不同限制 [25] - 预训练Scaling Law存在经济限制,离经济极限不远,可将大模型蒸馏成更小模型 [25] - 推理模型不增加参数数量,让模型运行更长时间会变得更好,但有架构限制 [27] - 推理Scaling Law与预训练Scaling Law有非常不同限制,呼唤新研究和不同架构 [28] 对话六:具身智能的挑战:是数据问题?还是比特和原子的根本性差异 - 具身智能将更接近当前LLM,物理世界数据比互联网少,但数据效率在提高 [29] - 需要从多模态模型开始,加入RL训练,允许模型在行动前进行推理 [30] - 现实障碍是推理速度太慢,需要层级式架构输出动作 [30] - 第一个版本建立在现有成果上做调整,之后会有新一代更高效模型 [31] 对话七:强化学习:是超级优化器,还是科学发现的引擎 - 推理模型看作新架构,有思维链推理过程,用强化学习方式可行 [32] - RL数据效率高得多,可从有限数据中学习,如1000道数学题 [33] - RL只得到一个奖励,没有约束,能很好优化就可以学习 [33] - 处于范式早期阶段,需要尝试发现改进才能更高效 [34] 对话八:AI的组织跃迁:如何实现大规模Agent协作 - 最大挑战是开发下一代推理模型,需要Transformer创新级别的推理模型 [35] - 需要更多并行性,不能等模型思考一周才得到奖励 [36] - 需要为并行过程提供更多信号,结合架构融入并行过程 [36] 对话九:AI记忆的瓶颈:模型离真正的"原生记忆"还有多远 - 推理模型可使用工具访问记忆,通过RL训练会学得很好 [37] - 工具方式解决记忆问题对于大多数情况足够好,模型能区分互联网记忆和自己记忆 [37] - 未来架构可能做得更好,但目前有可行解决方案 [38] 对话十:大模型如何摆脱瞬时学习,而像人类一样持续学习 - 利用上下文作为持续学习记忆是进展,但效率不高 [39] - 记忆工具正在出现,模型在推理中访问记忆 [40] - LoRA模块等经济方式修改权重已更可行,每个人可微调自己模型 [40] - 需要更优雅方式实现持续学习,涉及实践和研究考量 [41]
ICPC总决赛被AI统治!GPT-5组合系统12题全对登顶,人类打破头只能争夺第三
量子位· 2025-09-18 00:51
AI在顶级编程竞赛中的表现 - OpenAI的GPT-5与实验性推理模型组合在2025年ICPC世界总决赛中解决了全部12道题目,若计入排名将位居第一 [2][9] - 谷歌的Gemini 2.5 Deep Think模型解决了10道题目,达到金牌水准,若与大学队伍比较将名列第二 [3][18] - 在官方监督的独立“AI实验赛道”中,AI系统与来自全球103个国家、近3000所大学的139支人类队伍面对相同题目和评测标准 [5][6] AI解决关键难题的技术细节 - 没有人类团队能够解决的“问题C”,OpenAI和谷歌的模型组合均成功攻克 [7] - OpenAI系统最有挑战的是“问题G”,由实验性推理模型接力完成,总共提交了9次,而人类选手中仅第一名团队在3次尝试中解决 [11][12] - 谷歌Gemini为解决“问题C”,采用了假设储存库“优先级值”、动态规划算法及嵌套三元搜索在凸解空间中快速找到最优解的方法 [21][25][26] AI模型的技术进展与战略方向 - OpenAI强调参赛的是通用推理模型,并未专门为ICPC进行训练,其团队中有研究员本身是ICPC参赛选手出身 [16] - 谷歌Gemini的成功融合了预训练、后训练、新型强化学习技术、多步推理和并行思维等一系列技术进展 [27][28] - OpenAI研究副总裁表示ICPC之后可能不会参与其他竞赛,下一个前沿领域是将科学和工程技能应用于现实世界问题 [30][32] - 自推理模型范式问世后,AI已在数学奥赛IMO、信息学奥赛IOI和编程大赛ICPC中连续表现出色 [29]
2025年初人工智能格局报告:推理模型、主权AI及代理型AI的崛起(英文版)-Lablup
搜狐财经· 2025-09-11 09:17
技术范式转变 - AI模型性能提升路径从训练时计算转向测试时计算 催生推理模型[1][11][17] - OpenAI的o1模型在数学奥林匹克预选赛准确率达74.4% 但成本高且速度慢[11][19] - DeepSeek的R1模型通过GRPO和多头潜在注意力技术实现与o1相当性能 成本显著降低[11][20][24] - 顶级模型性能趋同 Chatbot Arena排名前10模型分差从2023年11.9%收窄至2025年5.4%[22] - 开源与闭源模型性能差距从早期8.04%缩小至2025年2月1.70%[23] - 未来架构将采用混合策略 自适应推理和智能体搜索成为创新方向[24] 中国AI崛起 - DeepSeek在2025年1月发布R1和V3模型 声称V3模型训练仅耗资560万美元使用2000块NVIDIA芯片[25] - 该事件引发NVIDIA单日最大股价下跌 促使美国公布5000亿美元星门计划[25][51] - Zhipu AI在2025年4月发布GLM-Z1-32B模型 推理速度达200 token/秒 成本仅为R1的1/30[28][31] - 百度在2025年3月发布Ernie 4.5和Ernie X1 并计划开源下一代Ernie 5模型[29] - 中美模型性能差距从两位数百分比收窄至低个位数[29] 地缘政治竞争 - 主权AI成为多国国家安全核心议程 美国推出5000亿美元星门计划[2][13][51] - 英国计划扩大AI研究资源并设立主权AI部门 法国注资支持本土企业建设超算[2] - 日本通过宽松法规促进AI发展 韩国拟五年投入100万亿韩元跻身全球前三[2][13] - 各国面临主权三难困境 难以同时实现技术自主 获取全球创新资源和最大化经济增长[2] 基础设施升级 - AI数据中心向超高密度转型 单机架功率密度超过250kW[12][33] - 液冷和浸没式冷却技术成为高密度AI集群主流解决方案[33] - 边缘计算兴起 微数据中心部署于零售中心和制造基地以降低延迟[33] - 全球数据中心电力需求预计2030年前翻倍 超过日本全国耗电量[34] - 科技巨头转向核能 亚马逊在核电站旁建数据中心 微软与Meta签署核能采购协议[12][35] 硬件市场竞争 - AI硬件市场预计从2024年668亿美元增长至2034年2963亿美元 年复合增长率18%[39] - NVIDIA凭借Blackwell Ultra和Rubin路线图巩固优势 提供端到端AI工厂平台[12][43] - AMD以MI400系列和开源ROCm软件栈挑战 目标占据15-20%市场份额[44] - 高带宽内存需求激增 2024年占DRAM市场47% 美光在2025年7月发布HBM4芯片[39] - 嵌入式NPU市场2025年达150亿美元 年增长率25% 汽车行业年消耗超1亿颗NPU[41][42] 模型专业化趋势 - 2025年上半年前沿模型呈现专业化趋势 在编码 科学推理和多模态领域竞争激烈[14] - Claude 4在SWE-bench验证基准准确率达72.7% 领先编码领域[65] - Gemini 2.5 Pro具备100万token上下文窗口 在WebDev Arena和视频MME基准领先[66] - Grok 3在AIME 2025数学竞赛获93.3%准确率 科学推理表现突出[65] - 编码AI从辅助工具升级为自主队友 但出现生产力悖论现象[14] 企业战略分化 - Mistral AI转型为垂直集成AI云提供商 获10亿美元股权投资建设主权云服务[59] - Lablup专注GPU资源虚拟化技术 通过容器级虚拟化提升硬件利用率[60] - 微软以Copilot品牌整合企业市场 谷歌推行AI优先战略整合Gemini模型[61] - Meta持续引领开源路径 Anthropic聚焦安全性和企业级部署[61] - 行业中间地带消失 企业选择成为国家冠军或专业工具提供商[63]