Workflow
scaling law
icon
搜索文档
生成式推荐与广告大模型的真实落地挑战 | 直播预告
AI前线· 2025-11-26 06:15
直播核心信息 - 直播主题为大模型时代下的搜广推系统实践 探讨生成式推荐如何上量等关键挑战 [2][4] - 直播时间为11月26日20:00-21:30 嘉宾来自荣耀 华为 京东及中科大等企业与学术机构 [3][4] - 直播将提供120+大模型实战干货解析 覆盖金融风控 智能制造 零售推荐等多行业应用案例 [7] 行业核心挑战与议题 - 生成式推荐落地后关键挑战包括 scaling law 在搜广推场景的有效性边界及线上推理延迟与成本的平衡 [2][4] - 大模型正推动搜索 推荐与广告系统进行全链路升级 多模态与行为大模型如何融入全链路成为焦点 [2][4][7] - 行业关注生成式内容 特征及策略在推荐与广告系统中的实际价值与应用路径 [4][7]
写在英伟达业绩前、谷歌十年磨一剑
傅里叶的猫· 2025-11-19 14:56
Gemini 3 模型性能表现 - 在多项基准测试中表现卓越,尤其在 Humanity's Last Exam 学术推理测试中,无工具辅助得分为 37.5%,使用搜索和代码执行后提升至 45.8%,显著优于 Gemini 2.5 Pro (21.6%)、Claude Sonnet 4.5 (13.7%) 和 GPT-5.1 (26.5%) [1] - 在 ARC-AGI-2 视觉推理测试中得分 31.1%,远超 Gemini 2.5 Pro (4.9%) 和 Claude Sonnet 4.5 (13.6%) [1] - 在 AIME 2025 数学测试中,无工具辅助得分 95.0%,使用代码执行后达到 100%,在 MathArena Apex 高难度数学竞赛题中得分 23.4%,远高于其他模型(0.5% 至 1.6%)[1] - 在多模态理解(MMMU-Pro 81.0%)、屏幕理解(ScreenSpot-Pro 72.7%)、图表信息合成(CharXiv Reasoning 81.4%)及视频知识获取(Video-MMMU 87.6%)方面均领先 [1] - 在编程能力上,LiveCodeBench Pro Elo 评级达 2,439,代理终端编码(Terminal-Bench 2.0)成功率为 54.2%,代理工具使用(t2-bench)成功率为 85.4%,长周期代理任务(Vending-Bench 2)平均净值达 5,478.16 美元,优势明显 [1] Gemini 3 的技术突破与优势 - 模型性能的巨大提升源于预训练和后训练的改进 [3] - 其核心突破体现在处理20%高难度任务的能力上,如复杂逻辑推理和精妙创意决策,在需要额外"脑力"的场景下优势完全显现 [4] - Gemini 3 Pro 完全使用谷歌自研TPU训练,未使用英伟达GPU,标志着谷歌在AI全栈能力上的成熟 [7] - 优异表现建立在暴力计算之上,证明了"compute = better model"以及scaling law仍有空间 [15] 谷歌TPU的成本与生态优势 - 根据摩根士丹利测算,使用TPU V7训练400B参数Llama-3模型的硬件投资为2.34亿美元,总拥有成本为4400万美元,显著低于英伟达B200方案(硬件投资6.84亿美元,总拥有成本4800万美元)[8][9] - TPU V6的推理成本不到英伟达GB200超级芯片的一半,优势非常大 [9] - 在非通用计算平台TPU上成功训练出Gemini 3,表明谷歌的软件生态已非常完善,是"十年磨一剑"的成果 [12] 英伟达业绩前景与增长动力 - 机构普遍看好英伟达Q3业绩,高盛预测营收555.56亿美元,EPS 1.28美元;瑞银预测营收562亿美元,EPS 1.29美元;花旗预测营收567.54亿美元,并预计Q4指引可能突破625.66亿美元 [17] - 截至Q3末,Blackwell GPU已售出600万片,订单金额超1200亿美元;Rubin系列早期订单200万片,预计2026年Q1量产 [19] - 增长逻辑转变,供给端改善:云厂商云业务营收同比增长25%以上,GPU采购量环比增30%-40%;台积电CoWoS封装产能Q3环比增15%,70%供给英伟达 [19] - GPU + 网络 + 软件的整套解决方案占比达45%,环比增5个百分点,提升营收弹性 [19] 英伟达产品路线图与供应链 - Blackwell客户结构分散:大云厂商占65%,AI初创公司占25%,企业客户占10%,显示AI需求正向各行业扩散 [20] - Rubin系列是2026年增长重点,预计贡献13%营收,高端VR200和CPX性能比Blackwell强30%到50%,单价3万美元以上 [20] - 全球大模型训练每月需120万片GPU,但Blackwell月产仅80万片;Rubin在2026年Q1月产20万片,Q4达50万片,将弥补产能缺口 [20] - 供应链瓶颈存在于CoWoS封装(英伟达需求占其产能71%)、HBM内存(Q3 HBM3E价格涨20%)及光学元件 [21] 英伟达盈利能力与业务结构 - 机构预测Q3毛利率能稳定在73.5%-74%,数据中心业务毛利率可达77% [22][23] - 高毛利维持得益于高毛利率的解决方案占比提升至45%、数据中心营收增长22%带来的规模效应以及高端型号提价5%-10% [23] - Q3数据中心营收预计493.88亿美元(占比88.9%),游戏业务营收47.32亿美元(同比增44%),汽车业务营收6.2亿美元(同比增38%)[24] 英伟达面临的挑战与竞争 - 中国市场受出口管制影响,高端AI芯片份额从95%降至0%,中低端H20芯片Q3仅售2亿美元,远低于预期,且有45亿美元库存待消化 [25] - 面临AMD MI300(Q3销量80万片,市场份额升至12%)、云厂商自研芯片(如谷歌TPU、亚马逊Trainium2)以及AI初创公司专用芯片的竞争 [26] - 但其CUDA软件生态覆盖95%以上AI开发者,"GPU + 网络 + 软件"解决方案仍具优势 [26] AI资本支出可持续性 - 2026年全球AI基础设施支出预计达2046亿美元,同比增长45% [19][27] - 企业采用生成式AI的比例预计从当前的15%提升至2027年的50%,将支撑AI capex持续增长,2027年全球AI capex可能达2682亿美元 [27][28] - 即使AI初创公司支出减少,大云厂商和企业的需求也能支撑英伟达增长,2026年数据中心业务营收有望突破3000亿美元 [28]
Scaling Law再遭质疑:“退化式AI”竟成终局?
虎嗅· 2025-08-04 12:14
大模型扩展的局限性 - 当前大模型行业依赖暴力数据扩展追求性能提升,但面临收益递减甚至负回报的困境 [1][2] - 学者警告 scaling law 在改善大语言模型预测不确定性方面存在严重缺陷,难以达到科学探究的可靠性标准 [2] - 这种扩展路径可能导致"退化式 AI",即灾难性积累错误与不准确性 [4] 核心机制缺陷 - 大语言模型从高斯输入分布生成非高斯输出分布的机制是错误积累的根本原因 [5] - 极低的扩展指数导致性能提升幅度有限,例如 GPT-4.5 参数量达 5-10 万亿但科学领域无实质进展 [11][12][14] - Llama 4 Behemoth 参数量达 2 万亿但性能未达预期规模水平 [13] 扩展壁垒与准确性困局 - 扩展指数符号变化预示"壁垒"出现,超过阈值后准确性可能显著下降 [16] - 即使同质训练场景中准确性问题也经常出现,异构情境下泛化能力不足 [18][19][21] - 数字系统舍入误差随复杂性增加而明显,影响模型可靠性 [20] 替代方案尝试 - 行业尝试通过大型推理模型和 Agentic AI 提高输出可信度,但缺乏严谨科学评估标准 [25] - 思维链策略模拟人类推理,但可持续性路径仍不明朗 [26][27] - AlphaEvolve 利用大语言模型生成代码变体,用进化算法替代强化学习 [28] 退化风险与解决路径 - 使用合成数据训练的大语言模型更容易发生退化式 AI [29] - 小扩展指数引发非高斯波动,导致不确定性韧性和信息灾难 [30] - 数据增加有时反而减少信息量,如存在冲突数据或恶意注入错误信息 [31] - 构建"世界模型"可从数据中识别真实相关性,避免盲目规模扩张 [34]
大模型发展情况综述
2025-07-28 01:42
纪要涉及的行业 人工智能行业 纪要提到的核心观点和论据 1. **发展阶段与趋势** - 2025 年是大模型技术从研发向应用落地转折的重要时期,参数化应用持续演进,呈现标准化和大众化趋势[1][2] - 大模型发展关键节点可追溯到 2017 年,2020 年后数据变为无标注、学习方法转为无监督,参数量和数据量大幅增长[4] 2. **全球与中国发展格局** - 全球格局上美国在算力方面领先,中国在效率方面领先,中美顶级 AI 模型能力差距从 2023 年的 20%缩小至 0.3%[1][5][18] - 美国 Cloud 4 商业成功且展示代码定义能力,中国企业通过 MOE 架构优化、低精度训练等实现高效开发[18] 3. **资本市场态度** - 资本市场对人工智能投资态度从 2023 - 2024 年的研发投入回调到 2025 年的确定性和稳定性增强[1][6] - 2025 年二季度海外供应链估值提升、EPS 持续兑现,对国产大模型预期悲观但有修正机会和收益[1][2][6] 4. **技术进展与影响** - 强化学习在后训练部分显著提升大模型推理能力,通过延长思考时间提高准确率,蒸馏技术让小模型有高准确率[7] - 推理时间计算对大模型性能影响大,推理时间越长准确率越高且进步快[8] - 2025 年上下文窗口长度显著增加,提升大模型处理长文本信息能力[9] - 原生多模态技术降低延迟、提升 AI 视频生成效果,国产 AI 视频有优势[10] - 从 GROCK2 到 GROCK4 预训练和强化学习算力需求有变化,人类对算力需求随技术演进增加[11] 5. **商业化潜力** - Agent 和群体智能发展迅速,距离商业化仅一步之遥,Agent 工作能力强,群体智能在金融领域有优势[12][15] - AI 应用收入增速快,AI 搜索和 AI 编程领域表现突出,付费意愿高、商业化潜力超传统应用[25][26] 6. **准确率提升因素** - 大模型准确率提升得益于实时数据集成和检索增强生成技术,合成数据作用日益重要[3][16][17] 7. **技术挑战与优化** - 低精度训练技术降低算力成本但面临挑战,新架构探索优化计算效率,AI 幻觉问题有改善但进展波动[3][19][20][24] 其他重要但是可能被忽略的内容 1. 中信建投人工智能研究报告约 500 页,全面覆盖行业细节和发展状况[2] 2. 第三代智能体采用端到端方式执行任务,有望从专用到通用,应用范围广泛[14] 3. 2025 年新架构探索中,Mamba 架构推理时可处理更长上下文但训练算力消耗大,部分方法降低计算复杂度[22] 4. 2025 年通过针对英伟达芯片底层优化和新型架构探索推动存算一体发展,预计两年内成主流[23] 5. 大模型无法实现无限上下文长度是因为注意力机制计算复杂度随长度增加呈指数级增长[21] 6. 从 2003 年至今,算力涨幅接近 500%,模型和应用涨幅为 150%,云业务盈利能力向上,下游应用企业增长快[27]
肖仰华教授:具身智能距离“涌现”还有多远?
36氪· 2025-06-27 11:30
人工智能技术发展路径 - 人工智能发展呈现两条清晰脉络:生成式人工智能(AIGC)和具身智能 前者聚焦机器认知能力 后者侧重感知与行动能力 [3][6][7] - 生成式大模型本质是让机器具备人类大脑的认知功能 包括语言生成和逻辑思考能力 具身智能则模拟人类身体感知与环境交互能力 [6][7] - 认知智能与具身智能的下一个里程碑是身心协同阶段 需实现身体与大脑的双向塑造 [3][8][9] 技术革命性特质 - 判断技术革命性的三大标准:基础性(如水电煤)、生产力指数级提升、对社会上层建筑的颠覆性影响 [9][10] - 生成式AI符合三大标准:成为新型基础设施 脑力工作效率提升百倍 渗透社会各领域 [10] - 具身智能对生产力的提升作用有限 80亿机器人产能仅相当于人口增长1-2倍 且受安全伦理制约 [11][12][13] 模型发展规律 - Scaling law主导生成式AI初期发展 依赖海量数据(万亿token)和大规模算力 [14] - 后训练范式崛起(如DeepSeek R1) 数据质量与训练策略取代规模成为关键 参数规模让位于算法设计 [15][16] - 行业大模型落地瓶颈在于数据 央国企需投入80%精力治理行业数据 高质量数据集建设成产业护城河 [18][19] 具身智能发展挑战 - 数据缺口显著:最大具身数据集仅百亿token 较语言模型差2个数量级 仿真/合成数据质量不足 [21][22] - 泛化能力受限:环境表达复杂性(如办公室场景需建模高维身体状态)导致数据采集困难 [31][32] - 突破路径包括增加训练量(虚拟试错) 借鉴人类类比/归纳机制 但需敬畏"不可言说"的交互复杂性 [33][34] 产业实现范式 - 三大技术路线并存:连接主义(神经网络)、符号主义(知识图谱)、行为主义(强化学习) 分别对应数据学习、知识学习和实践学习 [36][37][38] - 机器人应走场景化路径而非绝对通用 功能受限于物理构造 机械臂案例显示需任务与身体适配 [42][43] - 集约化需适度 扫地机器人通过附加刷头扩展功能 但强行植入多能力违背产业逻辑 [42][43] 技术风险与治理 - 物理伤害风险远低于认知风险 需警惕AI通过决策误导造成的系统性危害 [45][46] - 安全治理核心是发展AI监管师职业 建立"拔插头"机制 同时加强价值观对齐研究 [48][49] - 身体限制可成为安全保障 思想无边界才是最大风险源 [46][47] 行业影响与教育变革 - AI将冲击产业分工基础 未来工作意义转向体验而非谋生 物质极大丰富改变经济逻辑 [62] - 教育需破除内卷 在保留核心技能(写作/编程)基础上 培养AI难以替代的鉴赏/批判能力 [55][61] - 学科交叉与内心探索是重建价值体系方向 需拓展认知边界应对文明转型 [56][57]
中信证券:系统级算力有望成为AI发展的下一站 建议关注国内产业链相关公司
智通财经网· 2025-06-26 00:29
系统级算力发展趋势 - AI大模型训练和推理需求持续旺盛,scaling law在后训练和在线推理方向持续演进 [1] - 底层基础设施向更大集群发展,单芯片算力提升受先进制程影响迭代速度可能放缓,系统级节点通过解决互连、网络、内存墙等问题成为重要方向 [1] - 系统级算力有望成为AI发展的下一站,国产GPU芯片公司可能通过高资源密度算力基础设施实现对海外产品的追赶和超越 [1] 系统级算力的技术需求 - 芯片层面涉及AI加速芯片、CPU芯片、Switch互连芯片、DPU数据处理芯片,国产AI加速芯片在峰值算力和软件生态上仍落后于海外旗舰产品 [2] - 互连层面NVLink5.0提供1.8TB/s双向带宽,远超传统PCIe方案十倍,国产芯片需自研技术方案助力系统集群发展 [2] - 网络层面采用RDMA技术实现远程内存访问,主流技术包括InfiniBand、RoCE等 [2] - 整机层面系统级算力需通过系统设计、规划、测试完成,与传统AI服务器相比更需垂直融合能力 [2] 系统级算力的技术示范 - 单芯片算力发展快于通信领域,通信效率成为集群效率提升关键因素 [3] - 构建大集群的两种方式:Scale up(纵向扩展)和Scale out(横向扩展),Scale up因更大带宽、更低时延和更大缓存一致性内存空间成为重要方向 [3] - 英伟达NVL72系统和华为CloudMatrix384超节点为行业发展提供示范 [3] 半导体行业的整合趋势 - 半导体行业通过收并购进行技术整合与市场拓展,头部企业通过并购获取市场机会并扩展技术能力 [4] - 英伟达收购Mellanox扩展NVLink至IB等RDMA网络,为下一代大规模计算集群做技术储备 [4] - AMD收购ZT Systems获取系统架构设计能力和数据中心解决方案交付经验,构建AI解决方案核心 [4] 未来基础设施的关键因素 - 底层通用性与技术前瞻性对未来基础设施搭建至关重要,应用发展将随之带来回报 [5]
世界怎么就「东升西落」了?聊聊二级市场与 DeepSeek+Manus 的热潮 | 42章经
42章经· 2025-03-30 14:25
东升西落叙事 - 美国市场从24年开始因AI领先和美元强势吸引全球投资,但Trump上台后政策调整引发宏观不确定性,导致股市剧烈震荡[2][3] - 中国市场24年股价开始回升,今年因DeepSeek发布彻底引爆,反映此前对科技行业预期过低的价值回归[5][6] - 中美AI发展路径差异显著:美国专注scaling law和AGI,中国聚焦应用落地和成本优化[8][9] 中美AI发展差异 - 美国AI发展路径依赖高成本投入(算力/数据),但模型能力提升不及预期[9] - DeepSeek通过工程优化大幅降低成本,实现更好性能输出,打破高成本叙事[9] - 中国AI应用注重覆盖更广泛用户群体,如Manus团队专注让未接触AI人群使用产品[10][11] 标志性产品分析 - DeepSeek开源模型使腾讯等公司跳过模型军备竞赛阶段,直接进入应用开发[26] - Manus采用脉冲式增长策略,通过Prosumer群体快速传播,但被误读为OpenAI对标对象[12][15] - Cursor等产品以极低市场成本实现高ARR收入,展示中国AI商业化路径优势[12] 二级市场表现 - 美国市场因前期AGI预期过高,当前面临预期调整;中国市场预期正从0开始填平[19][20] - 阿里云宣布增加AI Capex后股价上涨,反映市场对国内AI预期转向乐观[23] - 国内互联网公司从价值股重新获得成长股属性,AI推动估值逻辑变化[24] 产业趋势分析 - 推理芯片领域国内呈现"百卡齐放"局面,寒武纪等公司股价表现亮眼[28] - 专精特新企业通过技术突破和出海确立行业领先地位,如宁德时代[34] - AI推动产业趋势明确,但对中国资产重要性仍低于美国,需关注消费等宏观指标[35] 市场波动特征 - 板块轮动速度加快,信息传播和处理效率提升导致市场共识形成更快[37] - 高波动环境下企业经营策略可能转向蹭热点和讲故事[38] - 从业者对产业判断更精准,如云厂商CXO提前布局光模块投资[44] 投资机会展望 - 模型产业链价值、原生应用发展和垂直行业应用构成三大关注方向[43] - 生物医药、航空航天等非AI领域同样存在结构性机会[43] - 二级市场投资技巧可学习,但全职炒股可能导致认知密度下降[46]
聊一下物理Ai和机器人
雪球· 2025-03-09 04:55
AGI三大要素与机器人定位 - 机器人现阶段代表AGI三大要素中的"数据",可视为物理AI形式的资本开支(Capex),与代表算力的NV和代表算法的DS/OpenAI形成互补 [2] - 预训练大模型面临互联网数据耗尽问题,机器人可采集人类行为中未数字化的"遗失数据"(如家务动作),其数据量级可达现有互联网数据的10-100倍 [3] - 马斯克部署10万台工厂机器人的核心目的是数据采集,通过物理AI的scaling law补齐AGI数据短板,Figure公司"用机器人造机器人"本质是合成数据生产 [3] 机器人产业价值重估 - 机器人被重新定义为AIDC核心部件,与光模块/GPU/铜缆同属AI大模型资本开支范畴,10万台擎天柱机器人(单价100万)对应1000亿资本开支,预期2027-2028年全球100万台落地将带来5000亿-1万亿资本开支 [4] - 产业逻辑分两阶段:前五年定位为AGI资本开支(类比GPU地位),后五年可能转化为服务C端的爆款产品,形成独特产业价值 [4] - 当前市场存在认知偏差,国内宣传侧重服务功能导致低估其数据采集价值,实际产业地位可比肩算力基础设施 [4] 当前市场异常现象 - 特斯拉股价腰斩但国内供应链公司创新高,与Apple/NV供应链历史规律背离,显示机构抱团特征 [5] - 行业质疑声集中于DS/Manus等企业,但机器人板块呈现罕见一致性看好,反映筹码高度集中 [5] - 25年专用大模型预期未被充分讨论,对比DS同类话题热度差异显著,表明当前定价权掌握在少数机构手中 [5] 其他产业动态 - 一体机产品存在未明确的技术或商业问题 [6] - 产业界优先选择NVIDIA解决方案,GC(推测为Google Cloud或竞品)采用意愿较低 [6] - AI落地存在强预期与弱现实的矛盾,实际应用场景面临挑战 [7] - H厂商封闭系统策略与行业"平权"趋势冲突,新兴GPU公司(如摩尔/mx)更受市场青睐 [7] - 互联网大厂在机器人领域布局存在差异,ZJ/TX展现后发优势潜力 [8] 全球资本流动影响 - 近期A股科技板块与港股高度联动,资金流动源于全球资本从美股向新兴市场转移,国会山股神佩洛西清仓美股被视为重要信号 [8] - A股需培育本土增量资金以避免过度依赖外资流动,恒生科技资金动向将持续影响科技板块走势 [8]
上半年 AI 市场有多差?为什么机构出手这么少? | 42章经
42章经· 2024-07-21 13:50
AI市场融资现状 - 2024年1-5月获得主流机构投资的AI公司不超过30家 其中相当部分为追加轮次 融资难度较十年前提高百倍[1] - 一级市场新资金流入不足 投资人因历史踩坑经验转向过度保守 市场环境不健康[2] 机构投资困境 - 评价体系与AI发展阶段不匹配 存在三大核心质疑:技术可行性/商业化潜力/行业演进方向[2] - 投资策略在早期投人与后期投PMF间摇摆 缺乏统一方法论[2] 技术发展节奏 - 行业存在非理性急躁情绪 从十年缩短至季度级赛道切换 违背技术发展客观规律[3] - AI进展已超预期 Sora/4o/3D等多模态demo验证技术想象空间 但模型能力仍需1-2年成熟期[7] 应用层创新趋势 - 全球华人创业者中PMF达标企业不足30家 呈现三大方向:工具型产品/Prosumer服务/非结构化数据处理[4][5] - 短期爆款多为黏土滤镜等增长型产品 刚需型应用仍待探索[6] 创业策略建议 - 应用层先发优势取决于数据质量与认知积累 大模型领域无先发优势[8] - 核心要务是跑通PMF 即使小规模用户验证ROI也具价值[9] - 创业者需兼具技术理解/需求洞察/组织能力 移动互联网经验非必要条件[10] 行业认知演进 - 市场悲观情绪反映认知深化 从业者已明确技术边界与最佳实践[11] - 产品创新需突破"下一代XX"思维定式 探索原生AI交互形态[12] 全球化与分工 - 创业者普遍转向全球市场 欧美付费能力助力ROI验证 地缘政治加速此趋势[13] - 模型层将呈现端到端分离 头部公司垄断基础层 中间层出现垂直领域模型与infra服务[14] 入口变革与巨头布局 - AI coding可能重塑交互入口 聊天界面将取代传统APP形态[15][16] - 大厂模型战略分两类:字节等进攻型玩家争夺入口 美团等防守型玩家防止掉队[17] 投资标的分析 - 苹果因硬件入口价值最具潜力 腾讯社交数据资产构筑护城河[18] - 英伟达面临AI ROI计算带来的军备竞赛放缓风险[18] - 中美模型差距持续扩大 全球范围内头部公司马太效应加剧[18]