Workflow
AI推理
icon
搜索文档
英伟达备战AI推理需求指数级增长
搜狐财经· 2025-11-22 03:30
财务业绩表现 - 2026财年第三季度总营收达570亿美元 [2] - 数据中心业务是最大贡献者,营收为510亿美元,同比增长66% [2] - NVLink AI网络基础设施业务增长显著,营收达82亿美元,同比增长162% [2] 核心增长驱动力 - 人工智能工作负载持续增长,推动对高性能图形处理器的需求 [2] - AI推理需求呈指数级增长,得益于预训练、后训练和推理能力的进步 [2] - AI系统复杂性增加,能够在生成答案前进行“阅读、思考和推理”,导致计算需求激增 [2] 技术优势与战略 - 功耗比是关键的差异化指标,直接关联到数据中心高性能计算的运营成本 [2] - 每一代GPU(从Ampere到Hopper,Hopper到Blackwell,Blackwell到Rubin)均实现性能大幅提升,并在数据中心中的份额增加 [2] - 公司强调在给定的功率限制内实现最佳每瓦性能,这直接转化为收入 [2] 合作伙伴与生态系统 - 与富士通达成战略合作,通过NVL Fusion整合富士通CPU和英伟达GPU [2] - 与英特尔合作开发多代定制数据中心和PC产品,使用NVLink连接双方生态系统 [2] - 建立众多合作伙伴关系以拓展市场渠道 [2] 行业转型与挑战 - 公司正推动计算从通用计算转向加速计算和AI,并创造名为“AI工厂”的全新行业 [2] - 行业转型需要“非凡”的技能和良好的规划,包括对供应链上下游的规划 [2] - 地缘政治问题导致中国市场实际关闭,本季度大额采购订单未能实现 [3] - 公司致力于与美中两国政府继续接触,并倡导美国在全球的竞争能力 [3]
Oracle(ORCL) - 2025 FY - Earnings Call Transcript
2025-11-18 16:02
财务数据和关键指标变化 - 无相关内容 各条业务线数据和关键指标变化 - 公司预计其数据库业务在未来五年内增长超过8倍 [33] - 公司云应用(如Fusion、NetSuite)中已内置数百个AI功能并已投入生产使用 [37] - 在医疗保健行业,公司临床AI代理已生成数百万份医生笔记 [38] 各个市场数据和关键指标变化 - 无相关内容 公司战略和发展方向和行业竞争 - 公司认为AI推理业务将迎来巨大机遇,因其能将客户的私有数据与强大的AI模型相结合 [24][25] - 公司在AI领域提供广泛服务,包括模型训练、推理、智能体构建、应用内嵌AI功能以及AI数据平台,这种全面布局被视为独特的可持续优势 [29][30][31] - 公司通过将数据库服务扩展到亚马逊、微软和谷歌等合作伙伴的云平台,以接触更广泛的客户群并推动增长 [35] - 公司将AI功能深度集成到其全套应用中(如ERP、HCM、CX、供应链),并作为标准功能免费提供,以加速客户采用和价值实现 [37][40] - 公司提供Fusion AI Agent Studio,允许客户和合作伙伴为特定业务需求创建、定制和管理自己的AI代理 [39] 管理层对经营环境和未来前景的评论 - 公司认为AI正进入一个新时代,AI训练将继续,但AI推理将迎来巨大发展机遇 [24][25] - 公司对其数据库业务的快速增长充满信心,原因包括云合作伙伴关系、AI技术整合以及新老客户的需求 [36] - 公司看到其内置AI功能在医疗、银行和零售等大型行业中被快速采用,部署时间从传统的数月或数年缩短至数周 [38][40] 其他重要信息 - 公司年度股东大会选举了13名董事,并投票通过了高管薪酬咨询决议和安永会计师事务所的任命 [11][12][17][18][19] 总结问答环节所有的提问和回答 问题: 关于AI推理业务何时变得更重要以及公司成功的原因 - AI推理业务机遇巨大,公司优势在于长期托管客户最有价值的数据(数据库和应用中),并结合其AI数据平台和最新模型 [24][25][26] - 公司能够帮助客户跨技术栈解决问题 [27] 问题: 关于公司在AI业务上超越竞争对手的原因及差异化的可持续性 - 公司优势源于早期技术决策(如OCI的裸金属架构、非阻塞网络)、作为全球关键任务数据最大托管方的地位,以及其全面的AI产品组合 [29][30][31] - 公司提供从模型训练到推理、智能体构建、应用内嵌AI和AI数据平台的全方位服务,这种规模化和广度构成了独特且可持续的优势 [31] 问题: 关于公司数据库预计高速增长的原因 - 增长驱动因素包括将数据库服务(如Oracle Autonomous Database)扩展到亚马逊、微软、谷歌等合作伙伴的云平台,以及整合向量支持和AI数据平台以迎合AI加速趋势 [34][35][36] 问题: 关于公司如何推动应用产品中的AI采用和市场份额增长 - 公司将AI功能深度集成到所有应用(Fusion、行业应用)中,作为标准功能免费提供,无需额外实施即可使用,极大简化了客户采用过程 [37][40] - 在医疗保健等领域,AI功能(如医生笔记自动化)能在数周内部署,显著快于传统技术更新周期 [38] - 公司还提供Fusion AI Agent Studio,允许客户定制AI代理,并有现场团队帮助客户使用AI功能,所有这些都包含在现有产品中,无需额外成本 [39][40]
AI推理掀起云平台变革 边缘计算成厂商角逐的新沃土
中国经营报· 2025-11-12 11:47
行业趋势:AI计算重心向推理和边缘转移 - AI应用商业模式日渐清晰,应用侧正打开AI基础设施市场全新增量空间的需求[1] - Gartner预计到2028年80%以上的算力将用于推理而不是训练[1] - 推理模型日益复杂和规模扩大导致资源需求持续攀升,限制了集中式推理的可行性[1] - AI产业正从“模型研发”向“场景落地”深度迈进,AI应用向多步骤推理、智能体协作及实时决策演进[2] - 人工智能推理阶段的工作负载规模预计将远超训练阶段,可能达到后者的数十亿倍[2] 边缘计算的市场定位与驱动力 - 边缘计算被看作AI推理规模化落地、实现“机器速度级”响应的关键[1] - 过去边缘计算多作为中心化云的辅助,如今AI推理必须向更靠近用户与设备的网络边缘延伸[1][2] - 智能驾驶、物联网设备交互、电子商务个性化推荐等场景依赖于高速的AI推理响应,成为推动边缘AI部署的关键驱动力[3] - 将计算和数据存储靠近数据源能显著降低网络延迟,提高响应速度,满足智能体时代对实时性的要求[3] 市场规模与增长预测 - 全球边缘人工智能市场规模预计到2032年将超过1400亿美元,较2023年的191亿美元大幅增长[4] - 边缘计算市场在2032年可能达到3.61万亿美元,复合年增长率为30.4%[4] - Google在2025年第二季度月处理Token数达到每月960万亿,相较于2025年5月的480万亿翻了一倍[2] - 截至2025年6月底,中国日均Token消耗量突破30万亿,相较2024年年初的日均1000亿增长300多倍[2] 主要厂商动态与战略布局 - 阿卡迈技术与英伟达联合发布分布式生成式边缘平台Akamai Inference Cloud,专为全球范围的低延迟、实时边缘AI处理而构建[1][5] - 阿卡迈公司构建了覆盖广泛的全球化平台,拥有超过4200个边缘节点,基础设施层已完全就绪[6] - 谷歌、微软、亚马逊等传统云巨头凭借技术实力和用户基础,率先在边缘计算领域展开布局[5] - 国内厂商如华为推出“华为云边缘计算解决方案”,阿里将边缘计算与业务场景紧密结合[5] 平台价值与客户支持 - Akamai Inference Cloud将通过部署在全球数千个节点的AI决策能力,满足日益增长的AI推理算力与性能扩展的需求[5] - 该平台旨在帮助企业在海外更快地部署AI推理相关服务,提升海外市场竞争力[6] - 平台将针对中国企业“出海”的目标市场和技术服务、合规性等痛点,加强对中国客户的支持[6]
存力中国行北京站释放信号:AI推理进入存算协同深水区
搜狐财经· 2025-11-11 12:38
AI推理时代的发展趋势与挑战 - AI产业已从模型研发阶段进入规模化应用阶段,推理应用呈现爆发式增长,推动Token调用量呈指数级攀升[3] - 金融风控、医疗辅助诊断、电商推荐、投研分析等场景的深度渗透标志着“Token经济”时代到来[3] - 推理阶段的性能、效率与成本控制成为决定技术落地价值的“最后一公里”[1] AI推理规模化落地的核心痛点 - 数据层面:多模态数据爆发式增长使存储面临PB到EB级容量压力,数据格式异构导致高质量数据集构建成本高昂[3] - 性能层面:KV Cache技术广泛应用对存储的高带宽、低时延提出严苛要求,传统架构难以满足存算协同需求[3] - 成本层面:HBM等高端存储介质价格昂贵,叠加推理负载的潮汐性特征,导致中小企业智能化转型门槛居高不下[3] - 存储系统带宽和IOPS不足导致GPU等昂贵算力资源长时间空闲,阻碍AI应用落地[3] 存储架构的技术创新与突破 - 存储架构正经历从“被动存储”到“智算协同”的根本性转变,核心路径在于构建以KV Cache为中心的推理记忆数据湖[4] - 华为UCM统一缓存管理技术通过HBM-DRAM-SSD三级缓存架构,将非活跃KV Cache从显存动态卸载至高性能SSD[4] - UCM技术实现首Token时延最高降低90%、系统吞吐率提升22倍、上下文窗口扩展10倍以上的突破性效果[4] - UCM已于2025年9月在魔擎社区开源,向全行业开放接口,降低中小企业获取先进推理加速能力的门槛[4] 产业生态协同与标准化发展 - 中国信息通信研究院联合华为、中国移动、浪潮等企业成立“先进存力AI推理工作组”,围绕技术研究、标准制定、方案落地与生态构建四大任务[5] - 芯片厂商的3D堆叠技术、存储厂商的架构创新、云服务商的平台优化形成良性互动,实现软硬件协同增效[5] - 移动云探索以太网协议栈替代RDMA方案,为存量资源复用提供可行路径[5] 中国存力产业发展现状 - 截至2025年6月,全国存力总规模达1680EB,先进存储占比提升至28%[5] - 国产分布式存储产品、AI存储系统多次斩获国际权威测试冠军,232层三维闪存芯片达到业界先进水平[5][6] - 闪存主控芯片实现商用突破,产业链自主可控能力持续增强[5][6] 先进存力的战略价值与未来展望 - 先进存力已从“数据容器”转变为AI智算体系中的“协同中枢”,成为破解AI推理性能、成本与效率瓶颈的关键[7] - 通过破解内存墙、容量墙与成本墙,先进存力推动智能化转型从大企业的“奢侈品”转变为中小企业的“必需品”[7] - AI价值不再仅由参数规模定义,而取决于在真实业务场景中实现“快、准、省”的能力[7]
存力中国行暨先进存力AI推理工作研讨会在京顺利召开
证券日报网· 2025-11-07 07:29
会议核心观点 - 会议核心观点为AI规模化应用推进过程中,推理环节的成本、效率、质量问题凸显,先进存力成为提升AI推理效能、控制成本的关键支撑 [1][2] - 国家政策层面高度重视先进存力发展,在《算力基础设施高质量发展行动计划》等政策中明确方向,行业需凝聚共识共同推动存算协同发展 [2] 行业挑战与趋势 - AI推理面临KV Cache存储需求升级、多模态数据协同、存算协同带宽不足、负载潮汐性及成本控制等挑战 [3] - IT基础设施能力面临三大挑战:"管不好"的数据、"喂不饱"的算力、"降不下"的成本,传统存储架构难以满足高吞吐、低时延及异构数据融合需求 [4] - 未来存储技术趋势是从被动存储转向智算协同,分阶段落地高密全闪存储、数据高速互联、存算一体等技术,长远构建池化多体存储体系 [3] 公司技术方案与实践 - 中国移动云能力中心采用分层缓存调度、高速数据互联、多模数据专属存储、架构池化重组、高密全闪存储、数据缩减及自研SPU高密服务器等技术应对推理挑战并降低成本 [3] - 华为推出UCM推理记忆数据管理技术,通过集中高质数据、提速AI训练、优化推理效能三个角度打造AI推理加速解决方案 [4] - 北京硅基流动科技有限公司构建AI infra工具链,核心推理框架适配100多款开源大模型,结合UCM技术卸载KVCache释放显存,并通过智能网关优化流量调度与弹性扩缩容 [4] 行业生态建设 - 中国信息通信研究院联合产业链企业成立"算力产业发展方阵先进存力AI推理工作组",工作组成员包括中国移动云能力中心、华为、硅基流动、浪潮信息等公司 [2][5] - 会议提出三点产业发展建议:鼓励前沿存储技术研发创新,推动存算运深度融合,加强存算协同产业生态建设 [2]
马斯克股东大会释放大量信息:FSD很快在华获批 AI或掌控未来
搜狐财经· 2025-11-07 01:49
股东大会核心决议 - 股东批准埃隆·马斯克价值1万亿美元的薪酬方案 [2] - 股东重新选举董事会三名董事并支持对所有董事实行年度选举 [2] - 关于投资AI创业公司xAI的非约束性股东提案获得支持票多于反对票,但因弃权票数量过高需进一步讨论 [2] 机器人业务展望 - 公司CEO认为Optimus机器人将比手机更重要,预计将有数百亿台投入使用以消除贫困 [2][4] - 强调机器人设计注重安全性与亲和风格,目前每台Optimus的生产成本约为2万美元 [4] - 特斯拉汽车和Optimus机器人被预测将用于月球和火星基地建设 [12] 自动驾驶技术进展 - 全自动驾驶技术在中国已获部分批准,预计在2026年2月或3月左右获得全面批准 [5] - 计划于2026年4月开始生产无踏板和方向盘的Cybercab,目标下线时间缩短至不到10秒,理论可达5秒 [6] - 预测未来特斯拉车辆在闲置时可组成分布式AI推理车队,在车主同意下帮助赚钱 [14] 芯片战略规划 - 公司高度重视低成本、高能效的专用芯片以满足机器人需求,芯片将在中国台湾、韩国、亚利桑那州和得州生产 [7] - 可能与英特尔进行合作讨论,此言论推动英特尔股价在盘后交易中上涨3% [7] - 考虑建造巨型芯片工厂以达到所需芯片产量 [8] 汽车产品规划 - 汽车业务仍是公司未来重要组成部分,计划大幅提升汽车产量 [9] - 全新Roadster跑车计划于明年4月1日进行演示,预计12到18个月后开始量产,但知情人士称量产可能还需两到三年 [10] 其他相关事项 - SpaceX可能在未来某个时候上市,希望找到方式让特斯拉股东参与航天公司 [13] - 公司CEO谈及AI未来,认为若AI智能远超人类总和,人类将难以掌控世界 [14] - 特斯拉股价在盘后上涨0.88% [14]
3Q25全球科技业绩快报:高通
海通国际证券· 2025-11-06 08:02
投资评级 - 报告未明确给出对高通公司的具体投资评级(如优于大市、中性或弱于大市)[1] 核心观点 - 高通FY4Q25业绩显著优于市场预期,收入达113亿美元(市场预期1076亿美元),Non-GAAP每股收益为3美元(市场预期287美元),展现出稳健的盈利能力 [1] - 公司正式进入AI数据中心市场,聚焦于推理负载,力图通过差异化架构在高能效云端计算与边缘混合架构间建立优势 [2] - 非Apple相关业务增长强劲,显示出公司通过多元化布局减少对单一客户依赖的策略成效,管理层对未来增长持乐观态度 [3] - 公司对FY1Q26业绩给出积极展望,并计划维持高强度研发投入,重点聚焦AI数据中心、边缘AI、6G等新增长引擎 [4] FY4Q25及FY25全年业绩总结 - QCT部门收入达98亿美元(环比增长9%,同比增长13%),EBT为29亿美元(同比增长17%,利润率29%),主要受高端Android智能手机需求强劲、汽车及工业IoT持续渗透推动 [1] - QTL部门收入14亿美元,EBT利润率高达72%,高于指引中值 [1] - IoT业务收入18亿美元(同比增长7%),汽车业务季度收入首次突破10亿美元大关(同比增长17%) [1] - 全年FY25非GAAP收入为440亿美元(同比增长13%),每股收益1203美元(同比增长18%),QCT三大业务线均实现双位数增长,经营利润率稳定在30% [1] AI数据中心业务进展 - 公司推出AI 200与AI 250 SoC、加速卡及整机方案,核心目标为"每瓦生成最多tokens" [2] - 管理层指出行业已从训练阶段转向专用推理部署,市场对高能效、低成本架构需求快速上升 [2] - 首个客户Humain计划自FY27起部署200 MW算力,成为首批确认收入的项目,比原定FY28时间提前一年 [2] - 公司正与一家北美超大规模云服务商合作,预计在2026年上半年更新路线图并举行数据中心专项活动 [2] 非Apple业务表现与战略 - 非Apple相关QCT收入同比增长18%,超过预期,主要由Android高端机型出货与单机内容价值提升驱动 [3] - Snapdragon 8 Elite Gen 5平台带动高端Android市场强劲复苏,小米、荣耀、vivo、一加等均推出旗舰机型 [3] - 对于Apple业务,当前份额假设维持不变,未来重点聚焦非Apple客户扩张与AI生态渗透 [3] FY1Q26业绩展望与研发战略 - 公司预计FY1Q26收入在118亿至126亿美元之间,其中QCT收入预计为103亿至109亿美元,EBT利润率指引为30%至32% [4] - QTL收入预计为14亿至16亿美元,EBT利润率指引为74%至78%,Non-GAAP每股收益预计在33至35美元之间 [4] - QCT手机业务预计环比实现低双位数增长,IoT业务因季节性因素预计环比下滑,汽车业务在创纪录季度后预计持平或小幅增长 [4] - 管理层重申FY26年将维持高强度研发投入,重点聚焦AI数据中心、边缘AI、6G、自动驾驶与XR等新增长引擎 [4]
“存力中国行”探讨AI推理挑战 华为开源UCM技术为破局关键
新京报· 2025-11-06 04:50
行业活动与焦点 - 中国信息通信研究院组织召开"存力中国行"北京站活动,吸引中国移动、华为、硅基流动等近20家产业代表参与[1] - AI产业发展重心正从"追求模型能力极限"转向"追求推理体验最优化"[1] - 活动焦点为先进存力如何为AI推理"降本增效"[1] AI推理面临的挑战 - AI推理面临KVCache存储需求升级、多模态数据协同、存算协同带宽不足、负载潮汐性及成本控制等挑战[1] - 行业痛点被概括为"管不好"的数据、"喂不饱"的算力和"降不下"的成本[1] 关键技术方案 - 华为开源的UCM推理记忆数据管理技术被视为破局关键方案之一[1] - 该技术以KVCache多级缓存和推理记忆管理为中心,通过推理框架、算力、存储的三层协同,融合多类型缓存加速算法工具[1] - 技术可分级管理推理过程中产生的KVCache记忆数据,有效破解长序列推理效率与成本瓶颈[1] 技术性能与开源影响 - UCM技术开源内容包含稀疏注意力、前缀缓存、预填充卸载、异构PD解耦四大关键能力[2] - 该技术可使首轮Token时延最高降低90%,系统吞吐最大提升22倍,并达到10倍级上下文窗口扩展[2] - 业界认为UCM开源能让开发者和企业以更低成本、更便捷方式获取领先的AI推理加速能力,推动技术走向规模化、普惠化落地[2] - 基础框架与工具链已在ModelEngine社区开放,开发者可通过社区获取源代码与技术文档[2]
“存力中国行”探讨AI推理挑战,华为开源UCM技术为破局关键
新京报· 2025-11-06 04:37
行业活动与焦点 - "存力中国行"北京站活动于11月4日举行,吸引了中国移动、华为、硅基流动等近20家产业代表参与 [1] - AI产业发展重心正从"追求模型能力极限"转向"追求推理体验最优化" [1] - 先进存力如何为AI推理"降本增效"成为全场关注焦点 [1] AI推理面临的挑战 - AI推理面临KVCache存储需求升级、多模态数据协同、存算协同带宽不足、负载潮汐性及成本控制等挑战 [1] - 行业痛点被概括为"管不好"的数据、"喂不饱"的算力和"降不下"的成本 [1] 关键技术方案:华为UCM - 华为开源的UCM推理记忆数据管理技术被视为破局关键方案之一 [1] - 该技术以KVCache多级缓存和推理记忆管理为中心,通过推理框架、算力、存储的三层协同运作 [1] - 技术融合了多类型缓存加速算法工具,可分级管理推理过程中产生的KVCache记忆数据 [1] - 技术有效破解长序列推理效率与成本瓶颈 [1] UCM技术性能与开源详情 - UCM技术已于近日在魔擎社区开源,包含稀疏注意力、前缀缓存、预填充卸载、异构PD解耦四大关键能力 [2] - 该技术可使首轮Token时延最高降低90% [2] - 系统吞吐最大提升22倍 [2] - 可达到10倍级上下文窗口扩展,显著提升AI推理性能 [2] - 其基础框架与工具链已在ModelEngine社区开放,开发者可获取源代码与技术文档 [2] 技术开源的意义与影响 - UCM开源超越了单纯的技术共享,能让开发者和企业以更低成本、更便捷方式获取业界领先的AI推理加速能力 [2] - 此举将推动AI推理技术走向规模化、普惠化落地 [2]
存力中国行北京站暨先进存力AI推理工作研讨会顺利召开
观察者网· 2025-11-06 04:14
AI大模型推理面临的挑战 - AI大模型快速普及进入Token经济时代,中国日均Token消耗量已突破30万亿,头部企业日均消耗达百亿级[1] - 传统推理架构因数据重复计算和长序列输入等问题导致GPU利用率降低,造成推理成本持续攀升和用户体验下降[1] - 推理环节面临KV Cache存储需求升级、多模态数据协同、存算协同带宽不足、负载潮汐性及成本控制等挑战[4] - IT基础设施面临三大挑战:"管不好"的数据导致难以形成高质量数据集,"喂不饱"的算力因存储带宽和IOPS不足造成GPU空闲,"降不下"的成本阻碍AI应用落地[4][5] 先进存储技术的解决方案 - 中国信通院提出三点建议:鼓励前沿存储技术研发创新,推动存算运深度融合,加强存算协同产业生态建设[3] - 移动云采用分层缓存调度、高速数据互联技术提升带宽,通过高密全闪存储、数据缩减和自研SPU高密服务器提高存储效能并降低成本[4] - 华为研发UCM推理记忆数据管理技术,通过集中高质数据、提速AI训练、优化推理效能三个角度打造AI推理加速解决方案[5] - 硅基流动的AI infra工具链结合UCM技术卸载KVCache释放显存,通过智能网关优化流量调度和弹性扩缩容策略,提升系统吞吐[5] 行业发展趋势与政策支持 - 国家在《算力基础设施高质量发展行动计划》等政策中明确要求加速存力技术研发应用、持续提升存储产业能力、推动存算网协同发展[3] - 移动云推动存储从被动存储转向智算协同,分阶段落地高密全闪存储、数据高速互联、存算一体等技术,长远构建池化多体存储体系[4] - 中国信通院联合产业链企业成立"算力产业发展方阵先进存力AI推理工作组",凝聚产业共识推动存算协同发展[3][6]