Workflow
模型推理
icon
搜索文档
商汤分拆的AI芯片公司,为何全盘押注模型推理市场?
南方都市报· 2025-11-25 06:45
公司战略定位 - 公司全盘押注AI推理芯片市场,选择在推理芯片上进行单点突破,以缩短与英伟达的距离 [2] - 公司认为模型训练和推理在计算精度、内存架构等方面存在较大区别,一颗芯片难以兼顾训练效能与推理的经济性 [2] - 公司脱胎于商汤的芯片业务部门,于2024年底独立并完成第一轮外部融资,2025年7月宣布完成近10亿元的新一轮融资 [2] 产品与技术路线 - 公司已推出三代推理芯片:第一代S1芯片于2020年量产,累计销售超2万颗;第二代S2芯片从2024年9月起量产,实测性能接近英伟达A100的80%;第三代S3芯片于2025年5月立项,预计2026年点亮 [3] - 第三代S3芯片针对大模型推理定制优化,支持FP8和FP4低精度数据格式,将配置200G以上的显存及足够带宽,目标是在大模型推理部署成本上接近英伟达下一代Rubin架构芯片 [3] 市场环境与行业趋势 - 相较于训练芯片,推理芯片的设计难度和数据处理规模相对较低,成为众多国产AI芯片公司的竞争焦点 [4] - 随着预训练模型成熟和智能体及下游应用爆发,行业预见推理算力需求将在未来数年占据上风,进入“大模型下半场” [4] - AI芯片范式正向高性价比推理芯片变迁,高性能训练芯片市场发展空间小,而高性价比推理芯片是市场蓝海 [4] 商业化与生态策略 - 公司选择兼容英伟达的CUDA并行计算框架,以降低客户迁移成本 [5] - 公司通过资本投融资及深度业务合作,紧密绑定上下游企业,确保芯片从设计第一天起就有客户,从而获得反馈提高易用性 [5] - 公司背后的产业资本包括三一集团、第四范式、美的控股、游族网络等,并与商汤科技、世纪互联、超云、硅基流动等建立合作 [5] - 在优化推理芯片性价比方面,关键在于取得算力与显存带宽之间的平衡,避免在推理任务中浪费算力或带宽 [5]
腾讯云邱跃鹏:模型产业重心已向推理转变
第一财经· 2025-09-16 02:52
行业趋势 - 模型产业重心向推理转变 2025年进入训推拐点 推理需求超过训练 [1] - 预计到2028年将有33%的企业软件包含Agentic AI [1] 市场规模 - 国内企业级Agent智能体市场规模将达270亿美元以上 [1] 业务表现 - 腾讯ima的MAU月活跃用户在半年内增加80倍 [1] - 元宝回答高考志愿问题达1.5亿次 [1]
腾讯云邱跃鹏:模型产业重心已向推理转变
第一财经· 2025-09-16 02:28
腾讯ima用户增长 - 腾讯ima月活跃用户在半年内增加80倍 [1] - 元宝回答高考志愿问题达1.5亿次 [1] 人工智能行业趋势 - 模型产业重心向推理转变 2025年进入训推拐点且推理需求超过训练 [1] - 预计2028年33%企业软件将包含Agentic AI [1] - 国内企业级智能体市场规模将达270亿美元以上 [1]
联想申请一种模型推理方法及电子设备专利,可基于第三向量和目标向量确定推理结果
金融界· 2025-08-06 12:32
联想新专利技术 - 公司申请了一项名为"一种模型推理方法及电子设备"的专利,公开号为CN120430411A,申请日期为2025年04月 [1] - 专利技术涉及基于文本的向量处理,通过降低维度并增加头数来提高推理效率,最终生成与输入文本相对应的推理结果 [1] - 技术具体包括:确定待推理文本的第一和第二向量,处理第一向量生成维度更小但头数更多的第三向量,从缓存结构中获取目标向量,最终结合第三向量和目标向量得出推理结果 [1] 公司背景信息 - 联想(北京)有限公司成立于1992年,总部位于北京市,主要从事计算机、通信和其他电子设备制造业 [1] - 公司注册资本为565000万港元 [1] - 对外投资企业数量达107家,参与招投标项目5000次 [1] - 拥有商标信息1751条,专利信息5000条,行政许可238个 [1]
周鸿祎:360最近都采购华为芯片,国产性价比高
南方都市报· 2025-07-23 14:03
国产芯片与英伟达竞争 - 360集团近期采购华为芯片产品,认为国产芯片与英伟达存在差距但必须坚持使用以推动产品改进[1] - 英伟达H20芯片获准销往中国,更适合模型推理场景,而华为芯片在推理场景性价比高于H20[2] - 国产AI芯片在模型推理市场存在机会,因技术要求低于模型训练[2] DeepSeek模型发展 - DeepSeek在推理模型领域贡献显著,但6月首次出现月活用户负增长[2] - DeepSeek创始人专注AGI和大模型研发,未重点投入To C应用或流量运营[2] - 尽管应用流量下降,DeepSeek开源基座模型仍被云厂商和AI应用公司广泛调用[2] AI智能体发展趋势 - 开源模型性能提升推动AI智能体发展,智能体具备任务推理、规划和执行能力,成为AI落地关键方向[3] - AI Coding是智能体热门垂直方向,工程化能力如上下文工程和提示词工程发挥关键作用[3] - 智能体应走向专业化,结合行业建立技术壁垒,避免与大模型通用性竞争[3] - 360计划通过智能体优化市场部效率,未来不掌握智能体技术的人员可能被淘汰[3]
AI算力需求涌向模型推理,国产芯片站上竞技台了
第一财经· 2025-05-28 07:22
中国数据中心加速卡市场 - 2024年中国数据中心加速卡市场中34.6%是国产算力,预计上半年国产算力占比超四成[1][2] - 2022-2023年英伟达占据中国数据中心加速卡市场85%-90%,2024年其份额降至65.2%[11] - 国产算力占比可能在短期内超过50%,寒武纪、沐曦等国产芯片厂商开始进入主流应用[11][12] AI算力需求结构变化 - 2024年中国数据中心加速卡中57.6%是推理卡,33%是训练卡,DeepSeek推动推理需求增长[9] - 训练算力需求未减少但占比下降,推理芯片占比预计2025年进一步大幅增加[1][9] - 腾讯等企业反映推理token需求超预期,GPU资源无法满足现有AI需求[9] 智算中心建设动态 - 2024年中国加速计算服务器市场出货量同比增长97.3%,2025年预计增长52.9%[4] - 2024年国内智算中心中标信息213条,是2023年53条的4倍,显示建设明显加速[4] - 香港数码港超算中心算力将从1300PFLOPS提升至3000PFLOPS,第一阶段使用率超95%[6][7] 国产芯片应用突破 - 推理环节降低对芯片性能要求,国产AI芯片如华为、沐曦、壁仞等获得测试机会[10][12] - 寒武纪2024年Q1营收11.11亿元(接近2023全年),净利润3.55亿元实现扭亏[12] - 电信运营商建设基于国产算力的万卡集群,国产算力适配DeepSeek后利用率提升[8] 英伟达市场策略调整 - 英伟达在中国市场份额从95%降至50%,黄仁勋称出口管制存在根本性缺陷[13] - 拟推出采用Blackwell架构的新款中国特供AI芯片,定价低于H20以应对竞争[13] - H20芯片出口需许可证,英伟达面临国产替代加速的压力[11][13] 高校与企业算力需求 - 香港科技大学采购英伟达H800计算卡但仍需补充算力,高校采用混合云架构降本[5] - 华东理工大学将AI用于锂电池催化设计,私有云与公有云混合模式成为主流[5] - 企业AI应用处于早期尝试阶段,缺乏人才配套导致转型进度缓慢[7]