Workflow
Token
icon
搜索文档
吴泳铭为阿里AI设定航线:做操作系统,更要做下一代计算机|附全文
21世纪经济报道· 2025-09-24 08:00
阿里云AI战略核心观点 - 大模型是下一代操作系统 将取代传统OS成为连接用户 软件与AI计算资源的中间层 [1] - 通义千问坚定走开放路线 致力于成为AI时代的Android 与全球开发者共建AI应用生态 [1] - 开源模型能渗透的场景和创造的价值远超闭源模型 通义千问开源模型全球下载量超6亿次 衍生超17万个模型 [1] AI发展趋势与阶段 - AI发展将经历三阶段:智能涌现(学习人) 自主行动(辅助人) 自我迭代(超越人) [6][7][8] - 当前处于自主行动阶段 AI具备使用工具能力 可连接数字化工具完成真实世界任务 [6][7] - 未来AI需连接物理世界全量原始数据并实现自主学习 才能实现自我迭代升级 [8][10] 超级AI云战略布局 - 阿里云全力打造AI超级计算机 提供从自研芯片 网络 存储到模型平台的全栈AI服务 [2][19] - 推进三年3800亿元AI基础设施建设计划 2032年全球数据中心能耗规模将达2022年的10倍 [2][20] - 全球AI行业投资总额超4000亿美元 未来5年累计投入将超4万亿美元 [3] 模型生态与开发者支持 - 通义千问开源300多款模型 覆盖全模态全尺寸 提供一站式模型服务平台百炼和Agent运行环境 [19] - 通过开源将开发者规模从数千万扩展至数亿 让任何人用自然语言创造满足自身需求的Agent [1][14] - 模型部署方式将多样化 运行在所有计算设备中并具备可持久记忆和端云联动能力 [14] 未来应用场景与影响 - AI将重构基础设施 软件和应用体系 成为真实世界核心驱动力 [23] - 未来每个人将拥有数十甚至上百个Agent 24小时不间断工作协同 [16][22] - AI将指数级放大人类智力杠杆 使10小时产出实现十倍百倍提升 [22]
无问芯穹发起人汪玉:Token已成为智能时代最核心的生产要素之一
IPO早知道· 2025-09-01 02:14
文章核心观点 - 人工智能基础设施效能评价核心指标正从"每焦耳能量支持的计算次数(TOPS/J)"转变为"每焦耳能量处理的有效Token数量(Tokens/J)"[3] - Token已成为大模型时代最核心的生产要素之一 是AI模型输入输出的基础单元[3][5] - 软硬件协同优化是提升单位能耗下Token效率的关键路径 需从芯片设计、互联技术到集群架构全面优化[3][9][11] AI基础设施效能评价体系变革 - AI 1.0时代芯片评价标准为每焦耳TOPS AI 2.0时代转变为每焦耳Tokens/J[6] - 不同智能等级对Tokens/J能效需求差异显著:Level 2差1-2个数量级 Level 3差2-3个数量级[7] - 高质量Tokens/J需持续演进 从简单对话到AI for Science需确保大模型推理性能不受影响[7] 神经网络优化技术路径 - 通过稀疏化优化矩阵运算:零元数量可从50%增加到75% 稀疏模式从非结构化发展到结构化稀疏[9] - 量化技术从32比特浮点发展到FP8、FP4 国产芯片正逐步支持更高效数据表示[10] - 神经网络可学习特性支持算法与硬件协同优化 在保证精度前提下减少计算开销[9] 算力系统架构演进 - 算力集群构建需经历晶圆级集成、芯片互联、服务器互联、集群整合的逐级集成过程[11] - 系统优化分三个层级:小盒子(计算优化)、中盒子(芯片间协同)、大盒子(万卡级资源调度)[12] - 万卡至十万卡规模需解决系统稳定性、容错管理和任务正确性等关键问题[12] 端侧与云侧能效挑战 - 端侧应用需求与现实能力存在10倍差距 需实现20 Tokens/J能效和100-200 Tokens/s推理速度[12][15] - 云侧正从能效角度推进优化 提升每节点Tokens/J实现可持续计算[12] - 2025 WAIC已展示峰值200 Tokens/s的端侧方案[12] 智能体演进带来的系统挑战 - 从单模型到多智能体协作时 GPU利用率降低、动态性增强、开销增大[14] - 多智能体面临并行性、上下文处理、工具复杂度等挑战 需系统级工具支持[14] - 具身智能推动研究重心从云侧芯片向端侧推理演进 是智能系统迈向物理世界的关键[15] 产业生态建设 - 需优化多元异构生态 从基础设施层、模型层到应用层做联合优化[13] - 算力集群已覆盖北京、上海等多省市 服务主要算力消耗方[14] - 正积极适配各类端侧芯片 服务联想等合作伙伴 推动AI云能力赋能千行百业[15]
算力,究竟是个什么“力”?
搜狐财经· 2025-08-26 07:28
2025中国算力大会日前在山西大同举行。"算力"一词频繁出现在各类新闻报道和讨论之中。它究竟是什么"力"?通算、智算、Token等一个个术语 又代表什么意思? 图为2025中国算力大会开幕式现场。新华社记者 柴婷 摄 ■什么是算力? 算力即计算能力,其实我们每个人都拥有算力,比如口算、心算和速算等,只是算力有限。当进行复杂计算时,就要借助计算工具来提升算力。 从最早的结绳计算、算盘计算,到发展出计算机计算等。 如今,算力是集信息计算力、网络运载力、数据存储力于一体的新型生产力,主要通过算力基础设施向社会提供服务。 通俗讲,算力就是对数据的处理能力。它看不见、摸不着,却时刻影响着你我的生活,比如智能音箱响应用户指令、电子支付实时清算、在线购 物个性化推荐、电影的特效处理等,背后都有算力支撑。 可以说,在数字经济时代,算力如同水、电、燃气等公共基础资源一样,走进千家万户、服务千行百业。 ■算力可以分为几类? 在分类上,根据使用设备和提供算力强度的不同,中国信息通信研究院等机构将算力分为三类,即基础算力、智能算力和超算算力。 基础算力(通用算力),一般用于基础通用计算,比如办公、上网、看视频等,不需要太高的性能。 ...
算力,究竟是个什么“力”
新华社· 2025-08-25 15:04
算力定义与分类 - 算力即计算能力 是集信息计算力 网络运载力 数据存储力于一体的新型生产力 主要通过算力基础设施向社会提供服务 [3] - 算力分为三类:基础算力用于基础通用计算 智能算力用于复杂数据分析和人工智能任务 超算算力用于科学研究和工程计算 [3][4][5] - 算力总规模年增速达30% 智能算力需求迅猛增长 呈现"智算主导 多元协调发展"特征 [5] 算力规模与衡量标准 - 中国智能算力规模达788EFLOPS(百亿亿次/秒) 占全球总规模的32% 稳居全球第二 [7] - 衡量指标FLOPS包含多个层级:MFLOPS(百万次) GFLOPS(十亿次) TFLOPS(万亿次) PFLOPS(千万亿次) EFLOPS(百亿亿次) [7] - 超级计算机"前沿"峰值性能突破1EFLOPS 相当于80亿人持续按键近40年的运算量 [7] 人工智能相关术语 - Token是处理文本的最小数据单元 在语言模型中用于文本分词和模型计算 [7] - 中国日均Token消耗量从2024年初1000亿增长至2025年6月底30万亿 一年半增长300多倍 反映人工智能应用规模快速扩张 [8] - 边缘计算指在数据生成的本地设备进行处理 而非传输至云端 适用于需要毫秒级响应的实时场景(如智能工厂) [9]
国内多数模型训练使用中文数据占比超60%
人民日报· 2025-08-18 22:31
中文数据在AI模型训练中的重要性 - 中文数据在国内大模型训练中占比超过60%,部分模型达到80% [1] - 中文高质量数据开发和供给能力持续增强,推动人工智能模型性能快速提升 [1] AI应用规模增长数据 - 2024年初日均Token消耗量为1000亿,2024年6月底突破30万亿 [1] - 一年半时间内Token消耗量增长300多倍,反映人工智能应用规模快速增长 [1]
聚焦AI技术与应用共振,这场论坛发布十大展望
国际金融报· 2025-07-29 03:18
行业技术发展趋势 - AI 2.0时代数据处理范式从"电能—算力—简单任务"转变为"电能—算力—Token—复杂任务" [1] - 基础设施评价标准从每焦耳或每瓦特计算次数转变为单位功耗下支撑的Token数 [1] - 不同智能等级对Token/J要求差异达2-3个数量级 需软硬件协同优化 [2] - 基础模型上下文窗口扩大且推理能力增强 推动AI Agent发展 [3] - 任务处理复杂度每七个月翻一倍 形成"智能体的摩尔定律" [3] 多模态与模型演进 - 全球数据转化为Token训练大模型 支持多模态应用输出 [1] - 图像视频生成模型取得重大进展 例如谷歌Veo 3模型可生成真实视频并自动添加音效对白 [2] - 未来12-24个月200万Token上下文窗口将成为顶级AI模型标配 [4] - 通用视频模型有望在12-24个月内出现 [4] 基础设施与芯片发展 - 算力多元调度能力可服务全国多地算力消耗方 [2] - 将打造新一代云端终端设备 适配各类端侧芯片 [2] - AI芯片领域将有更多国产GPU开启批量交付 [4] 应用落地与商业化 - AI Agent形态将从工具辅助走向任务承接 首批真正意义上的AI员工将进入企业 [4] - AI BPO模式在12-24个月内实现商业化突破 从交付工具转向交付结果 [4] - 按结果付费模式将在金融客服营销电商等标准化行业快速扩张 [4] - 通过异构云赋能千行百业 推动新终端普及 [2] 投资布局与产业生态 - 投资机构累计投资100余个AI项目 覆盖AI产业全链条 [3] - 联动产业链上下游伙伴共同打造设备与服务生态 [2]
Token推动计算Compute需求:非线形增长
华泰证券· 2025-07-17 10:46
报告行业投资评级 - 科技行业评级为增持(维持),计算机行业评级为增持(维持) [6] 报告的核心观点 - 未来算力需求中存在Token调用量随推理扩展倍数增长、算力需求随Token增长倍数增长两个倍数关系,共同决定推理端未来算力需求广阔,目前市场存在较大预期差,长期看好算力需求持续快速增长 [89][90] 根据相关目录分别进行总结 New Scaling:不止于预训练,三条Scaling推动算力需求增长 - 市场认为预训练Scaling law可能见顶,但考虑后训练Scaling和推理Scaling,AI对算力需求仍有大量空间 [10] 从三条Scaling law的差异看为什么算力需求将继续增长 - 预训练和后训练Scaling属训练阶段,推理Scaling属推理阶段 [11] - 预训练Scaling性能和数据、参数量相关,后训练Scaling利用微调等技术提高模型能力和领域特异性,推理Scaling性能与推理时间相关 [13] 推理Scaling的必要性和算力消耗量化 - 推理Scaling能大幅提高模型回答困难问题能力,是通往Agentic AI的重要路径 [15] - 预训练受训练数据约束,推理Scaling能提高模型性能,特别是困难问题方面 [15] - 推理模型的Token消耗可能是传统模型的10倍左右 [18] Grok系列模型的发展对应了三条Scaling曲线 - Grok系列模型发展历程对应三条Scaling曲线,Grok 3对应预训练阶段的Scaling law,Grok 4对应后训练与推理过程的Scaling law [19] - Grok 4在HLE测评集上的突破证明了推理Scaling的有效性 [22] 从Deep Research看Agentic对Token量的影响 - Deep Research是“Agentic化”的AI Search,以其为研究Agentic AI的抓手,分析Token量变化并拓展到广泛Agentic AI场景进行量化 [28] - Agentic AI与狭义AI Agent存在差异,前者涉及多流程多工具调用,任务更复杂 [32] Deep Research是研究Agentic AI的重要抓手之一 - AI Search成为Token消耗的重要组成,Google Token量增长可能源于搜索业务 [34] - Deep Research产品是AI Search的Agent路径拓展,被多家厂商竞相推出 [37] Deep Research的Token多在哪?基于底层系统设计视角的分析 - 以Anthropic的Deep Research系统设计为例,其将任务分配给多个Agent,带来成倍Token消耗 [41] - 搜索过程是迭代式的,Token量进一步增加 [44] 从Search到Research,量化Agentic的Token影响 - Anthropic Deep Research的Token消耗达到聊天的15倍 [46] - Google/OpenAI Deep Research的Token消耗量可能接近聊天的50倍 [50] - Agent使用和多工具调用能进一步提升Grok 4在HLE测试中的结果 [55] Deep Research在Agentic AI中并不复杂,真实Token量会更高 - Deep Research任务相对简单,普遍的Agentic AI会有更高Token消耗量,未来Token量增长可能是指数增长 [57][58] Token量的增长会带来算力需求的非线性增长 - 算力需求增长远高于Token量的增长,Token量增长10倍,所需算力量可能增长百倍 [60] 延迟和吞吐量是推理过程中两个重要指标 - 延迟和吞吐量是推理过程的关键指标,相互关联,分别决定用户使用体验和厂商总任务处理量 [61] 为什么延迟和吞吐量互相制约?中间变量——批处理 - 为提升吞吐量需进行批处理,延迟随批量大小线性增长,吞吐量随批量增长先增后缓,两者相互制约 [68] 模型厂商的帕累托最优需要追求“量价”的平衡 - 模型/AI应用厂商需追求用户使用量与AI服务质量之间的平衡,实现收益最大化 [74] 增加硬件是实现模型最优收益边界前移的重要方式 - 增加硬件可减少模型服务延迟,实现模型最优收益边界前移,算力需求增长与Token增长呈倍数关系 [81][82] 总结:两个倍数关系决定未来推理算力需求空间广阔 - 未来算力需求中Token调用量随推理扩展倍数增长,算力需求随Token增长倍数增长,决定推理端未来算力需求广阔 [89] 产业链相关公司 - 海外算力链涉及PCB、铜互联、光模块光器件光芯片相关公司,国内算力链涉及中芯国际、寒武纪等公司 [92]