大模型能力密度
搜索文档
大模型不再拼“块头”——大语言模型最大能力密度随时间呈指数级增长
科技日报· 2025-11-25 00:13
文章核心观点 - 清华大学研究团队提出大模型“密度法则”,用以衡量AI大模型的智力能力水平,该法则揭示最大能力密度随时间呈指数级增长 [1] - 能力密度的提升意味着可用更少参数实现相同智能水平,推动大模型向高效化、普惠化发展 [1][2] - 密度法则与摩尔定律类似,为学术界和工业界的技术创新提供科学指引,促进AI应用更广泛地部署于终端设备 [3] 密度法则的定义与内涵 - 能力密度是衡量大模型每一单位参数所包含智慧水平的指标,类似于评价芯片的电路密度 [1] - 研究核心假设为采用相同制造工艺和充分训练的不同尺寸模型,其能力密度相同 [1] - 行业评价重心从模型的“块头”(参数量)转向“能力密度”,关注其高效发展规律 [2] 密度法则的量化规律 - 对51个开源大模型的系统分析显示,最大能力密度从2023年2月至2025年4月约每3.5个月翻一倍 [1][2] - 同能力模型的推理开销随时间呈指数级下降 [2] - 能力密度提升速度在ChatGPT发布后加速,从每4.8个月翻倍提升至每3.2个月翻倍,增速提升50% [2] 对行业发展的影响 - 能力密度提升使运行大模型所需算力减少,成本降低 [3] - 结合芯片电路密度(摩尔定律)与模型能力密度提升,大模型未来可部署于终端芯片 [3] - 终端部署在响应速度和用户隐私方面具备先天优势,驱动智能座舱从“被动响应”走向“主动服务” [3]