大模型发展范式转变 - 传统Scaling Law面临可持续性问题，互联网公开可获取语料接近枯竭，大模型预训练路径难以为继 [1] - 行业从单纯追求模型参数规模转向探索新的发展路径 [1] 密度法则核心观点 - 清华大学提出大模型"密度法则"，揭示大语言模型最大能力密度随时间呈指数级增长 [1][4] - 2023年2月至2025年4月期间，能力密度约每3.5个月翻一倍，可用一半参数量的模型实现当前最优性能 [1][9] - 密度法则受摩尔定律启发，类比芯片行业通过提升电路密度实现设备小型化，大模型通过提升能力密度实现高效化发展 [4][5] 密度法则实证研究 - 研究基于51个近年发布的开源大模型进行系统分析 [9] - 能力密度定义为同能力基准模型参数量与目标模型参数量的比值 [7] 密度法则重要推论 - 同能力模型的推理开销随时间指数级下降，GPT-3.5级模型API价格在20个月内下降266.7倍，约每2.5个月下降一倍 [12] - 大模型能力密度加速增强，ChatGPT发布前能力密度每4.8个月翻倍，发布后每3.2个月翻倍，速度提升50% [14] - 当前模型压缩技术存在局限性，多数压缩模型密度低于原始模型，量化技术会降低模型性能和能力密度 [16] - 芯片电路密度和模型能力密度曲线交汇，预示端侧设备将能运行更高性能大模型，边缘计算和终端智能将爆发式增长 [18] 密度法则实践应用 - 清华大学与面壁智能团队基于密度法则研发高密度端侧模型，包括MiniCPM系列 [20] - 面壁小钢炮模型被评为2024年Hugging Face最多下载、最受欢迎的中国大模型，截至2025年10月下载量接近1500万次，GitHub星标接近3万次 [20]