AI大模型密度法则
搜索文档
清华团队新发现:AI大模型看“块头”更要看“密度”
新华社· 2025-11-22 02:39
文章核心观点 - 清华大学在《自然·机器智能》发表的研究提出了AI发展的“密度法则”,指出AI模型变强不应仅依赖增大参数量(“体型”),而应提升“能力密度”,即单位参数所展现的智能水平 [1] - 研究揭示AI大模型的“能力密度”正以指数级速度增长,大约每3.5个月就翻一倍,这意味着实现相同智能水平所需的模型规模将迅速缩小 [2] - 该研究为AI发展指出了新方向,即未来模型将向“精炼”和“高效”发展,推动“端侧智能”时代的来临,使强大AI能在手机、汽车等终端设备上广泛运行 [2] 行业趋势与研究方向 - AI发展长期遵循“规模法则”,即模型越大能力越强,但这也导致模型训练和使用成本飙升,制约了产业应用进程 [1] - 新的“密度法则”强调通过更先进的“数据+算力+算法”体系来培养“高密度”的精干小模型,而非通过“模型压缩”来强行缩小模型 [1] - 通过对过去几年发布的51个开源大模型的研究发现,AI模型的“能力密度”大约每3.5个月就翻一倍,呈现指数级增长 [2] - 行业未来发展方向是“精炼”与“高效”,强大的AI大模型将更广泛地在手机、电脑、汽车等终端上运行 [2] 技术影响与产业应用 - “能力密度”的快速提升意味着实现相同复杂任务所需的“大脑”规模急剧缩小:例如,如今需要一个体育馆大小的“大脑”,约3.5个月后可能只需要客厅大小,再过3.5个月可能仅需背包大小 [2] - 清华大学已与AI企业面壁智能合作推出系列“高密度”模型,并已应用于手机、汽车、智能家居等生活领域 [2] - 当芯片计算能力与AI智能密度这两条快车道交汇时,“端侧智能”时代或将到来,个人设备将拥有前所未有的智能,反应更快且能更好地保护个人隐私 [2]