训练即推理

搜索文档
马斯克给了AI5可以跑250B参数模型的预期
理想TOP2· 2025-09-07 12:09
特斯拉AI芯片技术进展 - AI5芯片设计完成 针对参数数量低于2500亿的模型 是推理芯片中硅片成本最低且性能功耗比最高的产品[1] - AI6芯片正在开发 预计成为迄今为止最好的AI芯片 架构从两种切换为一种 使团队能集中资源打造单一高性能芯片[1] - 芯片团队分布情况:约50%在湾区 50%在奥斯汀 另有众多工程师分散在全球各地[1] 芯片性能参数对比 - AI5本地推理参数量达137.9亿 对比理想汽车当前处理40亿参数量 性能提升显著[3] - GPT系列参数量对比:GPT-1为1.17亿参数 GPT-2为15亿参数 GPT-3达1750亿参数[4] - 自动驾驶发展方向需运行更大参数量模型 要求具备或超越人类思考能力并解决时延问题[4] 特斯拉战略调整与合成数据应用 - 解散Dojo超算研发团队 业务调整源于FSD端侧模型训练数据集转向依赖合成数据[5] - 训练与推理概念区分:训练发生在云端调整模型参数 推理发生在车端处理新数据生成输出结果[6] - 新训练流程使用云端世界模型推理生成合成数据 辅以真实道路数据训练可部署的FSD模型[6] 未来2-3年特斯拉AI发展路径 - 采用英伟达GPU集群训练超大参数规模的世界模型[6] - 使用Dojo 3(AI5/AI6芯片组成的推理集群)运行世界模型生成大规模合成数据[6] - 通过Dojo 3与英伟达混合集群训练小参数量FSD模型 用于车端部署和频繁迭代[6] - AI5/AI6芯片将同时应用于车端和机器人端的推理任务[7] 合成数据战略优势 - 转向合成数据主要基于效率提升、成本控制、场景可控性和数据覆盖度考量[7] - 现实世界数据仍重要 作为FSD模型与现实对齐的基础 合成数据用于填补极端场景和扩展长尾分布[7] - 最终形成混合数据策略 结合真实数据与合成数据的优势[7] 推理即数据的新范式 - 世界模型的推理过程直接生产训练材料 通过模拟现实世界生成包括摄像头视角和传感器数据的完整过程[8] - 推理行为本身成为数据生产环节 突破传统推理仅作为模型应用环节的限制[8] 训练即推理的闭环生态 - FSD模型训练核心数据来自世界模型的推理结果 训练过程依赖于推理输出[9] - 形成四步循环:训练世界模型→生成合成数据→训练FSD模型→真实场景数据反馈优化世界模型[10] - 闭环系统实现模型能力与数据规模相互促进 突破传统单向流程中数据断供的限制[10] 芯片战略与行业影响 - AI6芯片可替代Dojo功能 既能上车也能组大集群提供云端算力[11] - 车端芯片集成座舱、智驾及域控功能于专用NPU芯片 要求强大的软件和系统能力[11] - 大算力芯片缺货背景下 具备芯片设计能力+软硬件能力+模型能力的企业将获得显著竞争优势[11]