分布式智能
搜索文档
对谈刘知远、肖朝军:密度法则、RL 的 Scaling Law 与智能的分布式未来丨晚点播客
晚点LatePost· 2025-12-12 03:09
文章核心观点 - 大模型的发展存在“规模法则”和“密度法则”两条主线,前者追求能力跃迁,后者追求效率提升,即单位算力/参数下智能的最大化 [12][13][18] - 行业正从盲目追求模型规模转向追求能力密度,效率提升将加速端侧智能(如手机、汽车)和分布式智能的发展,最终实现每个人的“专属大模型” [9][10][35] - 强化学习尚未出现清晰的Scaling Law,是当前主要瓶颈,未来的关键方向是自主学习(Self-Learning)和“AI造AI” [24][34][36] 大模型演进的明线与暗线 - **明线:规模法则 (Scaling Law)**:自2018年预训练模型出现后,每隔几年模型能力就会跳跃一次,模型正变得更通用,甚至开始接近或超越人类在某些领域的能力 [12] - **暗线:密度法则 (Densing Law)**:这是大模型时代的“摩尔定律”,关注如何用更少的计算和数据资源更高效地获得智能,核心是追求单位计算带来的智能最大化 [13][14][18] - **密度法则的量化表现**:根据研究,大模型的能力密度(衡量单位参数/算力下模型能力的指标)每3.5个月翻一倍,自2023年1月ChatGPT出现后,这一速度在加快 [4][7] 提升模型能力密度的具体方法 - **模型架构优化**:核心方向包括采用稀疏化的混合专家系统以降低算力消耗,以及对注意力机制进行各种效率改进以应对长文本和Agent任务的需求 [19][20] - **数据治理与合成**:通过高质量的数据清洗、精选和合成,可以大幅提升训练效率,例如将预训练数据集精炼至不到原始容量的1/10,效果反而更好 [22][23] - **学习算法演进**:当前重点转向强化学习,但其尚未出现清晰的Scaling Law,主要瓶颈在于难以构建可扩展的环境和可验证的激励 [24][25] - **软硬一体协同优化**:结合芯片制程进步(摩尔定律)与模型能力密度提升,共同推动端侧设备承载以往只能在云端运行的大模型能力 [30][31] 强化学习的现状与未来探索方向 - **当前瓶颈**:强化学习缺乏像预训练那样清晰的Scaling Law,大多数训练仅几千步,如何持续稳定训练并构建“不可破解”的学习环境是核心挑战 [24][25] - **两条探索路径**:一是继续扩大RL的规模,探索开放域的激励定义;二是寻找更高效的新学习方式,提高样本效率,让模型能像人一样通过少量反馈学习新任务 [26][27] - **RL的已验证能力**:只要有足够数据和反馈,强化学习已能在数学、代码等特定任务上达到人类前0.1%甚至0.01%的水平,预示了打造垂直领域“超级专家模型”的潜力 [25] 端侧智能与分布式智能的未来 - **端侧算力规模**:2023年全国端侧算力(主要是手机)是数据中心算力的12倍,信息化本质是分布式算力和信息的结构,智能化也将遵循这一路径 [9][35] - **端侧部署时间表**:结合密度法则提升和芯片路线图,预测到2030年左右,端侧可部署600亿以上参数的模型,5年内端侧很可能承载GPT-4至GPT-5能力的模型 [32] - **具体应用进展**:车端模型量产速度非常快,已与多家车企合作;预计2027年成为关键节点,届时手机可实现大规模强化学习,支持个人数据训练“专属大模型助理” [32][33] - **未来形态**:智能将分布式存在,形成“智能体的互联网”,个人拥有基于终端数据持续成长的“个人大模型”,云端则存在各垂直领域的“专家大模型” [10][35][36] 下一阶段的范式演进:自主学习与AI造AI - **核心方向**:预训练和强化学习之后,下一个大的方法改进是自主学习,即模型能作为一个高效的学习者,根据用户需求在终端上持续学习新技能 [34] - **发展三阶段**:第一阶段是实现自主学习;第二阶段是具备自主学习能力的AI之间的协作;第三阶段是具备创造新符号关系乃至新符号系统的创新能力 [34][35] - **AGI的雏形**:最早的AGI形态可能不是面向消费者的产品,而是面向生产的系统,具备“AI造AI”的能力,即能自主完成数据生产、环境构建、模型训练和部署的全流程 [36]
英伟达官宣新合作成就:Mistral开源模型提速,任意规模均提高效率和精度
华尔街见闻· 2025-12-02 20:03
英伟达与Mistral AI合作的技术突破 - 合作核心是Mistral Large 3大型模型在英伟达GB200 NVL72系统上实现相比前代H200芯片10倍的性能提升 [1] - 性能飞跃转化为更好的用户体验、更低的单次响应成本以及更高的能源效率,模型在每兆瓦(MW)能耗下可实现每秒超过500万个token的处理速度 [1] - 小型模型Ministral 3系列针对英伟达边缘平台优化,可在RTX PC、笔记本电脑和Jetson设备上运行,实现云端到边缘的AI应用部署 [1] Mistral Large 3大型模型技术细节 - Mistral Large 3是一个混合专家模型(MoE),拥有675亿总参数和410亿活跃参数,以及25.6万token的上下文窗口 [2] - 该架构仅激活对每个token最具影响力的模型部分,从而在保持精度的同时实现高效扩展 [2] - 通过为大型先进MoE量身定制的优化技术,该模型在英伟达GB200 NVL72上实现了同类最佳性能 [2] 英伟达实现性能优化的关键技术 - 采用Wide Expert Parallelism技术,通过优化的MoE内核、专家分配和负载均衡充分利用NVLink的连贯内存域 [4] - 应用NVFP4低精度推理技术,在保持精度的同时降低计算和内存成本 [4] - 使用Dynamo分布式推理框架,通过分离预填充和解码阶段提升长文本处理性能 [4] 模型部署的兼容性与灵活性 - 该模型已兼容TensorRT-LLM、SGLang和vLLM等主流推理框架 [5] - 开发者可通过开源工具在不同规模的英伟达GPU上灵活部署模型,选择适合自身需求的精度格式和硬件配置 [5] Ministral 3小型模型系列边缘部署优势 - Ministral 3系列包含九个密集型高性能模型,涵盖30亿、80亿和140亿三种参数规模,所有变体均支持视觉功能和多语言 [6] - 在英伟达RTX 5090 GPU上可实现每秒最高385个token的推理速度,在Jetson Thor设备上,vLLM容器在8个并发下可扩展至每秒273个token [6] - 与Ollama和llama.cpp合作优化边缘性能,可在GeForce RTX AI PC、DGX Spark和Jetson等设备上运行,实现低延迟和强数据隐私保护 [6] Mistral AI公司发展与商业化进程 - Mistral AI在2023年成立,于去年9月完成17亿欧元融资,其中ASML贡献13亿欧元,英伟达也参与其中,公司估值达到117亿欧元 [7] - 公司首席科学家强调,经过针对性微调后,小型模型在企业特定用例上往往能匹敌甚至超越大型模型,且成本更低、速度更快 [7] - 已加速商业化进程,与汇丰银行达成协议,并与多家企业签订了价值数亿美元的合同,在物理AI领域与多家机构展开项目合作 [7] 模型的市场可用性 - Mistral Large 3和Ministral-14B-Instruct现已通过英伟达API目录和预览API向开发者开放 [8] - 企业开发者很快还可使用英伟达NIM微服务在任何GPU加速基础设施上轻松部署这些模型,所有模型均可从Hugging Face下载 [8]
分布式智能微机器人可在水中交流协作;我国科学家研发出全球首款可智能实现全频段高速通信芯片丨智能制造日报
创业邦· 2025-08-29 03:23
微机器人技术突破 - 德国开姆尼茨工业大学研制出分布式智能微机器人"smartlets" 可在水中通信、互相响应与协同作业 被视为微机器人系统迈向智能协作的重要进展[1] - 机器人采用柔性制造工艺 以智能折叠电路材料为基础 使平面电子系统自主卷曲成中空微型立方体 具备内外双重功能[1] - 结构扩展表面空间 可容纳太阳能收集器、计算单元和光信号系统 支持内外表面交互与运动[1] 通信芯片技术突破 - 中国科学家利用薄膜铌酸锂光子材料研发出全球首款基于光电融合集成技术的自适应、全频段、高速无线通信芯片[2] - 芯片创新系统可实现大于120Gbps超高速无线传输速率 满足6G通信峰值速率要求 端到端无线通信链路在全频段内性能一致[2] - 该技术为6G通信在太赫兹乃至更高频段频谱资源的高效开发扫清障碍[2] 半导体制造进展 - 三星电子将以第二代2nm工艺SF2P代工特斯拉AI6处理器 该制程节点还获得DEEPX的DX-M2代工订单[3] - 三星计划首先在韩国先进制程和先进封装产线试产特斯拉AI6 后续在美国得克萨斯州泰勒市新建晶圆厂实现量产[3]
电动摩托车会成为“成年人的智能玩具”吗?
北京日报客户端· 2025-05-14 06:19
行业趋势与市场规模 - 电动摩托车凭借零排放和低成本优势加速普及 预计2030年全球市场规模将超1000亿美元 [1] - 行业呈现数字化变革和绿色化转型态势 产品定位从工具向玩具转变 [1] - 氢燃料电池摩托车开启新探索 隆鑫通用研发的氢燃料电池全地形车电堆比功率达2.2kW/kg [2] 技术创新与产品升级 - 雅迪FD9电动摩托车配备高压磷酸铁锂电池 支持汽车级直流快充 0-80%电量仅需10分钟 百公里加速4.9秒 [2] - 自动挡技术通过CVT无级变速系统简化操作 宗申AQS401车型实现拧油门即可平稳前进 [4] - 智能硬件集成加速 钱江摩托QJ PILOT系统具备语音交互和监控预警功能 春风动力MotoPlay支持全屏导航和手机互联 [5] - 九号公司Ridey Go 2.0系统支持无钥匙启动和智能设备联动 可通过Siri控制车辆 [6] 安全技术突破 - 隆鑫通用开发自平衡技术 依托高精度传感器使电动摩托车长时间保持平衡 [7] - 春风动力弯道ABSPro系统通过六轴陀螺仪监测车身倾角 有效缩短湿地刹车距离 [7] - 宗申部署弯道ABS和毫米波雷达盲区监测系统 未来计划实现车路云一体化协同 [7] 智能化生态与商业模式 - 春风动力摩范圈App集成路线规划、社交和电商功能 支持车辆定位和电子围栏 [8] - 华为鸿蒙系统与头部企业合作 新日电动车实现手机"碰一碰"快速配网和车辆控制 [8] - 无极极屿OS系统通过AI分析骑行习惯 推送个性化路线攻略并预测部件损耗趋势 [11] 行业挑战与解决方案 - 当前3-5kWh电池包在低温环境下续航明显缩水 电池成本占比高导致售价高于同级燃油车 [9] - 电池规格混乱阻碍普及 需加快制定统一行业标准 [11] - 换电模式可解决充电慢问题 建议在主干道合理布局低投入换电站 [11]