Workflow
自回归统一结构
icon
搜索文档
2.4万亿参数原生全模态,文心5.0一手实测来了
量子位· 2025-11-13 09:25
产品核心特性 - 全新一代文心5.0主打原生全模态,从训练伊始就将语言、图像、视频、音频置于同一套自回归统一架构中进行统一的理解与生成训练[1] - 模型支持全模态输入(文字/图片/音频/视频)与全模态输出(文字/图片/音频/视频),在创意写作、指令遵循、智能体规划方面能力更强[1] - 预览版(Preview)当前支持全模态输入,但输出暂为多模态(文字/图片),能够实现全模态输出的完整版正在进行产品体验优化,后续将推出[15] 技术能力与性能表现 - 在官方基准测试中,文心5.0 Preview在语言、视觉理解、音频理解、视觉生成多维度表现突出[7] - 在大模型竞技场LMArena的文本排行榜(Text Arena)上得分1432,与GPT-4.5-preview、Claude-Opus-4-1、Claude-Sonnet-4-5等并列全球第二,位居国内第一[9] - 模型具备精细的多模态理解能力,能精准识别视频中的动作阶段、选手信息、动作名称、难度系数,甚至识别慢放片段和视频情感[26][27][28][30] - 具备跨模态信息整合与综合推理能力,能结合视频情节、台词等内容理解情感氛围和叙事意图,不易被单一模态误导[51] 技术架构与实现 - 采用非后期拼接的原生全模态路线,通过自回归统一结构对不同模态的训练目标进行离散化建模,使多模态特征在统一架构中融合与协同优化[63][64][66] - 引入超大规模混合专家架构,通过稀疏激活机制降低计算负载,每次推理仅激活与任务最相关的专家模块[67] - 模型总参数规模超过2.4万亿,激活比例低于3%,在保持性能的同时显著优化了计算与推理效率[69] - 百度飞桨深度学习框架为万亿级参数模型的高效分布式训练和推理成本优化提供了关键支撑[69] 应用场景与功能展示 - 支持单次交互中跨文件类别混合上传文档、图片、音频、视频,经用户授权可与百度网盘关联,直接访问处理网盘文件[18][20] - 具备智能体能力,可自主调用搜索工具进行信息查询与角色定位[36] - 支持文图混合输入生成新图,并能对视频、音频内容进行快速总结,一次性最多可上传10个视频进行多任务内容整理[53][56][57] - 能够进行音视频融合生成,例如生成3D交互式地球与卫星演示模型,用户可通过鼠标拖拽旋转视角[5] 行业定位与迭代节奏 - 行业竞争逻辑转向注重底层架构创新、训练与推理效率、落地成本等多维度综合考量[72] - 公司基础模型迭代步伐加快,4月发布文心4.5 Turbo和文心X1 Turbo,6月底文心4.5系列10款模型宣布开源,9月发布文心X1.1深度思考模型[73][74] - 文心5.0原生全模态模型的推出是公司在底层架构实现的差异化突破,体现了在算法训练、推理优化及生态协同等全链路的系统性积累[75]