模型技术突破 - 中国联通数据科学与人工智能研究院团队研发的HiMo-CLIP模型，解决了现有图像检索模型（如CLIP）在处理带多个特征的复杂长文本描述时准确率下降的“说越多错越多”难题[2][6] - 模型核心创新在于HiDe模块，该模块采用动态语义指纹提取技术，能自动识别描述中最具区分度的关键信息，例如识别“福特皮卡”时，“超大轮胎”比“有色车窗”更具区分性，该技术准确率达89.3%[7][8] - 模型采用MoLo损失机制进行双重对齐保障，既匹配整个文本语义，又强化核心特征匹配，确保描述增加有效信息时匹配得分上升，在MSCOCO-Long测试集上mAP指标比Long-CLIP提升近两成[11][13] 性能与效率 - 模型在A100显卡上的推理速度仅增加7%，对硬件要求不高，可在普通服务器上运行[10] - 模型在提升长文本处理能力的同时，在短文本任务上未出现性能倒退，在Flickr30K数据集上保持了98.3%的原始性能[13] - 在多项基准测试中，HiMo-CLIP（Ours）使用ViT-B/16架构在1M数据规模下，取得了89.2/89.6、77.8/79.9、58.6/57.1的优异性能指标[12] 商业化应用与行业影响 - 京东已试点采用该技术改进商品搜索功能，当用户使用“黑色连帽卫衣带白色抽绳和刺绣logo”等复杂描述时，搜索转化率提升了27%[14][15] - 自动驾驶领域正尝试应用该技术解析包含多元素的复杂路况描述，如“前方施工区域有黄色警示牌和穿橙色背心的工人”，以提升环境识别准确性[18] - 项目已在GitHub开源，不到半年获得2.3k星标，字节跳动、商汤科技等公司已在试用[18] 发展前景与行业意义 - 模型当前在处理如“碳纤维车身包围”等特别专业的术语时仍有提升空间，团队计划于2026年第三季度发布多语言版本[21] - 该模型的创新思路提示行业，AI模型发展不应仅追求数据拟合，更需模拟人类认知逻辑，结合知识图谱构建结构化语义空间可能是多模态智能发展的新方向[21] - 该模型的成功证明了中国团队在AI基础研究领域具备强大实力[21]

核心观点 - DeepEyesV2是DeepEyes模型的重大升级版本，实现了从“会看细节”到“能主动解决复杂问题的智能体”的进化 [3] - 该模型突破性地实现了代码执行、网页搜索和图像操作的全工具协同，解决了传统多模态模型工具调用能力薄弱和多能力协同缺失的痛点 [3][4][5][8] - 通过“冷启动+强化学习”的两阶段训练策略，模型具备了自适应推理能力，能根据任务难度动态调整工具调用策略 [37][71][72] 多工具协同能力 - DeepEyesV2能够动态选择、组合和使用工具，包括生成可执行Python代码、进行网络搜索查询和图像操作 [23][24][26] - 模型采用“推理—工具—整合”的循环工作模式，直至得出准确答案，支持在单一轨迹中动态结合代码执行和搜索 [22][25][27] - 代码执行在沙箱环境中进行，产生结构化输出；图像查询通过SerpAPI提交，返回排名前五的视觉匹配网页 [24] 性能表现 - 在团队构建的RealX-Bench基准测试（包含300个真实场景问题）上，DeepEyesV2准确率远超开源模型 [41][45] - 在数学推理任务上，DeepEyesV2（71.9）相比Qwen2.5-VL-7B（68.3）提升3.6个百分点；在MathVerse上从45.6提升至52.7，提升7.1个百分点 [48] - 在搜索任务中，DeepEyesV2在MMSearch上达到63.7，相比Qwen2.5-VL-7B Search提升11.5个百分点 [49] 训练方法论 - 采用两阶段训练策略：阶段一为冷启动，使用感知类、推理类、搜索类和CoT数据打好基础；阶段二为强化学习，通过“准确率+格式规范”双奖励机制优化工具调用 [37][38][43] - 强化学习后模型工具调用率显著下降，从冷启动阶段的90%以上降至自适应水平，表明模型学会了“按需调用”工具 [66][67] - 最优数据组合为“感知+推理+CoT”，三类数据结合后模型在感知和推理测试集上均实现最优表现 [58] 技术突破 - DeepEyesV2通过强化学习自主获得了通过代码访问API的技能，而该行为在训练数据中并不存在 [19] - 模型展现出任务自适应的工具使用模式，对于真实世界感知任务偏向使用裁剪工具，数学推理任务主导使用数学计算，搜索任务主要使用搜索工具 [62][63] - 在复杂问题解决示例中，模型能依次调用图像搜索、文本搜索和代码执行API获取雅虎金融数据并进行计算 [15][16][17]

生成式AI模型进展 - OpenRouter平台上线隐名模型Polaris Alpha，其知识库截止2024年10月，最大上下文容量256K，单次最大输出128K，目前可通过API免费调用 [1] - 纽约大学谢赛宁等发布Cambrian-S多模态新范式，提出"空间超感知"概念，在空间认知任务上中小型模型超越Gemini [2] - 阶跃星辰发布全球首个开源LLM级音频编辑大模型Step-Audio-EditX，该模型约3B参数，情感与风格控制准确率优于MiniMax、Doubao等闭源模型 [5] AI编程工具发展 - 美团推出AI IDE编程工具CatPaw，背后核心引擎为自研LongCat大模型，在内部研发人员周活占比超80%，每周新增代码中AI生成占比约50% [3] - 芸思智能推出AI IDE Vinsoo，通过算法突破实现极限有效上下文达千万量级，支持最多8个智能体同步运行开发 [4] - 行业观点认为AI工具无法替代创始人的销售能力，AI SDR仅在已有运转良好销售流程时有效，技术挑战和开源策略是护城河而非障碍 [9] 多模态AI硬件与应用 - 百度小度AI眼镜Pro正式开售，融合多模态AI大模型，支持中英文实时翻译3秒内出字幕等功能 [6] - 银河通用推出灵巧手神经动力学模型DexNDM，首次实现通用灵巧手对多类物体的稳定、多姿态、多轴向旋转操作，能完成拧螺丝等工具使用 [7][8]

人工智能产业趋势 - AI已从技术展示升级为驱动产业变革的关键力量，渗透医疗、工业、零售、出行等全领域 [2] - 本届进博会展示400余项AI相关创新成果，显示全球AI产业从技术探索向价值创造全面转型的趋势 [2] - 人工智能大模型从通用能力展示转向垂直场景深耕，例如西门子的“工易魔方.妙一空间”将AI大模型与数字孪生技术融合 [3] 多模态与具身智能 - 具身智能机器人实现多模态人机交互的成熟化和工业场景具身操作的落地，例如智元创新公司的远征A2和灵犀X2机器人 [4] - 零售人形机器人能精准识别不规则商品，实现1人远程操控10家门店机器人，在夜间无人值守场景下节约90%人工成本 [4] - 到2030年，全球零售业若规模化应用AI，年度运营利润将新增3100亿美元，整体增幅近20%，企业运营利润率有望从3%提升至14.4% [4] 行业应用与市场前景 - 到2029年全球机器人市场规模将突破4000亿美元，具身智能机器人市场占比预计超过30% [6] - 在医疗领域，AI实现从诊断到治疗的全链条解决方案，例如西门子医疗的智慧影像链和迈兆辉健康的“AI魔镜”，其健康指标检测准确率达90% [7] - 迈兆辉健康的“AI魔镜”产品上市18个月售出2000台，积累了500万标本检测数据 [7] 工业与汽车智能化 - AI成为传统产业提质增效的核心引擎，例如ABB的冷轧工序智能制造方案实现节能减排与提质增效 [8] - 特斯拉首发Cybercab无人驾驶电动车，取消方向盘与脚踏板，计划2026年二季度量产，目前在美国开展路测 [8] - AMD提供覆盖数据中心、边缘终端、智能汽车的全场景AI解决方案 [3] 中国市场与生态合作 - 中国拥有全球最完整的工业体系、最庞大的消费群体和最丰富的应用场景，为AI技术产业化提供肥沃土壤 [10] - 前七届进博会累计展示新产品新技术新服务约3000项，意向成交额超5000亿美元，累计吸引境外参展商2.3万家次 [11] - 进博会成为全球前沿技术落地应用的重要窗口，中国正成为全球创新的催化剂和试验场 [11]

模型核心创新与定位 - 悟界·Emu3.5是全球首个基于"Next-State Prediction"范式的原生多模态世界模型，通过自回归架构实现对多模态序列的预测，模拟人类自然学习方式[2] - 模型核心能力是预测下一个时空状态，这对于具身智能至关重要，使其能理解世界运行规律并进行因果推理[2] - 该模型代表了一项融合算法、工程架构、数据训练范式与模型思想的综合性原始创新，而非单一的算法或工程改进[9] 核心技术特点与能力 - 具备三大核心能力：从高层级人类意图自主生成详细连贯的多步骤行动路径、在统一框架内动态模拟世界并预测物理动态与长时程因果关系、作为泛化交互基础提供关键的认知基础[3] - 采用自回归架构实现多模态数据大一统，能够大规模复用现有计算基础设施，其Next Token可以是视觉和文字Token且性能无损[8][10] - 通过自研DiDA技术将自回归模型的推理速度提升20倍，实现了可媲美闭源系统最强图像生成的能力，大幅降低了原生多模态的成本[17][19] 训练方法与数据规模 - 训练分为两阶段：首先在约13万亿tokens上进行端到端预训练，随后在1500亿样本上进行有监督微调，再通过大规模强化学习提升多模态推理与生成能力[12] - 预训练消耗超过10T Token，大部分数据是长视频而非文字主导，使用了约6300万条视频，平均时长6.5分钟，总时长约790年，覆盖教育、娱乐、体育等多个领域[13] - 模型目前仅为340亿参数规模，所使用的视频数据仅占全互联网公开视频数据的不到1%，显示出巨大的Scaling up潜力[13] 性能表现与行业意义 - 在多项基准测试中，Emu3.5在Alignment指标上得分为0.902，Text指标上得分为0.994，Overall综合得分0.564，表现优于包括Gemini-2.5-Flash-Image（0.550）在内的其他主流模型[5] - 该模型首次证明了多模态领域存在Scaling可能性，开启了继语言预训练Scaling和后训练与推理阶段Scaling之后的第三个Scaling范式[6] - 与市面上多数采用组合式架构的模型相比，Emu系列的自回归架构可扩展性更强，避免了模型遗忘现象，并解决了Agent任务优化等企业落地难点[8]

文章核心观点 - 颠覆性创新通过使产品更简单、更便宜、更易用，让更多人参与，此观点在AI浪潮中依然适用 [2] - 淘宝将AI深度融入电商场景的每个环节，致力于解决具体用户问题，AI已成为其算法基因 [3] - 技术创新与商业变革双向驱动，形成“技术创造价值—价值反哺技术”的双螺旋演进模式 [12] - 多模态智能是AI时代的关键技术域，能实现跨模态推理，是支撑“所想即所得”终极消费体验的基石 [11][34] - 公司判断，若模型能力保持当前进化速度，狭义AGI很可能在5-10年内到来 [40] AI时代的技术演进与商业驱动 - 当前AI技术迭代迅猛，每年都呈现跳跃式发展，从ChatGPT到Sora 2，技术突破速度震撼 [7] - 回顾互联网发展史，技术升级与产品迭代始终围绕技术发展与商业变革双向驱动的螺旋轨迹演进 [7] - PC互联网时代关键词为“数字基石”，无线互联网时代关键词为“时空折叠”，AI时代关键词为“智能增强”，实现人类与技术的“共生” [10] - 与前两次技术革命不同，AI时代生成式AI带来生产力的代际提升，多模态智能成为核心技术域 [11] 淘宝的AIGX技术体系与多模态布局 - 公司于2024年3月全面升级AIGX技术体系，具备完整的技术链条，覆盖电商经营全部场景 [3] - 从2023年起大力布局AI，自研多模态、搜推广、视频生成等大模型家族，通用能力达国内第一梯队水平 [11] - AIGX技术体系覆盖AIGI（索引）、AIGR（推荐）、AIGB（出价）、AIGA（拍卖）、AIGC（创意）、AIGD（数据）等场景 [3] - 多模态智能是公司最重要的AI技术域，已在AIGX技术体系中深度应用 [13] 生成式推荐系统RecGPT的应用与成效 - 公司于2024年7月发布百亿参数推荐大模型RecGPT，实现生成式推荐技术升级，并接入手机淘宝“猜你喜欢” [14] - RecGPT基于多模态大模型，能结合世界知识生成新内容或个性化推荐序列，突破传统推荐系统的数据局限 [14][16] - 模型能理解用户长达十年的行为信息，全模态认知数以亿计商品，进行推理推荐潜在需求商品 [17] - 搭载RecGPT的推荐信息流实现用户点击量增长超过16%，用户加购次数和停留时长提升5%以上 [21] 多模态生成技术在电商场景的实践 - 自研视频生成模型“淘宝星辰”能基于单张商品平铺图，全自动生成虚拟模特展示图、视频片段及完整带货视频 [23] - 升级版“淘宝星辰・视频生成模型3.0”采用更紧凑的时空压缩VAE，提升语义理解，动作更灵动，画面更原生 [25] - 全模态大模型“TStars-Omni”支持文本、图像、视频、音频等多模态输入输出，能进行深度推理 [27] - 基于TStars-Omni的商品理解功能，可分析用户提问并给出建议，如判断冰箱是否能放入特定厨房 [28] 技术开放与生态建设 - 公司于2024年6月开源强化学习训练框架ROLL，专为高效、可扩展、易用设计，支持高达600B+参数模型的训练 [38][39] - 于2024年10月初开源生成式预估训练框架RecIS，为推荐模型与多模态大模型训练提供统一架构解决方案 [39] - 通过开源内部验证后的技术能力，旨在形成生态扩张动能，促进行业迈向超级智能时代 [39] - AI Agent产品iFlow CLI采用“一个内核，多种应用方式”设计，面向个人用户永久免费开放 [28][30]

行业竞争格局 - 腾讯混元图像3.0以1167分登顶LMArena文生图完整榜单第一，超越谷歌Gemini-2.5-flash-image-preview（1151分）、字节跳动Seedream-4-2k（1144分）和OpenAI GPT-Image-1（1126分）等竞争对手 [1][2] - 图像生成领域呈现多模态融合与智能深化趋势，从“能生成”向“能理解、能推理、能控制”演进 [55] - 开源成为核心推动力，国内AI公司通过开放模型权重借助社区协作实现快速迭代 [56] 公司技术实力 - 混元图像3.0参数量达800亿，推理时每个token激活130亿参数，是公司规模最大、性能最强的开源文生图模型 [3] - 模型采用混合式离散-连续建模策略，在统一框架内融合语言建模、图像理解和图像生成三大功能 [42][43] - 基于超百亿规模原始图像库筛选构建近50亿张高质量训练数据集，数据纯净度不足45% [45] - 通过四阶段渐进式预训练和包括SFT、DPO、MixGRPO、SRPO及ReDA在内的后训练策略优化模型表现 [49][53] 产品性能表现 - 模型具备原生多模态架构和世界知识推理能力，能理解复杂提示并生成连贯故事场景，如“曹冲称象”九宫格漫画 [9] - 在精确文字生成和长文本渲染方面表现突出，有效改善文字乱码和字形扭曲问题 [16] - 支持多分辨率图像生成，在文图一致性与视觉质量方面超越Seedream 4.0、Nano Banana、GPT-Image等顶尖模型 [51][54] - 发布一周内GitHub星数突破1.7k，社区热度持续攀升 [6] 公司战略布局 - 公司围绕混元模型家族形成全栈式AIGC体系，涵盖图像领域的混元图像3.0、3D领域的混元3D 3.0、视频领域的HunyuanVideo以及世界模型HunyunWorld-1.0 [56] - 积极布局开源生态，混元翻译模型Hunyuan-MT-7B和世界模型HunyuanWorld-Voyager曾在Hugging Face趋势榜前三占据两席 [56] - 广泛的业务矩阵（社交、内容生产、广告推荐、游戏）为技术落地提供丰富场景和数据支撑 [58]

多模态智能技术路径 - 多模态是通向AGI的必经之路 因语言仅是智能的产物而非本源 需通过多模态感知和处理信息实现通用性[4] - 智能演进需经历四次破壁：长序列建模、多模态理解、多模态推理、数字与物理空间交互[5] - 公司2023年初推出国内最早多模态模型 2024年突破原生多模态融合技术 2025年实现图文交错思维链[5] 原生多模态技术优势 - 适应训练通过微调实现模态对齐 成本低但仅僵硬遵循范例模式[7] - 原生训练在预训练阶段融合多模态数据 从根源具备多模态能力[7] - 公司2024年确定融合路径：预训练中段开始多模态融合 形成统一模型且不再生产单独语言模型[7] 技术成果与性能表现 - 2024年Q3完成融合训练数据配方验证 Q4完成千亿参数级别多模态模型训练[8] - 模型在OpenCompass和SuperCLUE评测中位居国内首位 语言任务与DeepSeek V3并列[8] - 日日新6.5仅有多模态模型 无单独语言模型 与国内其他厂商架构存在显著差异[9] 图文交错思维链突破 - 主流多模态模型推理链仍为纯文本 通过图像转文本描述再进行语言推理[9] - 公司通过图像编辑工具构建图文交错思维链 实现逻辑思维与形象思维结合[10] - 采用两步走路径：先通过工具构建对外智能体 再通过多模态理解实现内生混合思考[10] 模型架构效率优化 - 视觉编码器专注连续信号感知 语言模型主干处理离散语义 需差异化结构与学习方式[11] - 架构更新后处理高分辨率大图和长视频更快捷 数据优化使同性能下效率提升超3倍[11] - 性能成本曲线显著优化 实现比Gemini 2.5系列更优的效费比[11] 具身智能与世界模型 - 世界模型通过虚拟系统模拟现实交互 提供近真实反馈且效率远高于真实环境[12] - 开悟世界模型基于多模态能力构建 用智能汽车业务数据增强模拟生成能力[12] - 可根据指定路径生成多视角视频 有效支撑智能驾驶系统训练[12] 商业战略与落地成果 - 采用"基础设施-模型-应用"三位一体战略 形成技术与商业正向循环[13] - 基础技术实现原生融合训练/多模态强化学习/无限时长视频交互记忆等突破[14] - 生产力AI装机量从百万级走向千万级 交互AI落地新型硬件与机器人[14]

核心观点 - 多模态智能是当前AI发展的关键趋势，商汤科技通过"原生多模态"技术路线和"四次破壁"演进框架，推动通用人工智能（AGI）的发展 [1][2][4][6] - 商汤科技发布的日日新6.5模型实现了"图文交错思维"突破，标志着多模态推理能力的显著提升 [16][21] - 公司通过统一融合模型架构、优化数据生产体系和创新组织模式，在多模态领域保持领先优势 [12][25][40][41] 多模态智能的重要性 - 智能的核心是与外界进行自主交互的能力，而世界是以多元形态存在的，仅依赖文本数据的语言模型无法构建真正的AGI [7][8] - 多模态模型必须能够处理和理解图像、声音、视频等多种模态的信息，才能具备通用性 [8] - 商汤将多模态锚定为技术主轴，从日日新6.0开始只发布多模态模型，这在国内大模型厂商中独树一帜 [12] 技术路径选择 - 实现多模态模型主要有两种技术路径：适应训练(嫁接模式)和原生训练(融合模式) [11] - 商汤通过大规模对比实验确立了"原生多模态"技术路线，采用从预训练阶段就混合多种模态数据的融合模式 [10][11] - 实验证明，在合适的数据配比下，一个原生多模态融合模型在纯文本和图文任务上的表现都优于各自独立的专门模型 [23] 四次破壁演进框架 - 第一次破壁：Transformer实现长序列建模，为大语言模型奠定基础 [14] - 第二次破壁：语言与视觉会合形成多模态理解，模型学会跨模态关联 [15] - 第三次破壁：突破逻辑与形象思维边界，实现多模态推理，日日新6.5引入"图文交错思维链" [16] - 第四次破壁：突破与物理空间边界，实现与真实世界交互，即具身智能 [22][24] 数据体系构建 - 多模态训练最关键的数据是强关联的"图文对"，商汤通过大规模自动化构造解决了稀缺问题 [26][27] - 建立"续训验证"机制确保数据质量，只有能带来性能增益的数据才会被准入 [28][29] - 采用"人写种子+自动扩展+强化学习"三段式方法获取高阶专业数据 [31][32][33][34] 模型架构优化 - 模型架构设计的核心是效率，而非单纯追求更大参数规模 [36] - 日日新6.5推动视觉编码器轻量化(参数量从60亿减至10亿)，同时使MLLM主干网络更深更窄 [38] - 架构调整结合数据优化使模型效率提升超过3倍，实现比肩顶级模型的效费比 [38][39] 创新力源泉 - 计算机视觉起家的技术基因使公司对多模态价值有更早更深刻的理解 [40] - 重构研究组织实现资源统一调度，设立专项创新小组探索高风险高回报方向 [41] - 构建"基础设施-模型-应用"三位一体的正向循环，使技术理想与商业价值相互促进 [42][43]

豆包APP视觉推理功能升级 - 核心功能升级为视觉推理，支持图片深度思考，通过开启深度思考模式可拍照或上传图片进行分析[4][5] - 分析过程结合以图搜图、图片分析工具（放大/裁剪/旋转）等多步骤，例如识别上海东方明珠年份为1999年左右[1][7][8] - 支持AI识别AI生成图片，通过放大细节识别右图西红柿蒂部不自然卷曲判定为AI生成[10][11][13] 实测场景表现 - 复杂图像处理：在熊猫群像中精准定位足球，采用"初步识别→放大区域→空间定位"三步骤[17][22][25] - 小众知识检索：识别鄂温克族口弦琴、云南翅果藤等冷门内容，结合图片检索+文字检索双重验证[29][34][35] - 学术与工作辅助：解答IMO数学题（经ChatGPT验证答案正确），一键提取财报数据并保持准确性[40][43][46][49] 技术模式创新 - 采用"边想边搜"动态推理机制，区别于传统AI"先搜后想"，支持多轮搜索与工具调用[50][52][53] - 实现图搜文能力，例如通过技术截图反向定位OpenAI论文原文及图表出处[62][64][65] - 多模态融合：Transformer架构统一处理文字/图像/音频，支撑工业检测、医疗分析等场景需求[72][75] 行业趋势 - 视觉推理成为大模型技术新门槛，OpenAI的o3/o4-mini推动多模态深度理解范式[68][69][70] - 技术成熟度与行业需求（工业/医疗）形成共振，促进行业竞速发展[71][74][76] - 豆包APP将高阶视觉推理功能免费开放，降低用户使用门槛[76][77]