空间大模型

搜索文档
群核科技发布空间大模型,旨在解决AI视频空间一致性难题
36氪· 2025-08-29 04:00
空间大模型技术发布 - 公司正式发布新一代空间语言模型SpatialLM 1.5和空间生成模型SpatialGen 并宣布延续开源战略逐步向全球开发者开放模型 [1] - 空间大模型技术体系专注于3D室内场景认知与生成 围绕真实感全息漫游 结构化可交互及复杂室内场景处理三个方向构建优势 [1] - SpatialLM 1.5基于大语言模型训练 让模型学会"空间语言" 能以数字文本精确描述场景物体的空间结构 几何信息 相互关系及物理参数 [1] 模型功能与应用 - SpatialLM通过对话系统SpatialLM-Chat实现文本指令生成结构化3D场景脚本 智能匹配家具布局 支持自然语言场景问答与编辑 [1] - 模型具备机器人场景应用潜力 例如输入"去客厅餐桌拿药"指令后 模型理解物体对象并调用工具自动规划行动路径 [1] - SpatialGen是基于扩散模型架构的多视角图像生成模型 可根据文字 参考图和3D空间布局生成时空一致性的多视角图像 [2] 技术突破与行业价值 - SpatialLM 1.5能快速批量生成多样化场景 解决机器人训练数据不足难题 直接用于路径规划 避障和任务执行训练 [2] - SpatialGen通过生成空间属性和物理关系一致的多视角图像 进一步生成3D高斯场景 渲染可自由漫游视频 解决AIGC视频时空一致性难题 [3] - 公司正在研发深度融合3D能力的AI视频生成产品 计划于年内发布 [3] 战略布局与数据基础 - 空间智能战略核心是"空间编辑工具-空间合成数据-空间大模型"构成的飞轮 通过工具沉淀数据 利用数据训练模型 再以模型反哺工具 [3] - 截至2025年6月30日 公司拥有超过4.41亿个3D模型及超过5亿个结构化3D空间场景 [3] - 自2018年起逐步开放数据和算法能力 当前通过开源与全球开发者共同推动空间大模型技术发展 [3] 开源计划 - 两款模型将陆续在Hugging Face GitHub和魔搭社区等平台开源 [4] - SpatialGen在技术开放日当天已开放下载 SpatialLM 1.5未来将以"SpatialLM-Chat"形式完成开源 [4]
群核科技开源两款空间大模型,想解决 Genie3 没能彻底解决的问题
Founder Park· 2025-08-27 11:41
世界模型技术发展现状 - Google DeepMind发布Genie 3 世界模型 与OpenAI开源模型形成竞争[2] - 世界模型分为两类流派:Sora类视频模型基于2D图像序列模拟数字世界 Genie 3属于此类 另一类是李飞飞World Labs倡导的基于3D场景还原的大型世界模型[4][5] - 当前两类模型存在落地问题:视频模型因缺少3D维度导致空间一致性不足 3D模型因数据短缺导致视角切换时出现崩坏[6] 群核科技空间大模型技术突破 - 公司发布业界首个3D室内场景认知与生成空间大模型 开源SpatialLM 1.5空间语言模型和SpatialGen空间生成模型[6] - SpatialGen采用多视角扩散+3DGS重建技术 生成可自由漫游的真实3D空间 支持任意视角切换和路径漫游 实现100%光影一致性[8][14] - SpatialLM 1.5基于大语言模型训练 支持通过对话生成结构化场景脚本 智能匹配家具布局 10秒内可生成1000个不重复场景[10][11] - 模型依托自研CAD引擎和KooEngine光线追踪技术 支持参数调整并达到影视级材质质感[15] 数据与技术优势 - 公司通过酷家乐平台积累超4亿个3D模型及5亿个结构化3D空间场景[18] - 2018年发布全球最大室内深度学习数据集InteriorNet 含数万套标注物体坐标和空间关系的场景数据[18] - 2025年开源3D高斯语义数据集InteriorGS 首次将3D高斯技术引入AI训练 降低数据存储成本[18] - 形成工具-数据-模型三位一体飞轮:工具层生成结构化数据 数据层提供高质量标注 模型层实现跨越式进化[18][19] 应用场景与商业化前景 - 解决AI短剧行业痛点:传统工具存在场景不连贯和制作效率低问题 空间大模型可保证全场景物理一致性[20][21][22] - 支持机器人训练场景:自动生成带物理参数和空间关系的3D数据 为具身智能提供结构化信息[11][41] - 电商3D展厅应用:消除视角切换时物体尺寸不一致等穿帮问题 提升虚拟场景可用性[20] - 内部推进X项目:基于3D技术的AI视频生成产品 计划2025年内发布 通过3D渲染与视频增强一体化解决空间一致性问题[24] 技术实现路径 - SpatialLM 1.5基于Qwen3底模训练 采用空间语言描述3D信息 与CAD领域语言兼容[27][28][33] - SpatialGen基于扩散模型训练 使用自研渲染引擎生成的多视角图片数据[33] - 资产库与模型解耦设计 支持调用第三方资产库 确保开源兼容性[37] - 通过数据规模扩展提升空间一致性 遵循scaling law演进规律[39] 发展阶段与挑战 - 当前空间大模型处于类似GPT-2阶段 具备基础生成和交互能力 但未达到通用水平[20][42] - 主要挑战在于3D数据获取难度:无法通过互联网快捷获取 需依赖工具生成或实地扫描[31] - 未来演进方向:探索从文本直接到3D表征的技术路径 提升视觉效果与一致性的平衡[40]
空间智能卡脖子难题被杭州攻克!难倒GPT-5后,六小龙企业出手了
量子位· 2025-08-27 05:49
核心观点 - 群核科技发布空间大模型 专注于室内场景并解决空间一致性痛点 与主流视频生成和3D场景生成路径形成差异化 [2][7][50] - 空间大模型通过真实感全息漫游 可交互性和复杂空间处理能力 推动AI从二维向三维空间智能演进 [11][13][50] - 行业处于早期发展阶段 类似GPT-2阶段 面临数据稀缺 场景复杂和交互泛化三大挑战 群核通过三位一体技术战略构建闭环生态 [32][35][42] 技术路径对比 - 视频生成派以Genie 3为代表 生成动态交互内容但本质为二维序列仿真 难以保证三维空间一致性 [5] - 3D场景生成派以World Labs和混元为代表 支持360度漫游但受限于高质量3D数据 易出现场景崩坏和穿帮 [5] - 群核原生空间智能路线深耕三维室内场景 构建具精确几何 物理属性和语义关系的数字孪生空间 [50] 模型能力特点 - SpatialGen基于扩散模型架构 通过文字描述 参考图像和3D布局生成多视角图像 采用3D高斯重建技术还原场景 [15] - SpatialLM1.5定义空间语言概念 用坐标轴描述物体位置 形状 姿态和物理属性 支持精准空间生成与编辑 [19][21] - 模型具备复杂任务处理能力 如基于自然语言指令生成三维空间并摆放家具 或通过AI Agent框架完成路径规划 [30][31] 行业挑战 - 室内空间数据稀缺且获取成本高 受隐私合规和环境多样性约束 规模化数据积累困难 [36][37] - 室内场景结构复杂 物体分布与功能逻辑异构性强 需深层认知理解如承重特性和几何稳定性 [39] - 交互任务需动态环境感知 物理常识推理与多步任务分解 现有模型缺乏动作后果预测和意图理解能力 [40][41] 群核技术战略 - 三位一体闭环包含空间编辑工具 空间合成数据和空间大模型 工具沉淀数据 数据加速模型迭代 模型提升工具体验 [42][45] - 拥有全球最大室内空间数据集InteriorNet 包含4.41亿个3D模型和超5亿个结构化3D空间场景 [45] - 基于技术飞轮开发可控视频生成工具 融合SpatialGen 自研渲染引擎KooEngine与DIT架构 计划年内发布产品 [47][48][49] 开源与生态建设 - 开源SpatialLM1.5和SpatialGen子模型 降低技术门槛并吸引开发者共同应对行业挑战 [14][52] - 通过开源推动构建以空间语言为核心的标准和生态 加速数据沉淀与技术迭代 [52] - SpatialLM 1.0曾登Hugging Face趋势榜前三 已有初创企业基于其代码训练自有模型 [52]
群核科技黄晓煌:积极拥抱开源,推动属于空间大模型的「DeepSeek时刻」来临
IPO早知道· 2025-08-25 13:10
核心观点 - 群核科技在首届技术开放日上发布新一代空间语言模型SpatialLM 1.5和空间生成模型SpatialGen 旨在通过开源推动全球空间智能技术发展[3] - 公司基于酷家乐平台构建"空间编辑工具-空间合成数据-空间大模型"的飞轮模式 通过工具沉淀数据并加速模型训练[4] - 开源是公司核心战略之一 自2018年启动开源计划 希望成为全球空间智能服务提供商[4] 技术成果发布 - SpatialLM 1.5是基于大语言模型训练的空间语言模型 支持通过对话交互系统实现端到端可交互场景生成[4] - 模型能输出包含空间结构、物体关系、物理参数的"空间语言" 根据文本描述自动生成结构化场景脚本并智能匹配家具布局[4] - 生成场景富含物理正确的结构化信息 可批量输出多样化场景用于机器人路径规划、避障训练等应用 解决训练数据短缺问题[6] - SpatialGen是基于扩散模型的多视角图像生成模型 可根据文字描述、参考图像和3D布局生成时空一致的多视角图像[7] - 支持生成3D高斯场景并渲染漫游视频 用户可自由穿梭生成场景获得沉浸式体验[7][8] 数据资源与技术优势 - 截至2025年6月30日 公司拥有超过4.41亿个3D模型和超过5亿个结构化3D空间场景[4] - SpatialGen数据集包含12,328个场景和100万个物体 使用全景视频格式[9] - 相比传统大语言模型 空间大模型在真实感全息漫游、结构化可交互及复杂室内场景处理方面具有显著优势[3] 开源与行业影响 - SpatialLM 1.0于2025年3月开源后迅速登上Hugging Face趋势榜前三 已有初创企业基于其代码训练自有模型[6] - 两款模型将逐步在HuggingFace、GitHub、魔搭社区等平台面向全球开发者开源[10] - SpatialGen在技术开放日当天已可在开源网站下载使用 SpatialLM 1.5将以"SpatialLM-Chat"形式完成开源[10] AI视频生成解决方案 - 基于SpatialGen探索AI视频生成解决方案 通过新范式解决时空一致性难题[3] - 正在研发基于3D技术的AI视频生成产品 计划2025年内发布 可能是全球首款深度融合3D能力的AI视频生成Agent[9] - 通过构建3D渲染与视频增强一体化生成管线 弥补当前AIGC视频生成中时空一致性不足的问题[9]