多传感器融合

搜索文档
机器人的眼睛:3D视觉
2025-08-12 15:05
行业与公司 **行业**:3D视觉技术行业 **公司**:奥比中光、英特尔(RealSense系列)、康耐视、奥特凌光、海康机器人、奥普特 核心观点与论据 3D视觉技术路线及特点 - **双目视觉**:基于视差原理,成本低但易受环境光影响且算法复杂[1][3][4] - **结构光**:抗干扰性强但远距离效果差,适用于中近距离测量[1][3][4] - **TOF(Time of Flight)**:结构简单但分辨率低,适合短距离高精度测量[1][3][4] - **激光雷达**:探测距离远但成本高,像素范围低[1][3][4] 技术融合应用 - 双目视觉与结构光结合可提升系统稳定性和准确性[1][5][6] - 高级自动驾驶或工业机器人系统可能同时采用TOF与激光雷达[1][5][6] 机器人视觉技术路线优缺点 - **飞行时间法**:高精度计时系统,误差可能达米级[7] - **相位差法**:功耗高且深度分辨率较差[7] - **激光雷达**:综合结构光和飞行时间法,价格高[7] - **双目结构光**:成本低但信息量有限[7] 硬件核心部件 - 镜头、光源和相机[8] - 双目相机不需要主动光源,其他三种需要[8] 3D视觉算法处理 - 包括深度感知、3D建图和语义理解[9][10] - AI技术降低点云处理难度,多采用transform或CNN架构[9][10] 市场规模与需求 - 全球机器视觉市场规模超1,000亿人民币,中国市场约200亿人民币[1][11] - 工业领域需求集中在识别、定位、测量和检测,检测需求最高[12] - 消费级市场如Face ID和人脸支付推动3D视觉发展[11][13] 国产替代方案 - 奥比中光性能不输海外产品,逐步替代英特尔RealSense系列[14][15][16] - 国内主要供应商包括奥比中光、康耐视、奥特凌光和海康机器人[17] 机器人领域应用 - 双目结构光模组单台机器人成本约3,000-5,000元人民币[18] - 每台机器人通常需要3-5个模组,未来需求可能增长[18] 市场趋势 - 3D视觉技术市场预计持续扩容,奥比中光因稀缺性受关注[19] 其他重要内容 - 国内机器人行业逐步转向国产方案,奥比中光是主要供应商之一[16] - 工业级企业如奥普特开始向消费级市场转换[17] - 机器人视觉传感器配置通常为头部和胸部各一个,高需求场景可能增至5-10个[16] 无关内容 - 培训框架第四讲内容(与3D视觉无关)[20][21]
厘米级精度重建!最强性价比3D激光扫描仪~
自动驾驶之心· 2025-08-04 03:23
产品概述 - GeoScan S1是一款面向工业场景和教研场景的高性价比3D激光扫描仪,具备轻量化设计和一键启动功能,提供高效实用的三维解决方案 [1] - 产品以多模态传感器融合算法为核心,实现厘米级精度的三维场景实时重构 [1] - 设备自带手持Ubuntu系统和多种传感器设备,手柄集成电源,可为雷达、摄像头及主控板供电 [3] 核心技术参数 - 扫描性能:每秒20万级点云成图,70米测量距离,360°全域覆盖,支持20万平米以上的大场景 [1][29] - 精度指标:相对精度优于3cm,绝对精度优于5cm [22] - 同步技术:采用微秒级数据同步技术,实现多传感器融合 [34][35] - 传感器配置:集成3D激光雷达、9DOF IMU、双广角相机、深度相机等丰富传感器资源 [13] 硬件配置 - 尺寸:14.2cm * 9.5cm * 45cm,重量1.3kg(不含电池)/1.9kg(含电池) [22] - 计算单元:Intel N5095处理器,4核2.0GHz(睿频2.9G),16G内存/256G存储 [22] - 电源:88.8Wh弹夹电池,续航约3-4小时 [22][26] - 接口:配备千兆网口、双USB 3.0、Micro SD等扩展接口 [22][23] 软件功能 - 支持实时解算和预览,可输出pcd、las、plv等多种通用格式 [22] - 提供快速建图、彩色点云建图、数据录制等多种软件功能 [42][43] - 支持ROS系统,运行于Ubuntu 20.04环境 [22] - 3DGS版本支持离线/在线渲染,实现高保真实景还原 [6][7][50] 应用场景 - 适用于写字楼、停车场、工业园区、隧道、森林、矿场等多种复杂场景 [38][46] - 可应用于地理信息采集、工程监控、文物保护、虚拟开发等领域 [52][54] - 支持跨平台集成,适配无人机、无人车、机械狗等多种负载平台 [44] 产品版本与定价 - 基础版:19800元,含主机、软件和RTK配件 [57][58] - 深度相机版:23800元,增加深度相机 [57][58] - 3DGS在线版:39800元,含云服务(续费5000元/月) [57][58] - 3DGS离线版:67800元,含本地渲染软件 [57][58] 研发背景 - 由同济大学刘春教授团队和西北工业大学产业化团队联合开发 [9] - 基于多年科研积累和上百个项目验证 [9] - 采用自研多传感器融合SLAM算法和高精度IMU模块 [34]
高保真实景还原!最强性价比3D激光扫描仪~
自动驾驶之心· 2025-07-31 23:33
产品概述 - GeoScan S1是国内目前最强性价比实景三维激光扫描仪,轻量化设计,一键启动,提供高效实用的三维解决方案 [1] - 以多模态传感器融合算法为核心,实现厘米级精度的三维场景实时重构,可广泛用于多种作业领域 [1] - 设备自带手持Ubuntu系统和多种传感器设备,手柄集成电源,为雷达、摄像头及主控板供电 [1] 技术参数 - 每秒20万级点云成图,70米测量距离,360°全域覆盖,支持20万平米以上的大场景 [1][24] - 相对精度优于3cm,绝对精度优于5cm,支持彩色点云输出及多种通用数据格式(pcd, las, plv等) [17] - 尺寸14.2cm*9.5cm*45cm,重量1.9kg(含电池),续航3-4小时,存储容量256G [17] - 搭载Intel N5095处理器(4核2.0GHz)、16G内存、千兆网口及双USB 3.0接口 [17][18] 核心功能 - 多传感器融合(激光雷达、IMU、RTK、双广角相机等),微秒级数据同步,实时输出高精度点云数据 [8][29][30] - 支持离线/在线3D高斯渲染版本,实现高保真实景还原 [2][46] - 跨平台集成,适配无人机、无人车、机械狗等多种负载平台,实现无人化作业 [39] 应用场景 - 适用于写字楼、停车场、工业园区、隧道、森林、矿场等复杂室内外场景 [33][42] - 地理信息数据采集、城市规划、文物修复研究、虚拟现实等领域 [48][50] 价格与版本 - 基础版19800元,深度相机版23800元,3DGS在线版39800元,离线版67800元 [53][54] - 首发优惠提供1年售后服务,支持定制化需求 [54] 研发背景 - 由同济大学刘春教授团队与西北工业大学产业化团队合作开发,经过上百个项目验证 [4]
买来的足式机器人,调了好久不work......
具身智能之心· 2025-07-31 00:04
足式机器人开发挑战 - 初学者开发足式机器人面临巨大困难,需实现爬楼梯、跑步、跳舞等高难度动作,但缺乏系统指导导致难以入门[1] - 复杂地形(石子路、坑洼路面)要求机器人具备稳定动作执行能力,僵硬驱动难以行走超过20米[1] - 完整开发流程需掌握运动学、动力学、多传感器融合、强化学习等8项核心技术,学习门槛高[1] 足式机器人行业价值 - 足式机器人(四足/双足)被视为机器人领域里程碑,能仿生应对复杂地形突破平坦环境限制[2] - 资本高度关注,在巡检、安防、救援等场景有广阔应用前景,企业正高薪争夺相关人才[2] - 当前是进入领域最佳时机,但缺乏系统学习路径导致学习者易踩坑放弃[2] 课程技术体系 - 国内首门覆盖四足到双足的全栈算法课程,包含基础运动控制、高级强化学习、Sim2Real迁移三大模块[2][3] - 核心技术包含:关节负载分析(运动学)、IMU/视觉多模态融合、双足动态平衡控制、PPO/SAC算法应用[3] - 前沿技术整合:波士顿动力跳跃算法解析、域随机化策略、RMA等提升仿真到现实的迁移成功率[4][7] 实战训练设计 - 仿真平台覆盖Isaac Gym/Gazebo/MuJoCo,实现行走/跳跃/攀爬等多任务切换训练[3][9] - 硬件部署涉及Unitree、DeepRobotics等主流平台,包含噪声注入、物理参数抖动等鲁棒性增强手段[7][11] - 大作业设置复杂地形跑酷、人机协作等场景,要求学员完成从设计到性能评估的全流程[7][16] 目标人群与能力培养 - 面向AI从业者、机器人专业学生、转行者三类人群,需具备Python/PyTorch及线性代数基础[16] - 培养能力包含:全栈技术掌握(运动控制到强化学习)、四足/双足系统思维、1-2年等效项目经验[16] - 课程形式为离线视频+代码+线上答疑,配套源码与行业案例,有效期1年[17]
未来智造局 | 智能辅助驾驶,是否正在陷入瓶颈?
中国金融信息网· 2025-07-29 09:22
行业规模与竞争格局 - 国内自动驾驶相关企业数量超过5500家 [1] - 特斯拉凭借全球海量量产车数据构建算法迭代优势 但存在摄像头识别静态物体及低可视度环境灵敏度不足的缺陷 [2] - 华为与魔门塔采用激光雷达与摄像头多传感器融合方案 激光雷达探测半径达数百米 远超普通摄像头二十余米范围 [2] 数据积累与市场表现 - 比亚迪智驾车型累计销售超48万辆 日均生成超3000万公里智驾数据 构建中国最大车云数据库 [3] - 国产车企覆盖下沉市场等多样化消费群体 形成海量数据积累优势 支撑复杂场景算法优化 [3] 技术瓶颈与安全警示 - 人工智能学习机制依赖数据规律拟合 缺乏人类基模理论的自主知识迁移能力 无法应对未录入数据库的意外场景 [4] - 公安部明确市场在售智驾系统均属辅助驾驶阶段 驾驶人为最终责任主体 [4] - 特斯拉将FSD系统描述从"完全自动驾驶能力"修改为"智能辅助驾驶功能" 华为ADS 2.0自称为"L2.9999级" [5] 商业化应用进展 - 九识智能无人物流车标称L4级 累计运营超2000万公里 覆盖全国200多座城市 具备开放环境大规模使用能力 [6] - Waymo在旧金山规模化运营 百度萝卜快跑在武汉成功商业化 证明L4级在城市复杂路况达到技术可用水平 [6] - Robotaxi可靠性依赖多重策略冗余和后台遥控 新增行驶区域需大量测试调教 端到端技术仍需打磨 [7] 发展路径与投资方向 - 车路云一体化方案被视为实现全域无人驾驶的可行路径 [7] - 股权投资领域看好无人驾驶作业车赛道 认为其将最早实现智驾技术商业化落地 [9]
“无边界”割草机器人:数百亿美金价值的下一个智能化变革大赛道
36氪· 2025-07-24 02:35
市场背景 - 欧美家庭草坪数量约8千万至1亿块,平均面积500-2000㎡,80%家庭参与园艺活动,年均花费616美元[3] - 全球割草机市场年新增需求约1800万台,2030年市场规模预计突破500亿美元,欧美占比85%[3] - 割草机器人当前渗透率仅7%,北美1%,欧洲20%(北欧40%,德国瑞士30%,南欧15%)[3] 技术发展 - 无边界割草机器人采用RTK厘米级定位+多传感器融合(视觉SLAM/激光雷达),实现复杂地形导航[1][4][9] - 技术演进分三阶段:埋线式主导(1990s-2010s)→无边界技术兴起(2020-2023)→多技术融合爆发(2024年起)[8][9][10] - 2024年全球销量达180万台,中国品牌占比超30%,无边界产品出货量突破20万台[11] 竞争格局 - 主流品牌分两类:传统园林工具商(富世华、宝时得、白马科技)和跨界机器人厂商(九号、追觅、松灵)[15] - 技术核心为定位与避障能力,RTK+视觉融合成主流方案,激光雷达成本高但性能强[16][18][19] - 渠道85%依赖线下,欧洲渠道成熟(富世华覆盖率70%),美国仍以电商为主[21][22][25] 市场驱动因素 - 劳动力成本高:欧美割草时薪30-55美元,机器人1-2年可回本[5] - 环保政策:欧盟2027年淘汰80%燃油设备,美国加州2028年零排放强制令[6] - 成本下降:家用机型价格从1990s的8000欧元降至1000欧元[6] 未来趋势 - 功能集成潜力大:割草+扫雪/灌溉等可提升单机价值3-5倍[6] - 中国品牌优势:供应链国产化(芯片/RTK模组/激光雷达)+技术迭代速度快[26][27] - 全球化关键:需本地化适配(如欧洲中小草坪偏好RTK+视觉,北欧需防水设计)[28][31]
10年有700倍的增速,为什么Robotaxi玩家们还在互相吵架
36氪· 2025-07-22 11:07
市场规模与增长预测 - 中国Robotaxi潜在市场规模预计从2025年5400万美元增长至2035年470亿美元 十年间增长757倍 [1] - 2035年一线城市市场份额占比42% 规模达195亿美元 二线城市占比50% 规模达231亿美元 [4] - 车辆规模将从2025年4100辆增至2035年190万辆 [7] 成本结构变化 - 2025至2035年间一线城市单车制造成本从2.01万美元逐步下降至1.89万美元 [11] 主要参与者技术路线 - 小马智行采用激光雷达+高精地图路线 具备全栈自研能力 覆盖感知/规划/控制/仿真/云端调度模块 在广州/北京获得载人示范运营许可 与广汽/丰田/吉利合作开发定制车型 [13] - 文远知行专注Robotaxi/Mini Bus/货运场景L4技术 采用多传感器融合+高精地图路线 在广州/北京/阿布扎比开展试点 获得宇通/广汽/博世/Uber等产业资本支持 [14][16] - 百度Apollo采用激光雷达+高精地图路线 具备端到端全栈自研能力 萝卜快跑品牌在北京/武汉/重庆/深圳实现规模化部署 与一汽红旗/北汽极狐战略合作 [17][19] - 滴滴自动驾驶采用多传感器融合+高精地图路线 具备全栈自研能力 2024年与广汽埃安成立合资公司 2025年推出首款前装量产L4车型 获得软银/高瓴/IDG资本投资 [20][22] - 特斯拉采用纯视觉端到端路线 完全依赖摄像头输入和神经网络模型 在美国奥斯汀开展Robotaxi试点 通过车主加盟模式扩张网络 [23][25] - Waymo采用多传感器融合+高精地图路线 配备高线束激光雷达/摄像头/毫米波雷达 在美国部分城市开展无安全员运营 获得Alphabet/银湖资本/主权基金支持 [26][29] 技术路线对比 - 激光雷达+高精地图派为当前主流 包括Waymo/百度Apollo/小马智行 通过多传感器融合实现定位决策 优势在于路线可预测性 劣势在于硬件成本高和区域适应性差 [34] - 纯视觉派以特斯拉为代表 完全放弃激光雷达 依赖摄像头和神经网络 优势在于硬件简化与快速部署潜力 劣势在于算法算力要求极高且安全冗余存在争议 [34][37] 运营数据对比 - 小马智行覆盖北上广深/迪拜/卢森堡 车队规模270+辆 累计自动驾驶3500万公里以上 [33] - 文远知行覆盖十国30城 车队规模超1200辆 累计自动驾驶4000万公里以上 [33] - Waymo覆盖美国15州 车队规模超1500辆 累计自动驾驶2000万英里 [33] - 特斯拉在奥斯汀试点 车队规模10-20辆 全球200万辆车采集5亿英里数据 [33] - 百度Apollo覆盖全球15城 车队规模超1000辆 累计完成1100万次订单 [33] - 滴滴自动驾驶覆盖国内5城及美国加州 车队规模超200辆 [33] 财务表现与研发投入 - 小马智行2023年研发投入8.71亿元 2024年增至17.53亿元 2023年亏损8.9亿元 2024年亏损扩大至20.07亿元 [39][41] - 文远知行2023年研发投入10.58亿元 2024年增至10.91亿元 2023年亏损19.49亿元 2024年亏损扩大至25.17亿元 [41] - 文远知行营业收入从2022年5.28亿元下降至2024年3.61亿元 [43] 行业合作模式 - 形成主机厂+智能驾驶技术公司+出行平台协同模式 主机厂负责前装量产 技术公司提供算法系统 出行平台聚焦调度运营 [44] - 行业竞争核心在于全链条整合能力 需获取资金/技术供应链/政府许可/出行生态等多维度资源支持 [45]
厘米级精度的三维场景实时重构!这款三维激光扫描仪太好用了~
自动驾驶之心· 2025-07-19 10:19
产品概述 - GeoScan S1是一款轻量化设计的手持三维激光扫描仪,具备厘米级精度的三维场景实时重构能力,核心优势在于多模态传感器融合算法[1] - 设备采用手持Ubuntu系统,集成电源手柄设计,通过D-TAP转XT30母头为雷达、摄像头及主控板供电[2] - 由同济大学刘春教授团队与西北工业大学产业化团队联合研发,经过上百个项目验证,首发价19800元起[4] 技术参数 - 扫描性能:每秒生成20万点云,70米测量距离(精度±1.5cm),360°水平视角覆盖,支持20万平米以上大场景扫描[1][23] - 同步精度:微秒级硬件IO同步触发,最高800Hz频率,集成IMU/RTK/激光雷达/相机等多传感器数据同步[28][29] - 计算单元:搭载Intel N5095处理器(4核2.0GHz/睿频2.9G),16GB内存+256GB存储(可拓展TF卡)[16] - 物理规格:尺寸14.2×9.5×45cm,含电池重量1.9kg,航空铝外壳,续航3-4小时(88.8Wh电池)[16] 核心功能 - 实时建模:通过多传感器SLAM算法输出彩色点云数据,支持pcd/las/plv等通用格式导出[16][21] - 3D高斯采集:选配模块可实现高保真实景还原,需采购升级版本(39800-67800元)[44][51] - 跨平台集成:适配无人机/无人车/机械狗等负载平台,配备千兆网口+双USB3.0接口[1][38] 应用场景 - 复杂环境适应:在写字楼/停车场/隧道/矿场等室内外场景均能完成精准三维建模[32][40] - 行业解决方案:适用于地理信息采集、施工监控、文物保护、城市规划等领域[46][48] - 典型场景案例:大型园区/市政道路/环形花园等场景建模验证[33][43] 版本与定价 - 基础版19800元(含激光雷达+IMU+RTK+双相机) - 深度相机版23800元 - 3DGS在线版39800元 - 3DGS离线版67800元[51]
每秒20万级点云成图,70米测量距离!这个3D扫描重建真的爱了!
自动驾驶之心· 2025-07-16 04:05
产品概述 - GeoScan S1是一款手持三维激光扫描仪,具有轻量化设计、一键启动和高性价比的特点,适用于多种作业领域[1] - 设备以多模态传感器融合算法为核心,实现厘米级精度的三维场景实时重构[1] - 产品由同济大学刘春教授团队和西北工业大学产业化团队合作开发,拥有多年科研和行业积累,经过上百个项目验证[4] 技术参数 - 扫描性能:每秒生成20万级点云,70米测量距离,360°全域覆盖,支持20万平米以上的大场景扫描[1][23] - 精度:相对精度优于3cm,绝对精度优于5cm[16] - 数据输出:支持pcd、las、ply等多种通用格式,可生成彩色点云[16] - 系统环境:运行Ubuntu 20.04,支持ROS[16] 硬件配置 - 传感器集成:包含3D激光雷达、9DOF IMU、双广角相机、深度相机等[7] - 计算单元:Intel N5095处理器,4核2.0GHz(睿频2.9G),16G内存/256G存储[16] - 同步模块:微秒级同步精度,最高800Hz频率[17] - 供电:88.8Wh电池容量,续航约3-4小时[16] 功能特点 - 实时建模:支持三维点云地图动态构建、色彩融合和实时预览[16] - 多传感器融合:结合相机、激光雷达、IMU、RTK数据[16] - 小倾角设计:激光雷达25°倾斜角度安装,提高采集效率[9] - 跨平台集成:适配无人机、无人车、机械狗等多种负载平台[38] 应用场景 - 适用于写字楼、停车场、工业园区、隧道、森林、矿场等复杂室内外场景[32] - 可用于地理信息数据采集、城市规划、文物保护等领域[46] - 支持3D高斯实景还原,选配模块可实现高保真实景还原[44] 价格信息 - 基础版本:19800元[51] - 深度相机版本:23800元[51] - 3DGS在线版本:39800元[51] - 3DGS离线版本:67800元[51]
头部Robotaxi专家小范围交流
2025-07-01 00:40
纪要涉及的行业和公司 - **行业**:自动驾驶行业 - **公司**:特斯拉、vivo、百度、小马智行、文远知行、Pony、小鹏、理想 纪要提到的核心观点和论据 1. **自动驾驶主流方案**:当前主流采用局部端到端两阶段模型,前端感知和预测利用 CNN 结合 LLM 增强环境理解,规划控制侧重基于规则的方法保障安全,旨在平衡复杂度与可靠性[1][2] 2. **特斯拉技术路径优劣势** - **优势**:响应速度快,车载系统响应及时;处理复杂场景能力强,一段式操作解决多模块联合问题表现出色[3] - **劣势**:训练过程复杂,监督难以构造;数据采集与标注困难,训练时比局部端到端方法面临更大挑战[3] 3. **国内 L4 级别自动驾驶系统优势**:在驾驶舒适性、复杂路况安全性及急弯场景路径规划方面优于特斯拉,国内公司通过多传感器融合提升感知能力,更适应国内复杂交通环境[1][6] 4. **L4 级别自动驾驶系统硬件需求** - **激光雷达**:是刚需,在夜间和恶劣天气下能有效识别物体形状,避免纯视觉方案的感知缺陷,但数据量庞大,对算力需求较高[1][9] - **芯片**:实现 L4 功能对芯片算力要求高,英伟达芯片性能和稳定性优异,国产芯片在尖峰性能、平均性能和生态支持上与英伟达有差距,但美国制裁推动国产替代,可显著降低成本,如地平线芯片可节省 80%成本[1][12] 5. **限制车队规模扩大的因素**:单车成本高(目前约 80 万,大规模量产需降至 30 万以内)、监管限制(只能部署在特定区域)、人力成本和基础设施建设不足(缺乏专业云控驾驶员及后台服务器支持)[16] 6. **政府相关政策和要求** - **Robotaxi 运营**:需先在特定区域测试收集数据,提供给政府获批准后开放区域运行[17] - **自动驾驶牌照发放**:政府每年限定牌照数量,申请者提交公用指标数据初步筛选,通过仿真软件模拟场景监控自动驾驶能力,结合两者结果决定发放对象,牌照数量逐渐递增[18] 7. **世界模型**:在自动驾驶中发挥重要作用,不同车企之间存在差异,整体框架包括动态障碍物重建和静态环境重建,但细节差距大,如小鹏、理想等采用 3D 高斯等高精度方法,其他企业可能采用游戏引擎方式模拟[20] 8. **L4 级别公司解决问题的方法**:通过大量测试和仿真技术解决常见问题,利用数据孪生构建仿真环境,发现并解决问题,更新算法并积累数据,降低人力成本,提高效率[2][14] 其他重要但是可能被忽略的内容 1. **PNC 未用更多模型驱动的原因**:训练和推理过程中的数据问题,自回归会使未见过的数据偏差累积,未见过的数据可能导致危险行为[4][5] 2. **政府仿真软件及评价指标**:以北京交管局为例,使用基于国外的通用平台软件添加各种随机场景评估,评价体系不复杂,国内厂家能做类似软件[19] 3. **生成数据与大语言模型的关系**:生成数据基于已训练好的大语言模型框架,可提供优质数据,减少对真实数据的依赖[23] 4. **人员招聘来源**:从百度、美国公司、Vivo 等企业挖掘高端人才,应届生主要来自清华、北航、北邮、中科大、中科院和浙大等高校[25] 5. **国内与海外引进人才对比**:国内人才数学基础扎实,项目执行和攻坚能力强;海外引进人才眼界高,有新奇想法,工作规范[26][27] 6. **自动驾驶领域未来技术迭代**:短期无太大技术变革,重点是将大语言模型融入自动驾驶系统,若实现将带来巨大飞跃[28]