混合现实(MR)眼镜
搜索文档
AI「看见」实验,哈佛颠覆性突破,一副AR眼镜,新手秒变资深专家
36氪· 2025-11-18 12:19
文章核心观点 - 哈佛大学刘嘉教授团队研发的人机共融智能系统通过深度融合人类研究者、具身AI智能体与MR/AR硬件构建了能共同感知、推理并参与真实世界实验和制造过程的集成化智能平台[13][19][20] - 该系统包含APEX和Agentic Lab两套平台分别应用于微纳加工和生命科学实验旨在解决人类试错成本高与AI和物理世界脱节的难题实现人机优势互补[13][17][18][39][40] - 人机共融智能范式标志着从追求AI替代人类到追求AI与人类共生的转变让智能通过人类的双手延伸进物理现实[41][43][44] 技术平台与系统构成 - APEX系统通过混合现实眼镜以8K分辨率32ms超低延迟捕捉研究员手部动作和视线环境内部由规划、上下文、步骤跟踪、分析四个智能体协作实现微纳制造场景的人机共研[21][22][23] - Agentic Lab系统通过增强现实眼镜进入生命科学世界以虚拟PI MolAgent为核心连接知识检索、多尺度数据分析、单细胞分割等多个子智能体模块实现实验协作[25][26][27] 性能与实测结果 - APEX在工具识别和步骤追踪任务中的准确率比GPT-4o、Gemini等多模态模型高出24%至53%在动态物理环境下表现出领先的稳定性和理解力[24] - Agentic Lab的ObserverVision在关键帧判断上与专家的一致率达到72.3%部分一致率为9.2%合并一致率超过80%实现了生命实验场景的有效人机协作[28] 核心能力与应用效果 - 具备实时纠错能力能在操作人员输错参数或操作超时瞬间发出警报避免整批样品报废或实验失败实现零失误操作[34] - 具备自动记录与分析能力能结构化记录操作参数、设备读数和环境快照形成可搜索的数字化实验日志实现科研全链条可追溯[36][37] - 具备技能迁移与智能共研能力通过3D视觉和语音指导使新手在仅一次训练或示范后操作水平接近专家大幅缩短学习周期[38] 行业影响与未来展望 - 人机共融智能体系将拓展至柔性电子、生物医学、化学合成、组织制造等跨学科领域构建自进化的实验生态[42] - 该范式让AI从数字世界走进物理现实与研究员共同改变从芯片到细胞从器件到类器官的科研与制造流程[39][40][45]