文章核心观点 - 文章提出构建第一人称视角程序性AI助手（EgoProceAssist）的概念，旨在通过可穿戴设备辅助人们完成日常程序性任务，例如烹饪、装配等 [6] - 该研究首次系统性地总结了构建此类助手所需的三大核心技术任务：第一人称视角程序性错误检测、程序学习和程序问答，填补了现有综述的空白 [1][2] - 通过补充实验验证，现有主流视觉语言模型和AI代理在辅助程序性任务方面表现不足，存在巨大发展空间 [7][8][23] 核心技术任务分类与总结 - **第一人称视角程序性错误检测**：根据输入数据模态划分为仅需视频数据的方法和需要多模态数据的方法，程序性错误检测不同于视频异常检测，它关注于步骤序列中的特定顺序约束 [9][11] - **第一人称视角程序学习**：按照监督水平划分为无监督、弱监督和自监督三大类，其核心目标是识别出对实现目标真正重要的关键步骤序列，过滤无关动作 [14][15][16] - **第一人称视角程序问答**：根据算法结构分为以大型语言模型为固定推理引擎的方法和专门训练理解第一人称视角视频的模型两类，后者能更好地捕捉细微的视觉差异和时空关系 [17][19][20] 补充实验发现 - **程序性错误检测实验**：在CaptainCook4D数据集上，传统方法EgoPED的精确度为56.5，EDA为69.8，而主流VLM如Video-LLaVA的精确度为40.1，EDA为60.8，显示出现有模型识别程序性错误的能力有限 [25][26] - **程序学习实验**：在EgoProceL数据集的电脑装配任务中，传统方法RGWOT的F1分数为43.6，IoU为28.0，而AI代理Vinci 7的F1分数仅为14.1，IoU为7.5，表明现有方法在关键步骤识别和时间定位上准确性不足 [27][28] 行业面临的挑战 - **数据稀缺**：现有第一人称视角视频数据集场景单一，缺乏多样性，且与程序性任务相关的细粒度动作标注较少 [29] - **理解能力有限**：现有模型难以捕捉程序性活动中的逻辑和时间依赖关系，在计算效率、语义理解和多模态信号整合方面存在困难 [30] - **实时性不足**：严重依赖人工标注限制了在真实世界环境下的实用性，目前很少有方法能在实时在线环境中有效运行 [31]