课程核心观点 - 自动驾驶技术正从模块化量产算法向端到端和视觉语言动作模型演进，掌握相关前沿技术对职业发展至关重要 [1] - 行业端到端和视觉语言动作模型岗位即将饱和，为从业者留下的窗口期已不多 [1] - 推出《端到端与视觉语言动作模型自动驾驶小班课》和《自动驾驶视觉语言动作模型和大模型实战课程》，旨在帮助学员快速高效入门 [1] 自动驾驶视觉语言动作模型与大模型实战课程 - 课程聚焦视觉语言动作模型领域，内容涵盖从视觉语言模型作为自动驾驶解释器到模块化、一体化及当前主流的推理增强视觉语言动作模型 [1] - 课程配套理论基础梳理，包括视觉、语言、动作三大模块、强化学习、扩散模型等，并设有大作业章节指导学员从零搭建自己的视觉语言动作模型及数据集 [1] - 由学术界专家带队，适合刚接触大模型和视觉语言动作模型的学员 [1] 端到端与视觉语言动作模型自动驾驶课程 - 课程聚焦端到端自动驾驶宏观领域，梳理一段式/两段式方向的重点算法和理论基础，详细讲解鸟瞰图感知、大语言模型、扩散模型和强化学习 [9] - 课程设计两大实战项目：基于扩散模型的Diffusion Planner和基于视觉语言动作模型的ORION算法 [9] - 由工业界专家带队，讲师为国内顶级主机厂算法专家，拥有端到端算法研发和产品量产交付经验 [9][11] 师资团队 - 讲师团队由学术界和工业界专家组成，包括清华大学硕士生、QS30高校博士等，在ICCV、IROS、EMNLP等顶级会议发表多篇论文 [6][8][11] - 团队拥有多模态感知、自动驾驶视觉语言动作模型、大模型Agent等前沿算法预研经验，并主持完成多项自动驾驶框架工具和产品量产 [6][8][11] - 一位讲师在GitHub上维护的自动驾驶与计算机视觉开源项目总Star数已超过2k [6] 目标学员与技术要求 - 学员需自备GPU，推荐算力在4090及以上 [12] - 要求具备一定的自动驾驶领域基础，熟悉基本模块，了解Transformer大模型、强化学习、鸟瞰图感知等技术概念 [13] - 需具备概率论、线性代数基础及Python和PyTorch编程能力 [13]