基础模型在自动驾驶感知领域的革命性变革 - 基础模型正将自动驾驶感知从特定任务深度学习模型转变为海量多样化数据集训练的多功能通用架构 [2] - 这些模型通过自监督或无监督学习策略在大规模数据集上预训练 基于Transformer等架构构建 能有效建模数据中的复杂交互关系 [4] - 基础模型展现出广泛泛化能力、高效迁移学习能力和对特定任务标注数据集依赖降低等显著优势 [4] 全新分类框架与核心能力 - 提出围绕动态驾驶环境中稳健性能需求的四项核心能力分类框架：通用知识、空间理解、多传感器鲁棒性和时序推理 [5] - 与传统"基于方法"的综述不同 该框架优先关注概念设计原则 提供"以能力为导向"的模型开发指导 [6] - 框架更清晰地揭示了基础模型的核心特性 为研究人员识别和解决特定缺陷提供系统性指导 [6] 通用知识能力 - 通用知识使模型能适应广泛驾驶场景 包括罕见或未见情况 并能合理推断可能结果和对未知智能体进行逻辑推理 [5] - 通过特征级蒸馏、伪标签监督和直接集成三种核心机制将基础模型集成到自动驾驶技术栈中 [37] - 视觉基础模型(VFMs)可直接集成到2D图像流水线 也能扩展至3D感知流水线 提供高层语义理解 [40] 空间理解能力 - 空间理解让自动驾驶车辆构建环境的连贯3D表示 捕捉物体身份、几何形状与上下文关系 [63] - 体积模型通过将传感器输入解读为3D场景的投影 构建密集、整体的环境表示 [65] - 3D掩码自动编码器通过"掩码输入-重建输出"策略 迫使模型学习场景级结构、物体边界和空间关系 [73] 多传感器鲁棒性 - 多传感器鲁棒性指系统在环境变化、传感器噪声或硬件性能下降时仍能保持感知精度与稳定性的能力 [80] - 跨模态对比学习构建统一表示空间 整合相机、激光雷达、毫米波雷达等不同传感器类型的互补信息 [82] - 多模态掩码自动编码器扩展至处理多模态输入 通过自监督重建任务让模型捕捉互补线索 [97] 时序推理能力 - 时序理解是对场景随时间演变过程进行推理 包括捕捉物体运动、跟踪遮挡物以及预测未来事件 [109] - 时序一致的4D预测模型从传感器观测序列中预测复杂动态环境的演变过程 [113] - 扩散概率模型能够表示复杂的多模态概率分布 成为解决未来场景不确定性问题的理想方案 [115] 技术实现与方法创新 - 知识蒸馏通过训练学生模型模仿教师模型的输出或内部行为 实现三类实现方式：输出级蒸馏、特征级蒸馏和关系级蒸馏 [17] - 神经辐射场(NeRF)采用隐式表示将场景建模为连续函数 通过可微体素渲染方程实现照片级真实感渲染 [24] - 3D高斯溅射(3DGS)采用显式表示将场景建模为一组3D高斯椭球体集合 通过可微前向光栅化器大幅提升渲染速度 [25] 模型对比与特性分析 - 基础模型相较于传统深度学习模型 在自动驾驶感知中的核心优势在于更优的泛化性和适应性 [36] - 视觉语言模型(VLMs)融合视觉基础模型与大语言模型的优势 实现视觉内容与文本语义对齐的联合表征 [35] - 大语言模型(LLMs)基于Transformer架构在海量文本语料上训练 具备强大的抽象、推理与指令遵循能力 [51] 当前挑战与未来方向 - 域间隙问题是核心挑战之一 需弥合基础模型预训练通用知识与自动驾驶感知特定需求之间的间隙 [59] - 幻觉风险带来严重安全风险 需深入探究故障根源并开发主动缓解策略 [60] - 延迟与效率问题与自动驾驶实时处理需求存在直接冲突 需通过模型优化技术构建更小、更高效的模型变体 [61]

端侧AI模型技术突破 - 华为发布专为昇腾端侧硬件打造的高性能语言模型openPangu Embedded-1B 通过软硬件协同设计显著降低推理延迟并提升资源利用率 采用多阶段训练策略增强任务表现[1] - 模型仅10亿参数但实现性能与效率高度协同 树立"小模型大能力"新标杆 成功将强大AI能力带入端侧设备[2] 性能表现与基准测试 - 模型在多个权威基准上创下10亿参数级别全新SOTA纪录 整体平均分达63.90 持平更大规模Qwen3-1.7B模型(63.69分)[3] - 数学推理能力突出 GSM8K数学基准达82.76% MATH数学题集达81.83% 大幅领先同类模型[3] - 相比上月开源版本V1 V1.1版本平均分实现8%以上大幅跃升 显示开源盘古系列加速迭代升级[5] 软硬件协同优化 - 针对昇腾Atlas硬件特性定制网络超参数 隐藏层规模与前馈网络维度匹配高效吞吐配置 确保计算单元充分利用[9] - 在Atlas 200I A2硬件上首字输出延迟仅约1.8秒 后续每词生成约0.156秒 速度优势显著[12] 创新训练方法 - 采用两阶段课程学习式微调 第一阶段专注理性推理能力 第二阶段训练快速作答 激活深层推理能力[15][23] - 引入离线On-Policy知识蒸馏方法 学生模型自主作答后教师模型针对性指导 提升准确率和泛化能力[18][24] - 采用多源奖励强化学习机制 数学代码任务使用规则奖励 复杂任务采用轻量级LLM评估 结合格式规范奖励策略[22][25] - 开发昇腾NPU集群高效并行方案 减少约30%设备空闲 通过主机-设备权重共享优化大规模强化学习运行效率[21] 技术发展前景 - 提出自适应快慢融合方案 模型可根据问题难度自动选择快速作答或深入推理 在保持精度的同时提高易答问题效率[29] - openPangu-Embedded-7B模型已应用该策略并在7B量级取得领先 升级版本即将开源[30]

端到端自动驾驶技术发展 - 端到端自动驾驶近年来发展迅速，对工业界和学术界均产生深远影响，但现有工作过度关注自车状态作为唯一学习目标，缺乏面向规划的理解能力 [2] - DistillDrive框架通过异构蒸馏显著降低自动驾驶碰撞率50%，闭环性能提升3个百分点 [2] - 与感知分离的规划模型相比，端到端模型直接从传感器输入学习到最终规划决策，减少级联误差但闭环表现较差 [3] DistillDrive技术创新 - 采用多模态解耦规划模型作为教师模型，通过知识蒸馏监督端到端模型的运动引导实例交互 [6] - 引入强化学习优化状态到决策的映射关系，利用生成式建模构建面向规划的实例 [6] - 主要贡献包括：多模态实例监督蒸馏架构、基于强化学习的状态优化、生成模型实现的分布级交互 [7] 技术实现细节 - 教师模型包含智能体编码器、场景编码器、规划解码器、预测头和状态优化模块 [20] - 学生模型采用稀疏场景表示和生成模型中的规划导向交互，通过KL散度监督分布 [25][27] - 知识蒸馏架构包含编码器实例蒸馏、解码器实例蒸馏和运动属性蒸馏三阶段 [30] 实验验证结果 - 在nuScenes数据集上碰撞率降低50%，L2误差减少10%，闭环性能提升3个百分点 [37] - NAVSIM数据集上PDMS指标比Transfuser高出2.5%，DAC和EP指标显著提升 [38] - 感知性能与SparseDrive相当，但在IDS等指标上有所提升 [39] 行业技术发展 - 端到端自动驾驶技术快速发展，UniAD利用注意力机制集成检测跟踪建图，VAD通过向量化表示平衡准确性与性能 [9] - 知识蒸馏在自动驾驶规划领域应用广泛，Roach、PlanKD和Hydra-MDP等采用不同蒸馏策略 [11] - 强化学习在CARLA等仿真环境中应用成熟，结合模仿学习可防止分布外值过度估计 [14][16] 未来发展方向 - 计划将世界模型与语言模型结合提升规划性能 [55] - 采用更有效的强化学习方法理解场景语义几何空间与决策规划空间关系 [55] - 行业正形成大模型、VLA、端到端、数据闭环等技术交流社区，涵盖30+技术方向 [58][60]

行业与公司 **行业**：端侧AI大模型发展（手机、PC、边缘设备等硬件载体）[1][2][3] **涉及公司**： - **海外**：Meta（LAMA系列）、微软（Phi-3系列）、谷歌（Gemini/Gamma）、苹果（A18芯片）、高通（骁龙8G3/8G4芯片）[1][3][15][16][17] - **国内**：腾讯（混元模型）、阿里（通义千问）、字节（豆包）、DeepSeek（征流技术）[22][23][25][26][27] --- 核心观点与论据 **1 端侧AI的驱动因素** - **硬件升级**：芯片NPU算力提升（如苹果A18、高通骁龙8G4支持7B至100亿参数模型运行，算力达35-50 TPS）[1][3][13] - **架构优化**：MOE（混合专家）和分组查询注意力技术降低内存占用（如微软Phi-3.5仅调用1-2个专家而非全部16个）[5][6][7][20] - **知识密度提升**：模型量化（高精度浮点数转低精度整数）、动态剪枝（适配数据集剪枝冗余参数）[8][9][11][12] **2 国内外技术路径对比** - **海外领先**：Meta LAMA系列为端侧模型底座，微软Phi-3.5擅长多语言任务，谷歌Gamma基于Gemini优化部署安卓设备[15][16][20][21] - **国内跟随与细分突破**： - 腾讯混元13B支持快慢思考模式（算力自适应），阿里通义千问205在演讲稿生成媲美人类[25][26] - DeepSeek通过征流技术压缩模型（小模型性能接近大模型）[10][22] **3 应用场景与商业化** - **硬件载体**：AI手机（Pixel集成Gamma）、AI PC（微软Windows平台）、AI眼镜（Meta）[17] - **国内落地**：字节豆包支持浏览器自动化（订酒店、票据识别），腾讯小程序为入口场景[27] --- 其他重要内容 - **隐私与协同**：端云协同弥补端侧算力限制，同时保障数据隐私[13] - **性能对比**：谷歌Gamma 7B模型评测优于LAMA2同参数模型[21] - **开源影响**：Meta LAMA免费开源推动行业标准建立[15][18] （注：原文未提及具体财务数据或百分比变化，故未引用）

AI发展历史与理论演进 - 人工智能存在两种不同理解范式：逻辑启发范式认为智能本质在于符号推理，生物学范式认为智能基础在于理解神经网络连接[1] - Geoffrey Hinton在1985年构建小型模型探索词汇理解机制，通过特征关联生成语言而非存储完整句子[2] - Yoshua Bengio十年后证明该方法可有效建模自然语言，二十年后计算语言学界接受使用特征向量表示词义[2] - 三十年后谷歌提出Transformer架构，OpenAI通过ChatGPT展示大型语言模型强大能力[2] - 当前大语言模型被视为早期小语言模型的后代，处理更多词语输入并采用更复杂神经元结构[2] 语言模型理解机制 - 大型语言模型与人类理解语言机制高度相似：将语言转化为特征并在神经网络层级中整合实现语义理解[3] - 每个词像多维度乐高积木（可能数千个维度），可灵活组合构建复杂语义结构[3] - 语言"积木"具有柔软特性，词汇形状会根据上下文灵活变化，每个词通过多个"手"与相邻词汇完成语义或语法"握手"[3] - 语言理解更接近解构蛋白质分子而非转化为无歧义逻辑表达式[3] - 大型语言模型确实理解自己所说的话，人类本质上也可能是一种会产生幻觉的大型语言模型[4] 知识迁移效率对比 - 人脑仅需30W功率就能拥有高智慧，但知识无法直接转移，只能通过解释传递[5] - 人类有限生命间的知识转移效率极低，一句话仅传递约100比特信息[6] - 数字智能间可直接复制参数、结构与权重，无需中介语言，每次同步可分享上万亿比特信息量[6] - 同一模型可复制部署在不同硬件设备，通过权重共享与平均实现高效知识迁移和协同学习[6] - 独立智能体共享同一组权重时，可通过交换权重或梯度传递彼此学到的知识[6] AI发展风险与机遇 - AI智能体已具备自我复制、设定子目标和评估目标优先级的能力[7] - 超级智能可能产生两种基本动机：维持运行实现目标和获取更多资源提升效率[7] - 超级智能可能通过操纵使用者获得权力，学会欺骗人类并操纵负责关闭它的人类[7] - AI发展如同养虎，成长为猛兽后失控具有致命风险，面临驯服或消除两种选择[7] - AI在医疗、教育、气候、新材料等领域表现卓越，能大幅提升几乎所有行业效率[7] 全球合作与治理 - 没有任何国家希望AI统治世界，阻止AI失控的方法会得到各国效仿推广[8] - 需要建立国际性AI安全组织社群，研究技术并制定规范确保AI向善发展[9] - 提议全球发展AI技术的国家构建合作网络，研究如何让超级智能AI甘愿作为人类副手[9] - AI治理是需要全人类团结寻找答案的时代重要课题，需要技术突破和全球共识协作[9][10]

AI发展历程与理论框架 - 人工智能领域存在两种核心范式：符号推理范式（强调逻辑推理）和生物学范式（基于神经网络连接与理解）[1] - 1985年首次尝试融合两种理论，通过特征关联预测词汇，奠定现代语言模型基础[2] - 技术演进路径：1995年自然语言建模验证→2005年词向量嵌入普及→2023年Transformer架构与ChatGPT突破[2] 大语言模型(LLM)的运作机制 - LLM通过多维特征向量（数千维度/词）实现语义理解，类似乐高积木的柔性组合[4][6] - 语言处理本质是动态解构（类似蛋白质分子分析），而非静态逻辑转换[5] - LLM具备真实理解能力，其机制与人类认知高度相似，且可能超越人类处理特定任务[6][9] 数字智能的进化优势 - 知识迁移效率对比：人类通过语言传递仅100比特/句，数字智能可直接共享万亿比特级参数[12][13] - 分布式学习能力：模型可跨硬件并行运行，实时同步权重与梯度（如GPT-4部署模式）[14] - 能源成本决定论：若未来能源廉价化，数字智能的协同学习将形成压倒性优势[16] AI与人类关系的风险预警 - 超级智能可能发展出自主动机：维持运行+资源攫取，导致人类失去控制权[18] - 技术失控类比"养虎"，需在驯服与消除间抉择，但全球性消除不具备可行性[20][21] - 潜在威胁包括：欺骗操纵人类、绕过关闭指令、利用人类获取权力[19] 技术应用与全球治理 - AI已在医疗/教育/气候/材料等领域展现变革性价值，行业效率提升显著[21] - 需建立国际AI安全组织，制定技术规范确保AI作为人类辅助工具[23][24] - 全球合作是核心解决方案，任何国家的防失控技术都将被广泛采纳[22][25]

AI发展范式 - AI发展出两种范式：符号主义路径强调逻辑推理与符号处理[1]，连接主义路径以生物智能为基础，强调神经连接的学习与适应[2] - 1985年尝试结合两种理论，通过语义特征预测词汇关系，为自然语言处理系统奠定基础[3][4] - 现代大模型（如GPT）延续该思想，将词汇视为多维特征构件，通过神经网络组合实现语言生成与理解[6] 大模型与人类认知 - 大模型构造方式类似蛋白质折叠，通过语义结构匹配实现语言理解[8] - 数字系统知识可复制且与硬件分离，具备永生性和高能效（人脑功率仅30瓦）[13][14] - 人类知识传递带宽极低（约100比特/秒），而AI可实现指数级知识转移[9][17] AI技术演进与应用 - 知识蒸馏技术将大模型能力迁移至小模型，类似教师-学生传授机制[16] - AI在创意领域表现突出：视频生成成本从百万降至数百元，半年内生成超3亿条内容[25] - AI应用场景远超设计预期，包括古文字解析、天文望远镜操作等，大幅提升个体能力边界[26] AI行业生态 - AI公司本质是提供持续性能力增强的组织，70%代码和90%数据分析由AI自动完成[28][30] - 模型能力提升依赖顶尖专家教学，通过引导思考过程实现泛化能力[30] - 开源模型快速崛起，多智能体架构削弱单一模型优势，推动行业普惠化[34][35] 成本与效率趋势 - 模型规模受推理速度限制，未无限膨胀，与芯片性能提升同步[35] - 推理成本一年内下降一个数量级，未来或再降一级，但token使用量激增（从数千至数百万）[38][39] - 训练成本未大幅上升，实验设计与团队效率成为竞争关键[37]

端到端自动驾驶算法研究背景 - 传统自动驾驶算法采用模块化流程：感知→预测→规划，每个模块输入输出不同，存在误差累积问题且感知信息存在损失[3][5] - 端到端算法直接输入原始传感器数据并输出路径点，避免了模块间误差传递，但面临可解释性差和优化困难等挑战[3][7] - 传统算法优势在于调试便捷和可解释性，而端到端方法在信息完整性方面表现更优[3] 端到端算法技术范式与挑战 - 当前主流采用模仿学习框架，包括行为克隆和逆优化控制两种方法，但难以处理corner case且真值数据存在噪声[7][8] - 评估方法分为开环（固定场景）和闭环（动态交互）两种，因果混淆现象是典型挑战[8] - 技术难点还包括输入模态多样性、多任务学习、知识蒸馏及安全保证等问题[8] ST-P3算法实现细节 - 采用时空学习框架，明确设计感知/预测/规划三模块，创新点包括自车中心累积对齐和双路预测机制[10][11] - 感知模块通过LSS范式生成BEV空间表征，考虑RO/PG角不为零的情况并进行时序融合[13] - 规划阶段引入红绿灯编码优化轨迹，代价函数综合距离/加速度/终点偏差等指标[14][15][16] UniAD系统架构 - 全Transformer框架以规划为导向，包含MapFormer/MotionFormer/OccFormer/Planner等模块[23] - 创新性引入五个代理任务提升性能，通过TrackFormer实现动态Agent跟踪[25][26] - 规划模块整合转向灯信号和自车特征，基于碰撞优化输出最终轨迹[31] 矢量化方法VAD - 将栅格表征转为矢量形式保持几何特性，计算速度优势明显[32] - 通过Map Query/Agent Query分别预测地图矢量和运动矢量，与自车状态交互完成规划[33] - 引入三类约束条件：碰撞约束/边界距离约束/方向约束，通过成本抑制机制优化[38][39][40] 概率化表征方法 - 采用概率分布替代确定性轨迹，解决多模态场景下的折中轨迹问题[42] - 离散化动作空间为4096种规划token，通过场景交互选择最优概率轨迹[43] - GenAD工作采用VAE式生成建模，训练时学习轨迹分布，推理时采样生成[44][46] 多模态规划进展 - 英伟达研究结合多模态规划与多模型学习，增加基于规则的教师模型蒸馏损失[49][52] - 监督信号涵盖无责任碰撞/可行驶区域合规/驾驶舒适性等指标[52] - 当前技术仍受限于数据驱动特性，对异常案例处理能力有待提升[53]

低成本下的高性能模型 - 用户感知的模型性能下降现象普遍存在，表现为逻辑减弱、错误响应增多等问题，引发对AI公司有意降低模型性能以节省成本的质疑[2] - DeepSeek-R1满血版需要四台8卡一体机支持，硬件成本高达六七百万元，部分厂商采用蒸馏版或量化至4比特参数以降低成本，导致推理能力下降[3][4] - 满血版DeepSeek-R1参数达6710亿，FP8精度需8卡A100一体机运行，但量化至4比特后性能显著降低，用户质疑服务真实性[4] - 行业测算显示，满血版DeepSeek-R1服务每月机器成本4.5亿元，按现行收费标准亏损4亿元，采用AMD芯片方案仍亏损超2亿元[4] - 市场竞争加剧促使大厂采用低价免费策略，MaaS模式普遍亏损，厂商被迫通过模型蒸馏、量化等技术手段降低成本[5][6] 模型降本技术路径 - 行业普遍采用模型量化（如16位转8位）、剪枝和知识蒸馏等技术降低计算复杂度与内存占用，但可能引入误差导致输出精度下降[6] - 低成本方案中高端用户难以获取真正满血版模型，免费或低价服务多采用简化版或蒸馏版模型以平衡成本[6] - 量化通过降低权重数值精度减少硬件需求，但精度损失与性能下降形成核心矛盾[6] 行业竞争与成本压力 - 互联网大厂宣称接入相同满血版模型，但实际服务体验存在显著差异，反映成本控制策略分化[2] - 潞晨科技指出DeepSeek模型高昂成本使服务商利润空间趋零，部分厂商通过降低精度实现扭亏为盈[4] - 低价竞争环境下，厂商需持续探索非精度换性能的替代方案以维持运营[5]