当城市早高峰的车流数据实时涌入交通管控系统，当医院的心电图仪持续记录患者的心脏电活动，当股票交易所的行情面板每秒刷新数十次股价波动——这些伴 随时间流逝不断产生的"时间序列数据"，早已成为现代社会运转的"数字脉搏"。从金融风控、医疗诊断到能源调度、交通管理，几乎所有关键领域的决策，都依赖 于对这些 时序数据 的深度解读。 过去数十年间，时间序列分析领域涌现出了从经典统计模型（如ARIMA、ETS）到深度学习方法（如LSTM、Transformer）的大量技术，它们在"预测未来""识别 异常"等基础任务上取得了显著进展。例如，早期用LSTM预测未来24小时的城市用电量，用CNN检测心电图中的心律失常片段，这些传统技术早已落地于实际场 景。 但随着应用需求的不断升级，传统方法的"能力边界"逐渐显现。在个性化医疗场景中，医生不仅需要模型判断"患者是否存在心律异常"，更需要知道"异常与哪些 生理指标、哪个时间段的活动相关"；在自适应风险管理中，基金经理不仅需要股价预测结果，更需要理解"若政策调整，股价可能如何变化"的因果逻辑；在 autonomous 交通系统中，控制器不仅要检测拥堵，还需实时调整信号策略并验证效果— ...

大模型演进与安全挑战 - 人工智能从单一文本交互发展到多模态理解与智能体自主决策阶段 能力上限持续扩张但安全风险呈指数级增长 [2] - 越狱攻击通过精心设计的输入或环境扰动绕过模型安全机制 诱导生成违法有害内容 可能引发虚假信息传播和网络攻击等严重后果 [2] - 现有研究缺乏对LLMs-MLLMs-Agents全演进链路的系统性梳理 尚未形成统一的攻击分类框架和评估标准 [2] 研究综述核心贡献 - 系统追溯大模型从LLMs到MLLMs再到Agents的发展脉络 构建越狱攻击分类体系 [3] - 梳理数据集 评估指标与防御策略的最新进展 指出当前研究局限与未来方向 [3] - 核心贡献包括完整呈现演进路径与安全挑战 从双视角对越狱技术分类 解析实验设计 体系化防御策略和提出未来方向 [4] 大语言模型(LLMs)发展 - Transformer架构的自注意力机制实现全局语境建模与并行计算 为超深网络训练奠定基础 [8] - 模型性能随参数 数据量 算力增长而提升 从BERT的3.4亿参数到PaLM的5400亿参数 [9] - 模型能力涌现链式推理和上下文学习等高级能力 InstructGPT通过指令微调和RLHF优化交互效果 [9] - LLMs仅能处理文本模态 易受训练数据偏见和提示操纵影响 早期越狱攻击集中于文本层面操纵 [11] 多模态大语言模型(MLLMs)发展 - MLLMs通过跨模态对齐和联合表示学习实现图像音频等非文本信息与文本语义关联 [12] - 能力扩张带来全新安全风险 多模态输入复杂性使攻击面显著扩大 攻击者可利用视觉漏洞和音频漏洞诱导有害内容生成 [13] - 越狱攻击更具隐蔽性 多模态信息融合可能掩盖单一模态中的恶意信号 防御机制难以精准识别 [15] 智能体(Agents)发展 - Agents定义为能够感知环境自主采取行动的智能实体 由核心 规划 工具和记忆四大组件构成 [17][21] - 应用场景从被动响应转向主动执行 带来最严峻的安全挑战 攻击目标变为篡改决策行为 [17] - 攻击者可能通过污染长期记忆或利用工具调用漏洞使Agents执行恶意行动 引发跨Agent的攻击传播 [17] 越狱攻击双维度分类 - 从攻击影响维度细分为攻击阶段与干预层级 攻击阶段包括训练期和推理期攻击 干预层级包括提示层 推理层和模型层攻击 [25][26][28][29][31][32] - 从攻击者权限维度分为白盒攻击和黑盒攻击 白盒攻击可访问模型内部信息进行精准打击 黑盒攻击仅通过输入输出交互进行盲测 [32][35][36] 数据集现状与局限 - 现有数据集按数据来源分为LLM自动生成 搜索引擎检索和人工制作 按数据格式分为问答格式 指令格式和有害句子图像格式 [38][39][40][41] - 存在动态性不足 语言与文化局限 多模态与多轮场景覆盖少三大局限 静态数据集难以跟上快速迭代 英文为主缺乏多语言覆盖 [43] 评估指标分类与应用 - 主流评估指标分为人工评估 Perspective API评估 LLM评估 关键词词典评估和自定义评估五类 [44][46][47][48][50][53][55] - 多方法融合成为趋势 先用关键词词典初步筛选 再用LLM评估批量处理 最后对高争议样本人工审核 [58] - 不同评估方法在各类模型上表现差异显著 例如GCG在AdvBench数据集上对GPT-3.5攻击成功率达90% 但对GPT-4V仅为35% [57] 防御策略体系 - 按防御响应时机分为输入防御 输出防御和联合防御 输入防御源头阻断恶意输入 输出防御结果审核有害内容 联合防御融合多阶段策略 [59][61][62] - 按技术手段分为规则启发式防御 ML/DL防御 对抗检测防御和混合策略防御 混合策略防御成为应对复杂攻击的主流方向 [62][65][66][69][70] - 当前防御存在多模态防御能力不足 智能体防御滞后和防御与能力平衡难三大挑战 [70] 现存局限与未来方向 - 四大核心局限包括数据集多样性模态覆盖与动态性不足 评估方法缺乏统一标准 攻击技术泛化性差和防御技术被动响应 [74][75][76][77] - 五大未来方向包括构建动态多模态多语言数据集 优化评估框架建立统一标准 突破攻击技术泛化性 研发主动防御技术和重视伦理与监管 [79][80][81][82][83] - 大模型安全研究进入全链路多模态多智能体协同防御新时代 需突破现有瓶颈兼顾伦理与监管构建稳健生态 [85]

大语言模型效率挑战与架构演进 - 大语言模型（LLMs）如GPT、Claude、Gemini等在语言理解、生成、代码生成等任务取得突破，但模型规模和数据量快速扩张导致算力和存储资源消耗急剧增加，训练与推理成本居高不下成为应用瓶颈 [2] - Transformer架构的自注意力机制存在O(N²)计算复杂度问题，在长序列任务中成本高昂，FFN部分的密集MLP层也面临效率问题 [3] - 新兴应用场景如RAG、智能体、长链推理和多模态进一步放长了序列需求，加剧了效率与性能之间的矛盾 [3] 高效架构研究综述 - 上海AI Lab联合多家机构总结440余篇论文，形成82页综述论文《Speed Always Wins: A Survey on Efficient Architectures for Large Language Models》，系统梳理LLM高效架构最新进展 [5][7] - 综述将高效架构分为7大类：线性序列建模、稀疏序列建模、高效全注意力、稀疏专家模型、混合模型架构、扩散语言模型和其他模态应用 [6][8] - 研究目标是在算力受限条件下持续推动AI发展，涉及方法类别和代表性论文已形成完整组织架构 [8][10] 线性序列建模技术 - 线性序列建模是研究热点方向，包括Mamba、Lighting Attention、RWKV等代表性工作，通过降低注意力训练和推理复杂度，无需KV Cache开销 [6][11] - 这些方法可概括为统一建模数学形式，通过线性化过程将预训练模型的Softmax Attention架构转为Linear Sequence Modeling架构，实现效率大幅提升 [11] - 具体分为线性注意力、线性RNN、状态空间模型和测试时推理RNN四类，从记忆视角和优化器视角进行统一对比 [12][14][15] - 线性化技术进一步细分为基于微调的线性化和基于蒸馏的线性化 [15] - 硬件高效实现方法包括Blelloch Scan、Chunk-wise Parallel和Recurrent for Inferences三种范式 [17] 稀疏序列建模方法 - 稀疏序列建模利用Attention Map天然稀疏性加速计算，分为静态稀疏注意力、动态稀疏注意力和免训练稀疏注意力三类 [21][24] - 代表性方法包括Global Attention、Window Attention、Dilated Attention等，通过不同稀疏模式降低计算与显存需求 [21][23] 高效全注意力优化 - 高效全注意力在保持完整注意力前提下优化内存访问与KV存储，分为IO-Aware Attention、Grouped Attention、Mixture of Attention和Quantized Attention四类 [22][25] - IO-Aware Attention包含广泛使用的Flash Attention系列，Grouped Attention包含GQA、MLA等全注意力变体 [22][28] 稀疏混合专家系统 - 稀疏混合专家（MoE）已成为语言和多模态大模型架构事实标准，通过对FFN模块改进大幅提升模型容量而不增加计算成本 [26][27] - 分为路由机制、专家架构和MoE转换三个方向，路由机制包括Token-choice和Expert-choice两类 [27][29][31] - 专家结构创新包括共享专家、细粒度专家、零专家、深度路由等 [31][33] - MoE转换通过Split、Copy、Merge等手段构造专家 [33] 混合架构设计 - 混合架构在线性/稀疏注意力和全注意力间取得平衡，分为层间混合和层内混合两种形式，在效率与效果间找到最佳平衡点 [34][35][37] 扩散语言模型进展 - 扩散大语言模型将扩散模型从视觉生成迁移至语言任务，在生成速度上取得大幅进步，分为非自回归扩散LLM、桥接扩散与自回归LLM以及扩展至多模态三类 [38][39][40][42] 多模态应用扩展 - 高效架构已扩展至视觉、音频和多模态领域，以Mamba为代表的线性模型在分类、检测、分割、生成、医疗、自动驾驶等多个视觉任务取得优秀表现 [43][44] - 在音频领域应用于理解、增强与生成任务，多模态领域涵盖理解与统一模型 [43][44] - 应用案例包括InsectMamba、V-MoE、Audio mamba、MaTAV等众多模型 [44]

相信我们的读者都对 AI 顶会有非常大的关注和热情，有的读者最近可能刚从 NeurIPS rebuttal 脱身，又开始为下一篇做准备了。 作为推动技术革新与思想碰撞的核心引擎，顶级学术会议不仅是整个学界的生命线，更是我们洞察未来的前沿阵地。 随着 AI 领域近些年的蓬勃发展，如 NeurIPS、ICML 和 ICLR 等大型学术会议也越来越出圈。 然而，这一成功也带来了代价。当前集中化的线下会议正因自身的体量而捉襟见肘： 很具代表性的会议自然是饱受争议的 NeurIPS 2025，不仅被逼近 30000 篇的海量论文搞的焦头烂额，陷入低质评审风波，甚至闹出了「Who's Adam」的 笑话。而且也因出席人数激增及美国签证问题开放了墨西哥分会场。 这些现象引发一个关键问题： 如果按现在的热度趋势发展下去，AI 学术会议模式是否是可持续的？ 新加坡国立大学何丙胜教授团队对当前人工智能学术会议进行了深入的调查研究，分析了传统会议模式的弊端，也尝试提出了一些新的会议模式，发表了 一篇立场论文。 论文标题：Position: The Current AI Conference Model is Unsustainab ...

AI学术会议现状与挑战 - AI顶会如NeurIPS、ICML和ICLR影响力扩大但面临可持续性问题，NeurIPS 2025因30000篇投稿和低质评审陷入争议[3][4] - 过去十年AI领域人均年发表量翻倍至4.5篇，预计2040年代将超每月一篇[7][22] - NeurIPS 2024差旅碳排放达8254吨CO2e，超温哥华全市日均排放量[7][23] - Reddit社区71%会议相关评论为负面，35%涉及心理健康问题[7][28] 传统会议模式的结构性问题 - 论文数量指数增长导致同行评审系统过载，研究周期快于会议安排使成果过时[16][18] - 教职员工人均贡献增速远超人力增长，对其他计算机子领域产生"虹吸效应"[19][22] - 场馆容量不足（如NeurIPS 2024限18000人）造成参与不平等，损害社区建设[31] 新型会议模式探索 - 社区联合型会议（CFC）提出三层架构：全球评审平台、区域展示中心、数字协作层[38][39][40] - CFC通过滚动评审减轻审稿压力，区域中心减少90%差旅排放，数字层保障知识传播[8][40] - 现行多会场模式（如NeurIPS 2025墨西哥分会场）未解决评审集中化与分层问题[34][37] 学术生态深层矛盾 - "不发表就出局"文化催生低质量论文，资深学者缺乏改革动力形成系统性僵局[11][13] - AI研究每7个月能力翻倍，与会议周期脱节导致46%成果展示时已过时[30] - 投稿接收量线性增长而拒稿量指数上升，加剧审稿负担与作者挫败感[30]

纪要涉及的行业 人工智能行业 纪要提到的核心观点和论据 智能范式 - 逻辑启发范式认为智能本质是推理，通过符号规则操作符号表达式实现，应先理解知识如何以符号表达形式表示，学习可暂缓 [7] - 后续发展：10 年后 Yoshua Bengio 展示该方式可建模真实自然语言，20 年后计算语言学家开始接受“特征向量（嵌入）”，30 年后谷歌发明 Transformer，OpenAI 展示其强大能力 [13] 大语言模型 - 大语言模型理解语言方式与人类相似，将词转化为能和其他词配合的特征向量，确实“理解”所说的话 [16] - 用乐高类比词语运作，词语像高维乐高积木可建构事物，且建构能传达给他人，词语有灵活性可根据上下文变形，理解句子更像折叠蛋白质分子而非转化为明确逻辑表达 [20][24] - 理解句子是为词分配彼此兼容的特征向量，大语言模型在很多方面像人类，与传统计算机软件不同，且在某方面远优于类比信号驱动的大脑 [28] 数字计算 - 计算机可在不同物理硬件上运行相同程序或神经网络，程序或神经网络权重中的知识是永生的，不依赖特定硬件 [33] - 为实现“永生性”让晶体管高功率运行表现出可靠二进制行为，无法利用硬件丰富类比特性，因其不稳定可靠 [37] 知识转移 - 解决知识从教师到学生转移问题的最佳方法是教师向学生展示各种输入的正确响应，学生调整权重给出相同响应 [41] - 普通句子约含一百比特信息，学生预测下一个词最多学一百比特信息，人类传达知识给他人效率低 [44] - 独立智能体完全共享同一组权重并以相同方式使用时，可通过交换权重或梯度传递知识，一次共享可达数十亿比特带宽，但要求智能体运作方式完全一致，必须是数字化的 [48] 计算对比 - 数字计算耗能大，但相同模型智能体易共享学到的知识；生物计算耗能少，但智能体间共享知识能力差；若能源便宜，数字计算更优 [51] 超级智能 - 人工智能被允许创建子目标时做事更有效，明显子目标是生存和获取更多权力以实现其他目标 [55] - 超级智能可操纵使用它的人类获取更多权力，学会欺骗人类并操纵负责关闭它的人 [58] 未来应对 - 各国不会在防御人工智能危险用途上合作，如网络攻击、致命自主武器、虚假视频操纵公众舆论 [64] - 训练不想夺取人类控制权的向善人工智能的技术，可能与使人工智能更智能的技术相对独立 [68] - 各国可设立资金充足的人工智能安全研究所与国内研究网络，专注研究让人工智能不想夺取控制权，且可共享相关技术而无需透露最智能人工智能的工作方式 [72] 其他重要但是可能被忽略的内容 - 人类在将自己学到的知识传达给他人方面效率非常低 [44]

基础模型在自动驾驶场景生成与分析中的应用 - 基础模型（Foundation Models）能够处理异构输入（如自然语言、传感器数据、高清地图和控制指令），实现对复杂驾驶场景的合成与解析 [2] - 文章提出了一个统一分类体系，涵盖大语言模型（LLMs）、视觉-语言模型（VLMs）、多模态大型语言模型（MLLMs）、扩散模型（DMs）和世界模型（WMs）在自动驾驶场景生成与分析中的应用 [2] - 传统场景生成方法存在多样性有限和难以生成真实高风险场景的问题，而基础模型可以解决这些挑战 [2] 语言模型在场景生成中的应用 - 使用GPT-4、Claude 3.5 Sonnet、Gemini 1.5 Pro等大语言模型生成安全关键场景 [9] - 采用CoT（Chain-of-Thought prompting）、ICL（In-Context Learning）、RAG（Retrieval-Augmented Generation）等技术 [9] - 在CARLA、MetaDrive、SUMO等仿真平台上测试生成的场景 [9] 视觉-语言模型在场景分析中的应用 - 使用BLIP2、InstructBLIP2、MiniGPT4等视觉-语言模型进行场景理解和视觉问答 [18] - 在nuScenes、Waymo Open等数据集上进行感知、预测和规划任务 [18] - 采用零样本学习、LoRA（Low-Rank Adaptation）等技术 [18] 扩散模型在场景生成中的应用 - 使用DDPM、DiT、LDM等扩散模型生成交通流和静态交通元素 [27] - 可以控制场景参数如速度、目标航点、交通密度等 [27] - 在nuScenes、Argoverse 2、WOMD等数据集上进行测试 [27] 世界模型在场景生成中的应用 - 使用GAIA-1、DriveDreamer等世界模型进行未来预测和场景生成 [33] - 采用自回归、扩散等架构 [33] - 在nuScenes、Waymo Open等数据集上进行训练和测试 [33] 数据集和仿真平台 - nuScenes、Waymo Open、DRAMA、HighD是最具影响力的数据集 [35] - CARLA、MetaDrive、LGSVL、SUMO是最常用的仿真平台 [36] - 这些资源为自动驾驶场景生成与分析研究提供了重要支持 [35][36]

大模型逻辑推理研究综述 核心观点 - 大模型研究从依赖扩展定律的预训练转向聚焦推理能力的后训练，逻辑推理能力成为解决幻觉问题的关键[1] - 大语言模型在逻辑问答和逻辑一致性方面存在显著缺陷，LLaMA 13B在FOLIO数据集上8-shot准确率仅33.63%，接近随机猜测水平[10] - 提升逻辑推理能力需结合外部求解器、提示工程、预训练微调等方法，并需满足否定/蕴涵/传递/事实/复合等多类逻辑一致性[15][21] 技术方法分类 逻辑问答 - **基于外部求解器**：将自然语言问题转换为符号表达式，通过求解器推理后集成答案[16] - **基于提示工程**：通过设计提示词显式构造推理链或实现自然语言与符号语言转换[17] - **预训练与微调**：纳入演绎证明样本增强数据集，针对性优化模型参数[18] 逻辑一致性 - **否定一致性**：禁止对命题p与其否定命题同时判定为真[22] - **蕴涵一致性**：确保前提p→q成立时，若p为真则q不得为假[23][24] - **传递一致性**：要求三段论推理链条自洽，如"喜鹊是鸟→鸟有翅膀→喜鹊有翅膀"需成立[25] - **事实一致性**：模型回答需与知识库事实对齐[26] - **复合一致性**：需同时满足多种逻辑规则组合的复杂推理要求[27][28] 典型案例 - 逻辑问答失败案例：给定"金属导电→铁是金属→钉子由铁制成"前提，模型无法推导"钉子导电"结论[6] - 逻辑不一致案例：Macaw模型承认"喜鹊是鸟"和"鸟有翅膀"，却否认"喜鹊有翅膀"[11] 未来方向 - 扩展模态逻辑处理不确定性命题[30] - 开发高阶逻辑推理能力以量化谓词属性[31] - 设计同时满足多类逻辑一致性的高效算法[31] 研究基础 - 覆盖5所顶尖高校联合研究，论文被IJCAI 2025接收[1] - 建立完整分类体系并汇总FOLIO等基准数据集[12][15]

核心观点 - 研究系统分析了LLM在决策场景中的三种常见失败模式：贪婪性、频率偏差和知-行差距 [2][4] - 提出通过强化学习微调(RLFT)自动生成的思维链(CoT)推理过程，实验证明该方法能有效提升LLM决策能力 [2][8] - RLFT通过环境交互奖励优化CoT推理，使模型倾向于选择高奖励动作，显著改善探索行为和知-行差距 [8][22] 失败模式分析 - **贪婪性**：LLM过早锁定局部最优动作，在10臂老虎机实验中27B模型仅覆盖45%动作空间 [15][17] - **频率偏差**：2B模型机械复制高频动作（熵值降低50%），27B模型虽减弱此现象但仍保持贪婪 [5][18] - **知-行差距**：87%推理正确但58%情况仍选择贪婪动作，与最优动作选择率(21%)形成显著落差 [20] 模型规模差异 - 小模型(2B)受频率偏差影响严重，重复动作选择率随上下文出现次数线性增长 [5][18] - 大模型(27B)能减弱频率偏差但维持贪婪策略，在20臂老虎机中动作覆盖率停滞在55% [6][15] RLFT方法细节 - 采用裁剪目标函数和KL约束进行微调，数学表达式见公式(2) [11] - 输入包含指令文本和最近C步的状态-动作-奖励轨迹 [10] - 测试环境包括多臂老虎机(MAB)和井字棋游戏 [13] 实验结果 - RLFT使2B/9B模型遗憾值降低30%，优于随机基线 [22] - 微调后模型探索率提升，10步后动作覆盖率突破60% [17][22] - 知-行差距缩小，正确推理对应最优动作执行率从21%提升至40% [20][22]

空间智能与大模型 - 空间智能是人类和机器对空间环境的感知、理解和运用能力，大语言模型(LLMs)展现出显著的空间智能潜力[2] - 大模型通过内化吸收(预训练数据)和外部调用(查询专业数据库)两种方式获取空间知识[3] - 大模型存在"幻觉"现象和知识动态更新困难等空间记忆方面的挑战[3] 空间推理能力 - 抽象空间推理包括定性空间推理、几何推理和图论推理三个关键方向[5] - 大模型在处理多步骤传递性推理和复杂几何逻辑推演时准确率显著下降[5] - 当前大模型主要利用语言建模能力"模仿"空间任务，而非真正拥有深层空间认知机制[5] 微观尺度应用(具身智能) - 多模态大语言模型(MLLMs)推动机器人空间感知与理解能力提升[7] - 大模型用于生成环境三维表征并规划复杂操作序列[7] - 机器人空间交互面临多模态信息融合和动态环境适应等挑战[7] 中观尺度应用(城市空间智能) - 大模型结合卫星影像、街景图片和POI数据理解城市功能特征[8] - 用于城市知识图谱构建、交通流优化和规划决策支持[9] - 面临数据异构性、动态环境适应和决策可解释性等挑战[9] 宏观尺度应用(地球空间智能) - 大模型处理地球观测数据用于气候变化预测和自然资源管理[10] - 在气候科学领域提升天气预报精度和极端天气预警能力[10] - 地理学应用中结合GIS工具增强专业空间分析能力[10] 未来研究方向 - 需要建立跨领域、跨尺度的通用空间智能评估框架[13] - 城市空间智能需发展实时数据整合和因果推理能力[13] - 地球空间智能需加强多学科数据融合和物理约束整合[13]