研究核心观点 - 多模态大语言模型的模态跟随行为并非静态属性，而是由案例特定的相对推理不确定性和模型稳定的固有模态偏好共同作用的动态过程[1] - 传统的宏观模态跟随统计数据具有误导性，因其混淆了模型的能力和偏好[1] - 模型跟随某一模态的概率会随着该模态相对推理不确定性的增加而单调递减，这一法则在测试的六个模型中普遍存在[5][19] 研究团队与贡献 - 主要作者来自北京大学、华南理工大学、佐治亚大学、KAUST和MBZUAI等机构[3] - 核心贡献包括构建新的可控玩具数据集，以及提出将模态跟随行为解耦为相对推理不确定性和固有模态偏好的分析框架[4] 框架设计：可控数据集与不确定性度量 - 构建了可通过视觉难度和文本难度两个独立设计等级系统控制模态推理复杂性的数据集[9][10] - 采用输出熵作为以模型为中心的不确定性度量指标，熵值随设计难度增加而一致上升[11] - 引入相对单模态不确定性指标，通过（文本熵减视觉熵）除以（两者之和）并归一化来计算，量化模型在每个冲突案例中的置信度差距[12] 传统指标的局限性 - 使用传统宏观指标（如文本跟随率TFR和视觉跟随率VFR）测试6个MLLM时，发现了令人困惑的组合模式，暴露了宏观指标的局限性[14] - 相似的难度感知下，模型可能表现出相反的宏观偏好；而宏观偏好相似的模型，其难度感知可能相反，这共同指向传统指标混淆了数据集伪影和固有模态偏好[15][16] 实验新范式与主要发现 - 设计新实验范式，以相对不确定性为横轴，文本跟随概率为纵轴绘制偏好曲线，成功解耦能力与偏好[18] - 所有被测试模型都展现出文本跟随概率随文本相对不确定性增加而单调递减的统一法则[19][21] - 将曲线穿过50%概率线的点定义为平衡点，作为量化固有模态偏好的原则性指标[22] - 平衡点框架成功解释了宏观指标下的矛盾：LLaVA和Qwen2.5-VL的固有偏好不同，而Qwen2-VL和Qwen2.5-VL的差异揭示了数据集伪影的影响[23][24] 内部决策机制 - 当相对不确定性接近模型的平衡点时（模糊区域），模型内部的逐层预测会在冲突答案间表现出强烈的振荡，而在清晰区域则迅速确定答案[29][30][34] - 模糊区域内冲突输入的振荡次数显著高于清晰区域和无关冲突情况，为模型外部的犹豫不决行为提供了机制性解释[33][34]

多模态大语言模型模态跟随行为研究框架 - 提出全新分析框架将模态跟随行为分解为相对推理不确定性和固有模态偏好两个核心组成部分[4] - 框架旨在将模型单模态能力与内在偏见清晰解耦以解决传统宏观统计指标的混淆问题[4][16] - 核心论点是宏观模态跟随统计数据具有误导性因为它混淆了模型能力和偏好[1] 可控数据集与不确定性度量方法 - 构建新颖可控玩具数据集通过视觉难度和文本难度两个独立设计等级系统控制模态推理复杂性[9][10] - 采用输出熵作为以模型为中心的不确定性度量指标熵值随设计难度增加而一致上升[11][13] - 引入相对单模态不确定性指标量化模型在每个冲突案例中的置信度差距构成分析核心[12] 传统宏观指标的局限性 - 传统文本跟随率TFR和视觉跟随率VFR等宏观指标将模型单模态能力和固有偏好混为一谈[14][16] - 实验发现相似难度感知下模型宏观偏好相反以及相似宏观偏好下难度感知相反的矛盾现象[15] - 宏观指标无法区分数据集伪影和固有模态偏好导致无法看清模型决策的真正动机[15][16] 实验新范式与核心发现 - 设计新实验范式以相对不确定性为横轴文本跟随概率为纵轴绘制模型偏好动态曲线[18][19] - 所有被测模型均展现统一单调法则文本跟随概率随其相对不确定性增加而严格单调递减[19][21] - 定义平衡点作为量化固有模态偏好的原则性指标平衡点位置揭示模型内在稳定偏向[22][24] 内部决策机制分析 - 采用类似LogitLens技术逐层探查模型预测发现模糊区域内部存在显著答案振荡现象[29][34] - 模糊区域内冲突答案的置信度差异在多层中保持零附近表明模型处于高度不确定状态[34][36] - 内部振荡机制为模型在外部表现出的犹豫不决和平均化选择行为提供了解释[33][34] 框架解释力与验证 - 平衡点框架成功解释LLaVA和Qwen2.5-VL在相似难度感知下偏好相反的现象源于固有偏好差异[23] - 揭示Qwen2-VL和Qwen2.5-VL宏观偏好相似但难度感知相反的现象源于数据集伪影和固有偏好共同作用[24] - 该框架在本文构造数据集和现有MC^2数据集颜色识别子集上均验证了单调关系的稳健性[26][28]