近年来，大型视觉语言模型（VLMs）的飞速发展令我们惊叹于人工智能在识别物体、生成文本描述方面的表现，但在空间推理这一看似简单却至关重要的任务上，这些模型却屡屡「栽跟头」。比如，在判断书籍是否位于蜡烛「后面」这样基本的空间关系时，模型竟可能将其错误描述为「左边」。这篇文章将带你深入探索视觉语言模型内部那神秘而复杂的关注机制，剖析为何模型在空间推理上表现欠佳，以及科研人员如何利用「温度调整」和「自适应干预」策略来改善这种状况。下面，就让我们开启一段充满科学趣味与思辨之旅的探索吧！
🔍 VLM的内核揭秘：文字与图像之间的奇妙交互
视觉语言模型由三个关键部分构成：视觉编码器、预训练语言模型，以及将两者联系起来的投影模块。视觉编码器（例如 CLIP）负责「看见」图像，然后通过投影模块将捕获到的图像信息映射到与文本相似的空间，使得后续的语言模型能够「理解」图像内容。而语言模型本身则往往建立在 Transformer 架构之上，其核心便是多头自注意力机制。
在 Transformer 的每一层中，多头注意力机制（Multi-Head Attention, MHA）起着至关重要的作用。对于某一层 $l$，输入矩阵 $X \in \mathbb{R}^{n \times d}$（其中 $n$ 表示 tokens 数量，$d$ 表示嵌入向量维度）经过多个注意力头的处理后，我们有如下公式：
![\[\text{MHA}^{(l)}(X)=\text{Concat}\left(\bm{N}_{h}^{(l,1)},\dots,\bm{N}_{h}^{(l,H)}\right)\bm{W}_{o}\,\]](https://jieyibu.net/wp-content/ql-cache/quicklatex.com-f269efeb9804c736ede5ccd136471eb5_l3.svg "Rendered by QuickLaTeX.com")
其中每个注意力头的输出 $\bm{N}_{h}^{(l,h)}$ 则通过下面的公式计算得出：
![\[\bm{N}_{h}^{(l,h)} = \text{Softmax}\left(\frac{\bm{Q}\bm{K}^\top}{\sqrt{d_h}} + \bm{M}\right)\bm{V}\,\]](https://jieyibu.net/wp-content/ql-cache/quicklatex.com-eb1ebdfba99b0bf3dd0085c0304461cf_l3.svg "Rendered by QuickLaTeX.com")
这里，
![\[\bm{Q} = X\bm{W}_{q_h}\]](https://jieyibu.net/wp-content/ql-cache/quicklatex.com-79261d29c471cf89f162f586cb511780_l3.svg "Rendered by QuickLaTeX.com")
![\[\bm{K} = X\bm{W}_{k_h}\]](https://jieyibu.net/wp-content/ql-cache/quicklatex.com-21b8b764f0df753b34026e6b0c9b932c_l3.svg "Rendered by QuickLaTeX.com")
![\[\bm{V} = X\bm{W}_{v_h}\]](https://jieyibu.net/wp-content/ql-cache/quicklatex.com-f7a176fec9587d651484579ae5925f08_l3.svg "Rendered by QuickLaTeX.com")
然而，当我们把这套机制应用到视觉语言模型上时，却发现了一个有趣的现象：虽然图像 tokens 占据了输入序列的大部分（大约 90%），但它们在注意力分配中却只获得大约 10% 的权重。换句话说，模型在生成过程中几乎忽略了图像信息，而偏重于文本描述。这种文字检索式的内部处理方式往往会导致空间推理的失败。
🗺️ 空间推理的迷局：关注分布为何「偏离」真实几何结构？
空间推理看上去可能只是确定「左」、「右」、「前」或「后」的简单问题，但对于一个需要同时捕捉对象局部特征和全局几何关系的模型来说，这绝非易事。研究者们通过仔细追踪模型在各层输出的注意力分布，发现了这样一些有趣且至关重要的事实：
- 文字优先：尽管图像的 token 数量远超文本，但模型生成答案时却主要依赖文本信号，这直接导致其无法充分捕捉图像中的几何细节。
- 局部与全局平衡缺失：模型在初始层往往展现出基于数据训练而形成的全局先验，但随着层数加深，它未能把这种全局信息转化为精准的局部几何对应，导致空间关系的判断不准确。
- 注意力聚焦失衡：在正确回答问题的样例中，模型会将注意力精准地聚焦于涉及的实体区域，如对图像中的「书本」或者「蜡烛」给予足够关注；而当回答错误时，这种注意力往往分散到不相关的区域上，导致「误认」现象频出。
例如，在一张图像中，如果书本真正位于蜡烛的「后面」，但模型却因其注意力仅分散在蜡烛周围的其它区域，于是错误地判断书本是在「左边」。这一现象不仅仅是因为模型在图像信息处理上的稀疏，而是其内部对定位几何关系的能力有限，尤其已知在中间层，有关几何细节的处理是至关重要的。
🔄 温度调整策略：ScalingVis的「撒盐」与「增味」
面对模型对图像关注不足的问题，一个直观的想法可能是简单放大图像 tokens 的注意力权重：如果让模型更多「看」图像，或许就能得到更准确的空间关系。但实验显示，将注意力 logits 加上一个常数进行均匀放大，并不能显著改善空间推理的准确性。
针对这一难题，研究者提出了一个颇具创新性的解决策略——ScalingVis。这一方法的核心在于调整模型对图像 tokens 的温度分布，通过改变注意力 logits 的温度，让注意力分布可以变得更「尖锐」或者更「平滑」，从而改善对目标区域关注的精确性。公式描述如下：
![\[\bm{A}_{n,j}^{(l,h)} = \begin{cases} \alpha\,\bm{A}_{n,j}^{(l,h)} & \text{if } j \in \mathcal{I}\,, \\ \bm{A}_{n,j}^{(l,h)} & \text{otherwise}\,, \end{cases}\]](https://jieyibu.net/wp-content/ql-cache/quicklatex.com-efeac8c7276f3d59471f7593b19dfdb7_l3.svg "Rendered by QuickLaTeX.com")
其中 $\bm{A}_{n,j}^{(l,h)}$ 表示第 $l$ 层第 $h$ 个注意力头中第 $j$ 个 token 的注意力 logits，而 $\mathcal{I}$ 则表示所有图像 tokens 的索引。通过乘以一个系数 $\alpha$，研究者可以灵活地控制图像关注的「温度」——当 $\alpha > 1$ 时，注意力分布会变得更加尖锐，模型更「自信」地聚焦于认为最相关的区域；反之，当 $\alpha < 1$ 时，注意力分布则变得更加平滑，鼓励模型探索更多可能的区域。这一策略虽简单却颇为有效，在多个数据集（如合成数据集 $Controlled_A$ 和真实数据集 COCO、Visual Genome）上均显示出显著的性能提升。
⚖️ 自适应干预：AdaptVis引领「信心」调整新风潮
然而，单一的温度调整并非万能。实验显示，在某些情况下，对于熟悉的空间关系（例如「左」或「右」），提高注意力温度（使用 $\alpha > 1$）能进一步增强模型性能；而对于不熟悉的关系（比如「在…上面」或「在…下方」），适度平滑注意力（使用 $\alpha < 1$）反而能使模型更好地探索图像中的多种信息。如何在这两种策略之间做出智能选择？这便引出了 AdaptVis 的诞生。
AdaptVis 是在 ScalingVis 的基础上，通过融合模型生成答案时的「自信度」来实现的。这种自信度通常由生成答案的概率来衡量，反映出模型对自己答案的确信程度。当模型对某个答案充满信心时，我们就认为其关注区域是合理的，此时应用较高的 $\alpha$（大于 1）来「锐化」注意力分布；而当模型对答案信心不足时，我们则降低 $\alpha$（小于 1），让注意力分布变得更加平滑，以期弥补对目标区域认识不足的问题。
这种基于自信度的动态调整机制不仅能够针对不同数据集的特性进行灵活应对，而且在多项空间推理测试中（如 WhatsUp 和 VSR 数据集）实现了最高可达 50 个绝对点的性能改善。可以说，AdaptVis 给视觉语言模型的「内心独白」加上了一层智慧：模型学会了在自信时固守己见，在犹豫时勇于探索，从而更精准地理解图像中的空间关系。
📊 实验世界：数据背后的故事
为了验证上述方法的有效性，研究团队设计了一系列精妙的实验。实验中，他们不仅使用了合成数据集（$Controlled_Image$），呈现出简单背景中的两物体关系，还选用了真实图像数据集（如 COCO 与 Visual Genome），后者具有复杂背景和多物体环境。实验中的问答设定也非常细致，所有图像都配有描述空间关系的准确标注，并通过 GPT-4 生成问题，使得生成任务转化为多选题形式。
【图表示例】
下面的表格展示了 WhatsUp 数据集中不同子集的基本情况，说明了图像 tokens 数量、选项数量、物体数量以及数据来源等关键信息：
| 数据子集 | 选项数量 | 物体数量 | 数据来源 |
|---|---|---|---|
| $Controlled_A$ | 4 | 1 | 合成数据 |
| $Controlled_B$ | 4 | 2 | 合成数据 |
| $COCO_one$ | 4 | 1 | MS COCO |
| $COCO_two$ | 4 | 2 | MS COCO |
| $VG_one$ | 6 | 1 | Visual Genome |
| $VG_two$ | 6 | 2 | Visual Genome |
通过上述数据，研究人员深入对比了模型在合成数据与真实数据上的表现，发现对真实图像来说，模型往往对「左」、「右」等常见关系表现更好，而对「不常见」或语义稍复杂的关系则信心不足。这与模型在训练数据中的标注不平衡密切相关，因为 LLaVA 等模型多数是在 COCO 数据集上进行训练，因而对 COCO 和 VG 图像类型具有较高的「熟悉度」。
进一步的实验还揭示了中间层在处理图像信息方面的重要性——在较早的层，模型捕捉到的是一种粗略的全局特征，而在中间层，注意力分布则开始与实际物体位置更紧密地对应。例如，研究人员利用 YOLO 对图像中的目标进行标注，然后计算 YOLO 标注与模型注意力分布之间的余弦相似度，发现中间层的 AUROC 值显著提高，说明在这些层中，模型真正学会了如何「对齐」视觉特征和空间关系。
🔬 数学与图表背后的直观解释
在整个研究过程中，数学公式不仅是纯粹的符号游戏，更是揭示模型内部运行机制的钥匙。以温度调整策略为例，公式
就明确表明：对于图像 tokens（即索引集合 $\mathcal{I}$ 内的 token），我们可以通过乘以 α\alphaα 来改变它们在注意力分布中的「温度」。如果 $\alpha>1$，则原始注意力分布中的高值会变得更高，模型因此更「坚定」地锁定某些区域；反之，如果 $\alpha<1$，模型则会「放宽」对特定区域的关注，增大整体分布的平滑度，允许更多的区域参与考虑。这种简单而灵活的调整，正是解决传统 VLMs 空间推理困难的重要突破口。
与此同时，研究者还设计了大量图表对比不同层次、不同系数下的注意力分布。比如，在合成数据集 $Controlled_A$ 中，可以直观看到经过 AdaptVis 干预后，模型的注意力图谱从模糊分散变为信号清晰、对目标区域聚焦；而在真实数据集 COCO 中，则通过提高温度（即 $\alpha>1$）进一步强化了对图像中关键对象的集中关注。
🤔 研究的启示与未来展望
经过长期细致的探索，研究者们总结出几个关键启示：
- 注意力分配不均的根源：模型之所以在空间推理任务上频频受挫，主要在于其内部注意力分配存在严重不均——文本 tokens 获得了远超图像 tokens 的关注比例，导致模型无法充分利用视觉信息构建准确的空间几何。
- 几何分布的重要性：仅仅增多图像 tokens 的绝对关注比例并不足以改善表现，关键在于如何使模型的注意力能够与图像中实际的物体位置及其空间关系精确对齐。从这一角度来看，几何分布比单纯的关注量更加重要。
- 信心驱动的动态调控：模型生成答案时的信心（或自信度）可以作为判断其内部注意力状态是否可靠的重要指标。当模型自信程度高时，意味着其已有关注分布较为合理，此时用更高的温度进行锐化即可；而在自信程度低时，采取平滑措施让模型能够开拓更多视野则显得尤为关键。
未来的研究可能进一步探讨如何在更复杂的几何结构理解上改进模型，例如长时程的空间关系推理。此外，将这种注意力干预策略应用到其它多模态任务中，如医疗影像解读、机器人导航甚至增强现实，也将为真实世界中的应用提供极大的潜力。
🌟 结语：从关注机制到智能推理
总而言之，本研究为我们揭示了视觉语言模型在空间推理任务上的内在瓶颈，并通过温度调整（ScalingVis）和自适应干预（AdaptVis）两种方法，成功提升了模型对图像中空间关系的理解能力。模型从最初忽略图像信息、单纯依赖文本信息，到后来通过动态调整注意力权重实现局部放大或全局平滑，这一演变过程不仅为我们提供了一种改善现有模型空间推理能力的新思路，也为未来多模态模型的设计和优化奠定了坚实基础。
可以说，正如人在观察世界时需要调整视角才能更好地理解事物的细节一样，视觉语言模型也需要具备动态调控自身关注策略的能力。通过经济而有效的计算干预，使得模型在面对复杂图像时能「知己知彼」，不再盲目依赖文字描述，而是真正实现基于内部信心的智能推理。这无疑是未来多模态智能系统迈向更高智能水平的重要一步。
展望未来，我们相信这一研究不仅能推动视觉语言模型在空间推理上的进步，也将为对抗多模态生成中的幻觉现象、提升图像理解的精准性提供宝贵指导。或许在不久的将来，机器人能够更精准地从繁杂场景中判断物体的相对位置，自动驾驶系统也能更可靠地解析交通场景，为我们的生活带来更多便利与安全保障。
📚 参考文献
- Chen, S. , Xiong, M., Liu, J., et al. In-context sharpness as alerts: An inner representation perspective for hallucination mitigation. arXiv preprint arXiv:2403.01548, 2024b.✅
- Kamath, A. , Hessel, J., Chang, K.-W. What』s 「up」 with vision-language models? Investigating their struggle with spatial reasoning. In Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing, 2023.✅
- Liu, H. , Li, C., Wu, Q., Lee, Y. J. Visual instruction tuning. Advances in Neural Information Processing Systems, 36, 2024a.✅
- Tong, S. , Liu, Z., Zhai, Y., et al. Eyes wide shut? Exploring the visual shortcomings of multimodal LLMs. In Proceedings of the 2024 CVPR, 2024b.✅
- Zhang, Q. , Singh, C., Liu, L., et al. Tell your model where to attend: Post-hoc attention steering for LLMs, 2023.✅
这篇文章通过深入剖析视觉语言模型的内在机制、注意力分布以及动态干预策略，揭示了模型在空间推理任务上遇到的瓶颈与改进路径。相信随着这一领域研究的不断深入，我们终将看到一个既能识别图像整体内容，又能精准捕获局部空间关系的智能系统在各个实际场景中大放异彩。