当机器试图理解因果：一场视觉与逻辑的角逐

—— 新基准测试揭示人工智能视觉推理的优势与短板

近年来，大型语言模型（LLMs）在理解文本信息、进行因果推理方面展现出了惊人的能力。然而，当面对纯粹的视觉线索时，这些擅长文字游戏的模型还能否像福尔摩斯一样洞察秋毫，推断出图像背后的因果关系呢？为了解答这个疑问，我们开发了一个名为MuCR的多模态因果推理基准测试，旨在挑战视觉大型语言模型（VLLMs）仅凭视觉线索推断因果关系的能力。

想象一下，如果机器能够通过观察一系列图像，就能像经验丰富的侦探一样，识别出微妙的视觉线索，并推理出事件发生的来龙去脉，那将是多么令人兴奋！然而，现实中的VLLMs真的准备好了吗？

MuCR：一场精心设计的视觉推理挑战赛

MuCR基准测试的独特之处在于，它提供成对的图像，并要求VLLMs分析这些图像之间的因果关系。为了使挑战更具趣味性和真实性，我们采用了一种新颖的“提示驱动图像合成”方法。简单来说，我们首先使用LLMs生成描述因果关系的文本描述，例如“他吃了太多冰淇淋”和“他肚子疼”。然后，我们使用先进的图像生成模型，如DALL-E和Stable Diffusion，将这些文本描述转化为栩栩如生的图像。

为了确保MuCR数据集的丰富性和多样性，我们涵盖了各种类别，包括人物、动物、植物、卡通角色以及它们的混合场景。此外，我们还采用了不同的图像风格，例如写实的摄影风格和夸张的漫画风格。

三重考验：全方位评估VLLMs的推理能力

为了全面评估VLLMs的因果推理能力，我们设计了三个层次的指标：

图像级别： 就像玩“连连看”游戏一样，我们为模型提供一张“原因”图像和四张候选的“结果”图像，让模型从中选择最符合逻辑的那一张。这个指标直接测试了VLLMs能否识别图像之间的因果关系。
短语级别： 我们为模型提供一组与图像相关的短语，其中只有一个短语准确地描述了图像之间的因果关系。例如，对于“他淋雨了”和“他感冒了”这两张图片，正确的短语应该是“感冒”，而不是“雨伞”或“鞋子”。
句子级别： 我们要求模型用完整的句子解释图像之间的因果关系，就像一个小学生在讲述故事一样。这个指标考察了VLLMs能否用自然语言清晰地表达因果关系。

结果揭晓：喜忧参半，任重道远

我们选择了当前最先进的开源和内部VLLMs，并进行了大量的实验。结果表明，开源模型在MuCR上的表现普遍不佳，甚至与随机猜测的结果相当。这主要是因为开源模型的视觉理解能力还比较薄弱，难以准确地识别图像中的关键信息。

相比之下，内部模型的表现要好得多，但仍然无法达到人类的水平。例如，在短语级别测试中，即使是表现最好的GPT-4o模型，其准确率也只有57.25%，而人类的准确率高达90.50%。这表明，当前的VLLMs在多模态因果推理方面还有很大的提升空间。

剖析不足：视觉与逻辑的博弈

那么，究竟是什么原因导致VLLMs在MuCR上表现不佳呢？

开源模型： 主要问题在于视觉感知能力不足。许多开源模型只能识别图像中的基本元素，例如人物、物体和场景，但无法理解更细微的视觉线索，例如人物的表情、动作和服装。
内部模型： 主要问题在于语言模型中强大的因果知识先验。换句话说，这些模型可能过度依赖自身的语言知识，而忽略了图像中提供的视觉证据。

展望未来：通往更强大的视觉推理之路

MuCR基准测试的提出，为多模态因果推理的研究提供了一个宝贵的平台。为了进一步提升VLLMs的性能，未来的研究可以关注以下方向：

增强视觉感知能力： 可以探索更强大的视觉编码器，或者采用多阶段的视觉推理机制，帮助模型更好地理解图像中的视觉线索。
平衡语言知识与视觉证据： 可以设计新的训练目标，鼓励模型在进行因果推理时，更加重视视觉证据，而不是过度依赖自身的语言知识。
探索更丰富的视觉输入形式： 可以尝试使用多张图像、视频或者3D场景作为输入，为模型提供更全面的视觉信息。

总而言之，MuCR基准测试揭示了当前VLLMs在多模态因果推理方面的优势和不足，并为未来的研究指明了方向。相信随着技术的不断进步，VLLMs将最终具备像人类一样强大的视觉推理能力，并在各个领域发挥更大的作用。

参考文献

Zhiyuan Li, Heng Wang, Dongnan Liu, Chaoyi Zhang, Ao Ma, Jieting Long, Weidong Cai. Multimodal Causal Reasoning Benchmark: Challenging Vision Large Language Models to Infer Causal Links Between Siamese Images. arXiv preprint arXiv:2408.08105v1, 2024.
Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. arXiv preprint arXiv:1810.04805, 2018.
Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever. Language Models are Unsupervised Multitask Learners. OpenAI blog, 2019.
Aditya Ramesh, Mikhail Pavlov, Gabriel Goh, Scott Gray, Chelsea Voss, Alec Radford, Mark Chen, Ilya Sutskever. DALL-E. Creating Images from Text. ✅arXiv preprint arXiv:2102.12092, 2021.
Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser, Björn Ommer. High-Resolution Image Synthesis with Latent Diffusion Models. arXiv preprint arXiv:2112.10752, 2021.