多语言语言模型
推理能力的
瓶颈与挑战

除了数据和性能上的不平等，MLMs在训练过程中还会不可避免地内化训练数据中存在的文化与语言偏见。由于训练数据主要来源于特定的文化圈（如西方文化），其中内嵌的价值观、社会规范和文化习俗会被模型学习并固化。

MLMs在跨语言推理中出现一致性缺失，其根本原因在于模型内部的知识表示存在问题。研究表明，MLMs在处理多语言输入时，其内部的知识编码并非完全统一。

"跨语言塌陷"（Cross-lingual Collapse）是近年来在多语言推理研究中发现的一个新现象，它深刻地揭示了MLMs在推理过程中的内在缺陷。该现象指的是，当一个多语言模型在进行复杂的逻辑推理时，即使输入的提示是非英语的，其内部的思维链（CoT）也会不自觉地"塌陷"或"漂移"回其主导的预训练语言。

除了文化知识，MLMs在特定领域和地区性的背景知识方面也存在覆盖不全的问题。现实世界中的许多推理任务，都需要依赖特定领域的专业知识。然而，由于训练数据的局限性，MLMs对这些专业领域的知识掌握往往不够深入和全面。

跨语言知识迁移是提升低资源语言推理能力的关键途径。其基本思想是，利用模型在高资源语言上学习到的丰富知识和强大推理能力，来弥补其在低资源语言上的数据不足。然而，大量的研究表明，这种知识迁移的效率并不理想。

迁移障碍的主要表现

语言结构差异

• • 语法结构不同
• • 词序变化巨大
• • 形态变化复杂

词汇文化鸿沟

• • 文化特有词汇缺失
• • 概念映射困难
• • 语义覆盖不全

模型似乎只是在"记忆"训练数据中的模式，而非真正掌握了推理的"元能力"，这使得其推理能力难以跨越语言的鸿沟。

MLMs推理能力泛化困难的根源，在于其模型架构的内在局限。当前主流的MLMs大多基于Transformer架构，虽然该架构在许多自然语言处理任务上都取得了巨大的成功，但其在处理跨语言信息时，也存在着一些固有的挑战。

为了降低模型生成有害内容的风险，研究人员通常会采用各种安全对齐技术，如基于人类反馈的强化学习（RLHF）。然而，这些安全防护机制在不同语言上的效果并不均衡，低资源语言往往成为安全防护的薄弱环节。

评估基准（Benchmark）是衡量模型能力的标尺，但当前的多语言推理评估基准在语言覆盖、任务类型和文化维度等方面都存在明显的局限性。许多基准测试如XNLI、mCSQA和m-ARC主要关注高资源语言，对低资源语言的代表性微乎其微。

基准测试的主要局限

语言覆盖不足

• • 高资源语言主导
• • 低资源语言代表性微
• • 独特书写系统忽略

任务类型单一

• • 通用推理任务为主
• • 缺乏领域特定评估
• • 文化背景考虑不足

为了系统地追踪低资源语言的进展，需要专门设计评估基准，如针对中国少数民族语言的MiLiC-Eval。

除了评估基准的局限性，评估指标的单一化也制约了我们对多语言模型推理能力的全面理解。目前，评估指标大多集中在准确性和流畅性等表面特征上，而忽略了对一致性、公平性和文化适应性等更深层次能力的度量。