引言：人工智能理解能力的新标杆
近年来，大型语言模型（LLM）的进步彻底改变了自然语言处理（NLP）领域。GPT-4、Gemini 和 Claude 等最先进的模型正在不断突破人工智能在语言理解和推理方面的能力边界。为了实现专家级人工智能的目标，即在各种任务中达到或超过 10% 的技能娴熟的成年人的表现，我们需要不断评估这些模型在广泛任务上的表现。
目前，有多种流行的基准测试用于衡量这种通用智能，例如侧重于考试题的 AGIEval、侧重于科学问题的 ARC、侧重于解决困难的合成任务的 BBH 以及涵盖 STEM、人文、社会科学等 57 个科目的考试题的 MMLU。
MMLU 的局限性：从饱和到不稳定
MMLU 因其广泛的覆盖面和高质量而成为评估 LLM 的事实标准。然而，当前 LLM 的快速发展已迅速导致 MMLU 的性能饱和。自 2023 年 3 月 GPT-4 达到 86.4% 的准确率以来，该基准测试一直没有取得任何重大进展。大多数最新的前沿模型，如 GPT-4-Turbo、Gemini-1.5-Pro、Claude 和 LLaMA-3-400B，其准确率都稳定在 86% 到 87% 之间。最近发布的 GPT-4o 在 MATH 和 Chatbot Arena 上取得了显著的性能提升（10% 以上），但在 MMLU 上仅获得了 1% 的提升，达到 87.4%。
除了饱和问题外，MMLU 的性能还因其对提示和评分函数的高度敏感而闻名，这导致排行榜上的排名发生重大变化。我们推测，这些问题是由以下原因造成的：
- 选项数量少：MMLU 中的问题只有三个干扰选项，这使得 LLM 可以在没有真正理解问题的情况下利用捷径得出答案，从而导致对 LLM 真实性能的高估和一定程度的不稳定性。
- 推理难度低：MMLU 中的问题大多是知识驱动的，不需要太多的推理，尤其是在 STEM 科目中，这降低了其难度。事实上，大多数模型在没有思维链的情况下，通过“直接”答案预测就能获得更好的性能。
- 数据噪声：MMLU 中有一部分问题是无法回答的，或者标注有误，这导致了性能上限较低，而前沿模型已经达到了这个上限。
MMLU-Pro：更具挑战性、更具辨别力、更可靠
为了解决这些问题，我们引入了 MMLU-Pro：一个全面的基准测试，旨在评估高级语言模型在多学科语言理解和推理方面的能力。MMLU-Pro 涵盖了 14 个不同的领域，包括数学、物理、化学、法律、工程、心理学和健康，包含超过 12,000 个问题。
MMLU-Pro 与 MMLU 的区别在于：
- 选项数量增加：MMLU-Pro 有十个选项，比 MMLU 多 3 倍，这大大降低了随机猜对答案的概率，从而提高了基准测试的难度和鲁棒性。
- 推理难度提高：MMLU-Pro 增加了具有挑战性的大学水平考试题的比例，这些问题要求 LLM 在不同领域进行深思熟虑的推理才能得出最终答案。
- 数据质量更高：我们整合了两轮专家评审，以减少数据集的噪声。第一轮是基于专家验证，第二轮是利用最先进的 LLM 来识别潜在的错误，并聘请标注员进行更有针对性的验证。
实验结果：CoT 的必要性和 MMLU-Pro 的有效性
我们在 MMLU-Pro 上评估了 50 多个 LLM，包括开源和闭源模型，如 GPT-4o、Claude-3-Opus、Gemini、LLaMA-3 和 Phi-3。我们的主要发现总结如下：
- MMLU-Pro 极具挑战性：领先的模型 GPT-4o 仅获得了 72.6% 的准确率，GPT-4-Turbo 达到 63.7%，这表明还有很大的改进空间。
- MMLU-Pro 更具辨别力：例如，GPT-4o 和 GPT-4-Turbo 在 MMLU 上的差距为 1%，而在 MMLU-Pro 上则为 9%。这种辨别性使得 MMLU-Pro 成为一个更合适的基准测试。
- 开源模型的进步：Llama-3-70B-Instruct 和 DeepSeek-V2-Chat 等先进的开源模型，虽然在性能上还无法与 GPT-4o 和 Claude-3-Opus 等领先的闭源模型相媲美，但已经接近 Claude-3-Sonnet 的水平。
- CoT 的必要性：MMLU-Pro 需要思维链（CoT）才能取得良好的效果。例如，CoT 可以将 GPT-4o 的性能提高 19%。相比之下，CoT 实际上会损害模型在 MMLU 上的表现。这反映了在 MMLU-Pro 上进行深思熟虑的推理的必要性，而这在知识驱动的 MMLU 问题中是不需要的。
- 错误分析：我们对当前性能最佳的模型 GPT-4o 的 120 个错误案例进行了分析，发现 39% 的错误是由于推理过程中的缺陷，35% 是由于缺乏特定领域的专业知识，另外 12% 是由于计算错误。这些结果突出了 MMLU-Pro 基准测试的难度，并指出了需要进一步研究和模型改进的领域。
结论：迈向更强大的 LLM 评估
MMLU-Pro 是一个更强大、更具挑战性的多任务语言理解基准测试，它解决了 MMLU 的局限性，并为评估 LLM 的推理和知识能力设定了更高的标准。我们的实验结果表明，MMLU-Pro 在区分模型、鼓励 CoT 推理和推动 LLM 研究方面非常有效。