ZEPHYR: 直接提取LM对齐

摘要
我们的目标是创建一个更小、与用户意图对齐的语言模型。先前的研究表明，对更大的模型应用蒸馏监督微调（dSFT）可以显著提高任务准确性；然而，这些模型没有对齐，即它们无法很好地响应自然提示。为了提取这个特性，我们尝试使用来自AI反馈（AIF）的偏好数据。我们从一个由教师模型排名的输出数据集开始，应用蒸馏直接偏好优化（dDPO）来学习一个具有显著改善意图对齐的聊天模型。这种方法只需要几个小时的训练时间，在微调过程中不需要任何额外的采样。最终结果ZEPHYR-7B在7B参数模型的聊天基准测试中取得了新的最佳表现，并且不需要人工标注。特别是，在MT-Bench上的结果显示，ZEPHYR-7B超过了基于RLHF的开放访问模型LLAMA2-CHAT-70B。该系统的代码、模型、数据和教程可在 https://github.com/huggingface/alignment-handbook 上获得。

引言
近年来，小型、开放的大型语言模型（LLM）的能力大大提高，从早期的GPT-2样式模型（Wang＆Komatsuzaki，2021）到准确而紧凑的模型（Touvron等，2023；Penedo等，2023；Jiang等，2023），这些模型训练的令牌数量远远超过了Chincilla缩放定律建议的“计算优化”数量。此外，研究人员已经证明，通过使用专有模型进行蒸馏监督微调（dSFT）可以进一步提高这些模型的准确性（Taori等，2023）。在这种方法中，更强大的教师模型的输出被用作学生模型的监督数据。

蒸馏已经被证明是改善各种不同任务上开放模型的有效工具（Chiang等，2023）；然而，它并没有达到教师模型的性能（Gudibande等，2023）。用户注意到这些模型不是“意图对齐”的，即它们的行为不符合人类用户的偏好。这种特性经常导致无法正确回答查询的输出。

意图对齐一直很难量化，但最近的研究已经导致了MT-Bench（Zheng等，2023）和AlpacaEval（Li等，2023）等针对这种行为的基准的发展。这些基准产生的分数与模型输出的人类评级密切相关，并确认了专有模型的质量优于使用人工反馈训练的开放模型，后者又优于使用蒸馏训练的开放模型。这促使人们对对齐进行仔细的人工反馈收集，但这往往需要巨大的成本，比如LLAMA2-CHAT（Touvron等，2023）。

在这项工作中，我们考虑了通过蒸馏完全对齐一个小型开放LLM的问题。主要步骤是利用来自教师模型集合的AI反馈（AIF）作为偏好数据，并将蒸馏直接偏好优化作为学习目标（Rafailov等，20231. 引言

近年来，大型语言模型（LLM）在自然语言处理领域取得了巨大的进展。从早期的GPT-2模型到如今更准确、更紧凑的模型，这些模型通过训练来理解和生成自然语言文本。然而，尽管这些模型在许多任务上表现出色，但它们并不总是能够完全理解用户的意图。

为了提高模型在特定任务上的准确性和对用户意图的理解能力，研究人员提出了一种新的方法——直接提取LM对齐。这种方法通过蒸馏监督微调（dSFT）和偏好数据优化（dDPO）来训练一个与用户意图对齐的小型语言模型。

本文将详细介绍ZEPHYR项目，它是一个直接提取LM对齐的模型，旨在创建一个小型语言模型，它能够更好地理解用户的意图并提供准确的回答。

2. 直接提取LM对齐的方法

在传统的监督学习中，通常使用人工标注的数据来训练模型。然而，这种方法需要耗费大量的时间和人力成本，并且对于大规模的语言模型来说，准备数据集是一项巨大的挑战。

为了解决这个问题，研究人员提出了一种直接提取LM对齐的方法。该方法利用来自AI反馈（AIF）的偏好数据，通过蒸馏直接偏好优化（dDPO）来训练模型。具体而言，该方法从一个由教师模型排名的输出数据集开始，通过优化目标函数来训练一个与用户意图对齐的聊天模型。与传统的监督学习相比，直接提取LM对齐的方法具有以下优势：

• 更高的效率：直接提取LM对齐的方法只需要几个小时的训练时间，而不需要额外的采样过程。
• 更好的意图对齐：通过使用偏好数据优化，模型能够更好地对齐用户的意图，从而提供更准确的回答。
• 无需人工标注：与传统的监督学习不同，直接提取LM对齐的方法不需要人工标注的数据，从而减少了人力成本。

3. ZEPHYR-7B模型的实验结果

ZEPHYR项目的目标是创建一个小型语言模型，它能够在特定任务上表现出与人类对齐的准确性。为了评估ZEPHYR模型的性能，研究人员使用了MT-Bench基准测试数据集，并与其他模型进行了比较。

实验结果表明，ZEPHYR-7B模型在MT-Bench数据集上取得了优秀的表现，超过了基于RLHF的开放访问模型LLAMA2-CHAT-70B。与其他开放模型相比，ZEPHYR-7B模型在意图对齐方面具有明显的优势，这意味着它能够更好地理解用户的意图并提供准确的回答。

4. 结论

本文介绍了ZEPHYR项目的直接提取LM对齐方法，并展示了实验结果。通过使用偏好数据优化和蒸馏直接偏好优化，ZEPHYR-7B模型在意图对齐方面取得了优异的性能，超越了其他开放模型。这证明了直接提取LM对齐方法的有效性。

ZEPHYR项目的成功背后有几个关键因素。首先，使用AI反馈数据作为偏好数据，能够更好地捕捉用户的意图和偏好。这种数据的使用使得模型能够更好地对齐用户的意图，从而提供更准确的回答。

其次，蒸馏直接偏好优化的方法能够在短时间内训练出高性能的模型。与传统的监督学习相比，这种方法不需要人工标注的数据，大大减少了训练的时间和成本。

最后，ZEPHYR项目的成功离不开团队的努力和创新精神。研究人员通过不断探索和改进模型的训练方法，取得了令人瞩目的成果。

虽然ZEPHYR项目取得了显著的成果，但仍有一些挑战需要克服。例如，如何进一步提高模型在意图对齐方面的性能，以及如何应对不同领域和语境下的挑战，都是需要进一步研究和探索的问题。

总之，ZEPHYR项目的直接提取LM对齐方法为创建小型语言模型提供了一种有效的途径。通过利用AI反馈数据和蒸馏直接偏好优化，ZEPHYR-7B模型在意图对齐方面取得了显著的进展。这为未来的研究和应用提供了新的思路和方法。我们期待着在实际应用中看到这种方法的进一步发展和应用。

💡 如果你对ZEPHYR项目感兴趣，想了解更多关于该项目的代码、模型、数据和教程，可以访问 https://github.com/huggingface/alignment-handbook  获取更多信息。

💡 欢迎留言分享你对ZEPHYR项目的看法和想法！我们期待与您的交流和讨论！

（本文是基于论文《ZEPHYR: Aligning Large Language Models with Direct Extraction of LM Alignments》的改编，并结合个人理解进行了阐述。）