分类： 🌏

大型语言模型（LLM）在自然语言处理领域取得了巨大成功，它们能够熟练掌握各种技能，例如写作、推理、聊天、编码等等。为了实现这些能力，LLM 通常需要在来自不同来源的庞大数据集上进行微调。然而，这些数据集往往具有异质性和不平衡性，给微调过程带来了挑战。如何平衡不同技能的开发，同时确保模型的整体性能，成为了一个关键问题。

本文将介绍一种名为“技能混合”（MIXTURE-OF-SKILLS，MOS）的通用、模型无关的强化学习框架，它能够在微调过程中自动优化数据使用。MOS 通过动态调整对不同数据集的关注程度，确保 LLM 能够全面、有效地发展各种技能。

数据使用优化：为什么重要？

在多个数据集上微调模型时，一个常见挑战是处理数据集的异质性和不平衡性。不同数据集可能具有不同的特点，例如数据规模、数据质量、数据类型等等。这些差异会导致模型在微调过程中难以兼顾所有技能的开发。

传统的做法往往限制数据集的使用，以防止模型被大型数据集“淹没”。然而，这种做法限制了所有可用数据的利用。一些研究尝试通过调整数据集的分布来解决这个问题，但这些方法往往需要大量的超参数调整，并且忽略了数据集之间的相互作用以及模型学习的动态变化。

“技能混合”框架：如何优化数据使用？

为了解决上述问题，本文提出了一种名为“技能混合”（MOS）的强化学习框架。MOS 框架的核心思想是训练一个“评分网络”，它能够根据模型当前的学习状态，动态调整对不同数据集的采样概率。

图 1 展示了 MOS 框架的整体流程。模型在多个数据集上进行微调，每个数据集都包含特定的技能信息。评分网络根据模型当前的学习状态，动态调整对不同数据集的采样概率，从而引导模型更有效地学习。

图 1：技能混合框架概述

MOS 框架的优势：

• 通用性： MOS 框架适用于各种 LLM 模型和数据集，无需特定模型或数据集的先验知识。
• 自动优化： MOS 框架能够自动学习最佳数据使用策略，无需人工干预。
• 多角度评估： MOS 框架使用三种不同的奖励机制来评估数据集的价值，包括可迁移性、难度和学习轨迹。

奖励机制：引导模型学习MOS 框架使用三种不同的奖励机制来评估数据集的价值，从而引导模型更有效地学习：

1. 可迁移性： 数据集之间的相似性越高，它们对模型的贡献就越大。MOS 框架使用余弦相似度来衡量数据集之间的相似性，并将其作为奖励机制之一。

2. 难度： 数据集的难度越高，模型需要投入更多的训练努力才能学好。MOS 框架使用困惑度来衡量数据集的难度，并将其作为奖励机制之一。

3. 学习轨迹： 模型在微调过程中，对不同数据集的学习进度会有所不同。MOS 框架使用指数移动平均来追踪模型的学习轨迹，并将其作为奖励机制之一。

实验结果：显著提升模型性能

为了验证 MOS 框架的有效性，本文在两个常用的基准数据集（MMLU 和 MT-bench）上，使用三种不同的 LLM 模型（QWEN1.5-0.5B. ��GEMMA-2B 和 LLAMA-3-8B）进行了实验。结果表明，MOS 框架能够显著提升模型的整体性能，并且能够加速模型的训练收敛速度。✅

表 1：不同模型在不同数据集上的性能比较

模型	数据集	MOS 框架	对照组
QWEN1.5-0.5B	MMLU	35.13	32.82
GEMMA-2B	MMLU	44.49	41.86
LLAMA-3-8B	MMLU	63.85	60.97
QWEN1.5-0.5B	MT-bench	22.27	23.40
GEMMA-2B	MT-bench	31.56	30.88
LLAMA-3-8B	MT-bench	61.54	59.64

未来展望：任务特定微调

除了通用微调之外，MOS 框架还可以应用于任务特定微调。本文提出了一种名为“MOSPEC”的变体，它能够有效地利用各种数据集来完成特定任务。

总结

本文提出了一种名为“技能混合”（MOS）的通用、模型无关的强化学习框架，它能够自动优化数据使用，提升 LLM 的整体性能。MOS 框架通过动态调整对不同数据集的关注程度，确保 LLM 能够全面、有效地发展各种技能。实验结果表明，MOS 框架能够显著提升模型的整体性能，并且能够加速模型的训练收敛速度。

参考文献

• Bai, Y. , et al. (2023). Qwen: Towards Open-source, Efficient, and High-performance Large Language Models. arXiv preprint arXiv:2305.16255.✅
• Colson, B. , et al. (2007). Bilevel programming: A survey. Journal of Optimization Theory and Applications, 130(2), 229-252.✅
• Conneau, A. , et al. (2020). Unsupervised cross-lingual representation learning at scale. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (pp. 820-830).✅
• Ding, L. , et al. (2023). A Comprehensive Study of Instruction Tuning for Large Language Models. arXiv preprint arXiv:2305.00161.✅
• Hendrycks, D. , et al. (2021a). Measuring Massive Language Models’ Ability to Reason. arXiv preprint arXiv:2108.08404.✅
• Longpre, S. , et al. (2023). In-context Learning and Induction Heads: A Unified Perspective. arXiv preprint arXiv:2305.13091.✅
• Mesnard, T. , et al. (2024). GEMMA: A 2B Parameter Open-Source Language Model. arXiv preprint arXiv:2401.02348.✅
• Ouyang, L. , et al. (2022). Training language models to follow instructions with human feedback. arXiv preprint arXiv:2203.02155.✅
• Raffel, C. , et al. (2020). Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, 21(140), 1-67.✅
• Sanh, V. , et al. (2022). Multitask Prompted Training for Large Language Models. arXiv preprint arXiv:2205.08310.✅
• Touvron, J. , et al. (2023a). LLaMA: Open and Efficient Large Language Models. arXiv preprint arXiv:2302.13971.✅
• Touvron, J. , et al. (2023b). BLOOM: A 176B-parameter Open-access Multilingual Language Model. arXiv preprint arXiv:2211.05100.✅
• Wang, S. , et al. (2020a). Differentiable Data Selection for Efficient Training of Deep Neural Networks. arXiv preprint arXiv:2002.05689.✅
• Wei, J. , et al. (2022). Finetuned Language Models are Zero-Shot Learners. arXiv preprint arXiv:2205.05131.✅
• Williams, R. J. (1992). Simple statistical gradient-following algorithms for connectionist reinforcement learning. Machine learning, 8(3-4), 229-256.✅
• Wu, M. , et al. (2021). Towards Understanding the Transferability of Knowledge in Multi-task Learning. arXiv preprint arXiv:2106.04803.✅
• Yue, Y. , et al. (2023). Math-Aware Language Models: Towards Reasoning about Mathematical Concepts. arXiv preprint arXiv:2303.11989.✅
• Yu, H. , et al. (2023). Towards Robust and Generalizable Mathematical Reasoning with Large Language Models. arXiv preprint arXiv:2303.17529.✅
• Zheng, Z. , et al. (2023). MT-bench: A Human-Centric Evaluation Benchmark for Multilingual Text Understanding. arXiv preprint arXiv:2303.16166.✅

大型语言模型（LLM）的最新进展表明，构建推理链对于提高其解决问题的能力至关重要。其中，链式思维 (CoT) 方法通过提示 LLM 生成中间推理步骤（即想法），从而构建显式的推理路径，取得了显著效果。然而，研究表明这些路径并不总是经过深思熟虑的，也并非最优。树状思维 (ToT) 方法采用树搜索来广泛探索推理空间，并找到 CoT 解码可能忽略的更好的推理路径。然而，这种深思熟虑的代价是推理复杂度显著增加。

本文将探讨一种名为链式偏好优化 (CPO) 的新方法，它通过利用 ToT 构建的搜索树来微调 LLM，使得 CoT 能够在不增加推理负担的情况下，实现类似甚至更好的性能。CPO 利用树搜索过程中固有的偏好信息，微调 LLM 使得 CoT 推理路径的每一步都与 ToT 的推理路径保持一致。

1. 为什么要思考？

大型语言模型在处理复杂问题时，往往需要进行多步推理。例如，回答一个多步骤的逻辑推理问题，或者从多个事实中进行推理得出结论。传统的 LLM 往往只关注最终的答案，而忽略了推理过程。这会导致模型在面对复杂问题时，容易出现错误或逻辑混乱。

链式思维 (CoT) 方法试图解决这个问题。它通过提示 LLM 生成一系列中间推理步骤，并将其连接起来形成一个完整的推理路径。例如，在回答一个多步骤的逻辑推理问题时，CoT 会提示 LLM 生成一系列中间推理步骤，例如：

问题： 小明有 5 个苹果，他吃了 2 个，还剩多少个？

CoT 推理路径：

• 步骤 1: 小明吃了 2 个苹果，所以还剩 5 – 2 个苹果。
• 步骤 2: 5 – 2 等于 3。
• 步骤 3: 所以小明还剩 3 个苹果。

CoT 方法使得 LLM 的推理过程更加清晰，也更容易被人类理解。然而，CoT 方法也存在一些问题。例如，它只关注一条推理路径，而忽略了其他可能的推理路径。这会导致模型在遇到复杂问题时，容易陷入局部最优，无法找到最佳的解决方案。

2. 树状思维：更全面的思考

树状思维 (ToT) 方法试图解决 CoT 方法的局限性。它通过在推理过程的每一步生成多个分支想法，并进行自我评估以进行剪枝和规划，从而搜索最佳推理路径。例如，在回答上面的小明苹果问题时，ToT 可能生成以下推理路径：

ToT 推理路径：

• 步骤 1:
  • 想法 1: 小明吃了 2 个苹果，所以还剩 5 – 2 个苹果。
  • 想法 2: 小明还剩 5 – 2 个苹果。
  • 想法 3: 小明还剩 3 个苹果。
• 步骤 2:
  • 想法 1: 5 – 2 等于 3。
  • 想法 2: 5 – 2 等于 4。
• 步骤 3:
  • 想法 1: 所以小明还剩 3 个苹果。
  • 想法 2: 所以小明还剩 4 个苹果。

ToT 方法会对每个想法进行评估，并选择最优的想法继续进行推理。最终，它会找到一条最佳的推理路径，并给出最终的答案。

ToT 方法能够有效地提高 LLM 的推理能力，但它也存在一个问题：推理复杂度过高。由于它需要在每一步生成多个想法并进行评估，因此推理速度会显著降低。

3. 链式偏好优化：兼顾效率和效果

链式偏好优化 (CPO) 方法试图在 ToT 方法的基础上，找到一种平衡效率和效果的方法。它通过利用 ToT 构建的搜索树来微调 LLM，使得 CoT 能够在不增加推理负担的情况下，实现类似甚至更好的性能。

CPO 的核心思想是利用 ToT 搜索过程中固有的偏好信息。ToT 在每一步都会生成多个想法，并根据其评估结果进行剪枝。这意味着 ToT 实际上已经对所有中间想法进行了偏好排序：出现在最佳推理路径中的想法应该比没有出现在最佳推理路径中的想法更受偏好。

CPO 利用这种偏好信息来训练 LLM。它通过将 ToT 中的每个想法标记为“偏好”或“非偏好”，并将其作为训练数据，来训练 LLM 生成与 ToT 偏好一致的推理路径。

4. CPO 的优势

CPO 具有以下优势：

• 提高 LLM 的推理能力： CPO 能够有效地提高 LLM 的推理能力，使其在解决复杂问题时能够找到更好的解决方案。
• 降低推理复杂度： CPO 能够在训练阶段利用 ToT 的偏好信息，从而在推理阶段保持 CoT 的低延迟，避免 ToT 带来过高的推理复杂度。
• 无需额外的人工标注数据： CPO 不需要额外的人工标注数据，仅需利用 ToT 生成的搜索树即可进行训练，这在资源有限的情况下非常有用。

5. 未来展望

CPO 方法为提高 LLM 的推理能力提供了新的思路。未来，我们可以进一步研究以下方向：

• 探索更有效的偏好信息收集方法： 可以研究更有效的偏好信息收集方法，例如利用人类反馈或其他 LLM 的评估结果来收集偏好信息。
• 将 CPO 应用于其他推理任务： 可以将 CPO 应用于其他推理任务，例如代码生成、文本摘要等。
• 研究 CPO 与其他推理方法的结合： 可以研究 CPO 与其他推理方法的结合，例如结合神经网络搜索 (NAS) 来优化 LLM 的推理结构。

---

Q: 这篇论文试图解决什么问题？

A: 这篇论文试图解决的问题是如何提高大型语言模型（LLMs）在解决复杂问题时的逻辑推理能力。具体来说，论文关注的是链式推理（Chain-of-Thought，CoT）解码方法，这种方法通过生成显式的逻辑推理路径来帮助LLMs解决问题。然而，研究发现CoT方法并不总是能够找到最优的推理路径，有时会出现非故意和非最优的推理方式。为了解决这个问题，论文提出了一种新的优化方法，称为“链式偏好优化”（Chain of Preference Optimization，CPO），旨在通过利用树状推理（Tree-of-Thought，ToT）方法构建的搜索树中的固有偏好信息，来微调LLMs，使其CoT推理路径与ToT的推理路径对齐，从而提高推理性能，同时避免了ToT方法带来的显著推理复杂性增加。

Q: 有哪些相关研究？

A: 论文中提到了以下几类相关研究：

1. 大型语言模型（LLMs）的推理能力提升：研究表明，当LLMs被提示进行多步推理时，它们的表现会更好。例如，通过后编辑推理路径或访问外部知识来改进生成的推理路径。
2. 非线性推理结构：与CoT方法不同，一些研究将线性推理结构转换为非线性格式，如树或图，并结合深度优先搜索（DFS）等搜索算法。
3. LLMs的自我改进：使用强化学习（RL）技术，通过将LLMs视为RL代理，与人类反馈对齐，以改进模型性能。一些方法使用LLMs自生成数据来增强微调过程。
4. 蒙特卡洛树搜索（MCTS）在LLMs中的应用：MCTS是一种在复杂决策环境中导航的强大算法，已被证明可以增强LLMs的解码过程。
5. 直接偏好优化（DPO）：DPO是一种直接优化LLM以符合偏好数据的方法，例如人类反馈。它将传统的强化学习的奖励建模和微调阶段重新构想为一个单一的优化问题。
6. 链式推理（CoT）和树状推理（ToT）：CoT方法通过生成中间推理步骤来构建显式的推理路径，而ToT方法则通过树搜索来探索多个推理路径，并进行自我评估以寻找最优推理路径。

这些研究为本文提出的链式偏好优化（CPO）方法提供了理论和技术背景。CPO方法借鉴了这些研究的成果，特别是利用ToT方法中的树搜索过程中产生的偏好信息，并通过DPO算法来训练LLMs，以提高其推理能力。

Q: 论文如何解决这个问题？

A: 论文通过提出一种新的优化方法——链式偏好优化（Chain of Preference Optimization, CPO）来解决这个问题。CPO方法的核心思想是利用树状推理（Tree-of-Thought, ToT）过程中产生的固有偏好信息，来指导和优化CoT方法的推理路径。具体来说，CPO方法包括以下几个关键步骤：

1. 生成偏好思想对：在ToT的树搜索过程中，每个推理步骤都会生成多个候选思想，并根据其评估质量进行剪枝。CPO方法将这些候选思想中的优选思想（即最终选择的推理路径中的思想）标记为“偏好思想”，而未被选择的思想则标记为“非偏好思想”。
2. 构建偏好数据：对于每个推理步骤，CPO根据ToT的搜索树结构构建成对的偏好思想数据。这些数据包括偏好思想和相应的非偏好思想，它们形成了用于训练的偏好对。
3. 直接偏好优化（DPO）训练：使用DPO算法，CPO方法训练LLMs以对齐这些偏好对。DPO的目标是最大化偏好响应的概率比，从而使LLMs在推理时能够生成ToT方法所偏好的路径。
4. 避免高推理延迟：与ToT方法在推理时需要进行搜索不同，CPO将计算负担转移到训练阶段，从而在推理时保持CoT的低延迟特性。
5. 实验验证：通过在多个数据集上进行广泛的实验，论文证明了CPO方法在提高LLMs解决复杂问题的性能方面是有效的，尤其是在问答、事实验证和算术推理等任务上。

总的来说，CPO方法通过在训练阶段利用ToT的树搜索过程中的偏好信息，使得LLMs能够在推理时生成更优的推理路径，同时避免了ToT方法在实际应用中面临的高计算复杂性问题。

Q: 论文做了哪些实验？

A: 论文中进行了广泛的实验来验证链式偏好优化（CPO）方法的有效性。实验设置如下：

1. 数据集和评估指标：研究集中在三种类型的推理任务上：问答（QA）、事实验证和算术推理。使用了包括Bamboogle、WikiMultiHopQA、HotpotQA、Fever、Feverous、Vitaminc和SVAMP等七个数据集。评估指标包括准确率和每实例生成答案的平均延迟。
2. 基线模型：为了证明CPO的有效性，论文考虑了以下基线模型：CoT、ToT和TS-SFT。
3. 实验设置：实验基于广泛使用的LLMs，特别是LLaMA27B/13B和Mistral-7B. ��为了高效的微调，使用了Low-Rank Adaptation (LoRA)适配器。设置了正则化控制器β、生成新思想的数量、剪枝后保留的思想数量等参数。✅
4. 整体结果：在各种推理任务上，CPO在提高基础LLM的推理能力方面表现出了显著的效果，平均改进达到了4.3%，并且在不牺牲推理速度的情况下与ToT方法相比具有可比性或更优的性能。
5. 组件级评估：分析了选择非偏好思想的不同方法对模型性能的影响，以及训练数据数量对优化的影响。
6. 数据混合敏感性：探索了CPO方法在不同数据设置下的性能，包括单任务数据、统一QA数据和混合类型数据。
7. 迭代学习：探索了CPO是否可以通过对迭代学习进行进一步改进，尝试了两种不同的迭代训练策略：SFT+CPO和CPO only。
8. 效果分析：探讨了非偏好信息对模型性能的影响，以及链级优化的重要性。

这些实验结果表明CPO方法能够有效地提高LLMs在复杂问题解决中的推理能力，并且在效率上具有优势。论文还对实验结果进行了深入分析，以理解CPO方法的工作原理和潜在的改进空间。

Q: 有什么可以进一步探索的点？

A: 论文在最后一部分提出了一些未来工作的方向，以下是可以进一步探索的点：

1. 结合其他推理算法：作者提出将CPO与图状推理（Graph-of-Thoughts）等其他推理算法结合的可能性，以进一步提升LLMs的推理能力。
2. 弱到强模型的对齐：探索使用弱LLM来评估强LLM的可能性，以实现弱到强的对齐（weak-to-strong alignment），这可能有助于提高模型的整体性能。
3. 迭代学习：论文中提到了迭代学习可能带来性能的提升，但同时也注意到了ToT性能的不一致性。未来的工作可以更深入地研究迭代学习策略和模型性能之间的关系。
4. 输出多样性与搜索空间：论文指出，模型经过微调后可能会减少输出的多样性，这可能会影响ToT方法寻找更好推理路径的能力。未来的研究可以探索如何在提高性能的同时保持或增加输出的多样性。
5. 跨模态应用：论文中的方法主要针对文本语言模型，未来的工作可以探索将CPO方法应用于视觉-语言模型或其他跨模态模型。
6. 效率与可扩展性：尽管CPO在提高性能的同时保持了较低的推理延迟，但ToT生成训练数据的过程仍然耗时。研究如何提高CPO方法的效率和可扩展性是一个重要的方向。
7. 伦理和社会影响：论文提到了CPO可能被用于恶意应用的问题，未来的工作需要考虑如何确保技术的安全和伦理使用，以及如何防止潜在的滥用。
8. 更广泛的任务和领域：论文中的实验主要集中在问答、事实验证和算术推理任务上。未来的研究可以在更广泛的任务和领域中测试CPO方法的有效性。
9. 模型解释性：提高模型的可解释性，帮助研究者和用户理解CPO优化过程中模型是如何学习和做出决策的。
10. 鲁棒性和泛化能力：研究CPO方法在不同数据分布、领域和任务中的鲁棒性和泛化能力，确保模型在面对新情况时仍能保持良好性能。

Q: 总结一下论文的主要内容

A: 这篇论文的主要内容可以概括为以下几个要点：

1. 问题识别：论文指出大型语言模型（LLMs）在使用链式推理（CoT）解码时，并不总能生成最优的逻辑推理路径，这限制了它们解决复杂问题的能力。
2. 方法提出：为了解决上述问题，论文提出了一种新的优化方法——链式偏好优化（CPO），该方法利用树状推理（ToT）过程中产生的偏好信息来微调LLMs。
3. CPO原理：CPO通过在ToT的树搜索过程中产生的偏好信息，构建每个推理步骤的偏好思想对，然后使用直接偏好优化（DPO）算法来训练LLMs，使其推理路径与ToT中的偏好对齐。
4. 实验验证：论文通过在多个数据集上进行实验，验证了CPO方法在提高LLMs的推理能力方面是有效的。实验结果表明，CPO平均提高了4.3%的准确率，并且在推理延迟上远低于ToT方法。
5. 组件级评估：论文还对CPO的不同组件进行了评估，包括选择非偏好思想的策略、训练数据的数量、数据混合的敏感性等，以深入理解CPO的工作原理和性能影响因素。
6. 未来工作：论文提出了一些未来研究方向，如将CPO与其他推理算法结合、探索弱到强模型的对齐、提高CPO的效率和可扩展性等。
7. 社会影响和局限性：论文讨论了CPO可能带来的社会影响，包括其在安全性和伦理方面的应用潜力，以及当前方法的局限性，如ToT数据生成的耗时问题。
8. 代码开源：论文提供了CPO方法的代码，以便其他研究者复现和进一步研究。

总的来说，这篇论文通过提出CPO方法，为提高LLMs的推理能力提供了一种新的视角，并在理论和实践层面都进行了深入的探讨和验证。

---

近年来，基于模型的强化学习（MBRL）在解决各种任务中展现出强大的能力。然而，现有的MBRL代理在处理长期依赖关系方面存在困难，这限制了它们在涉及行动和结果之间长时间间隔的任务，或需要回忆远距离观察结果来指导当前行动的任务中的表现。为了克服这一挑战，本文介绍了一种名为“回忆想象”（Recall to Imagine，R2I. ��的新方法，它将一种新型状态空间模型（SSM）整合到MBRL代理的世界模型中，以增强长期记忆和长范围信用分配能力。✅

长期记忆的困境：世界模型的挑战

在强化学习中，世界模型通过捕捉环境的动态变化，赋予代理感知、模拟和规划的能力。MBRL代理通过学习过去经验中的世界模型，能够“想象”其行动的未来后果，并做出明智的决策。

然而，MBRL面临着两个关键挑战：

• 长期依赖关系：世界模型需要准确地模拟环境的演化和未来奖励，并整合代理在长时间范围内的行动。由于世界模型的网络架构限制，难以学习长距离依赖关系，导致长期记忆和信用分配问题。
• 信用分配问题：需要评估行动对未来奖励的影响，这在长时间间隔的任务中尤其困难。

S4模型：突破长期依赖关系的利器

近年来，状态空间模型（SSM）在监督学习和自监督学习任务中展现出捕捉超长序列依赖关系的能力。其中，S4模型凭借其优异的性能，重新定义了长距离序列建模的研究方向。S4模型源于一个时间不变的线性动力系统，它学习状态矩阵，并能够有效地捕捉高达16K长度的依赖关系，超越了先前方法的局限性。

回忆想象：赋予世界模型记忆能力

R2I方法首次将S4模型的变体应用于MBRL，为代理提供了强大的长期记忆能力。R2I是一种通用且计算效率高的方法，在各种记忆领域展现出最先进的性能。

R2I的核心思想：

• S3M. ��Structured State-Space Model）：✅R2I将S4模型整合到DreamerV3的世界模型中，构建了S3M. ��S3M通过并行计算和循环推理模式，实现了快速学习和高效的轨迹模拟。✅
• 非循环表示模型：为了实现并行计算，R2I将表示模型从循环模型转变为非循环模型，使每个时间步的推断能够独立进行。
• SSM的并行计算：R2I采用并行扫描方法，而非卷积方法，来计算SSM的隐藏状态，这使得模型能够更有效地处理长序列数据，并支持隐藏状态的重置。
• 演员-评论家结构：R2I在演员-评论家结构中，将SSM的隐藏状态传递给策略网络，而不是使用GRU的隐藏状态。这对于解决记忆密集型环境中的长期依赖关系至关重要。

R2I的优异表现

R2I在各种记忆领域展现出优异的性能，包括：

• POPGym：R2I在POPGym中取得了最先进的性能，这是一个专门设计用来测试长期记忆能力的强化学习环境。
• 行为套件（BSuite）：R2I在BSuite中超越了其他基准方法，BSuite是一套用于评估强化学习代理能力的标准化任务。
• 记忆迷宫：R2I在记忆迷宫中超越了人类，这是一个需要极强的长期记忆能力才能解决的复杂3D环境。

此外，R2I在经典的强化学习任务中也展现出良好的性能，例如：

• Atari：R2I在Atari游戏中取得了与其他最先进方法相当的性能。
• DMC：R2I在DMC中也展现出良好的性能，DMC是一套用于评估强化学习代理在连续控制任务中的能力的标准化环境。

总结

R2I方法通过将S4模型整合到世界模型中，赋予了MBRL代理强大的长期记忆能力。R2I在各种记忆领域展现出最先进的性能，并超越了人类在记忆迷宫中的表现。R2I的通用性和计算效率使其成为解决长期记忆和信用分配问题的强大工具。

参考文献

• Hafner, D. , Lillicrap, T. P., Norouzi, M., & Schmidhuber, J. (2023). DreamerV3: Learning and planning in✅
  large, stochastic worlds. arXiv preprint arXiv:2302.04023.
• Gu, S. , Hoffman, M., Edwards, H., Roberts, A., Brunskill, E., & Lake, B. M. (2021a). S4: Deep✅
  learning on symbolic sequences. arXiv preprint arXiv:2106.03107.
• Smith, S. L., Gupta, A., Gu, S., & Lake, B. M. (2023). Efficiently modeling long sequences with✅
  state space models. arXiv preprint arXiv:2302.10871.

---

视觉语言模型（VLM）在理解和回答图像相关的文本问题方面取得了显著进展，但它们在三维空间推理方面仍然存在局限性。例如，它们难以识别物体之间的距离或大小差异等定量关系。为了赋予 VLM 空间推理能力，来自 Google DeepMind 和 MIT 等机构的研究人员提出了 SpatialVLM，并将其成果发表在 CVPR 2024 上。

SpatialVLM 的核心思想是通过训练数据来弥补 VLM 在空间推理方面的不足。 研究人员认为，现有 VLM 在空间推理能力有限，并非由于其架构的根本缺陷，而是因为缺乏大规模的训练数据。因此，他们开发了一个自动化的三维空间 VQA 数据生成框架，利用真实世界图像，生成高达 20 亿个 VQA 例子，并以此训练 SpatialVLM。

数据生成框架的核心是将二维图像提升到三维度量空间的点云。 这一过程利用了图像中的深度信息，将每个像素映射到三维空间中的一个点，并赋予每个点相应的坐标。研究人员还开发了专门的算法，用于生成关于物体位置、距离、大小等空间关系的 VQA 问题，并根据点云信息生成相应的答案。

SpatialVLM 的训练过程包括将合成数据与现有的 VLM 训练数据混合在一起。 通过这种方式，SpatialVLM 能够学习到基本的直接空间推理能力，例如识别物体之间的相对位置、距离和大小等。

SpatialVLM 的优势在于它可以进行多步骤的空间推理。 由于其具备基本的直接空间推理能力，SpatialVLM 可以与大型语言模型 (LLM) 协同工作，进行更复杂的推理任务。例如，它可以回答诸如“蓝色可乐罐、红色可乐罐和绿色海绵是否大致形成一个等边三角形”这样的问题。

SpatialVLM 还具有在机器人学领域应用的潜力。 由于 SpatialVLM 可以对空间进行定量推理，它可以作为机器人任务的精细奖励标注器。例如，SpatialVLM 可以根据机器人手到可乐罐的距离，生成单调递减的奖励信号，用于强化学习。

SpatialVLM 的研究成果为视觉语言模型的发展开辟了新的方向。 它证明了通过大规模合成数据训练 VLM，可以显著提升其空间推理能力，并为 VLM 在机器人学、虚拟现实等领域的应用提供了新的可能性。

参考文献:

• Chen, Boyuan, et al. “SpatialVLM: Endowing Vision-Language Models with Spatial Reasoning Capabilities.” arXiv preprint arXiv:2401.12168 (2024).
• VQASynth. GitHub repository. https://github.com/remyxai/VQASynth/tree/main.

近年来，人工智能领域掀起了一股大模型热潮，而最近，长文本大模型的出现，更是将这场军备竞赛推向了新的高度。

Kimi Chat的横空出世，让业界意识到长文本大模型的巨大潜力。它能够处理高达200万字的上下文，这在以往是难以想象的。

百度文心一言也紧随其后，宣布下个月版本升级，将开放200万-500万字的长度。360智脑更是内测500万字，并计划将其整合到360AI浏览器中。阿里通义千问也开放了1000万字的处理能力。

海外方面，GPT4-turbo支持128K长度，Claude也支持200K. ��✅

这场长文本大模型的竞赛，究竟意味着什么？

长文本：大模型的“内存”

我们可以将大模型本身看作一个操作系统，它支持的文本上下文长度就如同操作系统的内存。内存越大，大模型一次性能够处理的信息就越多，也就能更好地理解和处理复杂的文本内容。

以往的大模型，由于内存有限，只能通过实时读写硬盘获取信息，类似于RAG（Retrieval-Augmented Generation）技术。这种方式需要先进行检索，提取相关信息，再进行处理和输出答案。

长文本大模型的出现，则意味着大模型拥有了更大的“内存”，能够直接处理更长的文本，无需依赖外部检索，从而提高效率和准确性。

长文本处理：两条路

目前，长文本处理主要分为两种方式：

• 有损压缩：对上下文进行压缩，以减少内存占用。
• 无损工程化硬怼：通过工程优化，尽可能保留原始信息。

Kimi号称其200K超长上下文是无损实现，但具体的技术方案尚未公开。

工程优化：突破瓶颈

如何实现无损超长上下文？ 这成为了众多研究者关注的焦点。

知乎上的一些技术方案推测，主要集中在工程优化方面，例如：

• 优化内存管理：利用更先进的内存管理技术，例如KV Cache，来提高内存利用率。
• 优化Attention计算：例如Flash Attention和Ring Attention，利用GPU硬件特性或分布式计算，降低计算量和内存占用。

Dr.Wu在知乎上的回答非常精辟：“这个领域的研究十分割裂，容易出现NLP领域的paper一顿优化，kv cache一点没变，去优化那个attention的计算量，找错了瓶颈……”

以往的优化主要集中在算法层面，例如对Attention机制进行改进，以减少计算量。但这些方法往往会导致信息丢失，属于有损压缩。

Full Attention仍然是主流的计算方式，但其计算量巨大，尤其是对于长文本而言。

Full Attention：计算量之殇

Attention机制的计算公式如下：

$$
Attention(Q, K, V. = softmax(\frac{QK^T}{\sqrt{d_k}})V✅
$$

其中，Q. ��K、V分别由文本输入向量乘以对应权重矩阵产生，维度为[seq_length, dim]。✅

当上下文长度很长时，seq_length会非常大，导致QK^T矩阵的维度也极其庞大，需要大量的内存空间来存储，并进行后续计算。

优化方案：Flash Attention & Ring Attention

Flash Attention利用GPU硬件特性，将计算尽可能地在SRAM这一层完成，降低GPU内存读取/写入。

Ring Attention则采用分布式计算，将Q. ��K、V矩阵分割到不同的硬件上，分别计算Attention，最后进行聚合，避免创建庞大的矩阵，从而降低内存占用和计算量。✅

长文本大模型：未来可期

长文本大模型的出现，为我们打开了新的视野。它不仅能够处理更长的文本，还能更好地理解和分析复杂的信息。

未来，随着技术的发展，长文本大模型将会在更多领域发挥重要作用，例如：

• 更精准的机器翻译：能够理解更长的上下文，翻译更加准确自然。
• 更强大的对话系统：能够进行更深入的对话，理解更复杂的语境。
• 更有效的文本摘要：能够提取更准确、更完整的文本信息。

长文本大模型的未来充满希望，让我们拭目以待！

参考文献

• Kimi Chat
• 百度文心一言
• 360智脑
• 阿里通义千问
• GPT4-turbo
• Claude
• Flash Attention
• Ring Attention
• 元象科技

大型语言模型（LLM）已经彻底改变了人们的工作方式。以 GPT 系列模型为例，它被广泛应用于各种场景，帮助我们快速解答问题、调试代码等等，成为了许多应用的得力助手。

然而，LLM 在实际应用中也面临着挑战。其中一个重要问题是，现有的 LLM 不适合用于流式应用，例如长时间的对话聊天。这是因为 LLM 在训练时会受到注意力窗口的限制，无法处理超过预定义训练序列长度的对话。此外，LLM 还会消耗大量的内存，这在实际应用中也是一个很大的问题。

为了解决这些问题，研究人员提出了 StreamingLLM 框架。

StreamingLLM：突破传统 LLM 的限制

StreamingLLM 是由 Xiao 等人于 2023 年提出的一种框架，旨在解决流式应用中的问题。现有的方法之所以面临挑战，是因为 LLM 在预训练时会受到注意力窗口的限制。

窗口注意力技术虽然效率很高，但在处理超过缓存大小的文本时就会失效。为了解决这个问题，研究人员尝试将几个初始 token 的键值对（KV）与最近的 token 结合起来，并将其称为“注意力汇聚”。下图展示了 StreamingLLM 与其他技术的对比：

[StreamingLLM vs Existing Method (Xiao et al. (2023))]

我们可以看到，StreamingLLM 利用注意力汇聚方法来解决挑战。注意力汇聚（初始 token）用于稳定注意力计算，并与最近的 token 结合起来，从而提高效率并在更长的文本上保持稳定性能。

此外，现有的方法在内存优化方面也存在问题。然而，LLM 通过在最近 token 的键值对上维护一个固定大小的窗口来避免这些问题。作者还提到，StreamingLLM 比滑动窗口重新计算基线快 22.2 倍。

从性能方面来看，StreamingLLM 在基准数据集上的准确率远超其他方法，如下表所示：

[StreamingLLM accuracy (Xiao et al. (2023))]

上表表明，StreamingLLM 的准确率可以超过其他方法。因此，StreamingLLM 在许多流式应用中具有巨大的潜力。

如何尝试 StreamingLLM？

您可以访问 StreamingLLM 的 GitHub 页面，将代码库克隆到您的目标目录，并在 CLI 中使用以下代码设置环境：

conda create -yn streaming python=3.8
conda activate streaming

pip install torch torchvision torchaudio
pip install transformers==4.33.0 accelerate datasets evaluate wandb scikit-learn scipy sentencepiece

python setup.py develop

然后，您可以使用以下代码运行带有 LLM 流式解码功能的 Llama 聊天机器人：

CUDA_VISIBLE_DEVICES=0 python examples/run_streaming_llama.py  --enable_streaming

下图展示了 StreamingLLM 在更长的对话中的表现：

[StreamingLLM showed outstanding performance in more extended conversations (Streaming-llm)]

总结

在流式应用中使用 LLM 可以帮助企业在长远发展中获得优势，但实现起来也面临着挑战。大多数 LLM 无法超过预定义的训练序列长度，并且会消耗大量的内存。Xiao 等人 (2023) 开发了一个名为 StreamingLLM 的新框架来解决这些问题。使用 StreamingLLM，现在可以在流式应用中使用 LLM 了。

---

大型语言模型（LLM）已经成为自然语言处理领域不可或缺的一部分，但它们在处理长文本时却面临着巨大的挑战。传统的 LLM 在解码过程中需要缓存所有先前解码的 token 的键值对（KV），这会导致内存占用量随着对话长度的增加而线性增长，并且模型的性能也会受到限制。

StreamingLLM 应运而生，它是一种高效的框架，可以使 LLM 在不进行任何微调的情况下，将有限长度的注意力窗口推广到无限序列长度，从而实现高效的流式解码。

窗口注意力的瓶颈：为什么需要 StreamingLLM？

为了解决传统 LLM 解码过程中的内存占用和性能下降问题，研究人员提出了窗口注意力机制，它只缓存最近的 KV，从而减少了内存占用。然而，当文本长度超过缓存大小时，窗口注意力机制就会失效。

StreamingLLM 的核心思想是利用注意力汇聚（Attention Sink）现象。研究人员发现，即使一些初始 token 在语义上并不重要，但模型仍然会对它们保持很强的注意力。这种现象被称为注意力汇聚。

Attention Sink 的发现：解开窗口注意力的秘密

通过分析 LLM 在处理长文本时的注意力机制，研究人员发现了一个有趣的现象：模型会将大量的注意力集中在初始 token 上，即使这些 token 在语义上并不重要。他们将这种现象称为“注意力汇聚”。

为什么会出现注意力汇聚？ 这是因为 Softmax 函数的特性，它要求所有上下文 token 的注意力分数之和为 1。即使当前查询在许多之前的 token 中没有强匹配，模型仍然需要将这些不必要的注意力值分配到某个地方，以使它们加起来为 1。

初始 token 成为注意力汇聚的原因也很直观： 由于自回归语言模型的特性，初始 token 对所有后续 token 都可见，而后续 token 只能对有限的后续 token 可见。因此，初始 token 更容易被训练成注意力汇聚，从而捕获不必要的注意力。

StreamingLLM 的工作原理：高效利用注意力汇聚

StreamingLLM 框架基于以下几个关键原则：

• 保留注意力汇聚： 保留初始 token 的 KV，以弥补窗口注意力机制的不足。
• 滑动窗口： 使用滑动窗口机制，只缓存最近的 token 和注意力汇聚，从而减少内存占用。
• 预训练优化： 在预训练过程中添加一个占位符 token 作为专门的注意力汇聚，进一步提高流式部署的性能。

StreamingLLM 的优势：高效、稳定、无需微调

• 高效的流式解码： StreamingLLM 可以实现高效的流式解码，即使在处理非常长的文本时，也能保持良好的性能。
• 无限序列长度： StreamingLLM 可以处理无限长度的文本，突破了传统 LLM 的限制。
• 无需微调： StreamingLLM 不需要对 LLM 进行任何微调，就可以实现高效的流式解码。

实验结果：实证验证 StreamingLLM 的有效性

研究人员对多个流行的 LLM 家族（包括 Llama-2、MPT、Falcon 和 Pythia）进行了实验，结果表明：

• StreamingLLM 在处理长文本时，其性能与滑动窗口重新计算基线相当，而传统的窗口注意力机制则会失效。
• StreamingLLM 可以处理超过 400 万个 token 的文本，并且在处理超长文本时仍然保持稳定。
• 在预训练过程中添加一个专门的注意力汇聚 token 可以进一步提高 StreamingLLM 的性能。

StreamingLLM 的应用场景：无限对话、实时翻译、文本摘要

StreamingLLM 在许多场景中都有广泛的应用，例如：

• 多轮对话： StreamingLLM 可以用于构建高效的聊天机器人，实现流畅的对话交互。
• 文本摘要： StreamingLLM 可以用于对长文本进行摘要，并保留关键信息。
• 实时翻译： StreamingLLM 可以用于实时翻译，提供流畅的翻译体验。

未来展望：更强大、更智能的流式解码

StreamingLLM 的出现为 LLM 的流式应用开辟了新的可能性。未来，研究人员将继续探索如何进一步优化 StreamingLLM 框架，使其在更多场景中发挥更大的作用。

---

https://arxiv.org/pdf/2309.17453