在人工智能的浩瀚星海中，Chain-of-Thought（CoT，思维链） 是一颗璀璨的明星。它赋予了大型语言模型（LLMs）逐步推理的能力，使其能够将复杂问题拆解为一系列可管理的子任务。然而，随着思维链长度的增加，计算成本和推理延迟也随之飙升，尤其当思维链长度超过 10,000 个 token 时，这种问题变得尤为严重。那么，是否每一个 token 都对推理结果同等重要？如果不是，我们是否可以跳过那些「无足轻重」的 token，而不损害模型的推理能力？这正是 TokenSkip 试图回答的问题。
本文将带你深入探索这项创新技术，它如何通过「跳过」不重要的 token 来压缩思维链，同时保持推理性能的稳定。让我们从头开始，一步步揭开 TokenSkip 的秘密。
🌟 思维链的魅力与困境
🧩 什么是思维链？
思维链是一种逐步推理的方法，它让大型语言模型能够像人类一样，通过分解复杂问题来找到答案。例如，解决一个数学问题时，思维链会将问题分解为多个步骤，从已知条件开始，逐步推导出最终答案。这种方法已被证明可以显著提高模型在复杂任务上的表现。
近年来，研究者发现，延长思维链的长度可以进一步提升模型的推理能力。例如，OpenAI 的 o1 和 DeepSeek-R1 等研究表明，将推理步骤从数百扩展到数千，甚至数万个 token，可以让模型更好地解决复杂问题。
⏳ 效率的代价
然而，思维链的效率问题不容忽视。由于 LLM 的自回归解码特性，思维链的长度与推理延迟呈线性增长。此外，注意力机制的二次计算复杂度进一步加剧了这一问题。当思维链变得过长时，用户体验受到严重影响。
那么，问题的核心是：思维链中的每一个 token 是否都对推理结果至关重要？ 如果不是，我们是否可以通过某种方式减少 token 的使用，而不显著降低推理性能？
🔍 TokenSkip 的灵感与诞生
🧠 每个 token 的重要性是一样的吗？
研究者首先对思维链中的 token 进行了深入分析，试图回答一个关键问题：「思维链中的每个 token 是否对推理结果同等重要？」 他们发现，答案是否定的。
通过实验，研究者揭示了一个有趣的现象：某些 token 对推理结果的贡献远大于其他 token。 例如，在数学推理中，表达式和数字往往比连接词（如「所以」或「因为」）更重要。这种语义重要性的差异为 TokenSkip 的设计提供了灵感。
✂️ TokenSkip 的核心思路
基于上述发现，研究者提出了 TokenSkip，这是一种简单而有效的方法，能够让 LLM 在推理过程中跳过那些语义重要性较低的 token。具体来说，TokenSkip 包括以下三个核心步骤：
- Token 剪枝：根据 token 的语义重要性，对思维链进行剪枝，去除那些对推理结果贡献较小的 token。
- 模型微调：使用剪枝后的思维链对目标模型进行监督微调，使其能够在推理过程中自动跳过冗余 token。
- 可控压缩：通过调整压缩比例，用户可以灵活控制思维链的压缩程度，从而在推理效率和准确性之间找到最佳平衡。
🛠️ TokenSkip 的工作原理
✂️ Token 剪枝：找到关键 token
TokenSkip 的第一步是对思维链进行剪枝。研究者使用了一种名为 LLMLingua-2 的语义重要性度量方法，该方法基于双向语言模型（如 BERT）来评估每个 token 的重要性。具体来说，LLMLingua-2 会为每个 token 分配一个重要性分数，分数越高，表示该 token 对推理结果的贡献越大。
剪枝过程如下：
- 对思维链中的每个 token 计算重要性分数。
- 按重要性分数降序排列 token。
- 根据用户指定的压缩比例（例如 0.7），保留前 70% 的重要 token，去除剩余的 token。
🎯 模型微调：教会模型跳过冗余
剪枝后的思维链会被用作训练数据，对目标模型进行微调。训练过程中，模型会学习如何在推理过程中自动跳过那些不重要的 token，同时保持推理的连贯性和准确性。
🚀 推理阶段：高效的思维链生成
在推理阶段，TokenSkip 会根据用户指定的压缩比例，生成压缩后的思维链。这种方法不仅减少了推理所需的 token 数量，还显著降低了推理延迟。
📊 实验结果：TokenSkip 的魔力
研究者在多个模型和任务上验证了 TokenSkip 的效果，包括 LLaMA-3.1-8B-Instruct 和 Qwen2.5-Instruct 系列模型，并使用了两个数学推理基准数据集：GSM8K 和 MATH-500。
🌟 显著的压缩效果
在 GSM8K 数据集上，TokenSkip 将 Qwen2.5-14B-Instruct 的思维链 token 数量从 313 减少到 181，压缩比例达到 40%，而推理准确率仅下降了不到 0.4%。在更具挑战性的 MATH-500 数据集上，TokenSkip 将 token 数量减少了 30%，推理准确率仅下降了不到 4%。
⏩ 推理速度大幅提升
TokenSkip 的压缩效果直接转化为推理速度的提升。例如，在 GSM8K 数据集上，TokenSkip 将推理延迟减少了 1.8 倍，使得用户体验得到了显著改善。
🔍 案例分析：TokenSkip 的压缩策略
以下是一个 GSM8K 数据集上的示例：
问题：Marcus 是 Leo 年龄的一半，比 Deanna 小五岁。Deanna 今年 26 岁。Leo 多大？
- 原始思维链：逐步推导 Marcus 和 Leo 的年龄，包含 313 个 token。
- 压缩后的思维链：去除了连接词和冗余描述，仅保留关键推理步骤，最终仅用 181 个 token 得出答案。
💡 TokenSkip 的优势与未来方向
🎯 低成本、高效率
TokenSkip 的一个显著优势是其低训练成本。在 Qwen2.5-14B-Instruct 模型上，TokenSkip 仅微调了 0.2% 的参数，训练时间不到 2.5 小时。这使得 TokenSkip 成为一种高效且可复现的解决方案，适合在资源受限的场景下部署。
🌌 未来的可能性
尽管 TokenSkip 已经展示了其强大的压缩能力，但仍有许多值得探索的方向。例如：
- 更强的压缩技术：结合更先进的 token 重要性度量方法，进一步提升压缩效果。
- 更大规模的模型：在更大规模的 LLM（如 Qwen2.5-72B-Instruct）上验证 TokenSkip 的性能。
- 领域优化：针对特定领域（如数学或医学）优化 token 重要性度量方法，以提高压缩的针对性。
📚 结语
TokenSkip 的出现为思维链的压缩问题提供了一种优雅的解决方案。通过跳过不重要的 token，它在推理效率和准确性之间找到了一个理想的平衡。这不仅为大型语言模型的高效部署铺平了道路，也为未来的研究提供了新的思路。
在这个信息爆炸的时代，TokenSkip 就像是一位「高效的编辑」，帮助我们从冗长的思维链中提炼出最有价值的部分。未来，它或许会成为我们与人工智能对话时不可或缺的工具。让我们拭目以待！
🔗 参考文献
- Heming Xia et al. (2025). TokenSkip: Controllable Chain-of-Thought Compression in LLMs.
- Nye et al. (2021). Chain-of-Thought Prompting for Complex Reasoning Tasks.
- Pan et al. (2024). LLMLingua-2: A Token Importance Metric for Prompt Compression.
- OpenAI (2024). Advancements in Chain-of-Thought Scaling.
- Hendrycks et al. (2021). MATH: A Dataset for Mathematical Reasoning.
💲
💲