在大语言模型（LLMs）的领域中，处理长文本的能力对于多轮对话、代码生成和文档摘要等任务变得越来越关键。今天，我们要深入探讨一种名为 E2LLM（Encoder Elongated Large Language Models）的创新方法，它为解决长文本处理中的难题带来了新的突破。
一、背景与挑战
理解和推理长文本对于大语言模型至关重要，尤其是在多轮对话、多仓库代码生成和多文档摘要等任务中。这些任务通常需要处理数千甚至数百万个标记，以确保连贯性和准确性。同时，为了提高大语言模型的性能，有效激活特定领域知识的技术，如思维链推理、上下文学习和检索相关文档等，也增加了对更长序列长度的需求。
然而，要同时实现长上下文的强性能、降低计算复杂性以及利用预训练模型，面临着巨大的挑战，这被称为 “不可能三角”。目前，该领域的研究主要集中在三个方向：修改位置嵌入、注意力机制和长输入序列本身。
二、E2LLM 方法详解
1. 模型架构
E2LLM 框架由四个关键组件组成：分块器（Chunker）、文本编码器（Text Encoder）、适配器（Adapter）和大语言模型解码器（LLM Decoder）。
- 分块器：负责将长文本分成较小的可管理块，确保每个块的标记长度不超过文本编码器的最大序列长度。
- 文本编码器：输入每个块后生成相应的嵌入向量。为了克服预训练编码器可能丢弃对大语言模型解码器回答查询有用信息的问题，采用了低秩适应（LoRA）方法使编码器在对齐过程中可训练。
- 适配器：用于将编码器的输出映射到大语言模型解码器的输入嵌入中，采用两层多层感知机（MLP）和 GELU 激活函数作为适配器网络。
- 大语言模型解码器：将块标记和与提示和查询对应的文本标记连接在一起，让大语言模型生成查询的答案。在实验中，选择了 Llama2 作为大语言模型解码器，并使用 LoRA 进一步训练解码器。
2. 训练任务
- 理解任务：让大语言模型接收来自适配器的块标记后，重述或重建输入，以提高大语言模型对输入的理解。
- 推理任务：使大语言模型基于块标记和用户查询生成答案。
3. 与其他方法的关系
- 与视觉语言模型（VLMs）的关系：E2LLM 受视觉语言模型的启发，通过适配器将预训练的文本编码器与大语言模型解码器对齐，使大语言模型能够解释文本编码器编码的句子并进行推理。
- 与检索增强生成（RAG）的关系：RAG 可以通过检索最相关的段落来增强 E2LLM，而 E2LLM 可以扩展 RAG 中生成器的上下文长度，并解决 RAG 中检索器和生成器解释文本不一致的问题。
- 与 LLoCO 的关系：LLoCO 利用自动压缩器作为长文本编码器，省略了适配器。相比之下，E2LLM 可以并行处理所有块，更适合处理长文本，并且更容易整合更强的文本编码器和大语言模型解码器。
三、实验与结果
在文档问答和文档摘要两个关键任务上，将 E2LLM 与四个基线方法进行比较，包括 YaRN、LongLoRA、RAG 和 LLoCO。实验结果表明，E2LLM 在所有方法中始终取得最佳或次佳性能。
1. 数据集与评估指标
- 数据集：使用五个公开数据集，涵盖摘要和文档问答任务，包括 QMSum、GovReport、Quality、NarrativeQA 和 TriviaQA。
- 评估指标：对于摘要任务，使用 Rouge 指标评估生成文本与参考文本的重叠程度；对于文档问答任务，计算生成答案与参考答案的精确率、召回率和 F1 值。
2. 性能比较
- E2LLM 在所有数据集上的性能优于或与其他方法相当。YaRN 和 LongLoRA 在长序列上会出现内存溢出问题，并且在短序列上性能不佳。原始的 Llama2-7B-Chat 在问答任务上表现较差，主要是由于其上下文长度有限。RAG 在问答任务中表现最差，可能是因为丢失了特定查询所需的关键信息。LLoCO 在问答任务中表现较好，但在摘要任务中性能下降。
3. 推断效率
E2LLM 在推断效率方面表现出色，具有最低的运行时间和内存使用。相比之下，YaRN 和 LongLoRA 由于在推断过程中具有二次方的空间复杂度，资源消耗较高。LLoCO 也通过软提示压缩减少了推断时间，但不如 E2LLM 压缩能力强，并且处理块的方式是顺序的。
4. 消融研究
通过在 QMSum 和 NarrativeQA 数据集上进行消融研究，验证了 “理解” 任务、编码器和解码器的训练以及更换分块器、文本编码器和大语言模型解码器对 E2LLM 性能的影响。结果表明，“理解” 任务对性能至关重要，训练编码器和解码器的 LoRA 分支也很重要，并且使用更先进的编码器和解码器可以提高 E2LLM 的性能。
5. 超参数敏感性
研究了 “理解” 任务的权重、编码器和解码器的 LoRA 秩以及适配器网络的层数等超参数对 E2LLM 性能的影响。结果表明，不同数据集的最佳权重可能不同，编码器和解码器的秩在一定范围内增加可以提高性能，但超过最佳范围会导致过拟合。两层 MLP 的适配器网络在不同数据集上表现稳定。
四、结论
E2LLM 是一种有效的长文本处理方法，它通过将长文本分成块、压缩成嵌入向量并使用适配器与大语言模型解码器对齐，解决了长文本处理中的 “不可能三角” 问题。实验结果表明，E2LLM 在长文本场景中表现出卓越的性能，为大语言模型的长文本处理提供了新的思路和方法。