因果之矢的逆转

1.1 核心思想：在不改变解码器架构的前提下实现双向理解

Causal2Vec的核心思想在于，它提出了一种创新的方法来增强仅解码器（Decoder-only）大型语言模型（LLM）作为通用文本嵌入模型的能力，而无需修改其固有的因果注意力（Causal Attention）机制或引入显著的计算开销[267]。

Causal2Vec另辟蹊径，它没有直接修改LLM的内部结构，而是通过一个外部的、轻量级的双向编码器（如BERT风格的模型）来预先处理输入文本，将其丰富的上下文信息"蒸馏"并压缩成一个单一的"上下文令牌"（Contextual Token）[268]。

Causal2Vec的架构设计精巧，主要由两个核心部分构成：一个用于生成上下文令牌的轻量级双向编码器，以及一个用于融合最终表示的拼接策略。这种设计旨在最大化地利用现有模型的能力，同时以最小的计算成本实现性能的提升。

2.1 轻量级BERT风格预编码器

为了在不显著增加计算负担的前提下为LLM提供全局上下文信息，Causal2Vec采用了一个轻量级的、现成的双向编码器，具体实现中使用了参数量仅为1.1亿的E5-base-v2模型[270]。

2.2 Contextual Token的生成与注入

由轻量级双向编码器生成的句子级向量表示，并不会直接作为最终的文本嵌入。相反，它首先会通过一个可训练的多层感知机（MLP）层，将其维度对齐到目标LLM的词嵌入空间[268]。

2.3 表示融合：拼接Contextual与EOS令牌

为了解决"最近偏置"（Recency Bias）问题，Causal2Vec提出了一种新颖的表示融合方法：将LLM输出的Contextual Token的隐藏状态和EOS令牌的隐藏状态进行拼接（Concatenate），形成最终的文本嵌入向量[267]。

Causal2Vec的训练过程旨在优化模型生成高质量文本嵌入的能力，使其能够准确捕捉文本间的语义关系。其核心训练策略主要围绕对比学习和表示融合两个部分展开。

在将仅解码器LLM改造为嵌入模型的技术路线上，Causal2Vec、LLM2Vec和NV-Embed代表了三种不同的思路。它们在架构修改、训练方法和效率上各有侧重，形成了鲜明的对比。

4.1 架构差异：保持因果注意力 vs. 修改为双向注意力

4.2 性能与效率对比

Causal2Vec凭借其高效、高质量的文本嵌入生成能力，在多个自然语言处理领域展现出巨大的应用潜力。其独特的架构设计使其在保持高性能的同时，显著降低了计算成本，为实际部署提供了便利。