在人工智能和自然语言处理（NLP）的世界中，文本嵌入（text embeddings）已然成为不可或缺的基石。无论是语义搜索、信息检索还是文本分类，嵌入模型都在背后默默驱动着这些技术的进步。然而，正如一位高深莫测的魔术师，这些模型的“魔法”常常让人难以捉摸：它们是如何判断两个文本之间的相似性的？为什么某些文本被认为更相似，而另一些却被排除在外？这不仅仅是一个理论问题，更是实际应用中至关重要的挑战，尤其是在需要透明性和可解释性的场景中。
本文基于论文《Interpretable Text Embeddings and Text Similarity Explanation: A Primer》，将带您深入探讨文本嵌入的可解释性问题，揭示这一领域的最新研究进展和未来的潜力。让我们从头开始，逐步解开文本相似性的奥秘。
🌟 文本嵌入的魔力与挑战
文本嵌入模型的核心在于将文本转化为高维向量表示，这些向量捕捉了文本的语义信息。通过计算这些向量之间的相似性（如余弦相似度），模型可以判断两个文本的语义接近程度。这种技术已经在许多领域大显身手，例如：
- 语义搜索：通过嵌入模型快速找到与查询最相关的文档。
- 文本分类：根据嵌入向量的特征对文本进行分类。
- 知识图谱构建：利用嵌入模型提取实体和关系。
- 生成式模型增强：通过嵌入相似性在大语料库中检索证据并生成摘要。
然而，这种“魔力”背后隐藏着一个巨大的问题：可解释性。当模型告诉我们两个文本相似时，我们希望知道“为什么”。是因为它们的语义相似？还是因为它们共享了某些特定的词汇？抑或是因为它们的句法结构相似？这些问题不仅关乎学术研究，也直接影响到实际应用，尤其是在法律、医疗等需要高透明度的领域。
🧩 解构文本相似性的三大方法
为了让文本嵌入的相似性更加透明，研究者们提出了三大类方法：空间塑形（space shaping）、基于集合的方法（set-based approaches）和归因方法（attribution-based approaches）。接下来，我们将逐一探讨这些方法的核心思想和技术细节。
🌌 塑造可解释的嵌入空间
🛠️ 核心思想
空间塑形方法旨在通过对嵌入空间的结构进行调整，使其更具可解释性。例如，可以将嵌入空间分解为多个维度，每个维度对应一个可解释的语义特征。这种方法的目标是让相似性分数能够被分解，从而揭示其来源。
🧪 具体方法
- 特征分解（Feature Decomposition）
- 传统的“词袋模型”（bag-of-words）方法通过显式特征表示提供了透明性，但在处理复杂语义时表现不足。为此，研究者尝试结合特征的可解释性与神经嵌入的强大表现力。
- 例如，问答特征（Q/A features）方法通过预定义一组问题（如“这段文本是否关于体育？”）并训练模型生成答案，将这些答案编码为嵌入特征。这种方法不仅增强了可解释性，还在特定领域（如预测 fMRI 对语言刺激的反应）表现出色。
- 子嵌入分解（Sub-embeddings）
- 一些方法将嵌入空间分解为多维子空间，每个子空间捕捉特定的语义方面。例如，Opitz 和 Frank 提出的 S3BERT 模型通过抽象语义图（AMR）对文本的语义角色、否定、焦点等方面进行建模，并将整体相似性分解为这些方面的相似性分数。
- 示例：对于句子“两个男人在唱歌”和“三个男人在唱歌”，相似性分数为 0.76，其中“概念相似性”提高了分数，而“数量结构的不同”降低了分数。
- 非欧几里得几何（Non-Euclidean Geometry）
- 某些文本关系（如蕴含关系）具有非对称性，传统的欧几里得几何难以捕捉这些关系。为此，研究者提出了 盒嵌入（Box Embeddings） 和 概率嵌入（Probabilistic Embeddings） 等方法。
- 例如，盒嵌入通过高维盒子表示文本，并使用盒子之间的重叠程度来计算相似性。这种方法可以直观地表示包含关系或蕴含关系。
🧩 基于集合的方法：从对齐到多重解释
🛠️ 核心思想
与其将文本表示为单一的嵌入向量，基于集合的方法将文本分解为多个可解释的单元（如词或子句），并通过这些单元之间的对齐来解释相似性。
🧪 具体方法
- 嵌入集合对齐（Embedding Set Alignment）
- 例如，ColBERT 方法通过对查询和候选文档的词嵌入进行逐一对齐，计算每个查询词与候选文档中最相似词的相似性，并将这些相似性分数相加。这种方法提供了直观的对齐矩阵，揭示了哪些词对相似性贡献最大。
- 多重解释（Multi-Interpretation）
- 一些方法通过生成多个文本嵌入集合（如分解文本为多个子句）来解释相似性。例如，Ravfogel 等人通过将文本分解为不同抽象层次的描述，生成多个嵌入集合，从而揭示文本在不同语义层次上的相似性。
🔍 归因方法：追溯相似性的根源
🛠️ 核心思想
归因方法旨在将模型的相似性预测分解到输入特征或中间表示上，揭示哪些特征对相似性贡献最大。然而，由于相似性预测涉及两个输入的交互，传统的一阶方法（如 LIME）并不适用，需要采用二阶方法。
🧪 具体方法
- 积分雅可比矩阵（Integrated Jacobians）
- 这种方法通过积分计算输入特征对相似性分数的贡献，生成一个特征对齐矩阵。例如，对于两个句子“猫在睡觉”和“狗在睡觉”，该方法可以生成一个矩阵，显示“猫”和“狗”之间的相似性贡献。
- 双向层级相关传播（BiLRP）
- BiLRP 方法通过逐层传播相关性分数，将相似性分数分解到输入特征上。这种方法特别适用于对称或非对称的相似性任务。
🤔 挑战与未来方向
尽管这些方法在提高嵌入模型的可解释性方面取得了显著进展，但仍存在一些挑战：
- 性能与可解释性的权衡
- 空间塑形方法需要定制训练，可能影响模型性能；归因方法计算复杂度较高，尤其是在处理长文本时。
- 解释的“正确性”
- 不同方法提供的解释可能并不一致。如何定义“正确”的解释仍然是一个开放问题。
- 多语言与长文本的适配
- 随着模型能够处理更长的上下文和多语言输入，现有的解释方法是否能够扩展到这些场景仍需进一步研究。
📚 总结与展望
文本嵌入的可解释性研究为我们打开了一扇理解模型内部机制的大门。从塑造嵌入空间到基于集合的对齐，再到归因方法，这些技术为我们提供了多维度的视角。然而，正如研究者们所指出的，可解释性并不是一个简单的终点，而是一个持续探索的过程。未来，我们期待更多创新的方法，帮助我们更好地理解和信任这些强大的模型。
🔖 参考文献
- Opitz, J. , Möller, L., Michail, A., & Clematide, S. (2025). Interpretable Text Embeddings and Text Similarity Explanation: A Primer.✅
- Reimers, N. , & Gurevych, I. (2019). Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks.✅
- Sundararajan, M. , Taly, A., & Yan, Q. (2017). Axiomatic Attribution for Deep Networks.✅
- Zhang, T. , et al. (2020). BERTScore: Evaluating Text Generation with BERT.✅
- Banarescu, L. , et al. (2013). Abstract Meaning Representation for Sembanking.✅