1. 核心发现：演示位置偏差（DPP Bias）的现象与量化
1.1. DPP偏差的定义与重要性
1.1.1. 现象定义：示例位置对模型输出的系统性影响
演示位置偏差（Demos’ Position in Prompt Bias, DPP Bias）是指在大型语言模型（LLM）的上下文学习（In-Context Learning, ICL）过程中，一个此前未被充分研究的系统性现象。该现象的核心在于，当提示（Prompt）中的所有其他元素——包括任务指令、示例内容（Demos）本身、示例的顺序以及待解决的问题——都保持完全一致时，仅仅改变示例块在提示中的物理位置，就足以导致模型的预测结果和整体准确率发生显著且系统性的变化 。这并非指示例内容或排列顺序对结果的影响，而是一种纯粹的「空间位置」效应。例如，将一组精心挑选的示例从系统提示的开头移动到用户消息的末尾，可能会让一个在分类任务中表现优异的模型突然性能崩溃，甚至不如零示例（zero-shot）的基线表现。这种偏差揭示了LLM在处理信息时，对提示的结构布局存在一种内在的、非理性的敏感性，即模型并非完全基于示例的语义内容进行学习，而是受到了其在提示中「所处位置」的强烈影响。
1.1.2. 挑战传统认知：位置作为关键变量
DPP偏差的发现，直接挑战了当前提示工程（Prompt Engineering）领域的一个普遍认知，即「只要示例内容本身质量高、相关性强，其在提示中的具体位置影响不大」。传统观念认为，模型的注意力机制能够有效地从上下文中提取关键信息，无论这些信息出现在提示的哪个部分。然而，DPP偏差的研究结果有力地反驳了这一观点，明确指出示例的「物理位置」本身就是一个至关重要的变量，其影响力足以颠覆模型的最终输出 。这一发现意味着，开发者在设计提示时，不能再将位置视为一个无关紧要的装饰性元素，而必须将其作为一个核心的功能性参数来对待。例如，在AG新闻分类任务中，仅仅将示例从用户消息的开头（sum）移动到末尾（eum），就导致了小模型（如Qwen-1.5B. 高达✅45.5%的预测结果被「翻转」（即从正确变为错误，或从错误变为正确），这充分证明了位置变动对模型决策边界的剧烈冲击。因此，位置不再是一个可以被忽略的次要因素，而是与示例内容、指令清晰度同等重要的优化维度。
1.1.3. 对模型可靠性与稳定性的威胁
DPP偏差的存在，对LLM在实际应用中的可靠性和稳定性构成了直接且严重的威胁。如果一个模型的性能会因为提示中示例位置的微小变动而产生剧烈波动，那么其在生产环境中的行为将是不可预测的，从而极大地削弱了其作为可靠工具的价值 。例如，在一个自动化的问答系统中，如果用户输入的格式稍有变化，导致示例块的位置发生了非预期的偏移，系统可能会因此给出完全错误甚至荒谬的答案。这种由位置变动引发的大规模预测翻转，意味着模型的决策过程存在根本性的脆弱性。论文中的实验数据显示，在某些配置下，位置变动可以导致超过30%的预测结果被翻转，而整体准确率也可能出现高达±20%的剧烈波动。这种不稳定性不仅会影响用户体验，更可能在金融、医疗、法律等高风险领域造成灾难性后果。因此，在将LLM部署到关键任务之前，必须对其在不同位置配置下的鲁棒性进行严格评估，以确保其在面对真实世界输入的多样性时，仍能保持稳定和可靠的性能。
1.2. 量化DPP偏差的两大核心指标
为了科学、系统地量化和分析DPP偏差，论文提出了两个核心的评估指标：准确率变化（Accuracy-Change, Δ_metric）和预测变化率（Prediction-Change, Δ_pred）。这两个指标分别从性能和稳定性的角度，为位置效应提供了精确的度量，使得研究者能够清晰地比较不同位置配置下的模型表现，并深入理解位置偏差的具体影响。
1.2.1. 准确率变化（Accuracy-Change, Δ_metric）
准确率变化（Δ_metric）是一个用于衡量在提示中添加示例后，模型性能相对于「零示例」（zero-shot）基线的净增益或损失的指标。其计算公式为：Δ_metric = Metric_position – Metric_zero-shot 。其中，Metric_position代表在特定位置（如ssp, esp, sum, eum）放置示例后，模型在特定任务的标准评估指标（例如，分类任务中的准确率，问答任务中的F1分数或精确匹配率，摘要任务中的ROUGE-L分数）上的得分。而Metric_zero-shot则是指在没有任何示例的情况下（即仅提供任务指令和问题），模型在同一任务上的得分。这个指标的重要性在于，它直接量化了将示例放置在特定位置所带来的实际效果。一个正的Δ_metric值表示添加示例对该位置有帮助，提升了模型性能；一个负值则表示添加示例反而有害，导致模型性能低于零示例基线。通过比较不同位置的Δ_metric值，研究者可以清晰地判断出哪个位置最能有效地利用示例信息来提升任务表现。例如，在MMLU（大规模多任务语言理解）基准测试中，将示例放置在系统提示开头（ssp）的位置，平均能带来高达+18%的准确率提升，这充分证明了ssp位置在利用示例信息方面的优越性。
1.2.2. 预测变化率（Prediction-Change, Δ_pred）
预测变化率（Δ_pred）是一个用于衡量当示例位置发生变动时，模型输出结果发生「翻转」的比例，从而揭示模型输出的稳定性和脆弱性。其计算公式为：Δ_pred = (# 预测答案改变的数量) / (# 总问题数量) 。在实验中，通常以默认的示例位置（如sum，即用户消息开头）作为基准，然后计算当示例位置切换到其他位置（如ssp, esp, eum）时，模型预测答案发生变化的样本比例。对于生成类任务（如摘要），如果两个位置生成的答案在ROUGE-L分数上的差异超过一个预设阈值（例如0.05），则被视为一次「翻转」。Δ_pred指标的重要性在于，它揭示了模型决策边界的稳定性。一个高的Δ_pred值意味着模型的输出对位置变动高度敏感，即使Δ_metric变化不大，也表明模型的内部决策过程发生了剧烈的抖动。例如，在问答任务中，将示例从sum位置移动到eum位置，常常会导致超过30%的预测结果被翻转，这表明eum位置严重干扰了模型对问题的理解和解答过程，使其决策变得极不稳定。
1.3. 关键观察：不同位置配置的稳定性差异
通过对四种预定义的示例位置配置进行系统性实验，论文揭示了不同位置在模型性能和稳定性上的显著差异。这些位置配置基于主流的聊天式提示结构（System + User）进行定义，包括系统提示开头（ssp）、系统提示末尾（esp）、用户消息开头（sum）和用户消息末尾（eum）。实验结果一致表明，示例在提示中的「物理位置」对其影响力的发挥起着决定性作用。
1.3.1. ssp（系统提示开头）：稳健之王的地位
在所有测试的位置中，将示例块放置在系统提示的最开头（ssp）被证明是「稳健之王」。在绝大多数任务和模型上，ssp位置不仅带来了最高且最稳定的性能提升，而且其预测结果也最为可靠 。例如，在MMLU（大规模多任务语言理解）这一综合性知识问答基准测试中，相比于零示例基线，将示例放置在ssp位置平均能够带来高达+18%的准确率提升。这一显著增益表明，位于提示最开头的示例能够最大程度地被模型「注意」和利用，从而有效地引导模型理解任务模式和输出格式。这种「先入为主」的优势，使得ssp位置成为了一个在各种场景下都值得优先尝试的「黄金位置」。其稳健性不仅体现在性能提升上，更体现在其较低的预测变化率（Δ_pred）上，意味着模型在该位置下的决策过程相对稳定，不易受到微小扰动的影响。
1.3.2. esp（系统提示末尾）：次优的稳定选择
将示例块放置在系统提示的末尾，即指令之后、用户问题之前（esp），通常被证明是次优的稳定选择。其性能表现虽然略逊于ssp位置，但在许多情况下仍然显著优于其他位置，尤其是在参数规模较小的模型上 。esp位置的优势在于，它将示例与任务指令紧密地联系在一起，使得模型在处理用户问题之前，能够先充分理解任务要求和示例所展示的输入输出模式。这种结构符合人类「先学习规则，再看例子，最后解决问题」的认知流程。因此，对于那些需要严格遵守指令和格式的任务，esp位置往往能够取得不错的效果。虽然在某些情况下，其性能提升可能不如ssp位置那样显著，但其稳定性和可靠性使其成为一个非常实用和值得考虑的备选方案。
1.3.3. sum（用户消息开头）：常见但非最佳的默认位置
将示例块放置在用户消息的开头，即问题之前（sum），是目前许多提示工程实践中广泛采用的默认做法。然而，论文的实验结果表明，sum位置的表现通常只能算是中等，并非在所有情况下都是最佳选择 。尤其是在参数规模较大的模型上，sum位置的表现可能会被ssp或esp位置所超越。这可能是因为，在大型模型的训练数据中，系统提示通常被用来承载更为核心和通用的指令信息，而用户消息则更多地与具体的问题和上下文相关。因此，将示例放置在用户消息中，可能会使其在模型的注意力机制中获得的权重相对较低。尽管如此，sum位置在某些特定任务和模型组合下仍然能够取得良好的效果，尤其是在中等规模的模型上，其竞争力开始显现。这表明，虽然sum是一个合理的起点，但开发者不应将其视为一成不变的「标准答案」，而应根据具体情况进行探索和优化。
1.4. 极端案例：eum（用户消息末尾）的破坏性影响
在所有测试的位置中，将示例块放置在用户消息的末尾，即问题之后（eum），表现出了最具破坏性的影响。这一位置配置不仅在多个任务中导致了模型性能的显著下降，还引发了最高比例的预测结果翻转，其影响之剧烈，甚至常常使模型的表现低于零示例基线。
1.4.1. 性能崩溃：在QA与推理任务中的表现
在问答（QA）和数学推理等需要深度理解和逻辑分析的任务中，eum位置的危害尤为突出。实验数据显示，在这些任务中采用eum配置，常常导致模型的性能显著低于零示例基线，即Δ_metric为负值 。一个极端的例子是，在SQuAD（斯坦福问答数据集）上，Cohere-8B模型在ssp位置时F1分数可以达到84.34%，但当示例被移动到eum位置时，其F1分数暴跌至仅为10.9%。这种性能崩溃表明，将示例放置在问题之后，严重干扰了模型对问题的理解和解答过程。模型似乎难以在已经阅读了问题之后，再去有效地利用位于提示末尾的示例信息。这种行为违背了人类「先看例子再答题」的直觉认知，导致模型无法建立起从示例到问题的有效映射，最终输出质量极低的答案。
1.4.2. 预测大翻转：高波动性的具体数据
除了性能崩溃之外，eum位置还以其极高的预测变化率（Δ_pred）而著称，这意味着它引发了最大程度的输出不稳定性。在多个任务和模型上，从默认的sum位置切换到eum位置，都会导致超过30%的预测结果被翻转 。例如，在MMLU基准测试中，小模型（如Qwen-1.5B. 有近30%的答案因位置变动而翻转，并且这些翻转中的绝大多数是从「正确变为错误」（C→I）。这表明，eum位置不仅没有为模型提供有用的知识，反而以一种有害的方式干扰了模型原有的、可能是正确的判断。这种高波动性使得模型的输出变得完全不可预测，极大地损害了其在实际应用中的可靠性。对于开发者而言，这意味着必须极力避免将示例放置在eum位置，以防止系统出现灾难性的行为。✅
1.4.3. 逻辑反直觉：违背人类认知模式
eum位置的破坏性影响，从根本上说是由于其违背了人类处理信息的常规逻辑。在人类的认知过程中，我们通常是先通过学习示例来理解一个任务的模式和规则，然后再将这些规则应用到新的问题中去解决它。然而，eum位置将示例放在了问题之后，这相当于让模型先看到问题，然后再去看「参考答案」。这种反直觉的结构，使得模型难以有效地将示例中的信息整合到其解决问题的过程中。模型可能已经基于问题本身形成了初步的判断，而位于末尾的示例信息可能被视为一种干扰或噪声，而不是有用的指导。这种认知上的冲突，导致了模型在处理eum位置的提示时表现出极大的困惑和不稳定，最终导致了性能的崩溃和预测的大幅度翻转。
2. 实验设计与研究方法
2.1. 核心研究问题：隔离位置效应
本研究的核心目标是通过严谨的实验设计，精确地分离并量化由示例位置变化所引起的性能波动，即DPP偏差。为了实现这一目标，研究团队构建了一个系统性的评估框架，其关键在于严格控制所有非位置变量，确保任何观察到的性能差异都可以唯一地归因于示例在提示中的「空间位置」这一单一因素。
2.1.1. 控制变量：固定内容与示例
为了隔离位置效应，实验设计的首要原则是保持提示内容（Prompt Content）的绝对一致性。这意味着，对于每一个特定的任务（τ）、每一个待评估的问题（q），以及每一个用于测试的模型，研究团队都使用了完全相同的指令（Instruction）、完全相同的示例集（D_τ）和完全相同的问题文本（q） 。示例的数量被固定为5个（k=5） ，并且这些示例在示例块内部的排列顺序也保持不变。通过这种方式，研究排除了示例内容、示例数量、示例顺序以及指令措辞等所有其他可能影响模型输出的变量。这种严格的控制确保了实验的内部效度，使得后续观察到的任何性能变化，都只能是示例块在提示中整体移动位置的结果，从而为DPP偏差的存在提供了无可辩驳的证据。
2.1.2. 实验操作：仅改变示例块的整体位置
在确保所有内容变量被固定的前提下，实验的唯一操作变量是示例块（Demos Block）在提示中的整体位置。研究团队定义了四个在主流聊天式LLM中常见的、结构清晰的位置，并将示例块整体地、不加修改地插入到这些位置中 。这四个位置分别是：系统提示的开头（ssp）、系统提示的末尾（esp）、用户消息的开头（sum）和用户消息的末尾（eum）。通过在这四种配置下分别运行模型，并收集其在各项任务上的性能指标（如准确率、F1分数等），研究者能够直接比较不同位置对模型输出的影响。这种「只变位置」的操作，是揭示DPP偏差的关键。它使得研究者能够像物理学家在控制实验中一样，精确地测量「位置」这一自变量对「模型性能」这一因变量的因果效应，从而系统地、定量地回答「示例应该放在哪里？」这一核心问题。
2.2. 四种示例位置配置详解
为了系统地研究位置效应，论文基于现代LLM（特别是经过指令微调的聊天模型）普遍采用的「系统提示（System Prompt）+ 用户消息（User Message）」的对话式结构，定义了四个具有代表性的示例放置位置。这四个位置构成了实验的核心自变量，它们清晰地划分了示例在提示中的不同「角色」和「时序」。
2.2.1. ssp (Start of System Prompt)
ssp（Start of System Prompt）位置指的是将示例块放置在系统提示的最开头，即任何指令性内容之前。其结构可以表示为：<system>[Demos] + [Instruction]</system> <user>[Question]</user> 。在这种配置下，示例是模型接收到的第一批信息，具有最高的「优先级」。这种设计旨在最大化示例对模型后续所有处理过程的影响，使其在理解任务指令和具体问题之前，就先建立起基于示例的认知模式。论文的实验结果证实，这种「先入为主」的策略在绝大多数情况下都能带来最稳定、最显著的性能提升，尤其是在小型模型上，ssp位置几乎成为了利用示例信息的「生命线」。
2.2.2. esp (End of System Prompt)
esp（End of System Prompt）位置指的是将示例块放置在系统提示的末尾，即所有指令性内容之后，但在用户问题之前。其结构为：<system>[Instruction] + [Demos]</system> <user>[Question]</user> 。这种配置遵循了一种逻辑上的递进关系：模型首先阅读通用指令，了解任务的宏观要求，然后看到具体的示例，学习如何执行该任务，最后才面对需要解决的具体问题。这种「指令-示例-问题」的结构与人类的学习习惯高度一致，也符合许多指令微调数据集中常见的模式。实验表明，esp位置的效果通常仅次于ssp，是一个非常稳定且高效的选择，为开发者提供了一个在ssp不适用时的绝佳备选方案。
2.2.3. sum (Start of User Message)
sum（Start of User Message）位置是当前许多应用和框架中采用的默认做法，即将示例块放置在用户消息的开头，具体问题之前。其结构为：<system>[Instruction]</system> <user>[Demos] + [Question]</user> 。这种配置的逻辑在于，它将示例与问题紧密地捆绑在一起，形成了一个完整的「学习-应用」单元。然而，论文的实验结果挑战了这种默认做法的普适性。研究发现，虽然sum位置在某些情况下也能提升性能，但其效果往往不如将示例置于系统提示区（ssp或esp）。特别是对于大型模型，sum位置的优势可能会被其他位置所超越，这表明将示例置于系统提示中，更能强化其作为「任务规则」的属性。
2.2.4. eum (End of User Message)
eum（End of User Message）位置是将示例块放置在用户消息的末尾，即问题之后。其结构为：<system>[Instruction]</system> <user>[Question] + [Demos]</user> 。这种配置在逻辑上最为反直觉，因为它违背了「先看例子再答题」的自然学习顺序。实验结果也证实了这是最糟糕的选择。在问答和推理等任务中，eum位置不仅无法带来性能提升，反而常常导致模型表现低于零示例基线，并引发极高的预测不稳定性。这表明，当模型已经开始处理问题时，位于其后的示例信息很难被有效利用，甚至会成为干扰源，严重破坏模型的判断能力。
2.3. 实验设计的广度与深度
为了确保研究结论的普适性和可靠性，论文的实验设计在模型选择和任务覆盖上都体现了极大的广度和深度，旨在全面评估DPP偏差在不同场景下的表现。
2.3.1. 模型多样性：覆盖四大主流开源模型家族
实验涵盖了来自四个主流开源模型家族的十个不同规模和架构的LLM，确保了研究结果的广泛适用性。这些模型包括：
- Qwen系列：Qwen-1.5B, Qwen-7B, Qwen-14B, Qwen-72B
- Llama3系列：Llama3-3B, Llama3-8B, Llama3-70B
- Mistral/Mixtral系列：Mistral-7B, Mixtral-8x7B
- Cohere系列：Cohere-8B
这些模型的参数规模从1.5B到72B不等，覆盖了从小型、中型到大型的各种规模，使得研究能够深入探讨模型规模与位置敏感性之间的关系 。
2.3.2. 任务覆盖面：涵盖分类、QA、摘要、推理四大类任务
为了验证DPP偏差在不同类型NLP任务中的普遍性，实验选取了八个具有代表性的经典数据集，覆盖了四大核心任务类别：
- 分类任务：AG News（新闻主题分类）、MNLI（文本蕴含）、ARC（科学推理）、MMLU（综合知识）
- 问答（QA）任务：SQuAD（抽取式问答）、GSM8K. 数学推理）✅
- 摘要任务：CNN/DailyMail（新闻摘要）、XSum（极端摘要）
这种多样化的任务设置，使得研究能够揭示位置效应在不同认知复杂度任务（从简单的模式匹配到复杂的逻辑推理和生成）中的具体表现和差异 。
2.3.3. 控制变量：示例数量与顺序的固定
在所有实验中，研究团队严格控制了除位置以外的所有变量。示例的数量被统一固定为5个（k=5） ，并且示例的内容和其在示例块内部的排列顺序也始终保持不变 。这种严格的控制确保了实验结果的纯净性，使得任何观察到的性能差异都可以被高度自信地归因于示例位置的变化，从而为DPP偏差的存在和影响提供了坚实的实证基础。
3. 位置效应的全景图：任务、模型与规模的差异
3.1. 任务差异：不同任务对位置的敏感度
实验结果清晰地表明，DPP偏差的影响并非一成不变，而是与具体的任务类型密切相关。不同的NLP任务对示例位置的敏感度存在天壤之别，这揭示了模型在处理不同类型信息时，其注意力机制和认知策略的深层差异。
3.1.1. 分类与推理任务：对早期位置的强烈偏好
在分类任务（如AG News、MNLI）和知识推理任务（如ARC、MMLU）中，模型表现出对早期位置（ssp和esp）的强烈且一致的偏好。在这些任务中，将示例放置在系统提示的开头（ssp）或末尾（esp），通常能带来最显著的性能提升和最稳定的输出。例如，在MMLU基准测试中，ssp位置平均能带来高达+18%的准确率提升，远超其他位置 。这种现象可能的原因是，分类和知识推理任务的核心在于快速识别模式、匹配规则和提取关键信息。位于提示开头的示例能够以一种「先入为主」的方式，为模型建立起一个清晰的任务框架和决策边界，从而有效地引导后续的预测。相反，将示例放置在用户消息的末尾（eum）对这些任务来说通常是灾难性的，不仅无法带来性能增益，反而常常导致准确率低于零示例基线，并引发高比例的预测翻转。
3.1.2. 数学推理任务：模型规模依赖下的反常行为
数学推理任务（如GSM8K. 中的位置效应表现出最为复杂和反常的行为，并且高度依赖于模型的规模。对于小模型（如Llama3-3B），其表现与分类任务类似，✅ssp位置是最佳选择（Δ_metric=42.0%），而eum位置则效果极差（Δ_metric=11%）。然而，当模型规模扩大到70B级别时，情况发生了戏剧性的逆转：在Llama3-70B模型上，eum位置的性能竟然大幅反超ssp位置（Δ_metric=88% vs. 21.5%）。这一反常现象表明，对于复杂的数学推理任务，大型模型可能利用了某种不同于小模型的认知机制。一种可能的解释是，大型模型具有更强的长程依赖处理能力，能够更好地利用位于问题之后的示例来激发其内部的「思维链」（Chain-of-Thought）能力，通过回顾示例来验证或修正自己的推理步骤。这种规模依赖的偏好反转，是DPP偏差研究中最引人注目的发现之一，它揭示了模型能力与提示结构之间复杂的相互作用。
3.1.3. 生成摘要任务：对eum位置的极度敏感
在生成式任务，特别是文本摘要（如XSum, CNN/DM）中，模型对eum位置表现出极度的敏感性。与分类任务不同，摘要任务要求模型生成一段连贯、流畅且信息丰富的文本。将示例放置在问题（即待摘要的文章）之后（eum），会严重干扰自回归生成过程的连贯性。实验结果显示，在摘要任务中，从sum位置切换到eum位置，常常导致接近100%的预测翻转率（Δ_pred），即使对于大型模型（如Qwen-72B. 也是如此 。这表明，一旦模型开始生成摘要，位于提示末尾的示例会被视为一种强烈的干扰，破坏了其已经建立的生成上下文。例如，Llama3-3B在CNN/DM数据集上，使用✅ssp位置时有49%的样本相比零示例基线获得了性能提升，而使用eum位置时，这一比例骤降至仅1%。这充分说明，对于生成任务，保持提示结构的清晰和连贯至关重要，将示例放置在远离生成起点的位置是不可取的。
3.2. 规模定律：模型越大越稳，但非免疫
模型参数规模是影响DPP偏差严重程度的另一个关键因素。实验结果揭示了一个清晰的总体趋势：随着模型参数规模的增大，由位置变动引起的性能波动和预测不稳定性都会相应减小。然而，这并不意味着大型模型就对位置效应完全免疫。
3.2.1. 总体趋势：规模增大，波动减小
在MMLU等综合任务上，可以观察到一条清晰的「规模定律」：模型越大，对位置变动的鲁棒性越强。无论是预测变化率（Δ_pred）还是准确率变化（Δ_metric），其波动幅度都随着模型参数从1.5B增加到72B而显著降低 。例如，在MMLU任务上，小型模型（如Qwen-1.5B. 在不同位置间的预测翻转率可能非常高，而大型模型（如Qwen-72B）的翻转率则相对较低。这表明，更大的模型容量使其能够更好地处理和理解整个上下文，从而减弱了因位置变化带来的负面影响。大型模型似乎能够更均衡地分配其注意力，而不是像小模型那样严重偏向于早期的Token。✅
3.2.2. 关键限制：大模型在复杂任务中仍受影响
尽管大型模型在整体上表现出更强的鲁棒性，但这并不意味着位置效应可以被完全忽略。研究明确指出，即使在最大的模型（如Llama3-70B. 上，在处理复杂任务（如GSM8K数学推理或XSum极端摘要）时，仍然可以观察到显著的预测翻转（✅Δ_pred > 50%）。这说明位置效应是一个底层的、根植于Transformer架构和训练范式中的机制问题，并不会因为模型规模的简单扩大而彻底消失。在这些复杂任务中，模型对提示结构的依赖性可能更强，因此位置变动仍然能够对其决策过程产生实质性的干扰。这一发现对于依赖大型模型进行关键应用的用户来说是一个重要的警示：即使是最先进的模型，也需要在部署前进行针对位置鲁棒性的评估。
3.2.3. 最优位置的转移：从小模型到大模型的偏好变化
一个更为深刻的发现是，随着模型规模的增大，最优的示例位置本身也可能发生转移。对于小型模型（如Qwen-1.5B, Mistral-7B. ，✅ssp和esp（即系统提示区）几乎是 universally 的最佳选择。然而，对于大型模型（如Llama3-70B. ，情况发生了变化，✅sum（用户消息开头）位置开始在多项任务上成为最稳定、表现最好的赢家 。这种偏好反转的可能原因是，大型模型在指令微调阶段接触到了更多样化的对话格式，其训练数据中可能包含了大量将示例紧邻问题放置的模式。因此，对于大型模型而言，sum位置可能更符合其在微调数据中学习到的「位置记忆」，从而能够更有效地利用示例信息。这一发现颠覆了「一处适用」的假设，强调了提示工程必须「量体裁衣」，根据具体的模型规模来选择最优的示例位置。
3.3. 位置跃迁分析：预测如何「变脸」
为了更深入地理解位置变动对模型决策过程的具体影响，论文对预测结果的「跃迁」模式进行了分析，即当示例位置改变时，模型的预测是如何从「正确」变为「错误」，或从「错误」变为「正确」的。
3.3.1. 从正确到错误（C→I. 的跃迁✅
分析的核心发现是，当示例位置从默认的sum切换到最具破坏性的eum时，引发了最高比例的「正确→错误」（C→I. 跃迁。这意味着，对于那些在✅sum位置下能够被模型正确回答的问题，一旦将示例移动到eum位置，模型就极有可能给出错误的答案。这一现象极具警示意义，因为它表明eum位置不仅未能提供任何有益的知识，反而以一种有害的方式系统地干扰了模型原有的、可能是正确的判断能力。模型似乎被末尾的示例信息「迷惑」或「误导」，从而偏离了正确的推理路径。这种系统性的性能退化，进一步证实了eum位置在提示设计中的危险性。
3.3.2. 小模型与大模型的脆弱性对比
位置跃迁分析也揭示了小模型和大模型在脆弱性上的差异。对于小模型（如Qwen-1.5B. ，其脆弱性表现得尤为明显。例如，在AG News分类任务上，✅ssp位置能够为模型带来40%的「错误→正确」（I→C. 的性能提升。然而，一旦切换到✅eum位置，这些宝贵的增益几乎完全消失，并且还会新增大量的「正确→错误」（C→I. 跃迁。这表明小模型的决策边界非常不稳定，极易受到位置变动的影响。相比之下，虽然大型模型（如Qwen-72B）在整体上表现出更强的鲁棒性，但在复杂任务（如GSM8K）上，不同位置间的预测翻转率仍然可以超过50%。这说明，位置效应是一个底层的机制问题，即使是强大的大型模型也无法完全免疫，其决策过程同样会受到提示结构的深刻影响。✅
3.4. 「最佳位置」之谜：模型与任务的双重依赖
综合所有实验结果，论文得出了一个核心结论：不存在一个对所有模型和所有任务都普遍最优的示例位置。最佳位置的选择是一个复杂的决策，它由模型规模和任务类型这两个因素共同决定。
3.4.1. 小模型：极度依赖系统提示区
对于参数规模较小的模型（例如，参数量在10B以下的模型），实验结果非常明确：它们极度依赖于ssp和esp这两个位于系统提示区的位置。在这些位置上，小模型在绝大多数任务中都能获得显著的性能提升（「赢」），并且很少会表现得比零示例基线更差（「输」）。将示例「前置」到系统提示中，几乎成了提升小模型性能的生命线。这可能是因为小模型的容量有限，其注意力机制更加偏向于处理序列开头的信息，因此只有将示例放在最前面，才能确保它们被模型有效地「看到」和利用。
3.4.2. 中等模型：灵活性初显
当模型规模增长到中等水平（例如，10B-30B参数范围），其位置偏好开始展现出一定的灵活性。虽然ssp位置在大多数情况下仍然是主导性的赢家，但sum（用户消息开头）位置开始在部分任务上展现出竞争力。例如，在XSum摘要任务和SQuAD问答任务上，中等规模的模型在sum位置上的表现开始与ssp位置相媲美。这表明，随着模型能力的增强，它们开始能够更好地处理位于用户消息中的示例信息，提示工程的选择也变得更加多样化。
3.4.3. 大模型：偏好反转，sum位置成为赢家
对于参数规模达到70B级别的大型模型，最令人惊讶的现象发生了：位置偏好出现了反转。在许多任务上，sum（用户消息开头）位置取代ssp，成为了最稳定、表现最好的赢家 。大型模型在sum位置上能够取得比ssp和esp更优的性能。这一发现的可能解释是，大型模型具有更强的长程依赖处理能力和更复杂的上下文理解能力。此外，它们在指令微调阶段接触到的海量、多样化的对话数据，可能使得它们更习惯于处理将示例紧邻问题放置的格式。因此，对于大型模型而言，sum位置可能更符合其「位置记忆」，从而能够更有效地激发其潜力。这一结论彻底颠覆了「一处适用」的传统观念，强调了提示工程必须根据模型规模进行「量体裁衣」。
4. 偏差根源与理论解释
为了解释DPP偏差这一现象，论文提出了两个互补的理论根源：架构缺陷（Architectural Bias）和数据偏好（Data Bias）。这两个因素共同作用，导致了LLM对示例位置的敏感性。
4.1. 架构缺陷（Architectural Bias）：「早鸟特权」
架构缺陷指的是根植于Transformer模型自身结构中的内在倾向，特别是其自回归的生成方式和注意力机制的特性，导致了所谓的「早鸟特权」（Primacy Bias），即模型会不成比例地关注序列中较早出现的信息。
4.1.1. 自回归训练与「先入为主」效应
当前主流的LLM，特别是仅解码器（decoder-only）架构的模型（如GPT系列），都采用自回归（autoregressive）的方式进行训练和生成。这意味着模型在预测序列中的下一个Token时，只能依赖于它之前已经生成的Token。这种机制天然地导致了序列中较早出现的Token对后续所有Token的生成都有着更深远的影响。早期的Token会参与到后续每一个位置的隐藏状态（hidden state）的计算中，从而形成一种「先入为主」的效应。放在提示开头的信息，就像是给整个后续生成过程设定了一个初始的「基调」或「上下文框架」，其影响力会随着序列的延伸而被不断放大。DPP效应的体现就是，当示例被放置在系统提示的最开头（ssp）时，它们作为最早的Token，获得了这种不成比例的影响力，从而能够稳定地引导和提升后续的预测。
4.1.2. 归纳头（Induction Heads）机制的影响
近期的机制可解释性研究为「早鸟特权」提供了更深层次的解释。例如，Olsson等人（2022）的研究发现，在Transformer模型中存在一种被称为「归纳头」（Induction Heads）的特殊注意力机制 。这种机制能够识别出提示中重复的[A][B]…[A]模式，并预测下一个Token应该是[B]。这种机制在上下文学习中扮演着关键角色，但它也天然地倾向于关注序列中较早出现的模式。因此，当示例（即[A][B]对）被放置在提示的开头时，它们更容易被归纳头机制捕捉到，并用于指导后续的生成。这种架构上的特性，进一步强化了模型对提示开头信息的依赖，从而解释了为什么ssp位置通常能带来最稳定和显著的性能提升。
4.2. 数据偏好（Data Bias）：「位置记忆」
数据偏好指的是模型在训练过程中，从训练数据中学习并内化了关于信息位置的特定模式，从而形成了一种「位置记忆」。当提示的结构违背了这种学习到的模式时，模型的性能就会下降。
4.2.1. 指令微调中的位置模式学习
为了使LLM更好地遵循人类指令，开发者通常会对其进行指令微调（Instruction Tuning）。这一过程使用的训练数据（如各种对话数据集、指令-回答对）本身就包含了固定的、重复的位置模式。例如，在这些数据集中，任务指令通常位于系统提示中，而具体的示例或用户问题则位于用户消息中。模型在大量的微调过程中，不仅学习了任务的内容，也潜移默化地学习并内化了这些「位置-角色」的关联（例如，「系统提示包含通用指令和规则」，「用户消息包含具体问题和上下文」）。这种学习到的位置模式，构成了模型的「位置记忆」。
4.2.2. 违背常见模式导致的性能下降
DPP效应的体现就是，当示例的位置违背了模型在微调数据中学习到的常见模式时，模型就难以有效地解析和利用这些信息。例如，将示例放置在用户消息的末尾（eum），这是一个在标准指令微调数据中非常罕见的模式。当模型遇到这种结构时，它可能会感到困惑，不知道该如何处理这些位于问题之后的「示例」。它可能无法将这些信息与前面的指令和问题建立起有效的联系，从而导致这些信息被当作噪声忽略，甚至以一种有害的方式干扰了模型的正常判断。这就解释了为什么eum位置常常导致性能崩溃和预测大翻转。模型并非不理解示例的内容，而是无法理解它们为什么会出现在那个「错误」的位置上。
5. 缓解策略与实用指南
面对DPP偏差带来的挑战，论文不仅揭示了问题，还提出了两种切实可行的缓解策略：测试时校准（Test-Time Calibration）和训练时干预（Training-Time Intervention）。这两种策略分别从应用和训练两个层面，为提升模型对位置变化的鲁棒性提供了解决方案。
5.1. 测试时校准（Test-Time Calibration）
测试时校准是一种在模型推理（inference）阶段应用的轻量级、无需重新训练模型的缓解策略。其核心思想是，既然最优的示例位置因问题和模型而异，那么就应该为每一个待解决的问题动态地选择最合适的位置。
5.1.1. 思路：动态选择最优位置
该策略的基本思路是，不依赖于一个固定的「黄金位置」，而是构建一个能够根据输入问题的特性来智能选择示例位置的系统。这种方法承认DPP偏差的复杂性，并试图通过动态调整来适应这种复杂性。相比于盲目地在所有任务中都使用ssp位置，动态选择能够更精细地匹配模型、任务和问题，从而可能获得更优的性能。
5.1.2. 方法：基于最近邻的多数投票
论文提出了一种具体的实现方法，该方法基于最近邻（K-Nearest Neighbors）和多数投票（Majority Vote）：
- 构建参考集：首先，需要构建一个包含少量已标注样本的参考集。对于参考集中的每一个问题，都需要通过实验预先确定其最佳的示例位置（
ssp,esp,sum, 或eum）。 - 寻找最近邻：当面对一个新的、未见过的问题时，使用一个外部模型（例如，一个句子嵌入模型）来计算新问题与参考集中所有问题的语义相似度。
- 多数投票：找出与新问题最相似的K个邻居（例如，K=5），然后查看这K个邻居各自的最佳位置是什么。对这K个位置进行多数投票，得票最多的位置就被选为新问题的示例放置位置。
这种方法通过借鉴相似问题的「经验」，来为新问题做出决策，是一种简单而有效的启发式方法。
5.1.3. 优势：轻量灵活，无需重新训练
测试时校准的最大优势在于其轻量性和灵活性。它不需要对庞大的LLM进行任何重新训练或微调，从而节省了大量的计算资源和时间。此外，这种方法能够很好地适应输入数据分布的变化。如果新一批问题的特性与之前不同，参考集可以被轻松地更新或扩展，从而使校准策略能够持续保持有效。这使得它成为一种非常实用和易于部署的解决方案。
5.2. 训练时干预（Training-Time Intervention）
训练时干预是一种更为根本的解决方案，它试图通过在模型训练阶段就注入位置鲁棒性，来从源头上削弱DPP偏差。
5.2.1. 思路：注入位置鲁棒性
该策略的核心思路是，在指令微调或持续预训练阶段，主动打破训练数据中固定的位置模式。通过让模型在训练时就接触到各种位置配置的示例，迫使它学习一种不依赖于特定位置的、更为泛化的特征表示。这样，无论示例出现在提示的哪个位置，模型都能够有效地利用它们。
5.2.2. 方法：构建位置随机排列的训练集
具体的实现方法是在构建指令微调数据集时，对示例的位置进行随机化处理。对于每一个训练样本，示例块（Demos Block）在ssp、esp、sum、eum这四个位置上是随机出现的。这意味着，模型在训练过程中会看到示例出现在提示的各个不同位置，从而无法形成对某个特定位置的过度依赖。
5.2.3. 预期效果：迫使模型学习位置不变的特征
通过这种训练时干预，预期可以达到的效果是，模型将学会忽略示例的绝对位置，而更多地关注其语义内容。它将被迫发展出一种更为鲁棒的上下文理解能力，能够从提示的任何位置提取和利用有用的信息。最终，这将使得模型在面对真实世界中多样化的提示格式时，表现出更强的泛化能力和稳定性，从而从根本上缓解DPP偏差问题。
6. 伦理警示与实际应用启示
6.1. 伦理警示：位置可能放大社会偏见
DPP偏差的发现不仅具有技术层面的意义，也引发了重要的伦理考量。研究表明，示例的位置不仅会影响模型的任务性能，还可能放大示例中本身存在的社会偏见。
6.1.1. 潜在风险：高影响力位置与偏见示例的结合
如果开发者提供的示例集本身就包含了某种社会偏见，例如对特定人群的刻板印象、或者标签分布的严重不均，那么将这些有偏见的示例放置在模型注意力最集中的高影响力位置（如ssp），就可能极大地放大这种偏见在模型输出中的体现。模型会「过度学习」这些位于关键位置的示例，并将其作为生成后续内容的主要依据，从而导致其输出也带有强烈的偏见。例如，如果用于训练一个招聘筛选模型的示例中，大部分成功的候选人都来自某一特定性别或族裔，并且这些示例被放在了ssp位置，那么模型就很可能学会歧视其他群体的候选人。
6.1.2. 建议：谨慎筛选示例并评估公平性
基于这一风险，论文向开发者提出了明确的建议。首先，在选择和构建示例集时，必须进行严格的审查，确保其内容的公平性和代表性，避免引入任何形式的偏见。其次，在对模型进行评估时，不能仅仅关注其在标准指标上的性能，还必须加入对公平性的评估。更重要的是，这种公平性评估应该在不同的示例位置配置下进行。通过比较模型在ssp、sum等不同位置下的输出，可以检查模型是否在某些位置上表现出更强的偏见，从而更全面地了解模型的潜在风险。
6.2. 对实际应用的启示与指导意义
这项关于DPP偏差的深入研究，为LLM的实际应用，特别是在提示工程和模型评估方面，提供了宝贵的启示和指导。
6.2.1. 提示工程：位置是功能性变量，需「量体裁衣」
这项研究最重要的启示是，提示词的结构，特别是示例的「物理位置」，是一个功能性的、非装饰性的关键变量。开发者必须摒弃「只要示例内容好，放哪都一样」的陈旧观念，将位置优化作为提示工程不可或缺的一环。同时，由于不存在一个普遍最优的「黄金位置」，提示工程必须采取「量体裁衣」的策略。开发者需要针对自己使用的特定模型（考虑其规模和家族）和特定任务，通过实验来探索和确定最佳的示例位置。这可能需要尝试ssp、esp、sum等不同配置，并比较其性能，从而找到最适合当前应用场景的提示结构。
6.2.2. 模型评估：需加入位置鲁棒性测试
在评估LLM的性能时，尤其是在将其部署到问答、摘要等关键应用之前，必须加入对位置扰动的鲁棒性测试。这意味着，评估过程不应只在一个固定的提示结构下进行，而应该系统地测试模型在不同示例位置（如ssp, sum, eum）下的表现。通过分析模型在这些不同配置下的准确率变化（Δ_metric）和预测变化率（Δ_pred），可以更全面地了解模型的稳定性和可靠性。一个在单一位置上表现良好，但在位置变动时性能急剧下降或输出大翻转的模型，显然不适合用于对可靠性要求高的生产环境。
6.2.3. 未来方向：机制深挖与自动化优化
这项研究也为未来的工作指明了方向。首先，需要结合可解释性工具，更深入地挖掘导致位置敏感性的具体机制，例如精确定位Transformer中哪些特定的注意力头或层对位置变化最为敏感。其次，可以探索在更复杂的提示结构（如包含多步推理的链式思维CoT）中，理由（Rationale）和示例的相对位置如何影响推理质量。最后，一个极具应用价值的研究方向是开发能够自动化优化示例内容、顺序和位置的算法，并将这些算法集成到现有的提示工程工具链中，从而帮助开发者更高效地构建出高性能、高鲁棒性的LLM应用。