💭 前言：AI也有“思维陷阱”？

在我们日常生活中，认知偏差（cognitive bias）几乎无处不在——从购物时的选择困难症，到面对信息时的确认偏误。人类的思维总是在不知不觉中受到这些偏差的影响。然而，随着大语言模型（LLM）如GPT-4、LLaMa等的崛起，我们是否也该警惕这些AI模型同样会犯下类似的“思维错误”呢？

在一项名为“AI Can Be Cognitively Biased: An Exploratory Study on Threshold Priming in LLM-Based Batch Relevance Assessment”（大语言模型中的阈值诱导效应研究）的研究中，陈诺等人深入探讨了AI在信息检索任务中的一种特定认知偏差——阈值诱导（threshold priming）效应。简单来说，这是一种“先入为主”的现象，当模型在评估一组信息时，先前遇到的信息会潜移默化地影响后续的判断。

🧩 什么是阈值诱导效应？

要理解阈值诱导效应，首先需要理解“诱导”（priming）这一心理学概念。诱导效应指的是当人们接触到某些特定的刺激（如词语、图片或概念）时，他们后续的行为或判断会受到这些刺激的无意识影响。例如，当你刚看到一堆与“食物”有关的词时，接下来你可能更容易将“汤”识别为“餐饮”类别的词，而不是“洗浴用品”。

同样地，在信息检索任务中，阈值诱导效应也会发生。研究表明，当人类评估文档的相关性时，如果最初评估的文档质量较高，接下来的文档可能会被打低分，反之亦然。而这项研究的核心问题在于：AI模型在评估多个文档时，是否也会受到类似的阈值诱导效应的影响？

🧪 实验设计：AI的“诱导测试”

为了验证这一假设，研究团队进行了精心设计的实验。他们选取了TREC 2019深度学习数据集中的10个话题，并使用了包括GPT-3.5、GPT-4、LLaMa2-13B和LLaMa2-70B等不同的大语言模型。在实验中，模型被分成两组，分别在高阈值（HT）和低阈值（LT）条件下对文档进行相关性评估。

📝 具体实验流程：

1. 文档分组： 在每个实验中，研究人员首先为每个话题选取若干相关性为2的文档，作为评估对象（称为“尾声”批次）。
2. 阈值设定： 然后，模型分别评估由相关性为3（高阈值）和0（低阈值）的文档组成的“序言”批次。
3. 影响分析： 通过比较模型在不同阈值条件下对相同文档的评分，研究人员分析了阈值诱导效应的存在及其强度。

简而言之，实验的关键在于判断：在评估同一批文档时，AI模型是否会因为之前接触的高或低相关性文档而改变其后续判断？

📊 实验结果：AI的“思维偏差”显而易见？

实验结果显示，无论是GPT系列还是LLaMa系列模型，它们的评估结果都表现出了显著的阈值诱导效应。具体来说：

1. 模型受先前文档影响： 当模型先接触到高相关性的文档时，它们往往会对后续文档打出较低的分数；而当模型先处理低相关性文档时，后续文档的评分则明显较高。

• 例如，当序言批次文档的相关性较高（HT条件），GPT-3.5在后续的尾声批次中对文档的平均评分比在LT条件下低了约0.7分。

1. 模型差异： 不同模型对阈值诱导效应的敏感度有所不同。GPT-3.5和GPT-4表现出较强的阈值诱导效应，而LLaMa2-70B则在部分条件下表现出与其他模型相反的趋势。

🧑‍🔬 结果图示

通过使用Mermaid绘图工具，我们可以可视化这些结果：

graph TD
    A[高阈值文档] -->|影响后续文档评分| B[尾声文档评分较低]
    C[低阈值文档] -->|影响后续文档评分| D[尾声文档评分较高]

从图中可以直观地看到，当模型在评估一组文档时，序言批次的文档质量（高阈值/低阈值）直接影响了模型对接下来文档的评分。

🔍 讨论：AI的“偏见”从何而来？

AI的认知偏差源自何处？研究表明，尽管LLM模型并没有人类的生理结构，但它们在训练过程中学习了大量由人类生成的数据，这些数据中不可避免地包含了各种偏见。因此，这些模型不仅可能继承人类的社会偏见（例如性别或种族偏见），还可能在决策过程中表现出类似于人类的认知偏差。

研究结果表明，阈值诱导效应是这些认知偏差的一种表现形式。就像人类在评估信息时会受到之前信息的影响一样，AI模型在批量评估文档时，也会因为之前评估的结果而改变对后续文档的判断。

🤔 未来的挑战：如何消除这些偏见？

对于信息检索系统设计者和研究人员来说，这一发现提出了新的挑战。如何设计出能够抵御这些认知偏差的AI系统？尤其是在批量信息评估任务中，如何确保模型的评分不受前后文的影响？未来的研究方向包括：

• 偏差检测与纠正： 开发能够自动检测和纠正模型认知偏差的方法。
• 提示工程（Prompt Engineering）： 通过优化提示，帮助模型规避阈值诱导效应等偏差。

🏁 结论：AI的“理性”并不完美

这项研究揭示了大语言模型在批量评估任务中的一个重要缺陷——它们会像人类一样受到阈值诱导效应的影响。这一发现不仅揭示了AI系统在决策过程中可能存在的盲点，也为未来如何改进这些系统提供了宝贵的启示。

随着AI技术的不断发展，理解和消除这些潜在的认知偏差将是确保AI系统公平性和可靠性的重要一步。毕竟，即便是最先进的AI，也难以完全摆脱人类“思维陷阱”的影子。

📚 参考文献

1. Chen, N. , Liu, J., Dong, X., Liu, Q., Sakai, T., & Wu, X.-M. (2024). ✅AI Can Be Cognitively Biased: An Exploratory Study on Threshold Priming in LLM-Based Batch Relevance Assessment. arXiv preprint arXiv:2409.16022.
2. Scholer, F. , Kelly, D., Wu, W.-C., Lee, H. S., & Webber, W. (2013). The Effect of Threshold Priming and Need for Cognition on Relevance Calibration and Assessment. ✅Proceedings of the 36th International ACM SIGIR Conference on Research and Development in Information Retrieval, 623–632.
3. Tversky, A. , & Kahneman, D. (1974). Judgment under Uncertainty: Heuristics and Biases. ✅Science, 185(4157), 1124–1131.
4. Eickhoff, C. (2018). Cognitive Biases in Crowdsourcing. ✅Proceedings of the Eleventh ACM International Conference on Web Search and Data Mining, 162–170.