🧠 AI也会犯“认知偏差”？——深度探讨LLM的阈值诱导效应

💭 前言：AI也有“思维陷阱”？

在我们日常生活中，认知偏差（cognitive bias）几乎无处不在——从购物时的选择困难症，到面对信息时的确认偏误。人类的思维总是在不知不觉中受到这些偏差的影响。然而，随着大语言模型（LLM）如GPT-4、LLaMa等的崛起，我们是否也该警惕这些AI模型同样会犯下类似的“思维错误”呢？

在一项名为“AI Can Be Cognitively Biased: An Exploratory Study on Threshold Priming in LLM-Based Batch Relevance Assessment”（大语言模型中的阈值诱导效应研究）的研究中，陈诺等人深入探讨了AI在信息检索任务中的一种特定认知偏差——阈值诱导（threshold priming）效应。简单来说，这是一种“先入为主”的现象，当模型在评估一组信息时，先前遇到的信息会潜移默化地影响后续的判断。

🧩 什么是阈值诱导效应？

要理解阈值诱导效应，首先需要理解“诱导”（priming）这一心理学概念。诱导效应指的是当人们接触到某些特定的刺激（如词语、图片或概念）时，他们后续的行为或判断会受到这些刺激的无意识影响。例如，当你刚看到一堆与“食物”有关的词时，接下来你可能更容易将“汤”识别为“餐饮”类别的词，而不是“洗浴用品”。

同样地，在信息检索任务中，阈值诱导效应也会发生。研究表明，当人类评估文档的相关性时，如果最初评估的文档质量较高，接下来的文档可能会被打低分，反之亦然。而这项研究的核心问题在于：AI模型在评估多个文档时，是否也会受到类似的阈值诱导效应的影响？

🧪 实验设计：AI的“诱导测试”

为了验证这一假设，研究团队进行了精心设计的实验。他们选取了TREC 2019深度学习数据集中的10个话题，并使用了包括GPT-3.5、GPT-4、LLaMa2-13B和LLaMa2-70B等不同的大语言模型。在实验中，模型被分成两组，分别在高阈值（HT）和低阈值（LT）条件下对文档进行相关性评估。

📝 具体实验流程：

文档分组： 在每个实验中，研究人员首先为每个话题选取若干相关性为2的文档，作为评估对象（称为“尾声”批次）。
阈值设定： 然后，模型分别评估由相关性为3（高阈值）和0（低阈值）的文档组成的“序言”批次。
影响分析： 通过比较模型在不同阈值条件下对相同文档的评分，研究人员分析了阈值诱导效应的存在及其强度。

简而言之，实验的关键在于判断：在评估同一批文档时，AI模型是否会因为之前接触的高或低相关性文档而改变其后续判断？

📊 实验结果：AI的“思维偏差”显而易见？

实验结果显示，无论是GPT系列还是LLaMa系列模型，它们的评估结果都表现出了显著的阈值诱导效应。具体来说：

模型受先前文档影响： 当模型先接触到高相关性的文档时，它们往往会对后续文档打出较低的分数；而当模型先处理低相关性文档时，后续文档的评分则明显较高。

例如，当序言批次文档的相关性较高（HT条件），GPT-3.5在后续的尾声批次中对文档的平均评分比在LT条件下低了约0.7分。

模型差异： 不同模型对阈值诱导效应的敏感度有所不同。GPT-3.5和GPT-4表现出较强的阈值诱导效应，而LLaMa2-70B则在部分条件下表现出与其他模型相反的趋势。

🧑‍🔬 结果图示

通过使用Mermaid绘图工具，我们可以可视化这些结果：

graph TD
    A[高阈值文档] -->|影响后续文档评分| B[尾声文档评分较低]
    C[低阈值文档] -->|影响后续文档评分| D[尾声文档评分较高]

从图中可以直观地看到，当模型在评估一组文档时，序言批次的文档质量（高阈值/低阈值）直接影响了模型对接下来文档的评分。

🔍 讨论：AI的“偏见”从何而来？

AI的认知偏差源自何处？研究表明，尽管LLM模型并没有人类的生理结构，但它们在训练过程中学习了大量由人类生成的数据，这些数据中不可避免地包含了各种偏见。因此，这些模型不仅可能继承人类的社会偏见（例如性别或种族偏见），还可能在决策过程中表现出类似于人类的认知偏差。

研究结果表明，阈值诱导效应是这些认知偏差的一种表现形式。就像人类在评估信息时会受到之前信息的影响一样，AI模型在批量评估文档时，也会因为之前评估的结果而改变对后续文档的判断。

🤔 未来的挑战：如何消除这些偏见？

对于信息检索系统设计者和研究人员来说，这一发现提出了新的挑战。如何设计出能够抵御这些认知偏差的AI系统？尤其是在批量信息评估任务中，如何确保模型的评分不受前后文的影响？未来的研究方向包括：

偏差检测与纠正： 开发能够自动检测和纠正模型认知偏差的方法。
提示工程（Prompt Engineering）： 通过优化提示，帮助模型规避阈值诱导效应等偏差。

🏁 结论：AI的“理性”并不完美

这项研究揭示了大语言模型在批量评估任务中的一个重要缺陷——它们会像人类一样受到阈值诱导效应的影响。这一发现不仅揭示了AI系统在决策过程中可能存在的盲点，也为未来如何改进这些系统提供了宝贵的启示。

随着AI技术的不断发展，理解和消除这些潜在的认知偏差将是确保AI系统公平性和可靠性的重要一步。毕竟，即便是最先进的AI，也难以完全摆脱人类“思维陷阱”的影子。

📚 参考文献

Chen, N., Liu, J., Dong, X., Liu, Q., Sakai, T., & Wu, X.-M. (2024). AI Can Be Cognitively Biased: An Exploratory Study on Threshold Priming in LLM-Based Batch Relevance Assessment. arXiv preprint arXiv:2409.16022.
Scholer, F., Kelly, D., Wu, W.-C., Lee, H. S., & Webber, W. (2013). The Effect of Threshold Priming and Need for Cognition on Relevance Calibration and Assessment. Proceedings of the 36th International ACM SIGIR Conference on Research and Development in Information Retrieval, 623–632.
Tversky, A., & Kahneman, D. (1974). Judgment under Uncertainty: Heuristics and Biases. Science, 185(4157), 1124–1131.
Eickhoff, C. (2018). Cognitive Biases in Crowdsourcing. Proceedings of the Eleventh ACM International Conference on Web Search and Data Mining, 162–170.