Cemri, M. et al. “Why Do Multi Agent LLM Systems Fail?” ArXiv preprint, 2024.✅
Glaser, B. G. and Strauss, A. L. The Discovery of Grounded Theory: Strategies for Qualitative Research. Aldine Publishing, 1967.✅
Roberts, K. and Rousseau, D. “High Reliability Organizations: Prevention of Catastrophic Failures.” IEEE Transactions on Engineering Management, 1989.✅
Wang, X. et al. “A Survey on Large Language Model Based Autonomous Agents.” Frontiers of Computer Science, 2024.✅
Qian, C. et al. “ChatDev: Communicative Agents for Software Development.” ArXiv preprint, 2023.✅
在人工智能的浩瀚星空中，单个LLM（大语言模型）的璀璨光芒早已引起人们的瞩目；而当多个LLM彼此协作组成多智能体系统（MAS）时，似乎本应描绘一幅众星拱月、协同作战的美丽画卷。然则现实却告诉我们：这些被寄予厚望的MAS在实际应用中却频频失效，性能仅略胜单一智能体系统，仿佛精心搭建的多层迷宫中总藏着无数未知的陷阱。正如托尔斯泰所说：“每个不幸的家庭都有各自的悲剧”，每一个失败的系统也都各有各的症结所在。本篇文章便试图带您走进这一秘密花园，探索多智能体LLM系统为什么会频频失败，并从中寻找未来改进的希望。
🌍 多智能体系统：从协同梦想到现实困局
多智能体系统的核心思想在于让各个拥有不同专长与角色定义的智能体彼此协作，共同完成单个智能体难以胜任的复杂多步骤任务。想象一下，一个宏大的交响乐团中，每个乐器都有自己独特的角色，只有当彼此默契协作时，方能奏响美妙乐章。然而，正如真实乐团中偶尔出现的配合失误，多智能体系统也常常因为沟通不畅和角色界定不清而“走音”。
文献中提到，目前流行的MAS框架在150多个任务中惨遭失败，其总体成功率甚低。例如，在最先进的开源系统ChatDev中，其任务正确率甚至低至25%。这种惨淡的表现暴露了MAS系统在设计和交互管理上的重大缺陷。研究者们对这一切进行了细致严谨的观察和统计，提出了一个名为MASFT的失败模式分类体系，试图以14种具体失败模式组织出三大类总体故障：
这一分类过程并非简单的理论堆砌，而是经过六位专家对150余条对话轨迹的反复标注与讨论，达成0.88的Cohen’s Kappa一致性，体现了极高的可靠性。
🧩 MASFT：探寻失败的根源
🔍 规格与系统设计失误
在MAS中，任务失败往往源于对任务规格说明的不明确或不完备。就像建造大楼时若没有明确的蓝图，即使每个工人都勤恳耕作，最终也难免坍塌。例如，在某次实验中，当要求设计一款基于经典象棋记谱法的棋类游戏时，系统却错误地以坐标对（如（x1, y1））代替了象棋特有的记谱格式，导致输出与预期大相径庭。更为严重的是，有时系统甚至无法正确区分或遵守各自的角色职责——在ChatDev的场景中，一个本应专责需求分析的助手竟然擅自代替CEO角色，影响了整个产品设计与决策流程。
下表摘录了部分MASFT中关于规格与系统设计失误的失败模式：
每一种失败模式都有其独特的根源和表现形式。举一个生动的例子：某电话代理系统在请求登录用户时，由于角色规定不清，未能向上级主管反馈正确的API要求，致使登录过程屡遭挫折，最终任务以失败告终。这一切便是“规格问题”不断在系统设计层面冒出的“幽灵”。
🤝 智能体间的错位协作
在多智能体系统中，协作并非简单的并行任务，而是一种充满动态交互和不断微调的协同过程。正如一个团队中成员的沟通失误会导致信息不对称，在MAS中，智能体间的对话失序、信息不共享、甚至彼此忽略对方意见的现象比比皆是。研究者识别出的六种失败模式中，有“对话重置”、“不请求澄清”、“任务跑偏”、“隐瞒重要信息”、“忽视其他智能体输入”以及“逻辑推理与行动脱节”等。
例如，在一次任务中，某数学问题求解的过程中，一位智能体由于未能及时请求澄清，导致系统继续沿用错误信息，最终计算出不合理的结果。又如，在另一个AppWorld任务中，Spotify服务代理因理解错误，将密码当作令牌使用，和上游主管代理之间的沟通混乱，最终造成整组服务无法正常运行。正是这些错位和脱节，使得本应紧密协作的MAS变得分崩离析。
⏰ 任务验证与终止失效
验证与终止机制本应为MAS的“安全阀”，确保在任务进行过程中不断自检、校正，以避免错误进一步扩散。可是，现实中许多系统中往往缺乏有效、合理的验证步骤。例如，在ChatDev中，验证智能体只检查代码的是否能编译，却未能确保代码逻辑和业务规则的严谨性，结果导致尽管程序“能跑”，但却未能达到预期功能。
这一类别中标注的失败模式包括：
• FM-3.1：过早终止任务，导致结果不完整或错误
• FM-3.2：未进行或不完全的验证，任凭错误潜滋暗长
• FM-3.3：错误验证，即验证未能捕捉所有边缘情况
可见，如果把一个MAS比作一列高速行驶的列车，那么验证机制便是列车内部的紧急停车系统；而若这一系统设计不周，即使前面种种错误出现，也很难在第一时间遏制风险扩散。
📊 数据洞察：图表中的失败影像
研究者们不仅仅靠定性描述，而是通过严谨的数据统计，将失败模式的分布直观地呈现出来。图1展示了五种主流MAS系统（如MetaGPT、ChatDev、HyperAgent、AppWorld、AG2）在不同平台下的失败率，其中最为鲜明的对比是：即使引入了最新的GPT-4o与Claude-3模型，部分系统依旧存在高达86.7%的失败概率，而另一些则相对较低。
此外，图2给出了MASFT的完整分类方法和各失败模式的具体出现频率，通过多颜色分层直观地展示了每个失败类别在150多条对话轨迹中的出现率。这种跨越领域、跨平台的失败分析，正如高分辨率的医学成像技术，将曾经模糊的隐患一一“照妖镜”般地显现出来。
下面我们以Markdown表格的形式重现部分数据（数据来源于原文摘录）：
而在MASFT中，各失败模式之间的相关性（详见图6）显示出，虽然各类故障之间并非完全独立，但在系统设计与交互管理中，往往会呈现出一定的联动性——一个设计瑕疵可能诱发沟通失效，继而引发验证问题，形成如多米诺骨牌般的连锁崩溃。
🔧 拯救策略：从战术调整到结构重构
尽管问题重重，研究者们并未止步于描述失败，而是大胆提出多种改进策略，旨在为MAS系统注入新的活力。从整体上看，这些策略可分为两大类：战术性方法与系统性重构。
⚙️ 战术性方法
战术性方法主要着眼于“局部微调”，试图通过改善提示设计、明确代理角色分工、完善对话管理规则等方式来缓解部分失败模式带来的局部问题。例如：
• 重新设计代理提示，要求在对话中附加自我验证环节，让智能体在输出前回顾整个推理过程；
• 明确角色责任，设置交叉验证机制，确保关键决策不由单一智能体主导；
• 在任务终止部分增设明确的结束信号，防止无限循环对话。
在案例研究中，针对AG2的MathChat场景，通过改进提示和引入专门的验证阶段，使得任务正确率从84.25%提升到接近89%，虽然这种提升在统计学上仅属于弱显著性，但无疑为MAS系统健康运行提出了一条可行路径。
🏗️ 系统性重构
然而，战术性的调整往往只能起到治标不治本的作用。正如医生指出，若仅靠止痛药解决内科问题，而不触及病根，系统性风险依然存在。系统性重构则需要从系统架构、通信协议、内存管理等全局角度进行全面优化。措施包括：
• 设计统一且结构化的通信格式，使得所有智能体间的数据交换都能经过格式校验；
• 引入强化学习及不确定性度量，将智能体决策与实际回报之间建立更紧密的反馈机制；
• 建立模块化组件，每个组件只有单一职责，降低系统复杂性，从根本上避免多重职责交叉引发的混乱。
在ChatDev案例中，一个基于循环图而非有向无环图的全新系统拓扑结构，允许智能体之间不断迭代与反思，虽然这种方法在部分任务中实验效果评价尚未达到理想状态，但却为实现全面可靠的MAS系统铺平了道路。
🛤️ 案例实践：MathChat与ChatDev的实战演练
在解决实际问题时，研究者们还开展了两组案例研究，以验证前述策略的有效性。
🔢 案例一：AG2 – MathChat
在MathChat场景中，一个学生代理与一个能执行Python代码的辅助代理共同解决数学题目。研究者们随机抽取GSM-Plus数据集中的200道题目，分别以三种配置进行对比：
• 原始配置
• 改进提示（新增验证环节）
• 新拓扑结构方案
利用GPT-4与GPT-4o两种模型分别测试，结果显示：
– 在GPT-4环境下，通过改进提示带来的准确率提升明显，但新拓扑改动效果并不突出；
– 而在GPT-4o环境下，两者均能带来显著改善，其中改进提示和拓扑方案均使得准确率分别达到了89%和88.83%，经Wilcoxon检验p值分别达到0.03，显示出统计显著性。
这种实验结果提示我们，虽然改进提示和角色明确化能够在一定程度上减少错误，但仍需更多系统性干预以提高MAS的整体稳定性。
💻 案例二：ChatDev – 软件开发协作
ChatDev系统模拟的是一个软件工程公司的复杂开发过程，包含CEO、CTO、程序员、审核员、测试员等不同角色。在面对软件生成任务时，系统经常出现角色职责混淆、对话跑偏等问题。为此，研究者提出了两种改进方案：
在两个不同基准测试中，一个定制生成了32个任务（ProgramDev），另一个以OpenAI提供的HumanEval为标准，改进方案均使得准确率有所上升（ProgramDev从25.0%提升至40.6%，HumanEval从89.6%到91.5%），但提升幅度仍未达到商业应用要求。实验数据如表4所示：
这一系列数据说明，局部的干预措施虽能在短期内改善部分问题，但MAS系统的根本问题依然需要从设计层面进行全局性反思和构建。
🛡️ 向未来出发：新一代MAS的设计路线
本文所呈现的不仅是对MAS失败模式的梳理，更是一张指向未来的路线图。正如高可靠性组织（HRO）的研究表明，只有坚持良好的组织设计原则，才能在关键时刻避免灾难性错误。MAS系统若要实现可靠性和稳健性，其设计者需要在以下几个方面着手：
总的来说，多智能体LLM系统的失败并非偶然，而是内外部多重因素交织下的必然产物。尽管现阶段很多具体措施仍处于实验阶段，但这些探索无疑为未来MAS整体设计提供了有力指导，为实现真正可靠、灵活、高效的多代理协同铺平了道路。
💡 结语
从失败中汲取教训是一门科学的艺术。多智能体LLM系统失败的背后隐藏着任务规格、角色定义、沟通协作和验证机制等多层次的问题。通过构建MASFT这一系统性分类方法，研究者们不仅揭开了失败的面纱，更为未来MAS的开发提供了一幅详实的改进蓝图。无论是通过战术性的提示优化，还是系统性结构重构，MAS的发展势必需要在不断的实验和反馈中寻找突破口。就像一个复杂的生态系统，只有各组件协调并进，才能形成真正的集体智慧与自愈能力。
正如托尔斯泰所言：“幸福的家庭都是相似的，而不幸的家庭各有各的不幸。”同样，成功的MAS系统必定需遵循严谨的组织和设计原则，而每一个失败的案例都承载着宝贵的反思和改进启示。未来的MAS研究者们，或许可以借鉴高可靠性组织的理论，将这些理论落实在设计之中，从而打造出一款既能在学术上引领潮流，又能在工业界行稳致远的多智能体系统。
在本文即将画上句点之际，我们也为同行们提供了一个开放的研究平台，相关数据集、标注工具和评估代码均已开源，为未来的合作与共建贡献力量。我们的目标不仅是理解失败，更要以此为契机，为多智能体系统的高质量落地保驾护航。
📚 参考文献
通过这篇文章，我们希望读者不仅能体会到多智能体系统背后复杂错综的失败逻辑，更能在其中看到未来改进的方向。正是这些失败的阴影中，隐藏着智慧之光的曙光；只要我们敢于直面问题，那么走出困境的道路便会逐渐清晰。
愿未来的MAS设计者们在不断探索中披荆斩棘，推开成功的大门！