Routine:企业环境中LLM代理系统的结构化规划框架
提升LLM代理系统在企业场景中的多步骤工具调用稳定性
lightbulb背景与挑战
在企业环境中部署代理系统面临诸多挑战:
- 缺乏领域知识:通用模型缺乏领域特定的流程知识,导致计划混乱
- 工具选择困难:模型容易忽略关键工具,特别是涉及权限验证和模型生成的工具
- 参数传递不稳定:现实场景中工具描述不足,模型难以选择合适的工具和参数
- 格式不统一:当前代理规划缺乏统一、结构化和完整的格式
- 人工依赖高:低代码平台虽然提供更稳定的替代方案,但仍严重依赖人工工作
这些挑战导致代理系统在企业环境中的执行稳定性差,难以有效解决实际任务。GPT-4o在没有Routine指导的情况下,整体准确率仅为41.1%,而Qwen3-14B仅为32.6%。
architectureRoutine框架概述
Routine是一个结构化规划框架,旨在通过清晰的步骤结构、明确的指令和无缝的参数传递来指导代理的执行模块,以高稳定性执行多步骤工具调用任务。
format_list_numbered核心组件
- 步骤编号:主流程中的顺序号
- 步骤名称:步骤目的或功能的简洁概述
- 步骤描述:详细说明、执行条件和目标
- 输入描述*:执行此步骤所需的参数
- 输出描述*:成功执行后生成的输出参数
- 步骤工具*:此步骤使用的对应功能工具
call_split分支处理
Routine支持分支逻辑,使系统能够根据条件执行不同的工作流程:
• Branch X-1 Step 1. <步骤名称>: 如果<条件>,执行<步骤描述>,使用<工具名称>工具;
• Branch X-1 Step 2. <步骤名称>: <步骤描述>,使用<工具名称>工具;
• Branch X-2 Step 1. <步骤名称>: 如果<条件>,执行<步骤描述>,使用<工具名称>工具;
通过结构化的Routine格式,代理可以可靠地遵循计划步骤,确保任务执行的稳定性和准确性。这种结构化表示作为LLM生成计划和执行引擎之间的中间表示,增强了执行模型的指令跟随能力。
integration_instructions系统架构
基于Routine的代理系统由四个核心模块组成,它们协同工作以完成用户任务:
edit_note规划模块
负责生成结构化的Routine,通过AI驱动的优化过程将专家提供的简单草稿提示转换为详细、全面的自然语言Routine。优化过程包括将计划分解为详细子步骤,将这些步骤映射到可用工具,最后输出结构化且全面的自然语言Routine。
play_circle执行模块
接收规划模块提供的计划,按照规定路径输出工具调用指令。可由小型专业化指令跟随模型驱动,节省资源并提高企业环境中的适用性。执行模型不生成自然语言响应,而是由专门的总结工具在最后一步生成最终总结。
build工具模块
使用MCP服务器作为工具模块,以结构化方式定义工具,指定名称、参数类型和调用约束。执行模块只需根据规划确定”调用哪个工具”和”传递什么参数”。这种基于协议的结构不再需要管理工具的实现细节,提供了极高的可扩展性。
memory内存模块
包含两种形式的内存:
长期流程内存:存储各种场景的Routine集合,在接收到相关查询时,基于Routine描述与用户任务之间的相似性计算检索适当的Routine
短期变量内存:优化多步骤工具调用之间的参数传递,当工具调用返回过长的参数时,系统自动将其存储在变量内存库中,减少上下文压力
science实验结果与性能提升
在真实企业场景(HR代理应用)中的评估表明,Routine显著提高了模型工具调用的准确性:
(从41.1%提升)
(从32.6%提升)
(遵循Routine)
(接近GPT-4o)
消融研究表明,明确指定工具名称是确保准确执行的核心元素,而详细的参数描述对能力较弱的模型尤为有效。AI优化的Routine在大多数情况下接近人工注释的性能,为实际应用提供了高效可行的途径。
analytics错误分析
在没有Routine指导的情况下,工具选择错误是失败的主要原因,占所有错误的85%以上。这表明模型在从大量可用工具(超过25个)中准确选择并将其组织成有效的执行链方面面临巨大挑战。Routine机制的引入显著改善了模型的工具选择准确性,这是整体准确性提高的主要驱动力。
insights结论与未来工作
主要贡献:
- 提出了Routine,一个结构良好的规划框架,提高了企业场景中代理系统多步骤工具调用的稳定性
- 生成了符合Routine的训练数据集并微调模型,提高了执行模块遵循规划指令的能力
- 进行了基于Routine的知识蒸馏,生成了场景特定的多工具数据集,提高了执行模型的准确性
未来工作:
- 将基于RL的代理框架纳入工作流程,包括数据蒸馏和奖励建模机制,提高规划模型的Routine生成能力和执行模型的工具调用能力
- 探索以Routine机制为中心的多代理框架,通过结构化的Routine流程和集中式交互协议协调多个专业化代理
- 提高代理系统在企业环境中的自主性和适应性,特别是在引入新工具或工作流程发生变化时
Routine机制显著提高了代理系统对企业场景的适应性,使AI能够更有效地协助企业流程的执行,从而实现”AI for Process”的技术愿景。通过提供一种实用且可访问的方法来构建稳定的代理工作流,Routine加速了代理系统在企业环境中的部署和采用。