Routine:企业环境中LLM代理系统的结构化规划框架

Routine:企业环境中LLM代理系统的结构化规划框架

Routine:企业环境中LLM代理系统的结构化规划框架

提升LLM代理系统在企业场景中的多步骤工具调用稳定性

LLM代理 结构化规划 工具调用 企业应用

lightbulb背景与挑战

在企业环境中部署代理系统面临诸多挑战:

  • 缺乏领域知识:通用模型缺乏领域特定的流程知识,导致计划混乱
  • 工具选择困难:模型容易忽略关键工具,特别是涉及权限验证和模型生成的工具
  • 参数传递不稳定:现实场景中工具描述不足,模型难以选择合适的工具和参数
  • 格式不统一:当前代理规划缺乏统一、结构化和完整的格式
  • 人工依赖高:低代码平台虽然提供更稳定的替代方案,但仍严重依赖人工工作

这些挑战导致代理系统在企业环境中的执行稳定性差,难以有效解决实际任务。GPT-4o在没有Routine指导的情况下,整体准确率仅为41.1%,而Qwen3-14B仅为32.6%。

architectureRoutine框架概述

Routine是一个结构化规划框架,旨在通过清晰的步骤结构、明确的指令和无缝的参数传递来指导代理的执行模块,以高稳定性执行多步骤工具调用任务。

format_list_numbered核心组件

  • 步骤编号:主流程中的顺序号
  • 步骤名称:步骤目的或功能的简洁概述
  • 步骤描述:详细说明、执行条件和目标
  • 输入描述*:执行此步骤所需的参数
  • 输出描述*:成功执行后生成的输出参数
  • 步骤工具*:此步骤使用的对应功能工具

call_split分支处理

Routine支持分支逻辑,使系统能够根据条件执行不同的工作流程:

Step X. <步骤名称>: 此步骤执行分支条件检查:
• Branch X-1 Step 1. <步骤名称>: 如果<条件>,执行<步骤描述>,使用<工具名称>工具;
• Branch X-1 Step 2. <步骤名称>: <步骤描述>,使用<工具名称>工具;
• Branch X-2 Step 1. <步骤名称>: 如果<条件>,执行<步骤描述>,使用<工具名称>工具;

通过结构化的Routine格式,代理可以可靠地遵循计划步骤,确保任务执行的稳定性和准确性。这种结构化表示作为LLM生成计划和执行引擎之间的中间表示,增强了执行模型的指令跟随能力。

integration_instructions系统架构

基于Routine的代理系统由四个核心模块组成,它们协同工作以完成用户任务:

edit_note规划模块

负责生成结构化的Routine,通过AI驱动的优化过程将专家提供的简单草稿提示转换为详细、全面的自然语言Routine。优化过程包括将计划分解为详细子步骤,将这些步骤映射到可用工具,最后输出结构化且全面的自然语言Routine。

play_circle执行模块

接收规划模块提供的计划,按照规定路径输出工具调用指令。可由小型专业化指令跟随模型驱动,节省资源并提高企业环境中的适用性。执行模型不生成自然语言响应,而是由专门的总结工具在最后一步生成最终总结。

build工具模块

使用MCP服务器作为工具模块,以结构化方式定义工具,指定名称、参数类型和调用约束。执行模块只需根据规划确定”调用哪个工具”和”传递什么参数”。这种基于协议的结构不再需要管理工具的实现细节,提供了极高的可扩展性。

memory内存模块

包含两种形式的内存:
长期流程内存:存储各种场景的Routine集合,在接收到相关查询时,基于Routine描述与用户任务之间的相似性计算检索适当的Routine
短期变量内存:优化多步骤工具调用之间的参数传递,当工具调用返回过长的参数时,系统自动将其存储在变量内存库中,减少上下文压力

science实验结果与性能提升

在真实企业场景(HR代理应用)中的评估表明,Routine显著提高了模型工具调用的准确性:

96.3%
GPT-4o
(从41.1%提升)
83.3%
Qwen3-14B
(从32.6%提升)
88.2%
Qwen3-14B微调后
(遵循Routine)
95.5%
Qwen3-14B蒸馏后
(接近GPT-4o)

消融研究表明,明确指定工具名称是确保准确执行的核心元素,而详细的参数描述对能力较弱的模型尤为有效。AI优化的Routine在大多数情况下接近人工注释的性能,为实际应用提供了高效可行的途径。

analytics错误分析

在没有Routine指导的情况下,工具选择错误是失败的主要原因,占所有错误的85%以上。这表明模型在从大量可用工具(超过25个)中准确选择并将其组织成有效的执行链方面面临巨大挑战。Routine机制的引入显著改善了模型的工具选择准确性,这是整体准确性提高的主要驱动力。

insights结论与未来工作

主要贡献:

  • 提出了Routine,一个结构良好的规划框架,提高了企业场景中代理系统多步骤工具调用的稳定性
  • 生成了符合Routine的训练数据集并微调模型,提高了执行模块遵循规划指令的能力
  • 进行了基于Routine的知识蒸馏,生成了场景特定的多工具数据集,提高了执行模型的准确性

未来工作:

  • 将基于RL的代理框架纳入工作流程,包括数据蒸馏和奖励建模机制,提高规划模型的Routine生成能力和执行模型的工具调用能力
  • 探索以Routine机制为中心的多代理框架,通过结构化的Routine流程和集中式交互协议协调多个专业化代理
  • 提高代理系统在企业环境中的自主性和适应性,特别是在引入新工具或工作流程发生变化时

Routine机制显著提高了代理系统对企业场景的适应性,使AI能够更有效地协助企业流程的执行,从而实现”AI for Process”的技术愿景。通过提供一种实用且可访问的方法来构建稳定的代理工作流,Routine加速了代理系统在企业环境中的部署和采用。

发表评论

人生梦想 - 关注前沿的计算机技术 acejoy.com 🐾 步子哥の博客 🐾 背多分论坛 🐾 知差(chai)网 🐾 DeepracticeX 社区 🐾 老薛主机 🐾