基于大型语言模型的自主智能体

导语： 近年来，大型语言模型 (LLM) 在人工智能领域取得了显著的进展。除了生成流畅的文本、故事、论文和程序代码外，LLM 还展现出作为通用问题解决者的巨大潜力。本文将深入探讨如何利用 LLM 构建自主智能体，并介绍其核心组件、应用案例以及面临的挑战。

LLM 驱动的自主智能体系统中，LLM 充当智能体的“大脑”，并与以下关键组件协同工作：

![LLM 驱动的自主智能体系统概述][]

规划是智能体执行复杂任务的关键。智能体需要明确任务步骤并制定计划。

思维链 (CoT) 是一种标准的提示技术，通过指示模型“逐步思考”来将复杂任务分解成更小、更简单的步骤，从而提高模型在复杂任务上的性能。
思维树 (Tree of Thoughts) 扩展了 CoT，它在每个步骤中探索多种推理可能性，并将问题分解成多个思维步骤，每个步骤生成多个想法，形成树状结构。
LLM+P 则依赖外部的经典规划器进行长期规划，利用规划域定义语言 (PDDL) 作为描述规划问题的中间接口。

自我反思使智能体能够通过改进过去的行动决策和纠正错误来迭代改进，这在现实世界中不可避免的试错过程中至关重要。

ReAct 通过将动作空间扩展为特定任务的离散动作和语言空间的组合，将推理和行动整合到 LLM 中。
Reflexion 为智能体配备了动态记忆和自我反思能力，以提高推理能力。它使用启发式函数来确定轨迹何时效率低下或包含幻觉，并使用自我反思结果来改进未来的计划。
Chain of Hindsight (CoH) 通过明确地向模型呈现一系列带有反馈的过去输出，鼓励模型改进自身的输出。
算法蒸馏 (AD) 将相同的思想应用于强化学习任务中的跨情节轨迹，将算法封装在长期历史条件策略中。

记忆是指获取、存储、保留和检索信息的过程。

外部记忆可以缓解有限注意力跨度的限制。标准做法是将信息的嵌入表示保存到支持快速最大内积搜索 (MIPS) 的向量存储数据库中。

一些常见的快速 MIPS 算法包括：

工具使用是人类的显著特征。为 LLM 配备外部工具可以显著扩展模型的能力。

MRKL (模块化推理、知识和语言) 是一种用于自主智能体的神经符号架构，它包含一组“专家”模块，通用 LLM 充当路由器，将查询路由到最合适的专家模块。
TALM (工具增强语言模型) 和 Toolformer 通过微调 LM 来学习使用外部工具 API。
ChatGPT 插件 和 OpenAI API 函数调用是 LLM 在实践中增强工具使用能力的典型例子。
HuggingGPT 是一个框架，它使用 ChatGPT 作为任务规划器，根据模型描述选择 HuggingFace 平台上可用的模型，并根据执行结果汇总响应。
API-Bank 是一个用于评估工具增强型 LLM 性能的基准测试平台，它包含 53 个常用 API 工具、完整的工具增强型 LLM 工作流程以及 264 个注释对话，涉及 568 个 API 调用。

生成式智能体 (Generative Agents) 是一个有趣的实验，其中 25 个虚拟角色，每个角色由一个 LLM 驱动的智能体控制，生活在一个沙盒环境中，灵感来自《模拟人生》。

[1] Wei et al. “Chain of thought prompting elicits reasoning in large language models.” NeurIPS 2022