上下文工程、图数据库与Agent的记忆管理
探索AI时代三大核心技术的协同与融合
随着人工智能技术的快速发展,上下文工程、图数据库和Agent的记忆管理已成为构建智能系统的三大关键技术。它们各自解决AI系统中的核心问题,同时又相互关联、相互促进,共同推动AI技术向更智能、更高效的方向发展。
本海报将深入探讨这三项技术的核心概念、应用场景及其相互关系,帮助读者全面了解AI系统构建的关键要素。
architecture 上下文工程 (Context Engineering)
定义:设计和构建动态系统,以正确的格式在正确的时间为大语言模型提供恰当的信息和工具,使其能够可靠地完成指定任务。
与提示工程的区别:上下文工程是系统级的,关注动态上下文构建;提示工程是上下文工程的子集,专注于如何组织已有上下文。
核心要素:正确的信息、正确的工具、正确的格式
组成部分:应用开发者预设、用户输入、历史交互、工具调用、外部数据
share 图数据库 (Graph Database)
定义:基于图的数据结构存储和管理数据的数据库系统,以节点和边作为基本元素,节点表示实体,边表示实体之间的关系。
特点:高效查询、高效存储、可扩展性、灵活性
应用场景:社交网络、推荐系统、金融、物流、生命科学、游戏等
优势:相比传统关系型数据库,更适合处理复杂的关联关系
psychology Agent的记忆管理 (Agent Memory Management)
定义:AI Agent在执行任务过程中存储和管理信息的能力和机制,类似于人类的记忆系统。
记忆类型:
• 情节记忆:像日记一样记住”我做了什么”
• 语义记忆:像百科全书一样记住”我知道什么”
• 程序记忆:像操作手册一样记住”我该怎么做”
• 短期/工作记忆:像草稿纸一样”我现在正在用什么”
记忆层次:短期记忆(对话上下文)、工作记忆(当前任务相关的信息)、长期记忆(持久化的知识库)
与RAG的区别:记忆是RAG的子集,RAG侧重于知识为中心,记忆侧重于以用户信息为中心
三者之间的关联性
图数据库与Agent记忆
图数据库可用于Agent的记忆管理,特别是长期记忆的存储和检索,通过节点和边的关系高效管理复杂信息
上下文工程与记忆管理
上下文工程为Agent提供完成任务所需的信息和工具,而记忆管理则确保这些信息能够被有效存储和利用
知识图谱的应用
知识图谱(图数据库的一种应用)可用于构建Agent的记忆系统,如Memary框架所示,实现更智能的记忆管理
上下文工程
大模型时代的系统级能力跃迁
architecture 定义与概念
上下文工程(Context Engineering)是指设计和构建一个动态系统,以正确的格式在正确的时间为大语言模型(LLM)提供恰当的信息和工具,从而使其能够可靠地完成指定任务。
上下文工程不仅关注静态的提示词设计,更注重系统性、动态性和信息的精准性。它超越了传统的提示工程,涉及上下文检索与生成、上下文处理、上下文管理等多个基础组件。
compare_arrows 与提示工程的区别
提示工程
• 目标:写出清晰、明确的指令
• 本质:布置任务的指令
• 关注点:如何让AI按预期方式回答问题、执行任务
• 特点:依赖精细指令,难以复用,容易因措辞差异导致结果波动
上下文工程
• 目标:准备好一切AI该知道的信息
• 本质:告诉AI当前的”需要什么”、”能做什么”
• 关注点:提供所需的信息、工具和历史记忆
• 特点:让AI具备持续理解和应变能力,适应新任务,保持输出稳定
核心区别:上下文工程是系统级的,关注动态上下文构建;提示工程是上下文工程的子集,专注于如何组织已有上下文。
形象比喻:上下文负责铺路,而提示工程教你怎么走。
featured_play_list 核心要素
正确的信息
确保模型获取到完成任务所需的关键信息
正确的工具
提供模型在执行任务时可能需要的各种功能支持
正确的格式
以清晰、简洁、结构化的方式呈现信息
动态性
根据需求实时调整上下文,适应不同任务和场景
view_module 组成部分
上下文工程是一个动态系统,复杂智能体系统从多个来源获取上下文:
应用开发者预设
用户输入
历史交互
工具调用
外部数据
将所有这些信息整合在一起,需要一个复杂的系统。提供正确的信息与工具,格式化至关重要。好的上下文工程应该包括工具使用、短期记忆、长期记忆、提示工程和检索等多个方面。
图数据库
高效处理复杂关联关系的新型数据库
share 定义与特点
图数据库是一种基于图的数据结构存储和管理数据的数据库系统。它以节点和边作为基本元素,节点表示实体,边表示实体之间的关系,可以高效地存储和查询复杂的数据结构。
高效查询
快速查询复杂的数据结构,支持快速遍历和搜索,处理大规模数据
高效存储
高效存储和检索数据,支持多种数据类型和数据结构
可扩展性
方便扩展,支持分布式存储和计算,处理大规模数据
灵活性
灵活处理各种数据,支持多种数据模型和查询语言
category 应用场景
图数据库的应用场景非常广泛,特别适合处理复杂的关系网络:
社交网络
存储用户之间的关系,进行社交分析和推荐
推荐系统
分析用户与商品之间的关系,提供个性化推荐
金融领域
欺诈检测、交易路由、投资组合分析
物流
优化路径规划、物流运输,提高效率
生命科学
分析基因、蛋白质和代谢物之间的复杂关系
游戏
管理玩家角色、装备、地图、任务等复杂游戏数据
trending_up 优势
相比传统的关系型数据库,图数据库在处理复杂关联关系时具有显著优势:
关系处理能力强
直接存储和查询节点之间的关系,无需复杂的表连接操作,性能更高
深度查询效率高
对于多度关系查询(如”朋友的朋友”)效率远高于关系型数据库
灵活的数据模型
无需预定义严格的结构,可以轻松适应不断变化的数据模式
图数据库的快速发展反映了现代数据应用的需求变化:从简单的数据存储转向复杂关系的挖掘和分析。随着数据量和复杂性的增加,图数据库在处理关系密集型应用中的优势将更加明显。
Agent的记忆管理
让AI Agent像人类一样思考和记忆
psychology 定义与重要性
Agent记忆(Agent Memory)是指AI Agent在执行任务过程中存储和管理信息的能力和机制。它类似于人类的记忆系统,使Agent能够记住过去的交互、经验和知识,并在后续任务中利用这些信息做出更好的决策。
重要性:记忆机制对于实现持续学习和处理长期任务至关重要。它使AI Agent能够:
- 保持上下文连贯性,理解对话背景
- 提供个性化交互,记住用户偏好
- 避免重复犯错,从经验中学习
- 有效降低运营成本,提高响应效率
category 记忆类型
AI Agent的记忆系统借鉴人类认知架构,分为多种类型,每种类型承担不同的功能:
情节记忆
像日记一样记住”我做了什么”,记录Agent过去做过的事情和与用户或其他系统的互动。
例如:记录”用户问了我天气”,”我使用了天气查询工具”,”我回答了用户今天晴朗”
语义记忆
像百科全书一样记住”我知道什么”,存储Agent需要知道的通用知识、特定领域的知识,以及关于它自身的信息。
例如:”我是个客服机器人”,”我的目标是帮助用户解决问题”,以及产品知识、行业知识等
程序记忆
像操作手册一样记住”我该怎么做”,存储Agent运行的系统性信息,如系统提示、可用工具和行为准则。
例如:系统提示的结构、可用的工具(搜索工具、计算工具等)、行为准则(不泄露用户隐私)
短期/工作记忆
像草稿纸一样”我现在正在用什么”,临时存储从长期记忆中提取的信息,组合成Prompt发送给LLM。
例如:当前对话的上下文、任务执行过程中的临时信息、需要立即处理的数据
layers 记忆层次
从时间跨度和功能角度,Agent的记忆可分为三个层次:
短期记忆
对话上下文,存储当前任务或对话的即时信息,类似于人类的工作记忆,容量有限但访问快速
工作记忆
当前任务相关的信息,连接长期记忆和LLM的桥梁,负责整合来自不同长期记忆的信息
长期记忆
持久化的知识库,存储跨任务或会话的信息,支持知识积累、经验学习和个性化
compare 与RAG的区别
虽然记忆与RAG(检索增强生成)有相似之处,但它们在应用场景和目标上存在明显差异:
记忆(Memory)
- 侧重点:以用户信息为中心
- 使用场景:管理用户互动中的个性化信息,尤其是在多用户环境中
- 信息密度:处理用户与Agent之间的多轮会话数据,注重优化交互体验
- 检索方式:侧重于总结和压缩互动中的关键信息,优化上下文体验
RAG
- 侧重点:以知识为中心
- 使用场景:在大型文档集合(如公司Wiki、技术文档等)中检索信息
- 信息密度:处理密集的非结构化数据(如文本、表格),主要用于事实检索
- 检索方式:通过语义搜索和嵌入式检索来匹配精确文档
核心关系:记忆是RAG的一个子集,二者都从外部提取信息并融入到LLM生成的提示中,但它们的应用场景和目标有所不同。记忆专注于管理用户互动中的个性化信息,而RAG更侧重于从大型知识库中检索事实信息。