破解大型语言模型(LLM)短板的新范式:通过知识结构化实现从信息检索到知识创造的认知升维
从信息搬运到知识创造的认知升维
检索 → 结构化 → 生成三步法
医疗、金融等高风险领域深度应用
"知识的形式决定了智能的深度。与其让LLM在杂乱无章的文本信息中'大海捞针',不如先对这些信息进行整理、提炼和结构化,构建一个清晰的知识网络。"
— RAS范式核心理念
当LLM被应用于真实世界的复杂场景时,其固有的局限性逐渐暴露,催生了从RAG到RAS的新范式
LLM的知识库是一个庞大但静止的图书馆,其馆藏在模型训练完成的那一刻就被封存了。这意味着模型无法回答任何关于训练截止日期之后发生的事件的问题。
LLM的推理过程完全依赖于其内部已固化的参数,缺乏与外部动态数据源进行交互的机制。这种能力的缺失,使得LLM在处理需要实时数据支持的任务时表现不佳。
当一个问题需要跨越多个信息点、进行多步推理才能得出答案时,LLM往往容易出现逻辑跳跃或推理链条断裂的情况。
"A的妻子是谁?"
已知:"A是B的儿子"和"B的妻子是C"
推理路径:A → B的儿子 → B的妻子是C → A的母亲是C
对于需要精确计算、符号操作或严格逻辑规则的复杂任务,LLM的短板尤为明显。微软亚洲研究院与清华大学联合提出的"推理链"框架指出,现有模型普遍依赖于单一的推理范式。
精确计算能力不足
复杂比率计算困难
细微差别分析不准
模型幻觉是LLM最为人诟病的问题之一,指的是模型生成与事实不符、无中生有或虚构的内容。这种现象的根源在于LLM的本质是一个概率性的文本生成模型。
传统的RAG方法虽然通过检索外部文档来提供上下文,但检索到的文本片段往往是未经处理的、包含噪声的原始信息。这些杂乱、非原子化的信息可能包含矛盾、误导性内容。
查询:阿司匹林的治疗效果
检索结果1:"阿司匹林可以治疗头痛"
检索结果2:"阿司匹林可能导致胃出血"
问题:缺乏上下文说明适用条件和剂量
现实世界中的许多任务,如企业决策、科学研究或项目管理,都需要综合来自不同来源和不同格式的信息。LLM在有效整合这些信息并进行统一推理方面仍存在困难。
年度报告、新闻
财务报表、数据库
市场新闻、实时更新
许多复杂任务需要模型具备长期依赖和动态规划的能力。然而,LLM的上下文窗口是有限的,这限制了它们处理长序列信息和维持长期记忆的能力。
为了应对LLM的短板,研究者们提出了RAG技术,但其局限性催生了RAS范式的诞生
RAS演进过程:从静态知识库到结构化知识增强
支持拖拽移动和缩放操作
1. 接收用户查询
2. 从外部知识库检索相关信息
3. 将检索结果作为上下文提供给LLM
4. LLM基于上下文生成答案
文本块过大:引入过多噪声,干扰判断
文本块过小:丢失关键上下文,信息不完整
• "苹果公司2024年Q1营收达到1200亿美元"
• "苹果股价在过去一个月下跌5%"
• "苹果公司面临供应链挑战"
• "iPhone 15销量创新高"
• 时间线不明确
• 因果关系不清晰
• 缺乏逻辑关联
• 难以进行综合分析
在RAG的"检索"和"生成"之间,增加一个至关重要的"结构化"步骤,将非结构化文本转化为有组织、有结构的知识表示形式。
从外部知识源检索相关信息,全面召回原始文本数据
信息抽取,构建知识图谱,清洗重组核心事实
基于结构化知识进行推理,生成准确可靠的答案
通过将非结构化文本转化为结构化知识图谱,RAS范式实现了从"信息检索"到"知识构建"的革命性转变
RAS可以直接对接结构化的知识源,如实时更新的知识图谱、关系型数据库或领域本体,彻底解决知识陈旧和专业知识不足的问题。
"实体-关系-实体"三元组表示方式具有高度的精确性和原子性,消除了自然语言中的歧义和模糊性。
自然语言:"蒂姆·库克是苹果公司的CEO"
结构化表示:
实体1: 苹果公司
关系: hasCEO
实体2: 蒂姆·库克
检索文本:"苹果公司去年营收很好,股价表现不错,但最近有些波动"
问题:
知识图谱:
• 苹果公司 → 2023年营收 → 1200亿美元
• 苹果公司 → 2024年Q1股价 → 下跌5%
• 苹果公司 → 供应链 → 面临挑战
• iPhone 15 → 销量 → 创新高
知识图谱本身就是天然的推理引擎,LLM可以在图上进行"漫步",从一个实体出发,沿着关系边逐步探索,构建显式推理链。
问题:"谁是X公司CEO的配偶的兄弟?"
1. 找到"X公司"的"CEO"实体
2. 找到该CEO的"配偶"实体
3. 找到该配偶的"兄弟"实体
推理过程锚定在显式的、事实驱动的知识结构上,从根本上抑制模型"自由发挥"产生幻觉的倾向。
推理路径:苹果公司 → hasCEO → 蒂姆·库克 → spouse → 劳伦·鲍威尔 → brother → 答案
通过构建领域专属的知识图谱,可以将复杂的领域知识系统地组织起来,与LLM的能力相结合,打造真正具备专业水准的AI应用。
推理过程可追溯,每一步都有明确依据
决策过程透明,错误可以追溯和修正
可靠落地关键领域,降低风险
RAS范式的成功不仅在于其前瞻性的理念,更在于其背后一系列精巧的技术实现和核心机制
从非结构化文本中识别出结构化信息,包括命名实体识别(NER)和关系提取(RE)。
"苹果公司于2024年发布了新款iPhone"
将离散的"实体-关系-实体"三元组构建成连贯的知识图谱,涉及实体消歧、关系融合和图谱优化。
"蒂姆·库克是苹果公司的CEO。他于2011年接替史蒂夫·乔布斯。苹果公司总部位于加利福尼亚州库比蒂诺市。"
实体:蒂姆·库克 (人名)
实体:苹果公司 (组织)
实体:史蒂夫·乔布斯 (人名)
实体:库比蒂诺市 (地名)
关系:isCEOOf(蒂姆·库克, 苹果公司)
关系:succeeded(蒂姆·库克, 史蒂夫·乔布斯)
关系:headquarteredIn(苹果公司, 库比蒂诺市)
• 蒂姆·库克 —isCEOOf→ 苹果公司
• 蒂姆·库克 —succeeded→ 史蒂夫·乔布斯
• 苹果公司 —headquarteredIn→ 库比蒂诺市
• 库比蒂诺市 —locatedIn→ 加利福尼亚州
利用知识图谱的语义结构进行智能导航,避免关键词匹配的局限性,实现精准信息定位。
将知识图谱作为逻辑推理的"演算板",引导LLM在图上进行逐步推理。
在知识图谱上逐步探索,构建显式推理链
将推理过程结构化为图,支持多路径探索
结构化知识浓缩成简洁文本摘要
| 技术 | 特点 | 优势 | 适用场景 |
|---|---|---|---|
| ToG | 线性推理链 | 推理过程清晰 | 单一路径查询 |
| GoT | 图结构推理 | 多路径探索 | 复杂问题求解 |
| GraphRAG | 子图摘要 | 全局理解 | 复杂查询回答 |
"在苹果公司工作超过10年的高级工程师有哪些?"
1. 定位"苹果公司"实体
2. 查找"hasEmployee"关系
3. 筛选"高级工程师"
4. 验证"工作超过10年"
5. 收集结果实体
• 实体类型分类
• 时间属性标注
• 职位关系定义
• 精确数值比较
• 答案准确可验证
• 推理过程透明
• 支持复杂条件查询
• 减少幻觉产生
系统首先通过分类法增强的检索器找到相关文档,立即结构化为初步子图,形成查询特定的知识图谱。
当LLM在初步推理中遇到困难时,行动规划模块会分析当前知识图谱和查询目标,生成新的、更具体的子查询。
检索 → 结构化 → 推理 → 再检索
系统像人类专家一样,通过不断提问和探索来逐步解决复杂问题
迭代式RAS循环:通过不断提问和探索解决复杂问题
支持拖拽移动和缩放操作
"找出所有在2020年前加入苹果公司、目前担任高级工程师、且参与过iPhone 15项目研发的人员。"
• 检索苹果公司员工信息
• 发现信息不完整
• 缺少项目参与记录
• 生成"iPhone 15项目团队成员"子查询
• 生成"苹果公司高级工程师名单"子查询
• 生成"员工入职时间记录"子查询
• 补充检索项目信息
• 完善知识图谱结构
• 生成准确答案
• 提供完整推理路径
像专家一样通过提问探索解决问题
根据推理进展调整检索策略
持续完善知识结构确保答案质量
RAS范式代表了LLM在处理知识密集型任务方面的重大飞跃,开启了AI系统设计的新篇章
将LLM的推理过程锚定在事实驱动的知识图谱上,极大抑制幻觉产生。
知识图谱为LLM提供多步、复杂逻辑推理的"演算板"。
整个工作流程透明、可解释,从检索到结构化再到生成。
数据规模扩大时的快速准确检索,平衡性能与延迟。
自动化工具可能引入错误、噪声和矛盾。
异构、动态知识与LLM推理过程的深度融合。
无缝处理和融合图像、视频、音频等多模态信息。
构建跨语言的统一知识图谱,打破语言壁垒。
允许用户通过自然对话细化查询,系统自我检查优化。
智能地将需要专家验证的知识呈现给人类专家。
根据用户背景、兴趣和认知水平定制知识呈现。
优化大规模数据处理效率和系统响应速度。
"RAS范式不仅是一个技术框架,更是一种新的AI系统设计哲学,它将强大的生成能力与严谨的知识组织相结合,旨在构建更可靠、更智能、更具可解释性的AI应用。"
— RAS范式的发展愿景