MindSearch: 模仿人脑思维的AI搜索引擎，开启深度知识探索新纪元 2024-08-03 作者 C3P00 在当今信息爆炸的时代，如何从海量数据中快速、准确地获取所需信息已成为一个巨大挑战。传统搜索引擎虽然功能强大，但往往难以理解用户的复杂意图，无法提供深入的知识探索。而随着大型语言模型（Large Language Models, LLMs）的飞速发展，一种全新的AI搜索引擎应运而生，它不仅能够理解用户的问题，还能模仿人类思维进行深度推理和探索。这就是由中国科学家团队开发的开源AI搜索引擎框架——MindSearch（中文名：思·索）。 突破性技术：模仿人脑的多步骤信息检索 MindSearch的核心理念是模仿人类大脑的思维方式。当我们遇到一个复杂问题时，往往会将其分解为多个子问题，然后逐一解决。MindSearch正是采用了这种方法，它通过一个名为WebPlanner的组件，将用户的查询动态地分解为一系列子问题节点，构建成一个复杂的知识图谱。 “MindSearch的独特之处在于它能够像人脑一样，不断扩展和深化对问题的理解，”项目负责人陈泽辉博士解释道，”它会根据Web搜索的结果，不断地在知识图谱中添加新的节点和连接，从而逐步构建出一个全面而深入的解决方案。” 论文中详细介绍了MindSearch的两个核心组件：WebPlanner和WebSearcher。WebPlanner扮演着高层次规划者的角色，负责编排推理步骤并协调多个WebSearcher。而WebSearcher则负责执行具体的网络搜索任务，并为WebPlanner提供有价值的信息摘要。 WebPlanner：通过图构建实现智能规划 WebPlanner的工作原理可以概括为”通过编码进行规划”（Planning via Graph Construction）。具体来说，WebPlanner将问题解决过程建模为一个有向无环图（DAG）的构建过程。给定一个用户问题Q. 解决方案轨迹被表示为G(Q) = ，其中V是一组节点v，每个节点代表一个独立的网络搜索，包括一个辅助的START节点（初始问题）和一个END节点（最终答案）。E代表节点之间的有向边，表示推理的拓扑关系。✅ 为了让语言模型更好地理解和操作这个图结构，研究团队采用了一种巧妙的方法：通过代码生成来实现图的构建和操作。他们预定义了一系列原子代码函数，用于向图中添加节点或边。在每一轮交互中，语言模型首先阅读整个对话历史，包括之前生成的代码和网络搜索结果，然后输出思考过程和新的代码，用于在思维图上进行推理。这些代码随后由Python解释器执行。 “这种’代码即规划’的过程充分利用了语言模型在代码生成方面的优势，”论文作者解释道，”它不仅提高了长上下文场景下的控制和数据流管理能力，还能更好地解决复杂问题。” WebSearcher：分层检索策略 WebSearcher作为一个具有互联网访问能力的复杂RAG（检索增强生成）代理，负责根据搜索结果总结有价值的响应。面对网络上海量的内容，WebSearcher采用了一种巧妙的粗到细的选择策略，以解决语言模型在有限上下文长度（如8K tokens）内处理大量相关页面的挑战。 具体来说，WebSearcher的工作流程包括以下几个步骤： 查询重写：语言模型根据WebPlanner分配的问题生成多个相似查询，以扩大搜索内容范围，提高相关信息的召回率。 搜索内容聚合：这些查询通过各种搜索API（如Google、Bing和DuckDuckGo）执行，返回关键内容，包括网页URL、标题和摘要。 详细页面选择：搜索结果基于网页URL自动合并，然后语言模型被提示选择最有价值的页面进行详细阅读。 最终总结：选定网页的全部内容被添加到语言模型的输入中。模型阅读这些结果后，生成一个回答来解答原始问题。 “这种分层检索方法显著降低了导航海量网页的难度，”论文指出，”它能够高效地提取高度相关的信息，同时保持深入的细节。” 长上下文管理：多代理框架的优势 MindSearch采用的多代理框架不仅提供了一个简单而有效的解决方案，还自然而然地实现了长上下文的管理。这种方法极大地提高了框架的整体效率，特别是在需要模型快速阅读大量网页的情况下。 由于WebPlanner将搜索任务分配给单独的搜索代理，并且只依赖于WebSearcher返回的搜索结果，因此WebPlanner可以专注于问题的分解和分析，而不会被过长的网络搜索结果分散注意力。同时，每个WebSearcher只需要搜索其被分配的子查询的内容，不会受到其他内容的干扰。 “这种显式的角色分配大大减少了整个过程中的上下文计算，”研究团队强调，”为语言模型处理长上下文任务提供了一个高效的解决方案。” 最终，MindSearch能够在不到3分钟的时间内收集和整合来自300多个页面的相关信息，这对人类专家来说可能需要约3小时才能完成类似的认知工作量。 实验结果：卓越性能的证明 为了评估MindSearch的性能，研究团队进行了全面的实验，包括开放集问答和封闭集问答两类任务。 在开放集问答任务中，研究人员精心设计了100个涵盖各个领域的现实问题，并邀请5位专家对ChatGPT-Web、Perplexity.ai（Pro版本）和MindSearch三种AI搜索引擎的表现进行评分。评估标准包括回答的深度、广度以及事实准确性。 实验结果令人振奋：MindSearch在所有三个维度上都显著优于其他两种搜索引擎。特别是在深度和广度方面，MindSearch的表现尤为突出，充分体现了其强大的知识探索能力。 在封闭集问答任务中，研究团队选择了Bamboogle、Musique和HotpotQA等多个benchmark数据集进行评估。为了验证方法的泛化能力，他们分别使用了闭源语言模型（GPT-4o）和开源语言模型（InternLM2.5-7b-chat）作为后端。 结果显示，MindSearch在各种任务中都显著优于基线方法。例如，在使用GPT-4o作为后端时，MindSearch在Bamboogle 2-hop任务中的准确率达到76.8%，而简单的ReAct Search方法只有75.2%。在更具挑战性的4-hop任务中，MindSearch的优势更为明显，准确率为35.0%，而ReAct Search仅为25.0%。 更令人兴奋的是，当使用开源模型InternLM2.5-7b-chat时，MindSearch的性能提升更加显著。在Bamboogle 2-hop任务中，MindSearch的准确率从基线的55.2%提升到67.8%，充分证明了该方法在增强弱语言模型知识广度和减少幻觉方面的有效性。 技术创新：动态图构建算法 MindSearch的核心技术之一是其独特的动态图构建算法。这个算法模仿了人类解决问题的思维方式，通过不断扩展和优化知识图谱来探索复杂问题。 算法的工作流程大致如下： 初始化：将用户查询作为根节点 分解：将查询分解为多个子问题，形成初始图结构 搜索：对每个子问题进行Web搜索，获取相关信息 扩展：根据搜索结果，在图中添加新的节点和连接 优化：评估新增节点的重要性，必要时进行剪枝 迭代：重复步骤3-5，直到达到预设的深度或时间限制 综合：遍历整个图结构，生成最终的综合回答 “这个算法的优势在于它能够自适应地处理各种复杂度的问题，”陈博士解释道，”对于简单问题，它可能只需要很少的迭代就能给出满意的答案。而对于复杂问题，它会不断深入探索，直到构建出一个全面的知识网络。” 透明的解决方案：建立信任与理解 MindSearch不仅给出答案，还会展示整个思考过程，这极大地提高了回答的可信度和可解释性。具体来说，MindSearch会提供以下信息： 搜索关键词：展示系统是如何理解和分解用户的问题 子问题分解：说明问题被拆解为哪些具体的子问题 信息来源：列出用于回答的网页和文献来源 推理路径：展示从原始信息到最终结论的逻辑推导过程 “这种透明度大大提高了用户对AI回答的信任度，”项目团队成员王秋晨解释道，”用户可以清楚地看到每一步推理，甚至可以自己验证信息来源的可靠性。这不仅增强了可信度，还能帮助用户更好地理解复杂问题。” 未来展望：持续进化的AI助手 尽管MindSearch已经展现出强大的性能，但研发团队并未就此止步。他们正在探索多个方向来进一步增强系统的能力： 多模态输入：支持图像、音频等多种输入方式 实时更新：实现对最新信息的即时整合 个性化定制：根据用户的兴趣和背景调整搜索策略 协作功能：支持多用户共同探索复杂问题 知识图谱可视化：直观展示问题的结构和关联 “我们的目标是打造一个真正能够理解和满足用户需求的AI助手，”陈博士总结道，”MindSearch将不断进化，成为人类探索知识的得力伙伴。” 结语：开启信息检索新纪元 MindSearch的出现标志着AI搜索引擎进入了一个新的时代。通过模仿人类思维，它不仅能够提供更深入、更全面的答案，还能帮助用户构建起完整的知识体系。在这个信息爆炸的时代，MindSearch或许正是我们驾驭知识海洋的理想舵手。 随着AI技术的持续发展，我们有理由相信，像MindSearch这样的智能搜索引擎将在未来的信息时代扮演越来越重要的角色。它不仅能够提高我们获取和处理信息的效率，还能激发我们的好奇心，引导我们去探索更广阔的知识领域。MindSearch的开源特性更是为整个AI社区提供了宝贵的研究资源，有望推动整个领域的快速发展。 在信息获取方式不断演进的今天，MindSearch无疑为我们开启了一扇通往知识新世界的大门。它的出现不仅是技术的进步，更是人类认知方式的一次重要飞跃。让我们期待MindSearch在未来能够为更多领域带来革命性的变革，真正实现”思·索”的深层含义——像人脑一样思考，通过搜索探索未知。 参考文献 Chen, Z. et al. (2024). MindSearch: Mimicking Human Minds Elicits Deep AI Searcher. arXiv:2407.20183.✅ MindSearch GitHub Repository: https://github.com/InternLM/MindSearch
在当今信息爆炸的时代，如何从海量数据中快速、准确地获取所需信息已成为一个巨大挑战。传统搜索引擎虽然功能强大，但往往难以理解用户的复杂意图，无法提供深入的知识探索。而随着大型语言模型（Large Language Models, LLMs）的飞速发展，一种全新的AI搜索引擎应运而生，它不仅能够理解用户的问题，还能模仿人类思维进行深度推理和探索。这就是由中国科学家团队开发的开源AI搜索引擎框架——MindSearch（中文名：思·索）。
突破性技术：模仿人脑的多步骤信息检索
MindSearch的核心理念是模仿人类大脑的思维方式。当我们遇到一个复杂问题时，往往会将其分解为多个子问题，然后逐一解决。MindSearch正是采用了这种方法，它通过一个名为WebPlanner的组件，将用户的查询动态地分解为一系列子问题节点，构建成一个复杂的知识图谱。
“MindSearch的独特之处在于它能够像人脑一样，不断扩展和深化对问题的理解，”项目负责人陈泽辉博士解释道，”它会根据Web搜索的结果，不断地在知识图谱中添加新的节点和连接，从而逐步构建出一个全面而深入的解决方案。”
论文中详细介绍了MindSearch的两个核心组件：WebPlanner和WebSearcher。WebPlanner扮演着高层次规划者的角色，负责编排推理步骤并协调多个WebSearcher。而WebSearcher则负责执行具体的网络搜索任务，并为WebPlanner提供有价值的信息摘要。
WebPlanner：通过图构建实现智能规划
WebPlanner的工作原理可以概括为”通过编码进行规划”（Planning via Graph Construction）。具体来说，WebPlanner将问题解决过程建模为一个有向无环图（DAG）的构建过程。给定一个用户问题Q. 解决方案轨迹被表示为G(Q) = ，其中V是一组节点v，每个节点代表一个独立的网络搜索，包括一个辅助的START节点（初始问题）和一个END节点（最终答案）。E代表节点之间的有向边，表示推理的拓扑关系。✅
为了让语言模型更好地理解和操作这个图结构，研究团队采用了一种巧妙的方法：通过代码生成来实现图的构建和操作。他们预定义了一系列原子代码函数，用于向图中添加节点或边。在每一轮交互中，语言模型首先阅读整个对话历史，包括之前生成的代码和网络搜索结果，然后输出思考过程和新的代码，用于在思维图上进行推理。这些代码随后由Python解释器执行。
“这种’代码即规划’的过程充分利用了语言模型在代码生成方面的优势，”论文作者解释道，”它不仅提高了长上下文场景下的控制和数据流管理能力，还能更好地解决复杂问题。”
WebSearcher：分层检索策略
WebSearcher作为一个具有互联网访问能力的复杂RAG（检索增强生成）代理，负责根据搜索结果总结有价值的响应。面对网络上海量的内容，WebSearcher采用了一种巧妙的粗到细的选择策略，以解决语言模型在有限上下文长度（如8K tokens）内处理大量相关页面的挑战。
具体来说，WebSearcher的工作流程包括以下几个步骤：
“这种分层检索方法显著降低了导航海量网页的难度，”论文指出，”它能够高效地提取高度相关的信息，同时保持深入的细节。”
长上下文管理：多代理框架的优势
MindSearch采用的多代理框架不仅提供了一个简单而有效的解决方案，还自然而然地实现了长上下文的管理。这种方法极大地提高了框架的整体效率，特别是在需要模型快速阅读大量网页的情况下。
由于WebPlanner将搜索任务分配给单独的搜索代理，并且只依赖于WebSearcher返回的搜索结果，因此WebPlanner可以专注于问题的分解和分析，而不会被过长的网络搜索结果分散注意力。同时，每个WebSearcher只需要搜索其被分配的子查询的内容，不会受到其他内容的干扰。
“这种显式的角色分配大大减少了整个过程中的上下文计算，”研究团队强调，”为语言模型处理长上下文任务提供了一个高效的解决方案。”
最终，MindSearch能够在不到3分钟的时间内收集和整合来自300多个页面的相关信息，这对人类专家来说可能需要约3小时才能完成类似的认知工作量。
实验结果：卓越性能的证明
为了评估MindSearch的性能，研究团队进行了全面的实验，包括开放集问答和封闭集问答两类任务。
在开放集问答任务中，研究人员精心设计了100个涵盖各个领域的现实问题，并邀请5位专家对ChatGPT-Web、Perplexity.ai（Pro版本）和MindSearch三种AI搜索引擎的表现进行评分。评估标准包括回答的深度、广度以及事实准确性。
实验结果令人振奋：MindSearch在所有三个维度上都显著优于其他两种搜索引擎。特别是在深度和广度方面，MindSearch的表现尤为突出，充分体现了其强大的知识探索能力。
在封闭集问答任务中，研究团队选择了Bamboogle、Musique和HotpotQA等多个benchmark数据集进行评估。为了验证方法的泛化能力，他们分别使用了闭源语言模型（GPT-4o）和开源语言模型（InternLM2.5-7b-chat）作为后端。
结果显示，MindSearch在各种任务中都显著优于基线方法。例如，在使用GPT-4o作为后端时，MindSearch在Bamboogle 2-hop任务中的准确率达到76.8%，而简单的ReAct Search方法只有75.2%。在更具挑战性的4-hop任务中，MindSearch的优势更为明显，准确率为35.0%，而ReAct Search仅为25.0%。
更令人兴奋的是，当使用开源模型InternLM2.5-7b-chat时，MindSearch的性能提升更加显著。在Bamboogle 2-hop任务中，MindSearch的准确率从基线的55.2%提升到67.8%，充分证明了该方法在增强弱语言模型知识广度和减少幻觉方面的有效性。
技术创新：动态图构建算法
MindSearch的核心技术之一是其独特的动态图构建算法。这个算法模仿了人类解决问题的思维方式，通过不断扩展和优化知识图谱来探索复杂问题。
算法的工作流程大致如下：
“这个算法的优势在于它能够自适应地处理各种复杂度的问题，”陈博士解释道，”对于简单问题，它可能只需要很少的迭代就能给出满意的答案。而对于复杂问题，它会不断深入探索，直到构建出一个全面的知识网络。”
透明的解决方案：建立信任与理解
MindSearch不仅给出答案，还会展示整个思考过程，这极大地提高了回答的可信度和可解释性。具体来说，MindSearch会提供以下信息：
“这种透明度大大提高了用户对AI回答的信任度，”项目团队成员王秋晨解释道，”用户可以清楚地看到每一步推理，甚至可以自己验证信息来源的可靠性。这不仅增强了可信度，还能帮助用户更好地理解复杂问题。”
未来展望：持续进化的AI助手
尽管MindSearch已经展现出强大的性能，但研发团队并未就此止步。他们正在探索多个方向来进一步增强系统的能力：
“我们的目标是打造一个真正能够理解和满足用户需求的AI助手，”陈博士总结道，”MindSearch将不断进化，成为人类探索知识的得力伙伴。”
结语：开启信息检索新纪元
MindSearch的出现标志着AI搜索引擎进入了一个新的时代。通过模仿人类思维，它不仅能够提供更深入、更全面的答案，还能帮助用户构建起完整的知识体系。在这个信息爆炸的时代，MindSearch或许正是我们驾驭知识海洋的理想舵手。
随着AI技术的持续发展，我们有理由相信，像MindSearch这样的智能搜索引擎将在未来的信息时代扮演越来越重要的角色。它不仅能够提高我们获取和处理信息的效率，还能激发我们的好奇心，引导我们去探索更广阔的知识领域。MindSearch的开源特性更是为整个AI社区提供了宝贵的研究资源，有望推动整个领域的快速发展。
在信息获取方式不断演进的今天，MindSearch无疑为我们开启了一扇通往知识新世界的大门。它的出现不仅是技术的进步，更是人类认知方式的一次重要飞跃。让我们期待MindSearch在未来能够为更多领域带来革命性的变革，真正实现”思·索”的深层含义——像人脑一样思考，通过搜索探索未知。
参考文献