借一步网
作者：
在
“我的手机相册里到底有多少照片？” “上个月我跑了多少次步？” “上次去纽约旅行时，我到底吃了多少顿美食？”
“我的手机相册里到底有多少照片？”
“上个月我跑了多少次步？”
“上次去纽约旅行时，我到底吃了多少顿美食？”
是不是感觉似曾相识？我们每天都在用手机记录生活，照片、视频、截图，不知不觉间就积累了庞大的个人记忆库。然而，面对这些海量数据，想要快速找到想要的记忆碎片，却如同大海捞针般困难。
传统的相册搜索功能，只能基于简单的关键词或时间进行检索，对于那些需要上下文理解的复杂问题束手无策。想象一下，你想要寻找“上次和朋友聚餐时拍的那张照片”，却只能输入“朋友”或“餐厅”作为关键词，结果可想而知，必然是无数张毫不相关的照片扑面而来，让你淹没在信息的海洋中。 😩
为了解决这一难题，我们开发了 OmniQuery 系统，一个能够理解上下文、更智能的个人记忆问答系统。它就像是一位经验丰富的“记忆宫殿”管理员，能够帮你整理、归纳、理解你的记忆碎片，并根据你的自然语言提问，精准地找到你想要的答案。
俗话说， “磨刀不误砍柴工”。在设计 OmniQuery 之前，我们首先进行了一项为期一个月的日记研究，邀请了 29 位参与者记录下他们在日常生活中真实遇到的、想要查询个人记忆的问题。
分析收集到的 299 条真实用户查询后，我们发现，超过 74% 的问题都需要结合上下文信息才能得到解答，例如：
这些问题无法简单地通过关键词匹配来解决，而是需要对用户的记忆进行更深层次的理解和推理。为此，我们建立了一个上下文信息分类法，将用户查询中涉及的上下文信息分为三类：
下图展示了不同类型上下文信息在用户查询中的出现频率：
pie showData title 上下文信息类型 "原子上下文" : 75 "组合上下文" : 191 "混合查询" : 33
基于上述分类法，我们设计了 OmniQuery 系统，其核心在于一个与查询无关的预处理流程，用于从相互关联的记忆实例中提取、整合上下文信息，并用这些信息来增强每个记忆实例，使其更易于检索和理解。
具体来说，该预处理流程包括三个步骤：
经过以上三个步骤的处理后，用户的记忆实例就被赋予了丰富的上下文信息，从而能够支持更复杂、更智能的查询。
OmniQuery 的问答系统采用了检索增强生成（RAG）架构，该架构结合了传统信息检索方法和大型语言模型的优势，能够在处理海量数据的同时，生成更准确、更流畅的答案。
具体来说，当用户输入一个问题时，OmniQuery 会首先对问题进行增强，将其分解成多个更具体的子问题，并根据上下文信息进行补充和完善。
例如，对于问题“我在 CHI 2024 期间参加了哪些社交活动？”，OmniQuery 会将其分解成以下几个子问题：
接下来，OmniQuery 会根据增强后的问题，从结构化的记忆实例、组合上下文信息和语义知识库中检索相关信息，并将检索到的信息输入大型语言模型，生成最终的答案。
为了提高答案的生成质量，OmniQuery 还采用了思维链提示（Chain-of-Thought Prompting）技术，引导大型语言模型进行更深入的推理，生成更准确、更全面的答案。
为了评估 OmniQuery 的性能，我们招募了 10 位参与者，让他们在自己的个人记忆数据上测试 OmniQuery 和一个传统的基于关键词匹配的检索系统。
结果表明，OmniQuery 在准确率和完整度方面均优于传统的检索系统。
参与者们对 OmniQuery 的评价也普遍高于传统的检索系统。他们认为 OmniQuery 能够更好地理解他们的问题，并给出更准确、更完整的答案。
OmniQuery 的出现，为我们提供了一种全新的方式来管理和利用个人记忆数据。在未来，OmniQuery 将继续朝着更加智能、更加人性化的方向发展，例如：
我们相信，随着人工智能技术的不断发展，OmniQuery 将会变得越来越强大，最终成为我们每个人不可或缺的“记忆助手”。
要发表评论，您必须先登录。
是不是感觉似曾相识？我们每天都在用手机记录生活，照片、视频、截图，不知不觉间就积累了庞大的个人记忆库。然而，面对这些海量数据，想要快速找到想要的记忆碎片，却如同大海捞针般困难。
传统的相册搜索功能，只能基于简单的关键词或时间进行检索，对于那些需要上下文理解的复杂问题束手无策。想象一下，你想要寻找“上次和朋友聚餐时拍的那张照片”，却只能输入“朋友”或“餐厅”作为关键词，结果可想而知，必然是无数张毫不相关的照片扑面而来，让你淹没在信息的海洋中。 😩
为了解决这一难题，我们开发了 OmniQuery 系统，一个能够理解上下文、更智能的个人记忆问答系统。它就像是一位经验丰富的“记忆宫殿”管理员，能够帮你整理、归纳、理解你的记忆碎片，并根据你的自然语言提问，精准地找到你想要的答案。
🔬 深入用户需求：一个月的“日记”研究
俗话说， “磨刀不误砍柴工”。在设计 OmniQuery 之前，我们首先进行了一项为期一个月的日记研究，邀请了 29 位参与者记录下他们在日常生活中真实遇到的、想要查询个人记忆的问题。
分析收集到的 299 条真实用户查询后，我们发现，超过 74% 的问题都需要结合上下文信息才能得到解答，例如：
这些问题无法简单地通过关键词匹配来解决，而是需要对用户的记忆进行更深层次的理解和推理。为此，我们建立了一个上下文信息分类法，将用户查询中涉及的上下文信息分为三类：
下图展示了不同类型上下文信息在用户查询中的出现频率：
🧠 OmniQuery：让机器更懂你的记忆
基于上述分类法，我们设计了 OmniQuery 系统，其核心在于一个与查询无关的预处理流程，用于从相互关联的记忆实例中提取、整合上下文信息，并用这些信息来增强每个记忆实例，使其更易于检索和理解。
具体来说，该预处理流程包括三个步骤：
经过以上三个步骤的处理后，用户的记忆实例就被赋予了丰富的上下文信息，从而能够支持更复杂、更智能的查询。
❓ OmniQuery：像搜索引擎一样提问
OmniQuery 的问答系统采用了检索增强生成（RAG）架构，该架构结合了传统信息检索方法和大型语言模型的优势，能够在处理海量数据的同时，生成更准确、更流畅的答案。
具体来说，当用户输入一个问题时，OmniQuery 会首先对问题进行增强，将其分解成多个更具体的子问题，并根据上下文信息进行补充和完善。
例如，对于问题“我在 CHI 2024 期间参加了哪些社交活动？”，OmniQuery 会将其分解成以下几个子问题：
接下来，OmniQuery 会根据增强后的问题，从结构化的记忆实例、组合上下文信息和语义知识库中检索相关信息，并将检索到的信息输入大型语言模型，生成最终的答案。
为了提高答案的生成质量，OmniQuery 还采用了思维链提示（Chain-of-Thought Prompting）技术，引导大型语言模型进行更深入的推理，生成更准确、更全面的答案。
🏆 OmniQuery：用户评测结果
为了评估 OmniQuery 的性能，我们招募了 10 位参与者，让他们在自己的个人记忆数据上测试 OmniQuery 和一个传统的基于关键词匹配的检索系统。
结果表明，OmniQuery 在准确率和完整度方面均优于传统的检索系统。
参与者们对 OmniQuery 的评价也普遍高于传统的检索系统。他们认为 OmniQuery 能够更好地理解他们的问题，并给出更准确、更完整的答案。
🔮 OmniQuery：未来展望
OmniQuery 的出现，为我们提供了一种全新的方式来管理和利用个人记忆数据。在未来，OmniQuery 将继续朝着更加智能、更加人性化的方向发展，例如：
我们相信，随着人工智能技术的不断发展，OmniQuery 将会变得越来越强大，最终成为我们每个人不可或缺的“记忆助手”。
📚 参考文献