基于模型规划的网络智能体研究

我将以幽默风趣且严谨的方式，带领读者一起探索这篇开创性的研究。

🌟 引言：一场关于”梦想”的AI探索

想象一下，如果你的AI助手不仅能看懂网页，还能像人类一样提前预知每个点击会发生什么，是不是很神奇？这就是我们今天要讨论的主题！

在AI的世界里，大语言模型(LLM)就像一个默默躲在暗处的”建模大师”，悄悄记住了整个互联网的运作方式。本研究提出了一个大胆的观点：LLM或许是互联网世界最完美的模拟器！

🎯 研究背景与挑战

目前的网络智能体主要面临两个痛点：

1. 安全风险

• 就像一个毛手毛脚的实习生，在真实网站上瞎点乱按可能会造成不可挽回的后果
• 比如不小心提交了敏感信息或触发了意外交易

1. 决策短视

• 现有的反应式智能体像个”莽撞青年”，只看眼前不顾长远
• 缺乏规划能力，容易陷入次优解

graph TD
    A[传统网络智能体] --> B[反应式决策]
    A --> C[树搜索探索]
    B --> D[短视决策]
    C --> E[安全风险]
    C --> F[不可逆操作]

🌈 WebDreamer：让AI学会”做梦”

本文提出的WebDreamer框架，就像给AI装了一个”预知未来”的超能力：

1. 梦境模拟

• 在执行任何操作前，先用LLM模拟可能的结果
• 就像下棋高手，走一步前要想好几步

1. 智慧评估

• 对模拟结果进行评分，选择最优路径
• 避免了在真实网站上的试错成本

sequenceDiagram
    participant A as WebDreamer
    participant B as LLM模拟器
    participant C as 真实网站
    A->>B. 请模拟点击结果✅
    B-->>A. 返回可能的状态✅
    A->>A. 评估最佳行动✅
    A->>C. 执行最优操作✅

🔬 实验验证与突破

在VisualWebArena和Mind2Web-live两个基准测试中：

• WebDreamer显著优于传统反应式方法
• 虽然在受控环境中，真实交互的树搜索略胜一筹
• 但在实际应用中，WebDreamer的安全性和实用性更具优势

🎨 创新亮点与启示

1. 首创性洞见

• 首次证实LLM可以作为复杂网络环境的世界模型
• 开创了基于模拟的网络智能体规划新范式

1. 实践意义

• 提供了一个安全且高效的网络自动化解决方案
• 为未来研究指明了方向

🌠 未来展望

研究为两个方向带来了新的思考：

1. 如何优化LLM专门用于复杂环境的世界建模？
2. 如何改进基于模型的推测性规划？

📚 参考文献

1. Silver, D. , et al. (2016). Mastering the game of Go with deep neural networks and tree search.✅
2. Mattar, M. , & Lengyel, M. (2022). Planning in the brain.✅
3. Pascanu, R. , et al. (2017). Learning model-based planning from scratch.✅
4. Koh, et al. (2024). VisualWebArena: Evaluating Large Language Models on Web Navigation.
5. Pan, et al. (2024). Mind2Web: Towards a Generalist Web Agent.

通过这篇文章，我们可以看到AI在网络自动化领域的一个重要突破。就像给AI装上了一个”水晶球”，让它能够在行动前先模拟未来，这不仅提高了效率，更保证了安全性。这项研究或将改变我们与网络智能体互动的方式！

🎬 引言：记忆与AI的完美结合

在人工智能的世界里，模型可以做很多令人惊叹的事情：生成文本、回答问题、翻译语言……但有一个挑战一直困扰着AI研究者们，那就是如何让AI“记住”大量的上下文信息，并快速从中检索出相关内容。正是在这个背景下，MemoRAGLite 应运而生。它不仅能让AI记住大量信息，还能根据需要快速检索，并生成符合上下文的答案。本文将带你深入探讨 MemoRAGLite 的核心功能，并展示它在实际应用中的强大之处。

🧠 MemoRAGLite是什么？

MemoRAGLite 是 MemoRAG 的简化版本，尽管名字看起来“轻量”，但它的功能却不容小觑。MemoRAGLite 通过结合生成模型和检索模型来处理大规模文本，并在多个场景中表现出色。例如，它可以帮助用户快速理解一本书的主要主题，或者在复杂的文本中找到问题的答案。

在 MemoRAGLite 中，主要涉及两个重要模型：

1. 生成模型（gen_model）：负责根据输入生成合适的文本。例如，它可以根据整本书生成简短的总结。
2. 检索模型（ret_model）：用于从大量信息中检索出最相关的内容，类似于为AI配备一本大百科全书。

🚀 初始化 MemoRAGLite

在 参考文献 中，MemoRAGLite 的初始化非常简单。可以通过以下代码快速启动：

from memorag import MemoRAGLite
pipe = MemoRAGLite()

MemoRAGLite 会自动检测当前的语言、可用的系统资源，并开始构建记忆。举个例子，假设你想让 MemoRAGLite 处理一本《哈利波特》书籍的全文，它会先分析文本，然后逐步将书中的知识“记住”，以备后续使用。

📚 记忆模块：让AI拥有“超级记忆”

📦 构建记忆

MemoRAGLite 的记忆模块可以处理大量文本，并将这些信息存储为易于检索的格式。比方说，当我们让 MemoRAGLite 处理《哈利波特》时，它会读入整个文本并生成三个关键文件：

1. memory.bin：存储键值缓存，便于快速检索处理过的信息。
2. index.bin：包含文本的密集嵌入，用于高效检索。
3. chunks.json：存储从文本中提取的段落或片段，以便在检索时使用。

在 参考文献 中，MemoRAGLite 处理《哈利波特》的文本仅需几分钟：

context = open("harry_potter.txt").read()
pipe.memorize(context, save_dir="harry_potter", print_stats=True)

运行结果如下：

Detected language: en
Context length: 122591 tokens
Forming memory of the context...
Progress: 25.64% of the context memorized...
Progress: 51.28% of the context memorized...
Progress: 76.92% of the context memorized...
Context memorization completed successfully.
Dense retrieval index has been built.
Memory file size: 0.29 GB
Number of chunks in retrieval corpus: 268

这就像是让AI快速过目整本书，并将所有重要的细节存入脑海。此时，MemoRAGLite 已经准备好在你提出问题时进行快速检索。

🔍 检索模块：从海量信息中找到答案

🚨 高效检索

有了记忆模块，接下来就该检索模块大显身手了。MemoRAGLite 的检索功能让AI能够在数十万字的文本中快速找到你想要的答案。比如，当你询问《哈利波特》这本书的主要主题时，MemoRAGLite 会在记忆中寻找与“主题”相关的段落，并生成相应的回答：

query = "What's the book's main theme?"
print(pipe(query))

生成的答案是：

**Book:** *Harry Potter and the Chamber of Secrets*

**Main Theme:** The story revolves around Harry discovering the mysterious Chamber of Secrets hidden within Hogwarts Castle, leading to conflicts involving students, staff members, and supernatural entities such as ghosts and creatures. The plot centers around Harry’s struggle to protect others from the Basilisk and confronts threats posed by various characters including Tom Riddle (Lord Voldemort). Additionally, themes encompass friendship, loyalty among peers, personal growth, and overcoming obstacles—highlighting Harry's journey towards maturity and understanding the complexities of the wizarding world.

通过这种方式，MemoRAGLite 能够基于其记忆快速生成详尽的回答，省去了人工逐字阅读的烦恼。

✍️ MemoRAGLite的中文应用场景

MemoRAGLite 不仅适用于英文文本，还能处理中文。在 参考文献 中，MemoRAGLite 处理了中文小说《围城》的文本，并成功生成了相应的记忆和检索索引：

context = open("fortress_besieged.txt").read()
pipe.memorize(context, save_dir="fortress_besieged", print_stats=True)

运行结果显示：

Detected language: zh-cn
Context length: 284878 tokens
Forming memory of the context...
Progress: 20.25% of the context memorized...
Progress: 40.51% of the context memorized...
Progress: 60.76% of the context memorized...
Progress: 81.01% of the context memorized...
Context memorization completed successfully.
Dense retrieval index has been built.
Memory file size: 0.35 GB
Number of chunks in retrieval corpus: 699

此后，用户可以向 MemoRAGLite 提出关于《围城》的问题，例如：

query = "故事的结局是什么？"
print(pipe(query))

MemoRAGLite 会从记忆中生成如下回答：

根据提供的信息，小说的故事并没有明确给出最终的结局。然而可以推测，在那个夜晚之后，由于夫妻之间的争吵以及对方的冷漠态度，他们之间的关系变得非常紧张，并且可能已经破裂。同时，文中提到"人生的惨淡滋味"，暗示生活在这个阶段可能会更加艰难。最后，通过描述主人公在深夜中的沉思与疲惫状态，可以看出尽管经历了许多情感起伏，但他们仍然处于一种相对消极的生活状态下。

通过这种方式，MemoRAGLite 不仅能处理英文文本，还能高效处理中文长篇小说，展现了其在多语言环境中的强大能力。

🎯 总结：MemoRAGLite的未来展望

MemoRAGLite 作为 MemoRAG 的简化版本，虽然轻量但功能强大。它能够让AI建立庞大的记忆系统，并进行高效的检索与生成。无论是处理《哈利波特》这样复杂的英文文本，还是中文经典小说《围城》，MemoRAGLite 都展现了其卓越的能力。

随着AI的不断进步，拥有记忆和检索能力的系统如 MemoRAGLite 将变得越来越重要。它们不仅能够简化复杂的文本处理任务，还能为用户提供更快、更准确的答案。未来，我们可以期待 MemoRAGLite 这样的工具在更多领域（如教育、科研、医疗等）大放异彩。

📚 参考资料

1. MemoRAGLite 示例代码

🌍 概览

我们是否正站在人工智能技术的一个全新转折点上？答案很可能是肯定的。今天，我们要谈论的不是普通的人工智能框架，而是一种与众不同的模型——MemoRAG。这不是你日常见到的那种枯燥的研究论文，而是一场关于如何通过记忆模型增强RAG（Retrieval-Augmented Generation，检索增强生成）的头脑风暴。

RAG已经在我们应对复杂信息检索和生成任务时表现得极为出色。然而，传统的RAG系统常常局限于“短期记忆”，只能处理相对有限的上下文。而MemoRAG的出现，正如一杯浓烈的咖啡，给RAG注入了全新的生命力，它通过一种灵感源自人类记忆机制的全局记忆模型，帮助我们实现对海量数据的“全局理解”。

🧠 MemoRAG：记忆增强的RAG

🚀 基本概念

MemoRAG的核心突破在于它引入了超级长记忆模型。这不仅意味着它可以处理数百万个token，还意味着它能够从这些数据中提取出与查询高度相关的线索，进而生成更加精确、上下文丰富的响应。传统RAG往往局限于某些显式的信息需求，而MemoRAG则能够通过记忆模型挖掘隐藏在海量数据背后的线索，提升答案的准确性和深度。

形象地说，MemoRAG就像是一个拥有超级记忆力的图书管理员，不仅能快速找到你需要的书，还能给你提供额外的、你甚至不知道你需要的信息。想象一下，你去图书馆查找一本关于“量子力学”的书，传统RAG可能会直接把书递给你，但MemoRAG会说：“这本书你拿好，另外我还找到了几篇相关的论文，以及最近一场顶尖科学家的讨论会视频，可能对你有帮助。”

📊 技术细节一览

• 全局记忆：MemoRAG可以处理多达100万个token的上下文，从而能够对庞大的数据集进行全面理解。
• 灵活优化：MemoRAG可以轻松适应新的任务，通过短时间的额外训练即可实现性能优化。
• 线索生成：MemoRAG从全局记忆中生成精确的上下文线索，帮助用户从复杂数据中发现隐藏的信息。
• 高效缓存：通过支持缓存分块、索引和编码，MemoRAG可以将上下文预填充速度提高30倍。
• 上下文重用：MemoRAG可以一次性编码长上下文，并且支持反复使用，提高了需要重复访问数据的任务的效率。

MemoRAG的这些特性使其在处理大规模数据集时表现得尤为出色，特别是在需要长时间上下文记忆的任务中，例如复杂的问答、文档摘要生成等。

🛠️ 轻松上手：MemoRAG Lite模式

如果你是初次接触MemoRAG，不用担心，开发者们早已为你准备好了一个轻量级的版本——MemoRAG Lite。你只需几行代码，即可体验MemoRAG的强大功能。尽管MemoRAG Lite推荐使用配备24GiB显存的GPU，但16GiB显存的GPU在默认设置下也能应付大多数任务。

from memorag import MemoRAGLite
pipe = MemoRAGLite()
context = open("examples/harry_potter.txt").read()
pipe.memorize(context, save_dir="harry_potter", print_stats=True)

query = "What’s the book’s main theme?"
print(pipe(query))

MemoRAG Lite支持处理多达数百万个token的上下文，它可以处理英文或中文文本，甚至可以用于其他语言，只不过性能可能会有所下降。你可以通过参考示例来了解更多关于Lite模式的使用方法。

🔍 场景应用：从哈利·波特到企业知识库

MemoRAG不仅仅是一个理论模型，它已经在多个实际场景中展现了巨大的应用潜力。让我们来看看几个例子：

1. 文学分析：你可以将整个《哈利·波特》系列的文本输入MemoRAG，并提出问题，例如“密室在书中被打开了几次？”MemoRAG将会从记忆中提取出最相关的上下文，并生成准确的答案。

   query = "How many times is the Chamber of Secrets opened in the book?"
   res = pipe(context=context, query=query, task_type="memorag", max_new_tokens=256)
   print(f"MemoRAG generated answer: \n{res}")

2. 企业文档检索：在企业场景中，MemoRAG可以帮助员工从庞大的企业知识库中快速提取所需的信息。例如，你可以通过MemoRAG查询某个复杂技术问题，它不仅会给出答案，还会提供相关的背景文档和参考资料。
3. 法律和金融领域：在法律和金融领域，MemoRAG可以处理数十万到上百万的法律文件或财务报告，帮助专业人士快速检索相关法规或财务数据，极大地提高工作效率。

📅 未来发展：下一步是什么？

MemoRAG的开发工作仍在持续推进，未来的目标包括：

• 加速推理：通过工程优化，进一步提高MemoRAG的推理速度。
• 支持更多的检索方法：集成多种检索方式，提升数据获取的灵活性。
• 增强记忆能力：MemoRAG未来将进一步优化其记忆机制，使其能够处理更长的上下文，并支持更复杂的任务。

MemoRAG的开发者们正致力于构建下一代的RAG框架，它不仅仅是一个工具，更是一个革命性的知识发现平台。

🌟 总结

MemoRAG的出现，让我们重新思考了人工智能在信息检索和生成领域的潜力。通过创新的记忆模型，MemoRAG带来了对海量数据的“全局理解”，使得我们能够更高效、更精准地获取信息。在未来，MemoRAG有望在各个领域发挥更大的作用，从学术研究到企业应用，从文学分析到法律咨询，它将成为我们探索知识海洋的得力助手。

正如MemoRAG的开发者所承诺的那样：“面向下一代RAG的记忆启示”，MemoRAG不仅仅是在增强RAG，它是在引领我们通向一个全新的智能时代。

📚 参考文献

1. MemoRAG官方文档，https://github.com/qhjqhj00/MemoRAG/raw/refs/heads/main/README.md
2. MemoRAG技术报告，https://arxiv.org/pdf/2409.05591
3. MemoRAG示例代码，https://github.com/qhjqhj00/MemoRAG/blob/tommy-dev-lite/examples/memorag_lite.ipynb

🚀 引言：AI的下一步是什么？

人工智能领域正在迅速发展，特别是在自然语言处理（NLP）方面的进展尤为瞩目。随着模型规模不断扩展，如何有效地处理、存储和检索海量信息成为了一大挑战。本文将为你介绍一种名为 MemoRAG 的新型AI工具，它融合了记忆、检索与生成模型的强大功能，旨在解决这一问题。让我们通过幽默风趣的笔触来解读 MemoRAG 的独特之处，带你轻松理解这一前沿技术！

🧠 MemoRAG是什么？

想象一下，你的大脑不仅能记住所有的细节，还能在需要时迅速找到相关信息，并且还能生成出最贴切的答案。这就是 MemoRAG 的核心思路。它结合了 记忆模型、检索模型 和 生成模型，让AI不仅能记住过去的知识，还能根据需要生成新的内容。

在 MemoRAG 中，主要有三个模块：

1. 记忆模块：负责储存处理过的信息，类似于你把所有的笔记都放进一个超级大脑里。
2. 检索模块：当你有问题时，检索模块会帮你快速找到相关的笔记。
3. 生成模块：最后，生成模块会根据检索到的信息帮你生成适当的答案。

🎩 模型初始化

使用 MemoRAG 的第一步是初始化模型。根据 参考文献 的例子，初始化过程如下：

from memorag import MemoRAG

pipe = MemoRAG(
    mem_model_name_or_path="TommyChien/memorag-mistral-7b-inst",
    ret_model_name_or_path="BAAI/bge-m3",
    gen_model_name_or_path="mistralai/Mistral-7B-Instruct-v0.2",
    cache_dir="path_to_model_cache",  
    access_token="hugging_face_access_token"
)

通过这个初始化代码，MemoRAG 将加载三个不同的模型，分别负责记忆、检索和生成任务。你可以想象这个过程就像给AI配备了三个超级助手，每个助手都有自己专精的领域。

📚 记忆模块：知识的存储艺术

📦 数据存储的魔法

MemoRAG 的记忆模块不仅仅是简单的记忆，它还优化了如何存储和检索信息。你可以通过 memorize 函数让模型记住一本书的全部内容，然后它会将这些数据存储在三个关键文件中：

1. memory.bin：存储模型的键值缓存，帮助快速检索已处理的信息。
2. index.bin：包含文本的密集嵌入（embeddings），用于高效检索。
3. chunks.json：存储从上下文中提取的段落或片段，用于检索时的匹配。

在 参考文献 中，MemoRAG 被用于记忆《哈利波特》的整本书：

test_txt = open("harry_potter.txt").read()
pipe.memorize(test_txt, save_dir="cache/harry_potter_mistral/", print_stats=True)

这个过程中，系统花了 86.35秒 来处理和预填充（prefilling）整本书，生成了 4.77GB 大小的 memory file，并创建了 268个检索片段。这就像是AI在快速过目一遍《哈利波特》，并把每个重要的细节都存入脑海，以备不时之需。

🕵️‍♂️ 检索模块：AI的侦探本领

🔍 如何让AI找到最相关的信息？

在AI世界中，信息的检索至关重要。你不想让AI翻遍整本书来回答一个简单的问题，对吧？这时，MemoRAG 的检索模块就派上用场了。你可以通过它快速找到最相关的段落，并生成精准的答案。

例如，当你询问《哈利波特》中“密室被打开了几次？”时，MemoRAG 会先通过记忆模块检索相关线索，再通过检索模块找到更加精确的证据，从而生成答案：

query = "how many times does the chamber be opened in Harry Potter?"
res = pipe(context=test_txt, query=query, task_type="qa", max_new_tokens=256)
print(f"Using MemoRAG to produce the answer: \n{res}")

最终，MemoRAG 生成了这样的答案：

“密室至少被打开过两次，一次是在五十年前，当时有怪物袭击学生并造成死亡。而另一次则是在哈利上学期间。”

AI 的检索过程，就像是在图书馆中快速找到你需要的那本书，并翻到正确的页码。

✍️ 生成模块：创造力与知识的结合

🧞‍♂️ 如何生成精准的答案？

生成模块是 MemoRAG 的另一个核心功能，它不仅能从零开始生成内容，还能基于检索到的信息给出更加完善的答案。例如，MemoRAG 可以基于《哈利波特》的文本生成总结：

res = pipe(context=test_txt, task_type="summarize", max_new_tokens=512)
print(f"Using MemoRAG to summarize the full book:\n {res}")

生成的总结是这样的：

“在《哈利波特与密室》中，哈利在德思礼家度过了孤独的暑假。某天，他遇到了家养小精灵多比，多比警告他不要回到霍格沃茨，因为那里有一个邪恶的阴谋。”

这段总结简洁明了，涵盖了书中的关键情节。MemoRAG 不仅能记住大量信息，还能像一位熟练的作家一样，提炼出核心内容，让读者一目了然。

⚙️ API的魔法：与外界沟通的桥梁

MemoRAG 还支持通过 API 与外部系统进行交互，甚至可以定制生成模型。例如，使用 GPT-3.5 作为生成模型时，MemoRAG 可以回答关于角色之间关系的问题：

query = "How are the mutual relationships between the main characters?"

res = pipe(context=test_txt, query=query, task_type="memorag", max_new_tokens=256)
print(f"Using MemoRAG with GPT-3.5 to produce the answer: \n{res}")

结果如下：

“主要角色之间的关系是相互支持和忠诚的。他们关心彼此，并共同解决问题，克服挑战。”

通过与API结合，MemoRAG 能够根据不同的需求，灵活生成答案。

🏁 结论：MemoRAG的未来展望

MemoRAG 的出现为人工智能领域带来了全新的可能性。它不仅仅是一个模型，而是一个集成了记忆、检索和生成的强大工具。无论是在回答问题、生成总结，还是通过API进行交互，MemoRAG 都展现出它的多功能性和高效性。

随着AI技术的不断进步，MemoRAG 这样具有记忆能力的系统将会在更多领域大放异彩。它将使我们更接近于拥有一个真正智能且能够记忆的“人工大脑”。

📚 参考文献：

1. MemoRAG 代码示例

😎 引言：代码混合，社交媒体的语言迷宫

在多语言社会中，语言的交叉和混合现象已然成为日常生活的一部分，尤其是在印度这样一个语言丰富的国家。说到代码混合（Code-Mixing），这可不仅仅是简单的“语言大杂烩”，而是多语言环境下的一种自然表现。想象一下，你正在用你的母语聊天，中途突然蹦出几句英语，甚至还用罗马字母来拼写你本地语言的单词——这就是典型的代码混合场景。

特别是在印度的社交媒体上，许多移民社区通过使用罗马字母拼写母语，混合英语，来分享本地资讯。例如，西孟加拉邦的孟加拉语使用者在迁移到德里或者班加罗尔这样的城市后，常常会在 Facebook 或 WhatsApp 上加入类似“德里孟加拉人”的群组。这些群组不仅是他们相互支持的纽带，还是讨论住房、工作等实际问题的重要平台。

然后，COVID-19 疫情的到来更是加剧了这种现象。随着政府政策频繁更新，这些社交媒体群组成了许多人的“信息生命线”。但问题是：这些对话非常非正式，语法和拼写五花八门，甚至有时连同一个词都会用不同的拼写——这对信息检索系统来说可谓是“地狱级”难度。

所以问题来了：如何从这些语言混合、拼写混乱、结构随意的对话中，提取出有用的信息呢？这正是本研究的核心课题，也是我们推出 RetrieveGPT 的动因。

🤖 RetrieveGPT：大模型+数学模型双剑合璧

🎯 任务定义：从混乱中找到秩序

当我们谈论信息检索时，通常是指从一大堆文本中挑出“最相关”的部分。对于代码混合的场景，尤其是像孟加拉语和英语这样使用罗马字母的对话，检索任务变得更加复杂。我们的目标不仅是找到相关的文档，还要确保这些文档能准确回答用户的查询。

🧠 为什么选择 Prompting？

在处理代码混合文本时，传统的信息检索技术经常因为拼写不标准、语法混乱而“晕头转向”。而大型语言模型（如 GPT-3.5 Turbo）的出现，给了我们一个新的思路：通过 Prompting，即精心设计的提示语，来引导模型理解上下文，并作出判断。

🚀 Prompting 的优势：

1. 处理语义模糊与上下文复杂性：代码混合文本中充满了上下文依赖和语言模糊性，传统的检索模型往往“手足无措”。而通过 Prompting，GPT-3.5 可以更好地理解这些复杂的语境，准确判断文本的相关性。
2. 适应非正式和非结构化文本：社交媒体上的对话往往是非常随意的，语法和拼写都不标准。GPT-3.5 通过大量的多语言语料训练，可以在 Prompting 的引导下，灵活适应这些“野生”文本。
3. 减少噪音：社交媒体上的对话不仅混乱，而且充斥着大量无关紧要的信息。我们通过精心设计的 Prompt，可以让 GPT-3.5 更加专注于提取与查询相关的内容，而不是被无用的信息淹没。
4. 实时处理和互动：在实时对话中，用户需要立即获得相关信息。Prompting 使得 GPT-3.5 能够快速响应查询，并在对话进行时提供实时的检索结果。

📐 方法论：大语言模型与数学模型的完美结合

为了应对代码混合信息检索的挑战，我们采用了一种独特的双管齐下的方法：不仅依靠 GPT-3.5 Turbo 的强大语言理解能力，还将其与一个数学模型结合，利用文档的顺序关系来提高检索效果。

🌟 基于 Prompt 的 GPT-3.5 Turbo 处理流程

我们首先通过 OpenAI API 进行 Prompting。具体的提示语如下：

给定查询<query>和文档<document>，根据语义相似性判断查询与文档的相关性，提供一个0到1之间的相关性得分。只给出得分。

GPT-3.5 Turbo 接收到提示语后，会进行以下步骤：

1. Token 化：将提示语和输入的查询、文档分解为小单位，称为 token。
2. 嵌入表示：每个 token 被转换为高维向量，即嵌入表示。
3. 位置编码：为嵌入表示添加位置信息，以便模型理解序列的顺序。
4. 注意力机制：通过多头注意力机制，模型能够同时关注序列中的不同部分，理解上下文之间的依赖关系。
5. 前馈神经网络：将注意力机制的输出传递给前馈神经网络，进行非线性变换。
6. 层叠网络：多层的注意力机制和前馈网络叠加，形成深层网络结构。
7. 输出生成：最终输出相关性得分。

📊 数学模型：顺序依赖的相关性评估

在得到 GPT-3.5 的相关性评分后，我们进一步引入了一个数学模型，考虑文档之间的顺序依赖关系。具体公式如下：

这个公式反映了文档之间的相关性传递效应。如果当前文档的得分低于 0.3 且前一个文档是相关的，我们就直接使用当前文档的得分。如果当前文档的得分大于等于 0.3 并且前一个文档也是相关的，则我们增加当前文档的相关性得分。通过这种方式，我们能够更好地捕捉文档序列中的相关性。

🏆 评估与实验结果

在实验中，我们使用了一个包含 107900 个文档和 20 个查询的训练集，以及 30 个测试查询。我们通过不同的温度值（0.5、0.6、0.7、0.8、0.9）对 GPT-3.5 进行了多轮实验，最终取得了令人满意的结果。

以下是我们的评估指标：

从表中可以看出，五次提交的 MAP 和 NDCG 分数非常接近，显示了我们方法的稳定性。而在最后一次提交中，我们略微提高了 MAP 和 NDCG 分数，表明该方法在文档排序和检索效果上有小幅提升。

🎉 结论：代码混合信息检索的未来

通过结合 GPT-3.5 Turbo 的自然语言理解能力和数学模型的顺序依赖关系，我们成功解决了代码混合场景中的信息检索难题。我们的研究不仅为代码混合与多语言处理领域提供了新的思路，还为提升社交媒体信息的可获取性做出了贡献。未来，我们期待进一步优化模型，尤其是在更复杂和多样化的语言环境中，继续探索代码混合信息检索的无限可能。

📚 参考文献

1. Aniket Deroy, Subhankar Maity. RetrieveGPT: Merging Prompts and Mathematical Models for Enhanced Code-Mixed Information Retrieval. arXiv:2411.04752v1 [cs.CL].
2. Joshi, A. , Bhattacharyya, P., & Bali, K. (2016). A Computational Approach to Code-Mixing. In ✅Proceedings of COLING 2016.
3. Bali, K. , Sharma, J., Choudhury, M., & Rudra, A. (2014). “I am borrowing ya mixing?” An Analysis of English-Hindi Code Mixing in Facebook. ✅EMNLP 2014.
4. Malhotra, A. , & Sharma, S. (2020). Challenges in Code-Mixed Text Processing. ✅Journal of Computational Linguistics.
5. Devlin, J. , Chang, M. W., Lee, K., & Toutanova, K. (2018). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. ✅NAACL-HLT 2019.