在人工智能飞速发展的今天,大语言模型(LLM)已经成为各大科技公司竞相追逐的焦点。然而,即便是最先进的LLM,在回答问题时仍然存在"幻觉"问题 - 即生成缺乏事实依据或与事实不符的答案。为了解决这个棘手的问题,检索增强生成(Retrieval-Augmented Generation,简称RAG)技术应运而生,并迅速成为学术界和产业界关注的热点。

近日,社交媒体巨头Meta宣布推出"Meta全面RAG基准测试:KDD Cup 2024"挑战赛,旨在为RAG系统提供一个全面而严格的评估平台。这项备受瞩目的比赛不仅吸引了全球AI研究人员和工程师的目光,更被视为推动RAG技术创新和进步的重要里程碑。让我们一起深入了解这场AI界的"世界杯"赛事。

RAG技术:为LLM插上"知识之翼"

在介绍比赛详情之前,我们有必要先了解一下RAG技术的核心原理。顾名思义,RAG是一种将信息检索与文本生成相结合的方法。当用户提出问题时,RAG系统首先会从外部资源(如网页、知识图谱等)中检索相关信息,然后利用这些信息作为上下文,指导LLM生成更加准确、可靠的答案。

这种方法就像是为LLM插上了一对"知识之翼",使其能够获取最新、最相关的信息,从而大大降低"幻觉"的风险。比如,当我们询问"谁是现任美国总统?"时,传统LLM可能会根据训练数据给出过时或错误的答案。而RAG系统则会先检索最新的新闻报道或官方网站,确保回答的准确性和时效性。

CRAG:全面评估RAG系统的新基准

Meta此次推出的挑战赛围绕着一个全新的基准测试 - 全面RAG基准(Comprehensive RAG Benchmark,简称CRAG)展开。CRAG的设计理念可以用四个关键词概括:真实性、丰富性、可靠性和可访问性。

1. 真实性:CRAG的问题设计充分考虑了智能助手的实际使用场景,涵盖了从简单事实查询到复杂推理任务的各种类型。同时,评分标准也根据问题复杂度和实体热度进行加权,以更好地反映用户真实需求的满足程度。
2. 丰富性:CRAG横跨金融、体育、音乐、电影和百科全书五大领域,包含了不同时效性(从实时到稳定)和热度(从热门到冷门)的事实。此外,它还设计了8种不同复杂度的问题类型,从简单的单一事实查询到需要多步推理的复杂问题,全面考验RAG系统的各项能力。
3. 可靠性:CRAG提供了经过人工验证的标准答案,并精心设计了评分机制,能够清晰区分正确、错误和缺失答案。同时,它还提供了自动评估机制,并确保样本数量足以得出统计显著的结果。
4. 可访问性:除了问题集和标准答案,CRAG还提供了模拟的检索数据源,确保所有参赛者都能在公平的环境下进行比较。

挑战赛任务:层层递进的三大挑战

CRAG挑战赛共设置了三个任务,难度逐步提升,旨在全方位评估参赛者开发的RAG系统。

1. 基于网页的检索总结:参赛者将收到每个问题对应的5个网页,需要从中识别并提炼出相关信息,生成准确的答案。这个任务主要考察系统对半结构化文本的理解和总结能力。
2. 知识图谱和网页增强:在第一个任务的基础上,引入了模拟API来访问底层的模拟知识图谱(KG)。参赛者需要根据问题构造合适的查询参数,从结构化数据中检索信息,并将其与网页信息结合,生成全面的答案。这个任务考验系统对结构化和非结构化数据的综合利用能力。
3. 端到端RAG:作为最后也是最具挑战性的任务,每个问题将提供50个网页和模拟API访问。这不仅增加了信息量,也引入了更多噪声,模拟真实世界中的复杂场景。参赛者需要开发能够从海量信息中快速筛选、整合关键数据的端到端RAG系统。

这三个任务的设计体现了Meta对RAG技术发展的深刻洞察。从单一数据源到多源异构数据,从小规模信息到大规模噪声环境,参赛者需要不断优化和改进他们的解决方案,以应对日益复杂的挑战。这种层层递进的任务设置,不仅能全面评估RAG系统的各项能力,还能激发参赛者在实际应用场景中的创新思考。

评估标准:严格而全面

为了确保评估的公平性和有效性,CRAG采用了一套严格而全面的评分机制。答案质量被分为四个等级:

• 完美(1分):正确回答用户问题,且不包含任何幻觉内容。
• 可接受(0.5分):提供了有用的答案,但可能包含不影响整体有用性的小错误。
• 缺失(0分):未能提供所需信息,如"我不知道"等。
• 错误(-1分):提供了错误或不相关的信息。

最终得分采用宏观平均法,根据问题类型和实体热度进行加权(具体权重未公开)。这种评分方式不仅考虑了答案的准确性,还重视系统在处理不同类型和难度问题时的表现,从而更全面地反映RAG系统的整体性能。

值得注意的是,CRAG采用了自动评估(auto-eval)和人工评估(human-eval)相结合的方式。自动评估用于初步筛选出前十名队伍,而人工评估则决定各任务的前三名。这种双重评估机制既保证了效率,又确保了最终结果的准确性和公正性。

参赛规则:鼓励创新,确保公平

为了鼓励参赛者充分发挥创意,同时确保比赛的公平性,CRAG制定了一系列细致的参赛规则:

1. 模型限制:参赛者必须使用Meta提供的Llama 2或Llama 3模型构建RAG解决方案。这包括了从7B到70B等不同规模的模型,既为参赛者提供了选择空间,又保证了基础模型的一致性。
2. 硬件配置:所有提交的解决方案将在配备4块NVIDIA T4 GPU(每块16GB显存)的AWS G4dn.12xlarge实例上运行。这一规定确保了所有参赛者在相同的硬件条件下进行公平竞争。
3. 外部资源使用:参赛者可以利用公开可用的数据集和模型,但不允许使用大公司的专有数据集或模型。这一规定既鼓励了对公共资源的创新利用,又防止了资源优势对比赛结果的不当影响。
4. 提交限制:在第一阶段,每个团队每周可以为所有3个任务提交最多6次。第二阶段,每个参赛团队在整个挑战赛期间可以为所有3个任务总共提交6次。这些限制旨在平衡参赛者优化方案的需求和评估系统的负载。
5. 答案生成要求:为了鼓励简洁有力的回答,自动评估阶段会将答案截断至75个BPE词元。人工评估阶段则会检查前75个词元以寻找有效答案,同时审查整个回答以判断是否存在幻觉。

这些规则不仅为参赛者提供了明确的指导,也体现了组织者对公平竞争和技术创新的重视。通过这些规定,CRAG挑战赛为所有参赛者创造了一个公平、开放yet受控的竞争环境,有利于激发真正有价值的技术突破。

奖项设置:丰厚奖金激励创新

为了激励参赛者全力以赴,CRAG挑战赛设置了总额高达31,500美元的奖金池。每个任务的奖金分配如下:

• 🥇 第一名: 4,000美元
• 🥈 第二名: 2,000美元
• 🥉 第三名: 1,000美元
• 💐 7种复杂问题类型各自的第一名: 每类500美元

这种奖金设置不仅奖励了整体表现最优秀的团队,还特别鼓励了在处理特定类型复杂问题上有突出表现的参赛者。这样的奖励机制有助于推动RAG技术在不同应用场景中的全面进步。

比赛时间线:紧凑而充实

CRAG挑战赛分为两个阶段进行,时间安排紧凑而充实:

• 第一阶段(开放竞赛): 2024年4月1日至5月27日
• 第二阶段(顶级团队竞争): 2024年5月28日至6月20日
• 获奖者公布: 2024年8月26日(在KDD Cup获奖者活动上)

这样的时间安排既给了参赛者充分的开发和优化时间,又保持了比赛的紧张感和吸引力。特别是第二阶段的设置,为表现优异的团队提供了更多展示和提升的机会。

结语:RAG技术的里程碑式挑战

Meta推出的CRAG挑战赛无疑是RAG技术发展史上的一个重要里程碑。它不仅为研究人员和工程师提供了一个全面评估RAG系统的标准平台,更重要的是,它勾勒出了RAG技术未来发展的方向。

通过精心设计的任务和评估标准,CRAG挑战赛强调了RAG系统在处理复杂、多样化信息源时的关键能力。它鼓励参赛者开发能够准确理解问题、高效检索信息、智能整合知识并生成可靠答案的系统。这些能力正是未来AI助手和知识系统所必需的。

此外,CRAG的开放性和公平性也为整个AI社区树立了榜样。通过提供统一的基础模型和评估环境,它确保了竞争的公平性,同时也为不同方法和思路的比较提供了可靠的基础。这种开放、公平的竞争机制,必将激发更多创新思想和突破性技术的涌现。

随着CRAG挑战赛的进行,我们有理由期待看到一批优秀的RAG解决方案脱颖而出。这些方案不仅将推动RAG技术的进步,更有望为解决LLM"幻觉"问题提供新的思路和方法。在不远的将来,基于这些技术的AI系统将能够更加准确、可靠地回答我们的问题,为人类知识的获取和应用开辟新的篇章。

CRAG挑战赛的意义,远不止于一场技术竞赛。它代表了AI领域对更可靠、更透明、更有用的智能系统的追求。通过这样的高水平竞赛,我们正在见证和参与塑造AI技术的未来。让我们共同期待CRAG挑战赛带来的精彩成果,以及它对RAG技术和整个AI领域产生的深远影响。

参考文献:

[1] Vu, T. et al. (2023). FreshLLMs: Refreshing Large Language Models with search engine augmentation. arXiv preprint arXiv:2310.03214.

[2] Sun, K. et al. (2024). Head-to-Tail: How Knowledgeable are Large Language Models (LLMs)? A.K.A. Will LLMs Replace Knowledge Graphs?. NAACL 2024.

[3] Usbeck, R. et al. (2023). QALD-10–The 10th challenge on question answering over linked data. Semantic Web Preprint, 1–15.

[4] Bajaj, P. et al. (2016). Ms marco: A human-generated machine reading comprehension dataset. arXiv preprint arXiv:1611.09268.

[5] Kwiatkowski, T. et al. (2019). Natural questions: a benchmark for question answering research. Transactions of the Association for Computational Linguistics, 7, 453–466.

---

shizueyy / crag-new · GitLab (aicrowd.com)

电子羊的崛起：探索CRAG新项目的奥秘

引子

在人工智能的浪潮中，创新不断涌现。Meta公司推出的CRAG（Comprehensive RAG Benchmark）项目，旨在推动检索增强生成（RAG）技术的发展。作为这一项目的一部分，GitLab上的“crag-new”项目由团队ElectricSheep负责，其解决方案为2024 KDD杯的挑战提供了新的视角与思路。今天，我们将深入探讨这个项目，了解其背后的技术细节及其在AI领域的潜在影响。

项目概述

“crag-new”项目是为了响应Meta CRAG KDD Cup 2024的挑战而设计的。该项目的创建时间为2024年5月25日，旨在利用RAG技术评估和提升问答系统的能力。项目的核心在于通过外部信息的检索，增强模型生成答案的准确性和可靠性。

项目特性

该项目包含185次提交、4个分支和72个标签，显示出团队在开发过程中的活跃程度和持续改进的决心。项目采用Apache License 2.0，确保了其代码的开放性与可共享性，这对于推动社区合作与技术交流具有重要意义。

技术实现与框架

在“crag-new”项目中，团队ElectricSheep基于RAG框架构建了其解决方案。RAG技术的优势在于能够从外部数据源中检索信息，结合模型的生成能力，提供更为全面和准确的回答。以下是该项目的一些关键技术点：

1. 数据检索：项目实现了高效的外部数据检索机制，能够快速从多个来源中获取相关信息。这种能力对于处理复杂问题及动态信息尤为重要。
2. 信息融合：在检索到的信息中，如何选取最相关的内容并进行有效融合，是项目成功的关键。团队通过精心设计的算法，确保生成的答案不仅准确，还能覆盖用户的需求。
3. 模型集成：该项目支持多种大型语言模型的集成，参与者可以根据需要选择不同的模型进行实验。这种灵活性为团队提供了更多的创新空间，能够在不同场景下优化性能。

项目的挑战与机遇

尽管“crag-new”项目在技术上取得了一定的进展，但仍面临着诸多挑战。例如，如何在保持快速响应的同时，确保答案的准确性和完整性，是团队亟需解决的问题。此外，信息的多样性和复杂性也要求团队不断调整和优化其算法。

然而，这些挑战同时也是推动创新的动力。通过不断的实验与迭代，团队有机会发现新的技术路径，提升RAG系统的能力，进而推动整个领域的发展。

未来展望

随着“crag-new”项目的不断推进，我们可以期待RAG技术在问答系统中的应用将会更加广泛。未来，AI系统将能够更好地理解和处理复杂的信息，为用户提供更加智能化的服务。

总的来说，ElectricSheep团队在“crag-new”项目中的努力，不仅展示了他们在RAG技术上的创新能力，也为AI的未来发展开辟了新的方向。

参考文献

1. shizueyy / crag-new. GitLab. Available at: GitLab CRAG
2. Meta Comprehensive RAG Benchmark Documentation.
3. Relevant research papers on Retrieval-Augmented Generation technology.
4. KDD Cup 2024 official announcements and guidelines.