大型语言模型（LLMs）的检索增强生成（RAG）

在使用大型语言模型（LLMs）时存在许多挑战，例如领域知识空白、事实准确性问题和幻觉。检索增强生成（RAG）提供了一种解决方案，通过使用数据库等外部知识来增强大型语言模型，从而缓解其中一些问题。RAG 在知识密集型场景或需要持续更新知识的特定领域应用中特别有用。RAG 相较于其他方法的一个关键优势在于，大型语言模型无需针对特定任务应用进行重新训练。最近，RAG 因其在对话代理中的应用而受到欢迎。

在此总结中，我们重点介绍了一篇近期题为《大型语言模型的检索增强生成：一项综述 (在新标签页中打开)》(Gao 等人，2023 年) 的研究的主要发现和实践见解。具体来说，我们重点关注现有的方法、最先进的 RAG、评估、应用以及构成 RAG 系统不同组件（检索、生成和增强技术）的相关技术。

RAG 引言

如此处 (在新标签页中打开)更详细地介绍的，RAG 可以定义为

RAG 接收输入，并根据给定来源（例如维基百科）检索一组相关/支持文档。这些文档被作为上下文与原始输入提示连接起来，然后输入到文本生成器中，生成最终输出。这使得 RAG 适用于事实随时间演变的情况。这非常有用，因为大型语言模型的参数知识是静态的。RAG 允许语言模型绕过重新训练，从而能够访问最新信息，通过基于检索的生成来产生可靠的输出。

简而言之，RAG 中获得的检索到的证据可以作为一种方式，增强大型语言模型响应的准确性、可控性和相关性。这就是为什么 RAG 在处理快速变化环境中的问题时，可以帮助减少幻觉或性能问题。

虽然 RAG 也涉及预训练方法的优化，但当前的方法已主要转向结合 RAG 和强大的微调模型的优势，例如 ChatGPT (在新标签页中打开) 和 Mixtral (在新标签页中打开)。下表显示了 RAG 相关研究的演变。

图源 (在新标签页中打开)

下方是典型的 RAG 应用工作流程

图源 (在新标签页中打开)

我们可以按如下方式解释不同的步骤/组件

• 输入：大型语言模型系统响应的问题被称为输入。如果未使用 RAG，大型语言模型将直接用于回答问题。
• 索引：如果使用 RAG，则会先将一系列相关文档分块，生成块的嵌入，并将它们索引到向量存储中。在推理时，查询也会以类似的方式进行嵌入。
• 检索：相关文档通过将查询与索引向量进行比较来获得，也称为“相关文档”。
• 生成：相关文档与原始提示结合作为附加上下文。然后将组合后的文本和提示传递给模型以生成响应，响应作为系统的最终输出呈现给用户。

在提供的示例中，由于缺乏对当前事件的了解，直接使用模型无法回答问题。另一方面，当使用 RAG 时，系统可以提取模型适当回答问题所需的相關信息。

RAG 范式

在过去几年中，RAG 系统已从朴素 RAG 演变为高级 RAG 和模块化 RAG。这种演变是为了解决性能、成本和效率方面的一些限制。

图源 (在新标签页中打开)

朴素 RAG

朴素 RAG 遵循传统的上述索引、检索和生成过程。简而言之，用户输入用于查询相关文档，然后将这些文档与提示结合并传递给模型以生成最终响应。如果应用程序涉及多轮对话交互，可以将对话历史集成到提示中。

朴素 RAG 存在一些局限性，例如低精度（检索到的块未对齐）和低召回率（未能检索所有相关块）。此外，大型语言模型也可能被传递过时信息，这是 RAG 系统最初应旨在解决的主要问题之一。这会导致幻觉问题以及糟糕且不准确的响应。

应用增强时，也可能存在冗余和重复的问题。使用多个检索到的段落时，排序和协调风格/语调也很关键。另一个挑战是确保生成任务不过度依赖增强信息，这可能导致模型仅仅重复检索到的内容。

高级 RAG

高级 RAG 有助于处理朴素 RAG 中存在的问题，例如提高检索质量，这可能涉及优化预检索、检索和后检索过程。

预检索过程涉及优化数据索引，旨在通过五个阶段提高索引数据的质量：增强数据粒度、优化索引结构、添加元数据、对齐优化和混合检索。

检索阶段可以通过优化嵌入模型本身来进一步改进，这直接影响构成上下文的块的质量。可以通过微调嵌入来优化检索相关性，或者使用能更好地捕捉上下文理解的动态嵌入（例如 OpenAI 的 embeddings-ada-02 模型）来实现。

优化后检索侧重于避免上下文窗口限制以及处理噪声或潜在干扰信息。解决这些问题的常用方法是重新排序，这可能包括将相关上下文重新定位到提示的边缘或重新计算查询与相关文本块之间的语义相似度等方法。提示压缩也可能有助于解决这些问题。

模块化 RAG

顾名思义，模块化 RAG 增强了功能模块，例如整合用于相似性检索的搜索模块，并在检索器中应用微调。朴素 RAG 和高级 RAG 都是模块化 RAG 的特例，由固定模块组成。扩展的 RAG 模块包括搜索、内存、融合、路由、预测和任务适配器，这些模块解决不同的问题。这些模块可以根据特定的问题背景进行重新排列。因此，模块化 RAG 受益于更大的多样性和灵活性，您可以根据任务需求添加或替换模块，或调整模块之间的流程。

鉴于构建 RAG 系统的灵活性增加，还提出了其他重要的优化技术来优化 RAG 管线，包括

• 混合搜索探索：这种方法利用关键词搜索和语义搜索等多种搜索技术的组合来检索相关且上下文丰富的信息；这在处理不同查询类型和信息需求时非常有用。
• 递归检索和查询引擎：涉及一个递归检索过程，该过程可能从小的语义块开始，然后检索更大的块以丰富上下文；这有助于平衡效率和上下文丰富的信息。
• StepBack-prompt：一种提示技术 (在新标签页中打开)，使大型语言模型能够进行抽象，生成指导推理的概念和原则；将其应用于 RAG 框架时，可以产生更扎实的响应，因为大型语言模型不再局限于特定实例，并在需要时可以进行更广泛的推理。
• 子查询：存在不同的查询策略，例如树查询或块的顺序查询，可用于不同的场景。LlamaIndex 提供了一种子问题查询引擎 (在新标签页中打开)，可以将一个查询分解为几个使用不同相关数据源的问题。
• 假设文档嵌入：HyDE (在新标签页中打开) 生成对查询的假设答案，对其进行嵌入，并用它来检索与假设答案相似的文档，而不是直接使用查询。

RAG 框架

在本节中，我们总结了 RAG 系统组件的关键发展，包括检索、生成和增强。

检索

检索是 RAG 中处理从检索器中检索高度相关上下文的组件。检索器可以通过多种方式增强，包括

增强语义表示

此过程涉及直接改进为检索器提供动力的语义表示。以下是一些注意事项

• 分块：一个重要的步骤是选择合适的分块策略，这取决于您正在处理的内容以及您正在为其生成响应的应用程序。不同的模型在不同的块大小上也会表现出不同的优势。句子 Transformer 模型在单个句子上的表现更好，而 text-embedding-ada-002 模型在包含 256 或 512 个 token 的块上表现更好。其他需要考虑的方面包括用户问题的长度、应用程序和 token 限制，但通常会尝试不同的分块策略以帮助优化 RAG 系统中的检索。
• 微调嵌入模型：确定有效的分块策略后，如果您正在处理专业领域，可能需要微调嵌入模型。否则，用户查询在您的应用程序中可能会被完全误解。您可以在广泛的领域知识（即领域知识微调）和特定的下游任务上进行微调。由 BAAI 开发的 BGE-large-EN (在新标签页中打开) 是一个值得注意的嵌入模型，可以进行微调以优化检索相关性。

对齐查询和文档

此过程处理将用户查询与语义空间中的文档对齐。当用户查询可能缺乏语义信息或包含不精确的措辞时，可能需要这样做。以下是一些方法

• 查询重写：侧重于使用各种技术重写查询，例如 Query2Doc (在新标签页中打开)、ITER-RETGEN (在新标签页中打开) 和 HyDE。
• 嵌入转换：优化查询嵌入的表示，并将其对齐到与任务更紧密相关的潜在空间。

对齐检索器和大型语言模型

此过程处理将检索器输出与大型语言模型的偏好对齐。

• 微调检索器：使用大型语言模型的反馈信号来改进检索模型。示例包括增强适应检索器 (AAR (在新标签页中打开))、REPLUG (在新标签页中打开) 和 UPRISE (在新标签页中打开) 等等。
• 适配器：整合外部适配器以帮助进行对齐过程。示例包括 PRCA (在新标签页中打开)、RECOMP (在新标签页中打开) 和 PKG (在新标签页中打开)。

生成

RAG 系统中的生成器负责将检索到的信息转换为连贯的文本，形成模型的最终输出。此过程涉及多样化的输入数据，有时需要努力改进语言模型对来自查询和文档的输入数据的适应性。这可以通过后检索处理和微调来解决

• 冻结大型语言模型的后检索：后检索处理不改变大型语言模型，而是通过信息压缩和结果重新排序等操作来增强检索结果的质量。信息压缩有助于减少噪声、解决大型语言模型的上下文长度限制并增强生成效果。重新排序旨在对文档进行重新排序，以优先将最相关的项目放在顶部。
• 微调大型语言模型以用于 RAG：为了改进 RAG 系统，可以进一步优化或微调生成器，以确保生成的文本自然，并有效利用检索到的文档。

增强

增强涉及将检索到的段落中的上下文与当前生成任务有效整合的过程。在进一步讨论增强过程、增强阶段和增强数据之前，这里是 RAG 核心组件的分类法

图源 (在新标签页中打开)

检索增强可以应用于许多不同的阶段，例如预训练、微调和推理。

• 增强阶段：RETRO (在新标签页中打开) 是一个利用检索增强从头开始进行大规模预训练的系统示例；它使用一个构建在外部知识之上的额外编码器。微调也可以与 RAG 结合，以帮助开发和提高 RAG 系统的有效性。在推理阶段，应用了许多技术来有效整合检索到的内容，以满足特定的任务需求并进一步改进 RAG 过程。

• 增强来源：RAG 模型的有效性很大程度上受增强数据来源选择的影响。数据可分为非结构化数据、结构化数据和大型语言模型生成的数据。

• 增强过程：对于许多问题（例如多步推理），单次检索是不够的，因此提出了一些方法

  • 迭代检索使模型能够执行多次检索循环，以增强信息的深度和相关性。利用这种方法的著名方法包括 RETRO (在新标签页中打开) 和 GAR-meets-RAG (在新标签页中打开)。
  • 递归检索将一个检索步骤的输出作为另一个检索步骤的输入进行递归迭代；这使得对于复杂的多步查询（例如学术研究和法律案例分析），能够更深入地挖掘相关信息。利用此方法的著名方法包括 IRCoT (在新标签页中打开) 和 Tree of Clarifications (在新标签页中打开)。
  • 自适应检索通过确定最佳检索时间和内容，根据特定需求调整检索过程。利用此方法的著名方法包括 FLARE (在新标签页中打开) 和 Self-RAG (在新标签页中打开)。

下图详细描绘了 RAG 研究的不同增强方面，包括增强阶段、来源和过程。

图源 (在新标签页中打开)

RAG 与微调

关于 RAG 和微调之间的区别以及各自适用的场景，存在许多公开讨论。这两个领域的研究表明，RAG 对于整合新知识很有用，而微调可以通过改进内部知识、输出格式和教授复杂的指令遵循来提高模型性能和效率。这些方法并非互斥，可以在迭代过程中相互补充，旨在改进大型语言模型在需要访问快速演进的知识和遵循特定格式、语调和风格的定制响应的复杂知识密集型和可扩展应用中的使用。此外，提示工程还可以通过利用模型固有的能力来帮助优化结果。下图显示了 RAG 与其他模型优化方法相比的不同特性

图源 (在新标签页中打开)

下面是来自综述论文的表格，比较了 RAG 和微调模型之间的特性

图源 (在新标签页中打开)

RAG 评估

类似于衡量大型语言模型在不同方面的性能，评估在理解和优化 RAG 模型在各种应用场景中的性能方面起着关键作用。传统上，RAG 系统是根据下游任务的性能，使用 F1 和 EM 等特定任务指标进行评估的。RaLLe (在新标签页中打开) 是一个用于评估知识密集型任务的检索增强大型语言模型的框架的著名示例。

RAG 评估目标是针对检索和生成确定的，其目标是评估检索到的上下文的质量以及生成内容的质量。为了评估检索质量，使用推荐系统和信息检索等其他知识密集型领域中使用的指标，例如 NDCG 和命中率。为了评估生成质量，如果是未标注的内容，可以评估相关性和有害性等方面，对于已标注的内容，则评估准确性。总的来说，RAG 评估可以采用手动或自动评估方法。

评估 RAG 框架侧重于三个主要质量得分和四种能力。质量得分包括衡量上下文相关性（即检索到的上下文的精确度和特异性）、答案忠实性（即答案对检索到的上下文的忠实性）和答案相关性（即答案与提出的问题的相关性）。此外，还有四种能力有助于衡量 RAG 系统的适应性和效率：噪声鲁棒性、负面拒绝、信息集成和反事实鲁棒性。以下是用于评估 RAG 系统不同方面的指标摘要

图源 (在新标签页中打开)

使用了一些基准测试来评估 RAG 模型，例如 RGB (在新标签页中打开) 和 RECALL (在新标签页中打开)。已经开发了许多工具来自动化 RAG 系统评估过程，例如 RAGAS (在新标签页中打开)、ARES (在新标签页中打开) 和 TruLens (在新标签页中打开)。一些系统依靠大型语言模型来确定上述定义的一些质量得分。

RAG 的挑战与未来

在此概述中，我们讨论了 RAG 研究的几个研究方面以及增强 RAG 系统检索、增强和生成的不同方法。以下是 Gao 等人，2023 年 (在新标签页中打开) 在我们继续开发和改进 RAG 系统时强调的几个挑战

• 上下文长度：大型语言模型不断扩展上下文窗口大小，这对如何调整 RAG 以确保捕获高度相关和重要的上下文提出了挑战。
• 鲁棒性：处理反事实和对抗性信息对于衡量和改进 RAG 至关重要。
• 混合方法：目前正在进行研究，以更好地了解如何最佳地优化 RAG 和微调模型的使用。
• 扩展大型语言模型的作用：增加大型语言模型的作用和能力，以进一步增强 RAG 系统，这是一个备受关注的领域。
• 缩放定律：对大型语言模型缩放定律及其如何应用于 RAG 系统的研究尚未得到充分理解。
• 生产级 RAG：生产级 RAG 系统需要在性能、效率、数据安全、隐私等方面达到卓越的工程水平。
• 多模态 RAG：虽然围绕 RAG 系统进行了大量研究，但它们主要集中在基于文本的任务。将模态扩展到 RAG 系统以支持解决图像、音频和视频、代码等更多领域问题的兴趣正在增加。
• 评估：构建基于 RAG 的复杂应用程序的兴趣需要特别关注开发细致的指标和评估工具，以便更可靠地评估上下文相关性、创造力、内容多样性、事实准确性等不同方面。此外，还需要更好的 RAG 可解释性研究和工具。

RAG 工具

一些流行的用于构建 RAG 系统的综合工具包括 LangChain (在新标签页中打开)、LlamaIndex (在新标签页中打开) 和 DSPy (在新标签页中打开)。还有一系列用于不同目的的专用工具，例如提供低代码解决方案来构建 RAG 应用的 Flowise AI (在新标签页中打开)。其他值得注意的技术包括 HayStack (在新标签页中打开)、Meltano (在新标签页中打开)、Cohere Coral (在新标签页中打开) 等等。软件和云服务提供商也包含了以 RAG 为中心的服务。例如，Weaviate 的 Verba 对于构建个人助理应用非常有用，亚马逊的 Kendra 提供智能企业搜索服务。

结论

总之，RAG 系统发展迅速，包括开发了更高级的范式，这些范式实现了定制化，并进一步提高了 RAG 在广泛领域中的性能和实用性。对 RAG 应用的巨大需求加速了改进 RAG 系统不同组件的方法的发展。从混合方法到自检索，这些都是现代 RAG 模型目前正在探索的一些研究领域。对更好的评估工具和指标的需求也在增加。下图回顾了 RAG 生态系统、增强 RAG 的技术、挑战以及本概述中涵盖的其他相关方面

图源 (在新标签页中打开)

RAG 研究见解

以下是一系列研究论文，重点介绍了 RAG 的关键见解和最新进展。

参考文献

• KAUCUS: Knowledge Augmented User Simulators for Training Language Model Assistants (在新标签页中打开)
• A Survey on Hallucination in Large Language Models: Principles,Taxonomy, Challenges, and Open Questions (在新标签页中打开)
• Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (在新标签页中打开)
• Retrieval-augmented multimodal language modeling (在新标签页中打开)
• In-Context Retrieval-Augmented Language Models (在新标签页中打开)
• Precise Zero-Shot Dense Retrieval without Relevance Labels (在新标签页中打开)
• Shall we pretrain autoregressive language models with retrieval? a comprehensive study. (在新标签页中打开)
• REPLUG: Retrieval-Augmented Black-Box Language Models (在新标签页中打开)
• Query2Doc (在新标签页中打开)
• ITER-RETGEN (在新标签页中打开)
• A Survey of Techniques for Maximizing LLM Performance (在新标签页中打开)
• HyDE (在新标签页中打开)
• Advanced RAG Techniques: an Illustrated Overview (在新标签页中打开)
• Best Practices for LLM Evaluation of RAG Applications (在新标签页中打开)
• Building Production-Ready RAG Applications (在新标签页中打开)
• Evaluating RAG Part I: How to Evaluate Document Retrieval (在新标签页中打开)
• Retrieval Augmented Generation meets Reciprocal Rank Fusion and Generated Queries (在新标签页中打开)