指南

检索增强生成(RAG)指南:概念、组件与评估

检索增强生成(RAG)是一种将文档和用户查询转换为向量嵌入,然后检索语义上最相近的文档并将其加入模型上下文的方法。本指南介绍其概念、在多模态应用和智能体中的作用,以及过滤、追踪和评估的重要性,同时说明来源所提到的限制。

Retrieval-Augmented Generation (RAG)(即检索增强生成)是一种将文档和用户查询转换为向量嵌入,然后搜索语义上最相近的文档,并在生成前将其加入模型上下文的方法。这样,系统便可使用模型训练数据之外的信息,例如文档、支持记录、产品详情、内部知识和代码库上下文。

RAG 如何工作?

其基本思路是将内容和查询转换为向量表示,然后使用语义搜索检索与查询最接近的项目。随后将结果传递给生成模型,使其利用这些结果提供上下文并进行推理。

  • 将文档和用户查询转换为向量嵌入。
  • 搜索语义上最接近的文档。
  • 将检索结果加入模型上下文。
  • 根据检索到的上下文生成答案,而结果质量仍取决于检索的相关性和数据的准确性。

RAG 用于哪些场景?

来源提到,RAG 可用于文档搜索、基于企业数据的聊天机器人、知识库、智能体应用、代码库搜索,以及金融研究和法律服务平台。

RAG 也可以与其他工具结合使用。例如,智能体可以使用 MCP 访问工具或数据,遵循 Skills 来应用项目特定的指令,并借助检索获取支持性上下文。根据来源,这些组件不一定彼此冲突,而是可以在同一工作流中承担互补角色。

多模态与本地检索

Google 宣布了 EmbeddingGemma 2,这是一款多模态嵌入模型,可将文本、图像、音频、视频和代码置于统一的表示空间中。该公司称,该模型旨在支持在设备本地构建语义搜索、检索和 RAG 应用,而无需将数据发送到外部服务器。

  • 该模型包含 7.4 亿个参数,并支持最长 8,000 个 token 的上下文。
  • 根据公告,它支持最长 5.5 分钟的音频、29 张图像或 58 帧视频。
  • 输出向量可从 768 维缩减至 512、256 或 128 维;Google 表示,这可能使向量数据库中的存储空间和内存消耗最多降低六倍。
  • Google 提到,可以使用它通过文本或图像搜索媒体库,或通过文本或音频查询定位视频中的特定时刻。
  • 所述性能和内存数据来自 Google,给定来源未提供能够证实这些数据的独立测试结果。

搜索前的元数据过滤

AWS 为 Amazon S3 Vectors 增加了在相似性搜索前进行元数据预过滤的功能。在 ENHANCED 模式下,会先应用租户、类别、状态或日期等条件,然后在匹配的向量集合内执行向量搜索。

  • AWS 表示,对于过滤条件选择性较高的查询,该功能可能使匹配向量的数量最多提高五倍。
  • 每个向量最多可携带 2 KB 可过滤元数据。
  • 根据文章,单次查询最多支持 100 个过滤条件。
  • 过滤功能包括相等判断、布尔逻辑、数值比较、集合成员关系、存在性检查以及 startsWith 运算符。
  • 根据公告,现有索引需要通过 UpdateIndexMode 转换为 ENHANCED 模式,且无需重新写入向量。

这对于多租户系统或必须将搜索限制在特定文档集合内的场景可能很重要。但实际结果仍取决于数据类型、索引配置和过滤条件的性质,给定来源并未对所有应用提供普遍保证。

智能体应用中的 RAG

在结合检索、生成和工具调用的应用中,错误可能不仅出现在最终文本中。它还可能源于选择了错误的数据库、检索到不相关的文档,或使用了超出所需范围的来源。

某一来源提到的 Rust 库 Rig 说明,它通过将文档和用户查询转换为向量嵌入,并搜索语义上最接近的文档以加入模型上下文,从而支持 RAG。文章还提到其与数据库的集成以及对向量存储的抽象;如果使用的是未被直接支持的数据库,也可以实现向量存储接口。

如何评估 RAG 系统?

来源强调,仅检查最终答案是不够的。应当评估产生答案的完整路径,包括检索、工具、上下文和生成过程。

  • 记录向量搜索、关键词搜索和检索到的数据。
  • 追踪智能体调用的工具及其决策顺序。
  • 在具备适当标准时,衡量答案的相关性、完整性和事实准确性。
  • 使用确定性检查验证模式、工具参数、引用标识符和权限执行情况。
  • 对于开放式或含糊的任务,应谨慎使用 LLM-as-a-judge,因为它可能产生不一致的结果,或无法发现特定错误。
  • 在构建测试数据和校准指标时加入人工审查与领域专家意见。
  • 将用户报告的失败案例转化为新的回归测试示例。

Elastic 的一项实验提到,可以从一组包含 20 到 50 个测试案例的小型测试集开始,同时提醒这一数字并非适用于所有应用的固定通用标准。

版本与变更管理

RAG 应用的发布并不只涉及模型权重。提示词、索引、嵌入模型、分块与重排序流水线、运行配置、数据以及工具契约都可能发生变化。

一篇材料建议创建发布清单,保存经过共同测试的组件引用,例如应用版本、模型版本、提示词版本、索引版本、嵌入版本、运行配置和评估集。还应通过从检索到生成再到输出验证的完整路径运行测试。

这种做法并不能保证严格意义上的可复现,因为外部服务可能发生变化,生成过程也可能仍然具有非确定性。如果检索索引或路径中的其他组件已在别处发生变化,仅回滚到旧应用版本也不够。因此,应将兼容依赖、数据和检索配置视为版本的一部分。

需要了解的限制

  • 答案质量取决于检索文档的相关性和完整性,而不仅仅取决于生成模型。
  • 检索可能因选择了错误的来源或数据库而失败。
  • 模型的性能和内存指标可能由生产商提供,不能等同于独立测试。
  • LLM-as-a-judge 并非最终权威,可能受到评估差异或评估者偏差的影响。
  • 通过有限测试集并不能证明不存在罕见故障或安全缺陷。
  • 给定来源未确定适用于所有应用的统一结果或最佳 RAG 架构。

结论

RAG 是一种构建系统的模式:将从文档或其他来源检索到的上下文加入模型。它在语义搜索、知识库、智能体、代码搜索中具有明显用途,也可以扩展到多模态检索或本地运行。但构建可靠系统不仅需要生成嵌入和建立索引,还需要控制搜索范围,追踪检索与工具调用,评估完整任务,并统一管理模型、索引、嵌入和配置的版本。