15 种高级 RAG 技术指南:从预检索到生成

什么是检索增强生成 RAG?
检索增强生成(RAG)是指对大型语言模型输出进行优化,使其能够在生成响应之前引用训练数据来源之外的权威知识库。大型语言模型(LLM)用海量数据进行训练,使用数十亿个参数为回答问题、翻译语言和完成句子等任务生成原始输出。在 LLM 本就强大的功能基础上,RAG 将其扩展为能访问特定领域或组织的内部知识库,所有这些都无需重新训练模型。这是一种经济高效地改进 LLM 输出的方法,让它在各种情境下都能保持相关性、准确性和实用性。
为什么检索增强生成很重要?
LLM 是一项关键的人工智能(AI)技术,为智能聊天机器人和其他自然语言处理(NLP)应用程序提供支持。目标是通过交叉引用权威知识来源,创建能够在各种环境中回答用户问题的机器人。不幸的是,LLM 技术的本质在 LLM 响应中引入了不可预测性。此外,LLM 训练数据是静态的,并引入了其所掌握知识的截止日期。
LLM 面临的已知挑战包括:
- 在没有答案的情况下提供虚假信息
- 当用户需要特定的当前响应时,提供过时或通用的信息
- 从非权威来源创建响应
- 由于术语混淆,不同的培训来源使用相同的术语来谈论不同的事情,因此会产生不准确的响应
你可以将大型语言模型看作是一个过于热情的新员工,他拒绝随时了解时事,但总是会绝对自信地回答每一个问题。不幸的是,这种态度会对用户的信任产生负面影响,这是你不希望聊天机器人效仿的!
RAG 是解决其中一些挑战的一种方法。它会重定向 LLM,从权威的、预先确定的知识来源中检索相关信息。组织可以更好地控制生成的文本输出,并且用户可以深入了解 LLM 如何生成响应。
本文探讨了 15 种高级 RAG(检索增强生成)技术,旨在提升生成式 AI 系统的输出质量和整体性能稳健性。这些技术涵盖了从预检索到最终文本生成的各个阶段,为 AI 系统的精细化调整提供了丰富的选项。
1. 预检索和数据索引技术
- 提高信息密度: 利用 LLM 对原始数据进行处理、清理和标记,剔除无关信息,提高信息密度,降低 LLM token 使用量和成本,并提升检索准确性。文中以使用 GPT-4 提取网页关键信息为例进行了说明,并强调了信息损失的风险和缓解策略。
- 应用分层索引检索: 利用 LLM 生成文档摘要,创建多层检索系统,先通过摘要筛选相关文档,再进行更精细的检索,提高检索效率。
- 利用假设问题索引提升检索对称性: 使用 LLM 生成文档对应的假设问题和答案,并将问题作为检索单元,以解决查询与文档之间语义不对称的问题,提高检索准确性。
- 使用 LLM 对数据索引中的信息进行去重: 通过聚类和 LLM 的信息提取能力,将数据索引中的信息去重,减少冗余,优化 LLM 的上下文窗口。
- 测试和优化分块策略: 根据 embedding 模型、内容性质、查询复杂度、LLM 能力、数据量等因素,对分块策略进行 A/B 测试和优化,找到最佳分块大小和重叠率。
2. 检索技术
- 利用 LLM 优化搜索查询: 利用 LLM 的理解能力和对搜索引擎规则的掌握,将用户查询转化为更有效的搜索查询,提升检索效率和结果质量。文中分别给出了简单搜索查询和对话式 AI 系统查询优化的示例。
- 利用假设文档嵌入解决查询 - 文档不对称问题(HyDE): 利用 LLM 根据用户查询生成假设文档或文档片段,并将其用于语义搜索,解决查询 - 文档不对称问题,提高检索准确性。
- 实施查询路由或 RAG 决策器模式: 使用 LLM 将查询路由到适当的数据库,或判断是否需要进行 RAG 检索,以降低成本和提升效率。
3. 检索后技术
- 使用重排序优化搜索结果: 使用重排序模型优化搜索结果的优先级,将最相关的文档置于最前,提升 LLM 回答的准确性。
- 利用 LLM 过滤、重新格式化或压缩检索到的信息,使之更适合 LLM 生成最终回复。

