一张图弄懂RAG
作者： GenAI X 来源： GenAI X
什么是大语言模型的检索增强生成RAG？
斯坦福大学教授Douwe Kiela的一节课给你讲清楚了。这节课是斯坦福CS25课程中的一节，名为《Retrieval Augmented Language Models》。Douwe Kiela教授是RAG研究论文的作者之一，在这节课上，Kiela分享了一个检索增强语言模型的架构图，记住这张图，你就掌握了理解RAG的关键。
此架构图概括了创建RAG所需记住的所有重要概念和工程实践中的权衡，主要包括输入（Input）、提示（Prompt）、以及通过检索器（Retriever）增强生成的上下文（Context），然后将这三个部分一起输入给生成器（Generator），即模型，以产出结果（Output）。
在这几个核心部分中，有几点值得注意：
-
Input输入与Prompt提示的差异：输入可视为包含系统提示和用户输入的检索范围，而提示则专注于用户输入的指令。例如，在公司知识库RAG中，用户输入的"检索公司2023年的财务数据并生成总结报告"中，“公司2023年的财务数据”是对检索范围的指向，属于输入的一部分；“检索并生成总结报告”则是具体的指令，视为提示。
-
Retriever检索器的机制：类似于图书馆借书过程，从提供书名（查询），到系统寻找图书编号（查询编码），再到书架上的书籍编号（文档编码），最后找到并借出书籍（上下文）。在实际应用中，从输入中获取查询，其编码在文档编码中进行匹配检索，提取相关部分作为上下文。
-
检索结果的重排序：可以在检索器和上下文之间加入一个重排序器（Reranker）架构，根据特定规则重新排序检索结果，这一步骤可以基于模型判断或预设特定规则进行。
在工程实践中，优化的焦点主要集中在检索环节，涉及的关键问题包括：
-
How and what do I retrieve：从传统的相似性检索、文本检索，到目前最常用的依托于embedding的语义检索，大家在实践中仍在不断迭代。
-
When to retrieve: 一般就两种思路。一种是在获得检索范围后即Retrieve，另一种是让模型判断何时Retrieve。
-
How to encode: 如何编码也直接影响了如何检索的过程。
此外，还包括输入的预处理、提示词的工程方法论、上下文的传递方式、输出的后处理、以及验证输出的效果或质量等方面：
-
How to pre-process:实际上强调就是Input要包含System Prompt，可设定角色、技能、任务、工作流、限制条件等。
-
How to prompt: 涉及提示词工程的方法论。
-
How to pass context:可以把Context作为Prompt的一部分以文本形式输入，也可通过代码的方式代入。
-
How to post-process:比如格式化输出的处理，如固定输出json格式，或固定在末尾输出 Reference列表等。
-
How to verify:指的是如何验证Output的效果或质量，比如验证Output与知识库的相关性、准确性等。
最终，对于RAG整体架构的考察框架聚焦于三个方面：优化的方法、通过机器学习进行的学习、以及如何处理规模化问题。这包括了对知识库的分块处理、编码时机的考量，以及如何应对大规模用户同时发起的提示等挑战：
-
How to optimize:各环节哪些地方可以优化。架构中已经列出的问题都是思考的重点。
-
How to learn: 这里的learn应该指的是机器学习的learn，探讨各环节从software1.0的静态架构向机器学习和software2.0的演进。
-
How to scale: 如何应对规模化的问题。比如关于知识库如何Chunk、何时编码，在知识库过大时就不适合提前预处理好Chunk和编码。或者大量用户同时Prompt该如何应对。
感兴趣的朋友可以去网上听一听Douwe Kiela教授的这节课噢。
GPTDAO社区开发者使用最频繁的GenAI基础设施就是RAG！想深度学习，欢迎来报名峰会的RAG专题Workshop。
【免责声明】文章内容整理自斯坦福官网。内容仅供分享，版权归原作者所有。本公众号平台不对文章内容真实性承担任何法律责任。若有来源标注错误或侵犯了原作者的合法权益，请与我们联系更正或删除。感谢！
####微软作为赞助商，将与GPTDAO共同参与「2024生成式人工智能旧金山峰会」，该峰会计划于5月29日至31日举办！ 超200位重量级演讲嘉宾将在三天会程中，共同带来高价值、强输出、多干货的深入探讨，超20个分会场、300名投资机构代表和参展商，带你站在生成式AI前沿，不可错过！
扫描下方二维码进入限时****早鸟价 购票链接，或输入专属码【GPTDAORB 】，所有门票、展位票，均可享受9折优惠。
抓紧扫码购票参会吧！
更多AI工具，参考Github-AiBard123，国内AiBard123
