作者： Atman语言智能 来源： Atman语言智能

01

摘要

尽管大型语言模型（LLM）具有非凡的功能，但它们通常会产生包含事实不准确的回复，因为它们完全依赖于它们所封装的参数知识。检索增强生成（RAG），一个广告通过检索相关知识来增强LMs的hoc方法，减少这些问题。但是，不加区分地检索和合并固定数字检索到的段落，无论是否需要检索，或者段落相关性降低了LM的多功能性或可能导致无益的响应生成。

我们引入了一种新的框架，称为自反射检索增强生成（Self-RAG），通过检索提高LM的质量和真实性以及自我反思。我们的框架自适应地训练单个任意LM按需检索段落，并生成和反映检索到的段落以及它自己的几代人使用称为反射令牌的特殊令牌。生成反射令牌使LM在推理阶段可控，使其能够以使其行为适应不同的任务需求。实验表明，SELF-RAG（7B和13B参数）显著优于最先进的LLM以及针对不同任务集的检索增强模型。具体而言，自我评估在开放域QA上优于ChatGPT和检索增强的Llama2聊天，推理和事实验证任务，并且在改进方面显示出显著的收益相对于这些模型，长形式代的真实性和引用准确性。

图1

SELF-RAG概述。SELF-RAG学会检索、批评和生成文本段落以提高整体生成质量、真实性和可验证性

02

前言

State-of-the-art LLM继续与事实错误作斗争尽管他们增加了模型和数据规模，但检索增强了一代（RAG）方法管理LLM的输入，通过检索相关段落，减少知识密集型任务中的事实错误。然而，这些方法可能会阻碍LLM的通用性或引入不必要的或离题的段落，导致低质量的一代人，因为他们不分青红皂白地检索段落，不管事实基础是否有用。此外输出不能保证与检索到的相关段落一致，因为模型没有经过明确的训练来利用和遵循所提供段落中的事实。

这工作引入了自反射检索增强生成（Self-RAG）来改进LLM的生成质量，包括其事实准确性，但不损害其多功能性，通过点播检索和自我反思。我们以端到端的方式训练任意LM，以学习反思它自己的生成过程通过生成任务输出和间歇特殊来给定任务输入令牌反射令牌分为检索令牌和评论令牌分别指出了检索的需要及其生成质量。特别地，给定输入提示和前几代，SELF-RAG首先确定是否增强用检索到的段落继续生成将是有帮助的。

如果是，它将输出一个检索令牌按需调用检索器模型。随后，SELF-RAG同时处理多个检索段落，评估它们的相关性，然后生成相应的任务输出。然后生成批评标记来批评自己的输出，并根据条件选择最佳输出真实性和整体质量。这个过程不同于传统的RAG（图1左），后者一致地检索固定数量的文档以供生成，而不考虑检索的必要性（例如，下图示例不需要事实知识），并且从不再次访问发电质量。此外，SELF-RAG通过其自我评估为每个片段提供引文文章是否支持输出，从而更容易进行事实验证。

SELF-RAG通过将任意LM统一为来自扩展的模型词汇表的下一个令牌预测。我们在不同的基础上训练我们的发电机LM与反射标记和检索到的段落交织在一起的文本集合。反射代币，灵感通过强化学习中使用的奖励模型通过经过训练的评论家模型离线插入到原始语料库中。这样就不需要托管评论家模型在培训期间，减少了开销。评论家模型在一定程度上是在数据集上监督的通过提示适当LM收集的输入、输出和相应的反射令牌。虽然我们从使用控制代币开始和指导文本生成，我们经过训练的LM使用批评令牌在每个生成的分段之后评估其自身的预测，作为生成输出的组成部分。

SELF-RAG进一步使得可定制的解码算法能够满足硬约束或软约束，其由反射令牌预测来定义。特别是，我们的推理时间算法使我们（1）灵活调整不同下游应用程序的检索频率；（2）自定义通过分段级光束利用反射令牌，根据用户偏好建模行为使用反射令牌概率的加权线性和作为分段得分进行搜索。

六项任务的经验结果，包括推理和长格式生成，表明SELF-RAG显著优于预训练和指令调整的LLM，后者具有更多的参数和广泛采用的RAG方法具有更高的引用准确性。特别是，SELF-RAG的性能优于检索在四项任务上增强了ChatGPT，Llama2 chat和Alpaca。我们的分析证明了训练和推理的有效性用于整体性能改进以及测试时模型自定义的反射令牌（例如，平衡引文预测和完整性之间的权衡）。

本篇论文共30页，

可在关注“Atman语言智能”后发送

“RAG能力增强”

获取论全文

公众号：Atman语言智能

售前与商务合作：[email protected]

售后与问题咨询：[email protected]

苏州公司：苏州市工业园区金尚路仙峰大厦南楼5层
北京公司：北京市海淀区北四环中路智优沃大厦4层

更多AI工具，参考Github-AiBard123，国内AiBard123