作者： AINLP 来源： AINLP

今天分享一篇来自腾讯AI Lab的论文《Chain-of-Note: Enhancing Robustness in Retrieval-Augmented Language Models》。

论文摘要：

基于检索增强的语言模型是大家目前常用的一种大模型落地方案，它能够利用外部知识信息，因此在减少事实性幻觉上能够发挥一定作用。然而，检索到的信息并不总是可靠的，检索到不相关的信息可能会误导语言模型，使得语言模型忽略其固有知识（即使内在知识能够回答给定问题）。此外，基于检索增强的语言模型通常难以评估它们是否拥有足够的知识（包括内在知识和检索知识）来提供准确答案。在缺乏知识的情况下，基于检索增强的语言模型应当能够承认自己的“无知”。为了应对这些挑战，作者引入了一种叫做Chain-of-Noting（CON）的方法，旨在提高基于检索增强的语言模型面对嘈杂、不相关文档以及处理未知场景的鲁棒性。CON的核心思想是为检索到的文档生成连续阅读笔记，使其能够彻底评估它们与给定问题的相关性，并将这些信息整合以生成最终答案。作者利用ChatGPT创建了CON的训练数据，随后在LLaMa-2 7B模型上进行了训练。在四个开放领域QA基准上的实验表明，使用了CON的语言模型显著更优。CON在完全嘈杂的检索文档上平均提高了7.9的EM得分，并在（超出了预训练知识范围）问题的拒绝率上提高了10.5。

下图展示了三种不同类型的CoN

• 语言模型根据检索到的信息生成最终答案

• 检索到的文档虽然没有直接回答query，但提供了上下文，使得语言模型能够将这些信息与其固有知识结合起来，从而推导出答案

• 语言模型遇到不相关文档并缺乏回应所需知识的情况，能够承认自己的“无知”

CoN的实现

• 笔记设计：这个好理解，就是上面示意图中所示的，有答案就回答，有线索就推理，不知道就说不知道

• 数据收集：现在大家常见的套路就是拿ChatGPT来合成数据，从NQ数据集中随机采样了10K个问题，提示词如下

• 模型训练：基于LLaMa-2 7B进行微调，这里有一个trick，训练过程有一半的时间只计算answer部分的loss，一般时间loss既包含answer部分，也包含notes部分。

个人读后感

文章的出发点还是很好的，也很实际。因为需要训练，性能提升其实是理所当然的，对LLM比较熟悉的同学应该看得出来CoN其实类似对抗样本 的思路。

进技术交流群请添加AINLP小助手微信（id: ainlp2)

请备注具体方向+所用到的相关技术点

![](https://api.allorigins.win/raw?url=https://mmbiz.qpic.cn/mmbiz_jpg/nW2ZPfuYqSJADkmZ2IX6Z23znAibuEevotDMq9iaMxiapK7jfMibiauGFkycicAJEs6x5U9SGyDJZ0S1tRed9TPNUUDQ/640?wx_fmt=jpeg&wxfrom=5&wx_lazy=1&wx_co=1)

关于AINLP

AINLP 是一个有趣有AI的自然语言处理社区，专注于 AI、NLP、机器学习、深度学习、推荐算法等相关技术的分享，主题包括LLM、预训练模型、自动生成、文本摘要、智能问答、聊天机器人、机器翻译、知识图谱、推荐系统、计算广告、招聘信息、求职经验分享等，欢迎关注！加技术交流群请添加AINLP小助手微信(id：ainlp2)，备注工作/研究方向+加群目的。

  


  


![](https://api.allorigins.win/raw?url=https://mmbiz.qpic.cn/mmbiz_jpg/nW2ZPfuYqSKABHCqVVQkVYPrM4XY1vsd0iaeuXzyJnoFc8cibd5mYb4wdA3WMQtiaPVmr0XLZHMuVibqWncibpnTSnQ/640?wx_fmt=jpeg&wxfrom=5&wx_lazy=1&wx_co=1)

阅读至此了，分享、点赞、在看三选一吧🙏

更多AI工具，参考Github-AiBard123，国内AiBard123