后GraphRAG时代，利用KG提升LLM领域问答可解释性的系统FactFinder！
作者： PaperAgent 来源： PaperAgent
“后GraphRAG时代”： 探索解决GraphRAG落地场景、工程化以及降成本等问题。PaperAgent团队经过一段时间探索，已经初步走通一条覆盖场景、效果、成本、部署的路，后续会分享**，** GraphRAG的中间产物有知识图谱 ，其结合LLM可以提升在特定领域知识问答可靠性与可解释性**。**
今天介绍了一个名为FactFinder的开源混合系统 ，通过结合特定领域的知识图谱（KGs）来增强LLMs 的领域专业知识， 特别是在生命科学等需要最新和事实信息的领域，获取正确和完整的答案至关重要。
使用大型语言模型和知识图谱回答科学问题的FactFinder流水线概述
FactFinder系统 包括以下步骤：
*预处理 ：对知识图谱进行预处理，包括映射名称到首选术语和转换所有条目为小写。
*Cypher查询生成 ：使用LLMs根据问题和图谱模式生成Cypher查询。
原始的 Cypher 查询通常只返回回答问题所需的节点，而忽略了连接问题实体与答案节点的边。为了解决这个问题，需要生成一个新的 Cypher 查询，它能够同时获取答案节点和连接边。
*Cypher查询处理 ：对生成的Cypher查询进行预处理，以提高系统的鲁棒性。
*知识图谱检索 ：执行预处理后的Cypher查询，从知识图谱中检索数据。
*增强型LLM响应生成 ：将问题和图谱结果整合到提示模板中，并发送给LLM，以生成自然语言答案。
带有生成的Cypher查询和作为证据的图谱响应的示例
此外，系统还提供了可解释性功能，包括中间结果 和子图可视化 ，以增强透明度和解释性 。
针对癫痫患者不应使用哪些抗癫痫药物的证据子图 示例
带有独立大型语言模型和基于图谱的混合系统问题与答案的用户界面
探索用于治疗癫痫的药物的答案
探索被安巴比妥靶向但不是拉莫三嗪靶向的基因的答案
FactFinder系统通过结合知识图谱和LLMs，提供了一个用户友好的聊天系统 ，用于回答科学问题，同时最小化了“幻觉”（错误的陈述）。研究表明，LLMs能够生成有效的Cypher查询来检索知识图谱中的相关数据 （实现了78%的精度在检索正确的KG节点上），从而提供准确的答案。
Table1： 展示了 FactFinder 系统在图检索评估中的结果，使用了与真实文本到 Cypher 查询数据集的比较来量化图查询返回的节点。评估使用了交并比（IoU）、精确度和召回率三个指标
Table2：评估了 FactFinder 系统处理不正确或不完整图响应的能力。测试通过禁用 Cypher 查询生成并为每个问题提供错误的 Cypher 查询来进行，导致图结果不正确。结果显示
附录
Fact Finder的用户界面，针对问题“哪些药物用于治疗眼高压？ ”。独立大型语言模型和基于图谱的混合系统的答案被比较并输出。此外，相关的子图作为证据 与生成的Cypher查询和图谱中的答案一起展示。
Fact Finder的用户界面，针对问题“哪些抗癫痫药物不应由高血压患者使用？”。
https://arxiv.org/pdf/2408.03010
Fact Finder - Enhancing Domain Expertise of Large Language Models by Incorporating Knowledge Graphs
https://github.com/chrschy/fact-finder
推荐阅读
欢迎关注我的公众号“PaperAgent ”，每天一篇大模型（LLM）文章来锻炼我们的思维，简单的例子，不简单的方法，提升自己。
更多AI工具，参考Github-AiBard123，国内AiBard123
