AvaTaR

AvaTaR: 优化工具辅助知识检索的大型语言模型代理

AvaTaR是一种新颖且自动化的框架，旨在优化大型语言模型（LLM）代理，以有效地使用提供的工具，并在特定任务或领域中提升其性能。在优化过程中，我们设计了一个比较模块（comparator module），通过对从训练数据中抽取的正面和负面例子的推理，迭代地向LLM代理提供有见地和全面的提示。

使用场景

AvaTaR主要用于需要大量信息检索和处理的场景，如问答系统、图像注释生成、以及其他需要精确工具使用的复杂任务。比如在数据集STaRK和Flickr30k Entities上，通过优化LLM代理的动作，可以显著提升其任务表现。

安装步骤

1. 创建环境并安装依赖：

   conda create -n avatar python=3.11
   pip install stark-qa typeguard
   

2. 准备工作：

   • 在命令行中指定API密钥：

     export ANTHROPIC_API_KEY=YOUR_API_KEY
     export OPENAI_API_KEY=YOUR_API_KEY
     export OPENAI_ORG=YOUR_ORGANIZATION
     

   • 下载嵌入（Embeddings）：

     sh scripts/emb_download_all.sh
     

   • 获取并组织原始数据：
     • 运行代码时，STaRK数据将自动下载。
     • 对于Flickr30k Entities，需提交表单获取访问权限，然后按照以下结构组织数据：

       data
       ├── flickr30k_entities
       │   ├── raw
       │   │   ├── Annotations
       │   │   ├── flickr30k-images
       │   ├── split
       │   │   ├── test.index
       │   │   ├── train.index
       │   │   ├── val.index
       │   ├── qa.csv
       

运行代理

我们已经在output/eval目录下包含了本地VSS结果，并在output/agent目录下包含了分组数据（仅限STaRK）。通过这些文件，您可以直接按照AvaTaR管道优化代理动作。

• 优化：根据默认设置进行优化：

  sh scripts/run_avatar_stark.sh
  

  可以在scripts/run_avatar_stark.sh中指定数据集名称和分组。

  sh run_avatar_flickr30k_entities.sh
  

• 评价：运行以下命令评价优化后的代理动作：

  sh scripts/run_eval_avatar_stark.sh
  

  或

  sh scripts/run_eval_avatar_flickr30k_entities.sh
  

参考文献

@article{wu24avatar,
    title        = {AvaTaR: Optimizing LLM Agents for Tool-Assisted Knowledge Retrieval},
    author       = {
        Shirley Wu and Shiyu Zhao and 
        Qian Huang and Kexin Huang and 
        Michihiro Yasunaga and Kaidi Cao and 
        Vassilis N. Ioannidis and Karthik Subbian and 
        Jure Leskove and James Zou
    },
    eprinttype   = {arXiv},
    eprint       = {2406.11200},
    year         = {2024}
}