llm-colosseum

llm-colosseum是一个创新的项目，利用“Street Fighter III”这款游戏的环境来实时评估和对比大型语言模型（LLM）的性能。在这个平台上，不同的LLM会控制游戏中的角色，通过分析游戏环境的文本描述来决定下一步的行动，模拟真实的战斗场景。这样的设置为LLM提供了一个全新的评测标准，不同于传统的基于奖励函数的强化学习（RL）模型。llm-colosseum着重评估模型在以下方面的能力：

1. 快速反应：由于是实时游戏，快速做出决策是关键。
2. 智能思考：优秀的战斗者需要能够预测接下来的50步行动。
3. 创造性思维：通过出其不意的举动智胜对手。
4. 适应性：从错误中学习，并调整策略。
5. 韧性：在整个游戏过程中保持高RPS（每秒响应次数）。

使用场景：

llm-colosseum可用于以下几个方面：

• 性能基准测试：通过实时对战，直观地展现不同LLM在实际应用场景中的表现，而不仅仅是在处理语言任务上的能力。
• 研究和教育：通过游戏化的方式，让人们对AI和机器学习模型有更深的理解和兴趣。
• 模型优化和迭代：开发者可以通过这样的平台，测试不同模型的适应性和战斗策略，从而对模型进行优化和调整。
• 娱乐和展示：作为一个将游戏与AI结合的平台，llm-colosseum也具有很高的娱乐价值，可以吸引公众关注，并增加人们对人工智能领域的兴趣。

安装和使用：

用户需要按照以下步骤来安装和运行llm-colosseum：

1. 根据官方文档安装DIAMBRA环境。
2. 下载相应的游戏ROM，并放到指定目录下。
3. 使用pip3安装所需的依赖。
4. 创建一个.env文件，并按照示例文件的内容进行填写。
5. 通过执行make run命令来运行程序。

此外，还提供了测试模式，在该模式下，LLM的调用被禁用，游戏角色将随机选择行动，便于开发者测试和调试。

项目成果和影响：

llm-colosseum项目的实验已经开展了342场对战，产生了一份基于ELO评分系统的排名榜，为比较不同LLM的实时对战性能提供了一个新的标准。项目通过创新的方式将AI技术与人们熟悉的游戏结合起来，不仅展现了AI在新领域的应用潜力，也为AI研究和教育提供了新的工具和平台。