rStar

rStar是一种自我强化的互助推理方法，旨在显著提升小型语言模型（SLMs）的推理能力，而无需进行微调或使用更高级的模型。rStar通过将推理过程解构为自我对弈的生成与鉴别过程，从而实现这一目标。

工作原理

rStar的主要流程包括两个主要步骤：

1. 解决方案生成：目标小型语言模型通过增强蒙特卡洛树搜索（MCTS），结合一套丰富的人类般推理行为，构建更高质量的推理轨迹。
2. 互助验证：另一个具有类似能力的小型语言模型作为鉴别器，对目标模型生成的每条推理轨迹进行验证。经过相互同意的推理轨迹被视为一致的，从而更可能是正确的。

使用场景

rStar适用于多个推理任务，特别是在需要高推理能力的小型语言模型场景中，如：

• 数学题目的解决（例如GSM8K数据集）
• 逻辑推理和决策制定任务
• AI辅导和教育系统中的问题解答
• 任何需要提高小型模型推理能力的应用

通过rStar，实验结果表明，它能够有效地提升SLM在多种推理问题上的解决能力，显著提高如GSM8K的数据集准确率。

结果示例

• 对于LLaMA2-7B，GSM8K准确率从12.51%提升至63.91%
• 对于Mistral-7B，提升从36.46%至81.88%
• 对于LLaMA3-8B-Instruct，提升从74.53%至91.13%

rStar为小型语言模型提供了提升推理能力的有效工具，适用于需要精确推理的各种场景。