olmo2

OLMo 2 是当前最佳的完全开源语言模型，由 Ai2 开发。自2024年2月首次发布 OLMo 以来，开源语言模型生态系统迅速增长，开源模型与专有模型之间的性能差距逐渐缩小。OLMo 2 主要分为 7B 和 13B 两个模型，训练数据达到5万亿个标记，性能在同类完全开源模型中处于领先地位，并在某些英语学术基准测试中与开源权重模型如 Llama 3.1 竞争。

OLMo 2 的开发聚焦于提高模型训练的稳定性和效率，通过引入阶段性训练、改进的后训练方法，以及明确的评价框架，来推动模型性能的提升。此外，OLMo 2 的预训练过程经历了两个阶段，第一阶段使用广泛的多样化数据集，第二阶段结合高质量领域特定的数据集，以确保模型在各种任务上的广泛适应性。

OLMo 2 还推出了 Instruct 变体，针对指令遵循、知识回忆和推理能力进行了优化，这些改进使其在多个评估基准上表现出色，甚至超过许多开源权重模型。

此模型及其相关资源（如代码、数据和技术细节）均以开源形式提供，旨在促进研究和应用的进一步发展。