OLMo

OLMo是由艾伦人工智能研究所（AI2）发布的一款开源的、高度先进的大型语言模型（LLM），全称为Open Language Model，其最新版本为OLMo 7B。OLMo 7B是一个完全开源的语言模型，与之配套的还有预训练数据和训练代码，这使得研究者和开发者能够利用顶尖的开源模型，共同推动语言模型科学的进步。它建立在AI2的Dolma数据集上，拥有三万亿的开放语料库用于语言模型预训练，同时提供了完整的模型权重、推理代码、训练指标和训练日志。OLMo还提供了评估工具套件，包括超过500个检查点以及Catwalk项目下的评估代码。

OLMo的发布旨在支持研究人员训练和试验大型语言模型，以及深入探索AI模型内部运作的窗口。通过OLMo，AI研究人员和开发者将能够更好地理解模型的工作机制，提高精度、减少碳排放，并实现持久成果。此外，OLMo的发布也标志着AI2向合作打造世界上最佳开放语言模型迈出的重要一步，为全球AI研究社区提供了可靠的资源和一个平台，使他们能够直接对语言模型做出贡献。