Firefly

Firefly是一款强大并且开源的大模型训练工具，它支持对多种主流大模型进行预训练、指令微调和DPO（Domain-Personalized Optimization）。这意味着Firefly不仅能帮助你从头开始训练自己的模型，还能对现有的模型进行调整以适配特定的场景或需求。

主要功能：

• 全方位训练支持：Firefly提供全量参数训练、LoRA、QLoRA等多种训练方式，可应对从大规模预训练到细粒度指令微调的各种需求。
• 广泛的模型支持：支持主流的大模型，例如Gemma、MiniCPM、Llama等，方便用户针对多种底层架构进行训练。
• 高效的训练方法：尤其是通过QLoRA进行指令微调，能在有限的计算资源下达到较好的效果。
• 丰富的数据资源：整理并开源了多个指令微调数据集，为模型训练提供了丰富的素材。
• 模型和权重开源：在Huggingface上提供了一系列通过Firefly训练的模型权重，方便用户下载和使用。

适用场景：

Firefly适用于以下几种典型场景：

• 新模型的预训练：当你需要从头开始训练一个全新的大模型，尤其是在有大量未标记数据可用时。
• 特定任务的微调：针对特定的任务或场景，通过少量的标注数据对现有大模型进行微调，从而提高其在该场景下的表现。
• 自定义指令的微调：对于需要通过特定指令与模型交互的应用场景，可以使用Firefly提供的数据和方法进行指令微调。
• 资源有限下的效果提升：在计算资源有限的情况下，通过使用QLoRA等高效训练方法，在保持模型性能的同时减少计算消耗。

Firefly是一个功能强大且适用性广的大模型训练工具，无论你是需要进行大模型的预训练、特定场景的指令微调，或是在资源受限情况下寻找高效训练方案，Firefly都能提供相应的支持。