AI文摘

blog-thum
Atman视线无需辅助模型的快速LLM推理

01摘要推测解码是一种基于辅助草稿模型的预测来加速大型目标语言模型推理的重要技术。虽然在特定于应用程序的设置中有效,但它通常需要微调草稿模型和目标模型以实现高接受率。随着下游任务数量的增加,这些草案模

read more
blog-thum
使用HuggingFace微调Gemma模型

来自GoogleDeepmind开放权重的语言模型Gemma现已通过HuggingFace面向更广泛的开源社区开放。该模型提供了两个规模的版本:2B和7B参数,包括预训练版本和经

read more