Grok-1

Grok-1是一个拥有3140亿参数的Mixture-of-Experts模型，其中25%的权重在给定标记上是活跃的。该模型是由xAI在2023年10月从头开始训练的，使用了基于JAX和Rust的自定义训练堆栈。这是Grok-1在预训练阶段的原始基础模型检查点，意味着该模型并未针对任何特定应用进行微调，比如对话。