使用 TGI

TGI 是 Hugging Face 开发的生产级推理容器，可用于轻松部署大语言模型。其功能主要有: 连续组批、流式词元输出、多 GPU 张量并行以及生产级的日志记录和跟踪等。

你可在 Hugging Face 的 推理终端 上部署 Mixtral，其使用 TGI 作为后端。要部署 Mixtral 模型，可至 模型页面，然后单击 Deploy -> Inference Endpoints 按钮即可。

注意: 如你的账号 A100 配额不足，可发送邮件至[email protected] 申请升级。

你还可以阅读我们的博文用 Hugging Face 推理终端部署 LLM 以深入了解如何部署 LLM，该文包含了推理终端支持的超参以及如何使用 Python 和 Javascript 接口来流式生成文本等信息。

你还可以使用 Docker 在 2 张 A100 (80GB) 上本地运行 TGI，如下所示:

docker run --gpus all --shm-size 1g -p 3000:80 -v /data:/data ghcr.io/huggingface/text-generation-inference:1.3.0 \  
 --model-id mistralai/Mixtral-8x7B-Instruct-v0.1 \  
 --num-shard 2 \  
 --max-batch-total-tokens 1024000 \  
 --max-total-tokens 32000  

用 🤗 TRL 微调

训练 LLM 在技术和算力上都有较大挑战。本节我们将了解在 Hugging Face 生态系统中如何在单张 A100 GPU 上高效训练 Mixtral。

下面是在 OpenAssistant 的 聊天数据集 上微调 Mixtral 的示例命令。为了节省内存，我们对注意力块中的所有线性层执行 4 比特量化和 QLoRA。请注意，与稠密 transformer 模型不同，我们不对专家网络中的 MLP 层进行量化，因为它们很稀疏并且量化后 PEFT 效果不好。

首先，安装 🤗 TRL 的每日构建版并下载代码库以获取 训练脚本:

pip install -U transformers  
pip install git+https://github.com/huggingface/trl  
git clone https://github.com/huggingface/trl  
cd trl  

然后，运行脚本:

accelerate launch --config_file examples/accelerate_configs/multi_gpu.yaml --num_processes=1 \  
 examples/scripts/sft.py \  
 --model_name mistralai/Mixtral-8x7B-v0.1 \  
 --dataset_name trl-lib/ultrachat_200k_chatml \  
 --batch_size 2 \  
 --gradient_accumulation_steps 1 \  
 --learning_rate 2e-4 \  
 --save_steps 200_000 \  
 --use_peft \  
 --peft_lora_r 16 --peft_lora_alpha 32 \  
 --target_modules q_proj k_proj v_proj o_proj \  
 --load_in_4bit  

在单张 A100 上训练大约需要 48 小时，但我们可以通过 –num_processes 来调整 GPU 的数量以实现并行。

量化 Mixtral

如上所见，该模型最大的挑战是如何实现普惠，即如何让它能够在消费级硬件上运行。因为即使以半精度 ( torch.float16 ) 加载，它也需要 90GB 显存。

借助 🤗 transformers 库，我们支持用户开箱即用地使用 QLoRA 和 GPTQ 等最先进的量化方法进行推理。你可以阅读 相应的文档 以获取有关我们支持的量化方法的更多信息。

使用 4 比特量化加载 Mixtral

用户还可以通过安装 bitsandbytes 库 ( pip install -U bitsandbytes ) 并将参数 load_in_4bit=True 传给 from_pretrained 方法来加载 4 比特量化的 Mixtral。为了获得更好的性能，我们建议用户使用 bnb_4bit_compute_dtype=torch.float16 来加载模型。请注意，你的 GPU 显存至少得有 30GB 才能正确运行下面的代码片段。

import torch  
from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig  
  
model_id = "mistralai/Mixtral-8x7B-Instruct-v0.1"  
tokenizer = AutoTokenizer.from_pretrained(model_id)  
  
quantization_config = BitsAndBytesConfig(  
    load_in_4bit=True,  
    bnb_4bit_compute_dtype=torch.float16  
)  
model = AutoModelForCausalLM.from_pretrained(model_id, quantization_config=quantization_config)  
  
prompt = "[INST] Explain what a Mixture of Experts is in less than 100 words. [/INST]"  
inputs = tokenizer(prompt, return_tensors="pt").to(0)  
  
output = model.generate(**inputs, max_new_tokens=50)  
print(tokenizer.decode(output[0], skip_special_tokens=True))  

该 4 比特量化技术由 QLoRA 论文 提出，你可以通过 相应的 Hugging Face 文档 或 这篇博文 获取更多相关信息。

使用 GPTQ 加载 Mixtral

GPTQ 算法是一种训后量化技术，其中权重矩阵的每一行都是独立量化的，以获取误差最小的量化权重。这些权重被量化为 int4，但在推理过程中会即时恢复为 fp16。与 4 比特 QLoRA 相比，GPTQ 的量化模型是通过对某个数据集进行校准而得的。TheBloke 在 🤗 Hub 上分享了很多量化后的 GPTQ 模型，这样大家无需亲自执行校准就可直接使用量化模型。

对于 Mixtral，为了获得更好的性能，我们必须调整一下校准方法，以确保我们不会 量化那些专家门控层。量化模型的最终困惑度 (越低越好) 为 4.40 ，而半精度模型为 4.25 。你可在 此处 找到量化模型，要使用 🤗 transformers 运行它，你首先需要更新 auto-gptq 和 optimum 库:

pip install -U optimum auto-gptq  

然后是从源代码安装 transformers:

pip install -U git+https://github.com/huggingface/transformers.git  

安装好后，只需使用 from_pretrained 方法加载 GPTQ 模型即可:

import torch  
from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig  
  
model_id = "TheBloke/Mixtral-8x7B-v0.1-GPTQ"  
tokenizer = AutoTokenizer.from_pretrained(model_id)  
  
model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto")  
  
prompt = "[INST] Explain what a Mixture of Experts is in less than 100 words. [/INST]"  
inputs = tokenizer(prompt, return_tensors="pt").to(0)  
  
output = model.generate(**inputs, max_new_tokens=50)  
print(tokenizer.decode(output[0], skip_special_tokens=True))  

请注意，你的 GPU 显存至少得有 30GB 才能运行 Mixtral 模型的 QLoRA 和 GPTQ 版本。如果你如上例一样使用了 device_map=“auto” ，则其在 24GB 显存时也可以运行，因此会有一些层被自动卸载到 CPU。

免责声明及正在做的工作

*量化 : 围绕 MoE 的量化还有许多研究正如火如荼地展开。上文展示了我们基于 TheBloke 所做的一些初步实验，但我们预计随着对该架构研究的深入，会涌现出更多进展！这一领域的进展将会是日新月异的，我们翘首以盼。此外，最近的工作，如 QMoE，实现了 MoE 的亚 1 比特量化，也是值得尝试的方案。

*高显存占用 : MoE 运行推理速度较快，但对显存的要求也相对较高 (因此需要昂贵的 GPU)。这对本地推理提出了挑战，因为本地推理所拥有的设备显存一般较小。MoE 非常适合多设备大显存的基础设施。对 Mixtral 进行半精度推理需要 90GB 显存 🤯。

更多资源

• MoE 详解

• Mistral 的 Mixtral 博文

• Hub 上的模型

• 开放 LLM 排行榜

• 基于 Mixtral 的 Hugging Chat 聊天演示应用

总结

我们对 Mixtral 的发布感到欢欣鼓舞！我们正围绕 Mixtral 准备更多关于微调和部署文章，尽请期待。

🤗 宝子们可以戳阅读原文 查看文中所有的外部链接哟！

英文原文: https://hf.co/blog/mixtral

原文作者: Lewis Tunstall，Philipp Schmid，Omar Sanseviero，Pedro Cuenca，Olivier Dehaene，Leandro von Werra，Younes Belkada

译者: Matrix Yao (姚伟峰)，英特尔深度学习工程师，工作方向为 transformer-family 模型在各模态数据上的应用及大规模模型的训练推理。

更多AI工具，参考Github-AiBard123，国内AiBard123