十亿参数，一键瘦身！「模型减重」神器增强型 SmoothQuant，让大模型狂掉 34 作者：新智元来源： [新智元](https://mp.weixin.qq.com/s/mmAdxmE0RgpHexMO1quZMg) ** ** **新智元报道 ** 作者：英特尔公司陆崟彤何欣郭恒程文华王畅王梦妮沈海豪编辑：编辑部【新智元导读】 Sam Altman 曾表示，

十亿参数，一键瘦身！「模型减重」神器增强型 SmoothQuant，让大模型狂掉 34

作者： 新智元  来源： [新智元](https://mp.weixin.qq.com/s/mmAdxmE0RgpHexMO1quZMg)

** ** **新智元报道 **

作者：英特尔公司

陆崟彤何欣郭恒程文华王畅王梦妮沈海豪

编辑：编辑部

本文介绍了可提升大语言模型的训练后量化表现的增强型 SmoothQuant 技术，说明了这项技术的用法，并证明了其在准确率方面的优势。此方法已整合至英特尔® Neural Compressor(1) 中。

英特尔® Neural Compressor 是一个包含量化、剪枝（稀疏性）、蒸馏（知识提炼）和神经架构搜索等多种常用模型压缩技术的开源 Python 库。

目前，诸如 TensorFlow、英特尔® Extension for TensorFlow(2)、PyTorch、英特尔® Extension for PyTorch(3)、ONNX Runtime 和 MXNet等主流框架，都能与之兼容。

英特尔® Neural Compressor 已经支持多款英特尔® 架构的硬件，比如英特尔® 至强® 可扩展处理器(4)、英特尔® 至强® CPU Max 系列(5) 、英特尔® 数据中心 GPU Flex 系列(6) 和英特尔® 数据中心 GPU Max 系列(7)。

本文涉及的实验基于第四代英特尔® 至强® 可扩展处理器(8) 进行。

大语言模型

大语言模型 (Large Language Model, LLM) 需基于海量数据集进行训练，可能拥有数十亿权重参数。

其先进的网络结构和庞大的参数量，使它们能够很好地应对自然语言本身的复杂性。

完成训练后的大语言模型，可针对各种下游的自然语言处理 (NLP) 和自然语言生成 (NLG) 任务进行调优，让其更适合对话式聊天机器人（如 ChatGPT）、机器翻译、文本分类、欺诈检测和情感分析等任务场景。

大语言模型部署面临的挑战

大语言模型在执行自然语言处理和自然语言生成任务方面表现出色，但其训练和部署颇为复杂，主要面临以下挑战：

因此，采用训练后量化的方法来为大语言模型瘦身，对于实现低时延推理至关重要。

大语言模型的量化

量化是一种常见的压缩操作，可以减少模型占用的内存空间，提高推理性能。采用量化方法可以降低大语言模型部署的难度。具体来说，量化是将浮点矩阵转换为整数矩阵：

其中 X_fp32、S 和 Z 分别为输入矩阵、比例因子和整数零点。

有关每通道 (per-channel) 量化策略虽然可能会减少量化损失，但不能用于激活值量化的原因，请参看 SmoothQuant 相关文档(10) 。

不过，激活值量化误差损失却是导致模型量化准确率下降的重要因素。为此，人们提出了很多方法来降低激活值量化损失，例如：SPIQ(11) 、Outlier Suppression(12) 和 SmoothQuant(13) 。

这三种方法思路相似，即把激活值量化的难度转移到权重量化上，只是三者在转移难度的多少上有所不同。

增强型 SmoothQuant

SmoothQuant 引入了一个超参数 α 作为平滑因子来计算每个通道的量化比例因子，并平衡激活值和权重的量化难度。

其中 j 是输入通道索引。

对于期权定价模型 (OPT) 和 BLOOM 等大多数模型来说，α=0.5 是一个能够较好实现权重和激活值量化难度分割的平衡值。

模型的激活异常值越大，就越需要使用更大的 α 值来将更多的量化难度转移到权重上。

原始的 SmoothQuant 旨在通过针对整个模型使用一个固定值 α 来分割权重和激活值的量化难度。

然而，由于激活异常值的分布不仅在不同模型之间存在差异，而且在同一模型的不同层之间也不尽相同，因此，本文推荐使用英特尔® Neural Compressor 的自动调优能力，逐层获取最佳 α 值。

相关方法包括以下五个主要步骤（伪代码如下所示）：

通过特殊的回调函数 register_forward_hook 捕获 (hook) 模型各层的输入和输出值。
根据用户定义的 α 范围和步长生成一个 α 值列表。
根据给定的 α 值重新计算平滑因子并调整参数（权重值和激活值）。
对权重执行每通道量化与反量化 (quantization_dequantization)，对输入值执行每张量 (per-tensor) 量化与反量化，以预测与给定 α 值对应的每层输出值。
计算相对实际输出值的均方损失，将调整后的参数恢复回来，并保存每层的最佳 α 值。