MoH

MoH简介

MoH（Mixture-of-Head Attention，头的混合注意力）是一种新的注意力机制架构，旨在提升模型的效率和性能。它将注意力头视为专家，采用了专家混合（Mixture-of-Experts，MoE）机制。MoH的核心优势在于：

1. 选择性注意力头：MoH允许每个令牌选择适当的注意力头，从而提高推理效率，并且不会影响精度或增加参数数量。
2. 加权求和：MoH用加权求和替换了传统多头注意力中的标准求和，增加了注意力机制的灵活性，并提高了额外的性能潜力。

MoH的使用场景

MoH在多种流行的模型框架下都有应用，包括：

• 视觉变换器（ViT）：用于图像分类任务。
• 扩散模型和变换器（DiT）：用于分类条件图像生成。
• 大型语言模型（LLMs）：用于语言处理任务。

通过实验证明，MoH在这几种框架中相比于传统的多头注意力，使用50%到90%的注意力头，仍然能实现更好的表现。此外，MoH模型还支持继续微调，以进一步提升预训练模型（如LLaMA3-8B）的性能。

总的来说，MoH的出现为各类机器学习任务提供了一种高效且灵活的注意力机制选择，特别适合需要处理复杂任务和大规模数据的场景。