作者： NLP前沿 来源： NLP前沿

“

挺长的综述

https://arxiv.org/pdf/2401.13601.pdf  

文章主要介绍了多模态大型语言模型（MM-LLMs）的最新进展，这些模型通过成本效益的训练策略，增强了现成的大型语言模型（LLMs）以支持多模态输入或输出。这些模型不仅保留了LLMs固有的推理和决策能力，还为多种多模态任务提供了支持。文章首先概述了模型架构和训练流程的一般设计公式，然后简要介绍了26个现有的MM-LLMs，每个模型都有其特定的公式。此外，文章还回顾了MM-LLMs在主流基准测试上的性能，并总结了增强MM-LLMs效能的关键训练配方。最后，文章探讨了MM-LLMs的有前景的发展方向，并同时维护了一个实时跟踪网站，以促进该领域最新发展的更新。作者希望这项调查能为MM-LLMs领域的持续进步做出贡献。

文章还详细介绍了MM-LLMs的五个主要组成部分：模态编码器（Modality Encoder）、输入映射器（Input Projector）、LLM主干（LLM Backbone）、输出映射器（Output Projector）和模态生成器（Modality Generator）。这些组件共同构成了MM-LLMs的一般模型架构，并在训练过程中扮演着不同的角色。文章还讨论了如何通过预训练文本（PT）和指令调整（IT）流程来增强预训练的文本-only LLM，以支持多模态输入或输出。

此外，文章还提供了对主流多模态基准测试的全面性能比较，并从各种论文中提取了提升MM-LLMs效能的关键训练配方。这些配方包括使用更高分辨率的图像、整合高质量的SFT数据、执行参数高效的微调（PEFT）方法等。

文章最后讨论了MM-LLMs的未来发展方向，包括扩展模态、多样化LLMs、提高MM IT数据集质量、增强MM生成能力、构建更具挑战性的基准测试、实现移动/轻量级部署、持续的IT以及在机器人智能中的应用。作者还提到了他们建立的一个网站（https://mm-llms.github.io），用于实时跟踪MM-LLMs的最新进展，并促进研究者之间的合作。

文章的附录部分提供了对MM-LLMs的进一步讨论，包括主流的PEFT方法、常用的LLMs、多模态基准测试、训练数据集的统计信息，以及对现有MM-LLMs的详细介绍。

更多AI工具，参考Github-AiBard123，国内AiBard123