作者： NLP前沿 来源： NLP前沿

“

文本复制自readme，模型没测过，paper也没看，主要最近不整文生图相关的项目。

https://huggingface.co/IDEA-CCNL/Taiyi-Stable-Diffusion-XL-3.5B  
https://arxiv.org/pdf/2401.14688.pdf  

Taiyi-Diffusion-XL文生图模型训练主要包括了3个阶段。

• 首先，我们制作了一个高质量的图文对数据集，每张图片都配有详细的描述性文本。为了克服网络爬取数据的局限性，我们使用先进的视觉-语言大模型生成准确描述图片的caption。这种方法丰富了我们的数据集，确保了相关性和细节。

• 然后，我们从预训练的英文CLIP模型开始，为了更好地支持中文和长文本我们扩展了模型的词表和位置编码，通过大规模双语数据集扩展其双语能力。训练涉及对比损失函数和内存高效的方法。

• 最后，我们基于Stable-Diffusion-XL，替换了第二阶段获得的text encoder，在第一阶段获得的数据集上进行扩散模型的多分辨率、多宽高比训练。

我们的机器评估包括了对不同模型的全面比较。评估指标包括CLIP相似度（CLIP Sim）、IS和FID，为每个模型在图像质量、多样性和与文本描述的对齐方面提供了全面的评估。在英文数据集（COCO）中，Taiyi-XL在所有指标上表现优异，获得了最好的CLIP Sim、IS和FID得分。这表明Taiyi-XL在生成与英文文本提示紧密对齐的图像方面非常有效，同时保持了高图像质量和多样性。同样，在中文数据集（COCO-CN）中，Taiyi-XL也超越了其他模型，展现了其强大的双语能力。

ModelCLIP Sim()FID()IS()

English Dataset (COCO)

Alt-Diffusion 0.220 27.600 31.577

SD-v1.5 0.225 25.342 32.876

SD-XL 0.231 23.887 33.793

Taiyi-XL 0.254 22.543 35.465

Chinese Dataset (COCO-CN)

Taiyi-v0.1 0.197 69.226 21.060

Alt-Diffusion 0.220 68.488 22.126

Pai-Diffusion 0.196 72.572 19.145

Taiyi-XL 0.225 67.675 22.965

更多AI工具，参考Github-AiBard123，国内AiBard123