Parts2Whole

Parts2Whole是一个用于生成定制化人物形象的框架，可以将多个参考图片中的不同部分组合成一个完整的人物图像。简单来说，它能够通过一些输入图片，生成在姿势、外貌等方面符合要求的新人物图像。

主要功能：

1. 自定义合成：可以从多个参考图片中抽取不同部分（如脸部、服装等），并将这些部分组合成一个新的完整人物图像。例如，你可以指定一个人的脸部和另外一个人的服装，生成一个穿着特定服装的合成形象。

2. 细节保留：框架使用了一种语义感知的编码方式，能够保留不同人体部分的细节，使生成的图像更加逼真。

3. 多图像条件生成：通过共享的自注意力机制来结合参考图片和目标图片的特征，生成目标图像时考虑到所有输入的参考图像。

4. 精确选择：通过参考图片中的掩码信息，能够精确地选择特定部分进行生成。

使用场景：

1. 角色设计：在游戏或动漫中创造新角色，需要将不同特征组合在一起。
2. 服装搭配展示：电商网站可以展示不同服装穿搭效果，不需真人模特反复试穿。
3. 创意艺术：艺术家或设计师可以使用该工具快速生成符合特定需求的人物图像，用于创作参考或成品。
4. 定制头像：用户可以根据不同的参考图像来生成个性化头像，例如社交媒体头像设计。

如何使用：

1. 安装依赖：

   • 克隆仓库并安装所需的Python包。
   • 下载预训练权重文件。

2. 运行推理脚本：

   • 修改推理脚本inference.py中的配置，包括检查点路径和输入信息。
   • 运行脚本生成图像。

3. 提供输入数据：

   • 输入数据包括“appearance”（外貌）、“mask”（掩码）和“structure”（结构）的信息，对应人体的不同部分和姿势。

4. 工具辅助：

   • 使用工具如Real-ESRGAN（图像超分辨率）和SegFormer（图像分割），帮助获得高质量的参考图像和掩码信息。