PlacidDreamer

PlacidDreamer是由清华大学和快手的研究团队（包括黄硕、孙世昆、王子轩、秦晓宇、熊妍敏、张远、万鹏飞、张迪和贾佳）开发并在ACM Multimedia 2024发表的一款文本到3D生成工具。它通过"Balanced Score Distillation (BSD)“技术，比传统方法更快速且高效地生成高质量的3D图像。

PlacidDreamer的使用场景

1. 文本到3D生成：能够将文本描述直接转换为3D模型，这对于虚拟现实、游戏开发和动画制作等领域非常有用。
2. 多视图图像生成和网格重建：可以从单张图像生成多视角图像，并重建出对应的3D模型，适用于产品设计和展示。
3. 图像生成细化：Fine-tuning文本到图像的扩散模型，提升生成图像的质量和细节。
4. T3Bench评估：用于评估生成的3D模型的质量和文本对齐度，适合科研和工业领域的性能测试。

安装和使用

• 安装步骤：

  git clone https://github.com/HansenHuang0823/PlacidDreamer.git --recursive
  conda create -n PlacidDreamer python=3.10.13 cudatoolkit=11.8
  conda activate PlacidDreamer
  pip install -r requirements.txt
  pip install submodules/diff-gaussian-rasterization/
  pip install submodules/simple-knn/
  

• 生成与重建：

  # 从图像生成多视角图像和网格重建
  python imagetomesh.py --elev 10 --im_path cactus.png
  
  # 细调文本到图像扩散模型
  sh train_dreambooth_lora.sh
  
  # 执行平衡得分蒸馏
  python train.py --opt configs/cactus.yaml --lambda_ 18.0 --name cactus --lora_path lora_checkpoints/cactus
  
  # 使用SDS分解的BSD变体
  python train.py --opt configs/cactus.yaml --auto_BSD true --name cactus --lora_path lora_checkpoints/cactus
  

• 评估：

  # 评估质量
  python T3Bench_Evaluation/eval_quality.py
  # 评估文本对齐度
  python T3Bench_Evaluation/eval_blip.py
  python T3Bench_Evaluation/eval_alignment.py # 需替换GPT-4 API密钥
  

PlacidDreamer依托LucidDreamer构建，并在其基础上进行扩展与优化，其开发团队对此前代码库的作者表示感谢。