AI 文摘

StabilityAI发布StableVideo3D,可以生成更高质量的3D角色了!





作者: 小麦AIGC 来源: 小麦AIGC

今天早些时候,Stable Diffusion的母公司Stability AI发布了旗下最新的3D生成模型——Stable Video 3D(下称SV3D),这个模型基于Stable Video Diffusion,可以生成高质量、多视角的3D角色。

模型特点

  1. 使用的视频扩散模型在生成输出的泛化能力和视图一致性上,相比较单个图像的扩散模型要有明显优势;

  2. 可以从任意角度生成连贯的新颖视角,大大提高了3D动作姿态的可控性;

  3. 多视图一致性有助于优化3D表示和网格,从而提高从单个图像直接生成3D网格的质量。

  4. 引入了一个特别设计的照明模型,可以减轻之前那些预设的光照条件给视频效果带来的影响;

  5. 设计了一种新的技术(掩码分数蒸馏损失函数),可以进一步提升不可见区域的3D质量。

模型版本

本次共开源了两个版本的模型:

SV3D_u :可以基于单个图像输入直接生成立体环绕视频,不需要控制镜头运动;

SV3D_p :基于SV3D_u的扩展模型,可以输入一个图像和环绕视图,从而可以按照指定的镜头运动轨迹来生成3D视频。

可以在HuggingFace上下载模型文件(附在文后),请注意,如果需要用于商业用途,请确保具有Stability AI的会员资格。

Stability AI开发团队还比对了其他两个3D生成模型,通过下图可以明显看出,不管是生成质量还是光线,SV3D的效果都要更好。

模型下载:

https://huggingface.co/stabilityai/sv3d

更多内容:

https://stability.ai/news/introducing-stable-video-3d

END

如果喜欢上面的内容,请关注小麦AIGC,最新内容每日更新;如有好的选题建议,也可以给我们发消息哦。

点个在看,你最好看

更多AI工具,参考Github-AiBard123国内AiBard123

可关注我们的公众号:每天AI新工具