StabilityAI发布StableVideo3D,可以生成更高质量的3D角色了!
作者: 小麦AIGC 来源: 小麦AIGC
今天早些时候,Stable Diffusion的母公司Stability AI发布了旗下最新的3D生成模型——Stable Video 3D(下称SV3D),这个模型基于Stable Video Diffusion,可以生成高质量、多视角的3D角色。
模型特点
-
使用的视频扩散模型在生成输出的泛化能力和视图一致性上,相比较单个图像的扩散模型要有明显优势;
-
可以从任意角度生成连贯的新颖视角,大大提高了3D动作姿态的可控性;
-
多视图一致性有助于优化3D表示和网格,从而提高从单个图像直接生成3D网格的质量。
-
引入了一个特别设计的照明模型,可以减轻之前那些预设的光照条件给视频效果带来的影响;
-
设计了一种新的技术(掩码分数蒸馏损失函数),可以进一步提升不可见区域的3D质量。
模型版本
本次共开源了两个版本的模型:
SV3D_u :可以基于单个图像输入直接生成立体环绕视频,不需要控制镜头运动;
SV3D_p :基于SV3D_u的扩展模型,可以输入一个图像和环绕视图,从而可以按照指定的镜头运动轨迹来生成3D视频。
可以在HuggingFace上下载模型文件(附在文后),请注意,如果需要用于商业用途,请确保具有Stability AI的会员资格。
Stability AI开发团队还比对了其他两个3D生成模型,通过下图可以明显看出,不管是生成质量还是光线,SV3D的效果都要更好。
模型下载:
https://huggingface.co/stabilityai/sv3d
更多内容:
https://stability.ai/news/introducing-stable-video-3d
END
如果喜欢上面的内容,请关注小麦AIGC,最新内容每日更新;如有好的选题建议,也可以给我们发消息哦。
点个在看,你最好看
更多AI工具,参考Github-AiBard123,国内AiBard123