作者： 小麦AIGC 来源： 小麦AIGC

Lumiere 是谷歌最新发布的视频生成工具，跟其他文本到视频扩散模型一样，它能够理解输入的文字描述，并基于这些文字生成连贯且真实感强的视频。

它的特点在于同时处理视频的空间（即画面）和时间（即运动）元素，以确保生成的视频既在视觉上有吸引力又在时间上连贯。

研发团队采用了一种创新的空间-时间 Unet架构，能够在模型中一次生成完整视频，跟传统的合成关键帧再利用超分辨率技术来处理的方法不同，传统方法比较难保持视频在时间上的连贯性。

这种方法比传统的视频合成技术更加高效和精确，特别适合于创意内容制作和视频编辑，如从静态图像制作视频、修复损坏的视频片段或创造有特殊风格的视频。

让我们具体来看看Lumiere都有哪些能力吧：

1. 文本转视频

生成画面动作幅度大、动作流畅

2. 图像转视频

视频与原始图像几乎没有明显差异

3. 特定风格生成

通过使用单个参考图像，Lumiere可以利用经过微调的文本到图像模型权重来生成目标风格的视频。

‍

4. 视频风格化

利用Lumiere，可以使用现成的基于文本的图像编辑方法来进行一致的视频编辑。

5. 动态照片

Lumiere能够在用户指定的特定区域内使图像内容动画化，有点像runway的动态笔刷。

6. 视频修复

缺失部分几乎进行了完美修复

通过以上官方的演示可以发现不管是图像生成还是编辑，效果都非常好，画面风格、主体都保持了很好的一致性，动作也非常连贯，讲真有点难以置信。

感兴趣的小伙伴可以在项目主页了解更多（这个主页做得看起来真的有点像是个成熟的产品了），啥时候开源模型或者做出个产品来，那对AI电影制作又将是一个大的技术推动。

https://lumiere-video.github.io/

END

如果喜欢上面的内容，请关注小麦AIGC，最新内容每日更新；如有好的选题建议，也可以给我们发消息哦。

点个在看，你最好看

更多AI工具，参考Github-AiBard123，国内AiBard123