AI新工具
banner

SDXS


介绍:

小米发布的大幅增强SD 图像生成技术SDXS









SDXS

SDXS是一个基于最新发展的扩散模型(Diffusion Models)的图像生成技术。扩散模型因其出色的性能成为图像生成领域的前沿,但同时也存在一些缺点,如结构复杂、计算需求大,在生成图片时需要通过迭代采样过程,这会导致明显的延迟。

为了解决这些问题,SDXS采取了两种策略:模型微型化和减少采样步骤。这两种方法结合,大大降低了模型的延迟。具体来说,SDXS通过知识蒸馏(Knowledge Distillation)技术来简化U-Net和图像解码器(image decoder)的架构,并引入了一种创新的一步DM训练技术,这种技术通过特征匹配和得分蒸馏来实现。SDXS提供了两种模型,分别是SDXS-512和SDXS-1024,它们在单GPU上的推理速度分别能达到约100 FPS和30 FPS,这比传统模型快了30倍和60倍。

SDXS的应用场景主要是在需要快速生成高质量图片的条件下,比如图像绘制、图像到图像的转换等场合。它特别适合于那些对延迟敏感并且需要实时反馈的应用,例如在线的图像编辑工具或者游戏中的即时图像生成。

简而言之,当你遇到以下情况时可能会使用SDXS:

  1. 快速图像生成:如果你需要在很短的时间内生成大量高质量的图片。
  2. 图像到图像的转换:比如将素描转换为彩色图像,或者根据深度图生成实景图像。
  3. 需要节省计算资源:SDXS通过模型微型化和减少采样步骤,在保持图片质量的前提下,大大减少了计算需求。

不仅为图像生成技术的发展提供了新的可能性,而且还推动了扩散模型在实时应用中的使用,拓宽了其应用范围。

可关注我们的公众号:每天AI新工具

广告:私人定制视频文本提取,字幕翻译制作等,欢迎联系QQ:1752338621