AI 文摘

小红书发布的InstantID最近火了,已更新代码和模型,可以线上体验或离线部署





作者: 小麦AIGC 来源: 小麦AIGC

InstantID可以用一张图片作为参考就可以生成定制化的头像照片,不需要训练任何模型。

Instant ID通过结合使用ControlNet和IP-Adapter来控制扩散过程中的面部特征。Instant ID的一个独特设计是,它将来自IP-Adapter投影的面部嵌入作为交叉注意力(cross attention)输入传递给ControlNet的UNet。

上周的时候小红书InstantX团队正式发布了InstantID的代码和模型,这几天吸引了大批AI爱好者测试,反响很不错。

线上体验

我们今天用线上demo体验了一下,模型预设了8种风格。

实测一:

上传《繁花》中宝总(胡歌)的剧照,然后输入下方提示词,选择风格Jungle

a man is dancing in Hawaii

把老胡的特征抓得很准,神情也几乎一样,动作词没有起作用。

实测二:

保持面部图片不变,上传参照姿势(下图),并输入提示词,选择风格watercolor

a man

可以看到面部表情还是惟妙惟肖的。

可以通过这里访问:

https://huggingface.co/spaces/InstantX/InstantID

常见部署

接下来我们介绍常用的几种部署方式:

WebUI

教程:

https://github.com/Mikubill/sd-webui-controlnet/discussions/2589

注意事项:

InstantID在WebUI上采用2个模型。要始终把IP-Adapter模型设置为第一个模型,因为ControlNet模型从IP-Adapter模型获取输出。

模型要放在指定目录下: {A1111_root}/models/ControlNet

将模型分别重命名,以确保扩展功能识别:ip-adapter_instant_id_sdxl 和 control_instant_id_sdxl 。

ComfyUI

教程:

https://github.com/ZHO-ZHO-ZHO/ComfyUI-InstantID

自行构建Gradio

动手能力强的小伙伴也可以不使用WebUI或ComfyUI,直接用Python脚本来实现,官方也给了用例:

https://github.com/InstantID/InstantID?tab=readme-ov-file#download

END

如果喜欢上面的内容,请关注小麦AIGC,最新内容每日更新;如有好的选题建议,也可以给我们发消息哦。

点个在看,你最好看

更多AI工具,参考Github-AiBard123国内AiBard123

可关注我们的公众号:每天AI新工具