小红书发布的InstantID最近火了,已更新代码和模型,可以线上体验或离线部署
作者: 小麦AIGC 来源: 小麦AIGC
InstantID可以用一张图片作为参考就可以生成定制化的头像照片,不需要训练任何模型。
Instant ID通过结合使用ControlNet和IP-Adapter来控制扩散过程中的面部特征。Instant ID的一个独特设计是,它将来自IP-Adapter投影的面部嵌入作为交叉注意力(cross attention)输入传递给ControlNet的UNet。
上周的时候小红书InstantX团队正式发布了InstantID的代码和模型,这几天吸引了大批AI爱好者测试,反响很不错。
线上体验
我们今天用线上demo体验了一下,模型预设了8种风格。
实测一:
上传《繁花》中宝总(胡歌)的剧照,然后输入下方提示词,选择风格Jungle
a man is dancing in Hawaii
把老胡的特征抓得很准,神情也几乎一样,动作词没有起作用。
实测二:
保持面部图片不变,上传参照姿势(下图),并输入提示词,选择风格watercolor
a man
可以看到面部表情还是惟妙惟肖的。
可以通过这里访问:
https://huggingface.co/spaces/InstantX/InstantID
常见部署
接下来我们介绍常用的几种部署方式:
WebUI
教程:
https://github.com/Mikubill/sd-webui-controlnet/discussions/2589
注意事项:
InstantID在WebUI上采用2个模型。要始终把IP-Adapter模型设置为第一个模型,因为ControlNet模型从IP-Adapter模型获取输出。
模型要放在指定目录下: {A1111_root}/models/ControlNet
将模型分别重命名,以确保扩展功能识别:ip-adapter_instant_id_sdxl 和 control_instant_id_sdxl 。
ComfyUI
教程:
https://github.com/ZHO-ZHO-ZHO/ComfyUI-InstantID
自行构建Gradio
动手能力强的小伙伴也可以不使用WebUI或ComfyUI,直接用Python脚本来实现,官方也给了用例:
https://github.com/InstantID/InstantID?tab=readme-ov-file#download
END
如果喜欢上面的内容,请关注小麦AIGC,最新内容每日更新;如有好的选题建议,也可以给我们发消息哦。
点个在看,你最好看
更多AI工具,参考Github-AiBard123,国内AiBard123