深度干货这可能是国内第一篇Flux系列模型单卡4090微调lora分享！
作者： AI过年 来源： AI过年
「彩虹之眼」整理 | 教程部分由知乎大佬「社恐患者杨老师」投稿
全网首发 | Flux系列模型单卡4090微调lora分享（建议收藏）
01**/**
先卖个关子！
据说自从 FLUX.1 开源模型发布以来，大批的Midjourney忠实粉丝都纷纷转投Flux
而这一切都是从前Stability AI 核心成员 Robin Rombach 创立了一个名为Black Forest Labs的新公司开始，还顺带拿到3200万美元的融资，重新把开源文生图生态拉到巅峰！
前几天网友制作的 TEDx AI 讲师被推友们转封了，你敢相信视频中的女人是AI生成的吗？没错她就是AI生成的！
视频（左）是使用 Runway Gen 3 创建的，图像（右）是使用 Flux 创建的。
看到这不知道大家是什么感受!如果有人拿着你照片干坏事，细思极恐听起来是不是很恐怖。没事不要慌，赶紧转给家人看看哈哈哈哈
简直是精准控图呀，直接把目前的99%文生图模型按在地上摩擦呀！
！！！看到这还不是最炸裂的，有趣的是昨天FLUX.1 直接和 Grok-2 官宣了！( 没错Grok-2就是马斯克的X.AI）
也就是老马发布的grok-2的模型直接用flux出图，尺度之大简直不敢想象！在FLUX 上生成图像上没有做任何限制。比如朗普、米老鼠、泰勒·斯威夫特等，这些在别的AI 工具里根本无法生成，但是在 FLUX 上都可以干。（话不多说直接看图）
直接把我整乐了！！！老马真的是干大事的人，足够大胆，佩服！！！
于是就出现一个梗：用flux输入下一任美国总统永远画的是特朗普!!!
看到这是不是应该直呼离谱~
好了，下面言归正传~
02**/**
前几天杨老师做了一场线上Flux系列模型单卡4090微调lora分享！
可能也是国内首个公开分享，目前在国外跑通Flux系列模型单卡4090微调lora的也没几个。
训练器脚本模型环境已经全部打包上传到百度网盘。为照顾大多数人下面将从认识Flux开始！！！我把Lora 训练基础教程放到文末~（大神可直接跳到文末）
认识Flux模型
8月1日 黑森林实验室发布 FLUX.1模型套件
并同步发布一篇博客：
https://blackforestlabs.ai/announcing-black-forest-labs/
感兴趣的朋友可以去扒一下！
随后敏神-张吕敏发了一组最新NF4量化Flux模型效果与FP8量化效果对比（就说有没有被惊艳到
）
Flux的应用场景
也顺带分享几组应用场景
Text2Img
a young woman smiling while speaking onstage from google, white background with corporate logos blurred out, tech conference
Img2Img
噪点图生成漫画
使用Flux结合GEN-3 or kling 制作商业广告片
Flux模型能力实现角色一致性
现有的Flux Lora模型
Flux1.dev-AsianFemale
亚洲人像Lora
https://civitai.com/models/633841/flux1dev-asianfemale?t&utm_source=perplexity
Flux-Lora-littletinies
https://huggingface.co/pzc163/flux-lora-littletinies
yarn_art_Flux_LoRA
https://huggingface.co/linoyts/yarn_art_Flux_LoRA
XLabs-AI
https://huggingface.co/XLabs-AI/flux-lora-collection
基于FLUX的Controlnet模型
Canny
InstantX团队正式开源基于Flux的Canny模型，之前发布的是alpha测试版，正式版目前已经发布，大家可以测试来看看
https://huggingface.co/InstantX/FLUX.1-dev-Controlnet-Canny/
####03**/**
Lora 训练基础教程
推荐训练环境
python=3.10 torch=2.4.0 Cuda=12.1
训练代码GitHub链接：
https://github.com/ostris/ai-toolkit
git clone https://github.com/ostris/ai-toolkit.gitcd ai-toolkitgit submodule update --init --recursivepython -m venv venv.\venv\Scripts\activatepip install torch torchvision --index-url https://download.pytorch.org/whl/cu121pip install -r requirements.txtpython run.py config/train_lora_flux_24gb.yaml
br
训练教程直播地址
单卡4090做flux lora训练的B站直播地址：
不同硬件配置，FLUX-dev模型训练速度对比：
综合对比来看，性价比最高的还是4090
A100(batch size: 4) 训练速度：0.3478 it/s
H100(batch size: 4) 训练速度：0.4537 it/s
单卡4090(batch size: 1) 训练速度：0.4375 it/s
L40s(batch size: 1) 训练速度：0.838 it/s
重要参数设置！！！
昨天直播的过程忘记说了repeat如何设置，这个参数默认的yaml文件中没有，需要手动添加，位置如下：
在datasets下面手动添加num_repeates: 20
重要！！如果不添加此项参数，默认的repeat会设置为0
如何根据训练数据配置参数
low_vram: true 这个一定要打开，否则会爆OOM
占坑！
占坑！
训练器压缩包
通过百度网盘分享的文件：ai-toolkit.rar
链接：
https://pan.baidu.com/s/1Yn1XmQcCr1UBupxYMuLhLg?pwd=iow7
提取码：iow7
–来自百度网盘超级会员V5的分享
驯服Flux小tips
如何让Flux更好地跟随指令，并添加negative prompt？可以尝试一下这个方法：
Flux 模型的 CFG 值必须设置为1，CFG = 1 导致不能使用negative prompts，如果我们增加 CFG，很快就会出现色彩过饱和和输出崩溃的情况，为了解决这个问题，我们可以使用一个sd-dynamic-thresholding 的插件来解决。它让Flux跟随提示变得更好，而且现在还可以使用负negative prompts。注意：这里的"DynamicThresholdingFull “上的参数设置并非最佳设置，如果有人能找到比这更好的设置，请与大家一起分享。
插件地址：
https://github.com/mcmonkeyprojects/sd-dynamic-thresholding
1.CFG 与 “引导比例 “不同（默认为 3.5 ）
2.“interpolate_phi “参数负责图片的 “饱和度/去饱和度”，如果您觉得图片有问题，请调整该参数。
3.在对 mimic_mode 和 cfg_mode 进行了一些 XY 图测试后，很明显，对两者都使用Half Cosine Up是最好的解决方案：
4: AD + MEAN，因为与其他方法相比，它们给出的光影最柔和：
5: 我选择了 interpolate_phi = 0.7 + “enable”，因为与其他方法相比，它们给出的光影也最柔和：
到这里就结束了，最后我们打造了一个flux开源社区，后续会持续更新有关Flux训练的内容，欢迎大家一起编辑共建知识库！
飞书知识库地址：
https://seiyln6g2h.feishu.cn/docx/XZNEde70WoU8fhxYn3dcT3avnjf?from=from_copylink
看到这里，如果觉得不错，随手点个赞、在看、转发三连吧，如果想第一时间收到推送，也可以给我个星标哦！
⭐～谢谢你看我的文章。
⭐我是彩虹少女：感谢你的阅读。
⭐视频号：RainbowEye
更多AI工具，参考Github-AiBard123，国内AiBard123
