Flux 图像修改
本章节将介绍如何使用 Flux 模型进行图像修改。包含如何使用 Flux Fill 模型修改图片的某一部分,以及如何使用 Outpainting 扩展图片的某一部分。
This image is generated by AI
当你使用 Flux 生成完图片后,你可能对图片里的某些部分不太满意。比如,你对图片里的人物头发不满意,你可能会通过修改 Prompt 的方式,比如添加了 red hair,然后重新生成图片。但使用这种方式人物的头像变成了红色,可能其他地方也会发生变化。
亦或者你想将一张人物图片里的人物头发同样变成红色,但又不想其他地方发生变化。比如像这样:
那要如何使用 Flux 模型在不影响其他地方的,只改变某一区域呢?这就需要用到 Flux 的图像修改功能。
1. 下载 Flux Fill 模型
我们需要用到 Flux fill 模型。你需要去到这里下载 Flux fill dev 模型,并将其放在 /models/diffusion_models/
目录下。
2. Flux Inpainting 工作流
首先,我们先来说下,如何不改变其他地方,只改变某一区域。
下载好模型后,你可以根据以下截图,连接节点。如果你不想手动连接,你可以下载此工作流模板,并导入到本地 ComfyUI 使用。(另外,如果你不知道如何下载 Comflowy 模板,可以参考此教程)
整个工作流跟 Stable Diffusion 的 Inpainting 工作流很像。也都是将图片转为 Conditioning 将 Prompt 和图片一起输入到 KSampler 节点中。
只需要加载基础的 Flux 工作流,然后在图示 ① 中的 Load Diffusion Model 节点中选择 Flux fill 模型,然后将 EmptySD3LatentImage 节点替换为图示 ② 中的 InpaintModelConditioning 节点,然后将其和 ③ 中的 Load Image 节点相连。
接着你就需要将想要修改的图片输入到 Load Image 节点中。然后点击右键,选择 Open in MaskEditor
(图中①),进入到 MaskEditor 中使用。
此时你可以点击左侧的 Brush
按钮(图中②),然后使用画笔在图片上涂抹,涂抹的区域就是你想要修改的区域(图中④),如果你觉得涂抹区域太小还可以在右侧(图中③)进行修改。同时左侧还有橡皮工具,可以擦除你涂抹的区域。完成涂抹后,点击顶部的 Save 按钮(图中⑤),保存你的修改。
完成涂抹后,你只需要修改 Prompt 即可。比如我这个案例,则是将 Prompt 设置为 a girl with red hair
。然后点击 Generate 按钮,生成图片。
3. Flux Outpainting 工作流
Flux Fill 模型除了可以修改图片的某一部分,还可以将图片的某一部分进行扩展。比如像下图所示这样。我将一张图片给到 Flux 模型,让其继续绘制图片右边和下边的区域:
你可以通过调整 Inpainting 工作流来搭建 Outpainting 工作流。如果你不想手动连接,你可以下载此工作流模板,并导入到本地 ComfyUI 使用。(另外,如果你不知道如何下载 Comflowy 模板,可以参考此教程)
首先你需要添加一个 Pad Image for Outpainting 节点(图中①),然后将其和 Load Image 和 InpaintModelConditioning 节点相连。然后你还需要在 Pad Image for Outpainting 节点中设置你想要扩展的区域,比如我想将图片的右边拓展 104 像素,下边拓展 504 像素。如果你想拓展顶部和左侧,则还需要设置 Top 和 Left 的值。设置好后,在图示中的 ② 中加载你需要拓展的图片。然后记得输入 Prompt,我的 Prompt 是 An orange-haired girl with a bikini on top and jeans on bottom. Blue sky background
。然后点击 Generate 按钮,生成图片。
经过我的测试,我个人感觉 Flux Fill 在 outpainting 场景相对没有 inpainting 那么好。所以你可能需要多生成几次,才能生成出满意的图片。
4. Flux Fill API 工作流
如果你的电脑性能不够,无法跑动 Flux Fill 模型,也可以试试在 ComfyUI 里使用 Comflowy 的 Fill API 节点。当然,你也可以直接在 Comflowy 里使用 Flux Fill API 节点,链接方式很简单,只需要用一个节点就能使用(不过 API 节点无法接收 Mask 数据,所以还需要将 Mask Convert 成 Image),同时还支持 Flux Pro 版本和 Dev 版本。