この画像は AI によって生成されました
この章では、ComfyUI で Flux モデルを使用する方法を紹介します。ComfyUI に不慣れな場合は、ComfyUI 101 チュートリアルを先に読んでください。
- Full version of Flux：この Flux モデルファイルには Text Encoder と VAE モデルが含まれていないため、他のモデルをダウンロードする必要があります。この方法は、VRAM が 24GB 以上、メモリが 32GB 以上のユーザーに適しています。ただし、この方法で得られる画像の画質が最も高くなります。
- ComfyUI official supported FP8 version of Flux：この Flux モデルファイルには Text Encoder と VAE モデルが含まれているため、Checkpoint で直接使用できます。この方法は、VRAM が 24GB 未満のユーザーに適しています。ただし、このバージョンの Flux の画質はフルバージョンよりも劣ります。
- GGUF version：このバージョンはオープンソースコミュニティの開発者によって提供されており、小さな VRAM デバイスで Flux モデルを使用するために開発されました。開発者は Flux モデルを GGUF 形式に変換しましたが、FP8 の精度を大幅に失うことはありません。ただし、この方法では追加のプラグインをインストールする必要があります。
- NF4 version：このバージョンは GGUF と同様に、小さな VRAM デバイスで Flux モデルを使用するために開発されました。しかし、私の実験によると、NF4 は画質の予測性が最も低いバージョンです。時には画像が非常に良く、時には非常に悪くなります。一貫性の問題があると考えているため、使用しないことをお勧めします。
1. Flux フルバージョン
1.1 Flux モデルのダウンロード
まず、必要なモデルをローカルマシンにダウンロードします。まず、Flux モデルをダウンロードします。HuggingFace から FLUX.1-dev または FLUX.1-schnell モデルをダウンロードできます。 FLUX.1-dev ページに移動し、Files and versions ボタン (図の①) をクリックし、Download ボタン (図の②) をクリックしてモデルをダウンロードします。
/models/diffusion_models/ ディレクトリに配置します。
1.2 Text Encoder モデルのダウンロード
次に、Text Encoder モデルをダウンロードします。前の章で説明したように、Flux は2つの Text Encoder モデルを使用します。ここ から2つのモデルをダウンロードします。1つはclip_l.safetensors、もう1つは t5xxl_fp16.safetensors です。
t5xxl_fp8_e4m3fn.safetensors モデルをダウンロードします。ダウンロードしたモデルは ComfyUI の /models/clip/ ディレクトリに配置します。
1.3 VAE モデルのダウンロード
最後に、VAE モデルをダウンロードします。ここ からモデルをダウンロードします。ダウンロードしたモデルは ComfyUI の/models/vae/ ディレクトリに配置します。
1.4 ComfyUI ワークフローの設定
1.4.1 ComfyUI 公式推奨バージョン
モデルをダウンロードしたら、ワークフローを構築できます。 まず、ComfyUI が推奨するフルバージョンのワークフローを紹介します。以下のスクリーンショットを参照してノードを接続し、手動で接続することでフルワークフローを理解できます。
Flux Dev アプリ
このアプリケーションを使用すると、1枚の画像生成が8秒で完了します。
Flux ComfyUI テンプレート
右上隅の Remix ボタンをクリックして、ワークフローモードに入ります。
| 図 | 説明 |
|---|---|
| ① | Diffusion Model ノードを使用して Flux モデルをロードします。Black Forest Labs が提供する Flux モデルには Text Encoder と VAE モデルが含まれていないため、このノードを使用してモデルをロードし、Load Checkpoint ノードを使用しません。 |
| ② | ModelSamplingFlux ノードの Base shift は、画像生成プロセスを安定させる小さな安定調整です。Maximum shift は潜在ベクトルの最大許容変更で、極端な逸脱から出力を防ぎます。2つの組み合わせにより、画像生成の安定性と柔軟性のバランスを実現できます。 Base shift を増加させると、生成された画像はより一貫して期待された形式に近くなる可能性がありますが、わずかな詳細が失われる可能性があります。Base shift を減少させると、より多くの変更が表示され、より細かな詳細やより微妙な質感が表示される可能性があります。しかし、これは画像の安定性を低下させ、若干のアーティファクトや不一致が表示される可能性があります。 Flux モデルで生成された画像をより現実的にするには、Maximum shift を 0.5 にし、Base shift を 0.3 に調整してみてください。 |
| ③ | DualClipLoader ノードを使用して Text Encoder モデルをロードします。前の章で説明したように、Flux は2つの Text Encoder モデルを使用します。そのため、このノードを使用して2つのモデルをロードします。1つは clip_l.safetensors、もう1つは t5xxl_fp16.safetensors です。flux タイプを選択します。 |
| ④ | CLIP Text Encoder ノードは DualClipLoader ノードに接続されています。これは Stable Diffusion ワークフローで使用する CLIP Text Encoder ノードと同じです。ただし、ここでは Negative Prompt ノードがありません。前の章で説明したように、Flux はガイダンス蒸留モデルであるため、Negative Prompt はありません。 |
| ⑤ | Guidance ノードは、0から100までの値を設定できます。この値の効果は非常に微妙です。異なるプロンプトでテストしてください。生成された画像が不十分な場合は、調整してみてください。テスト後： 1. この値が90に設定されていても、生成された画像はまだ使用可能です。そのため、ためらわずに試してみてください。 2. この値は特定の値でのみ効果があります。例えば、1の場合、生成された画像は暗くなります。 3. 0~4の間では、この値を0から4に設定した場合と10から60に設定した場合の差が非常に大きくなります。そのため、より多くの効果をテストする場合は、0から4の間でテストするだけで十分です。 4. 非常に複雑なもの、または現実世界に存在しないものを生成したい場合は、5以上の値を設定してみてください。例えば、「足のあるトマト」など。 5. 何を使用すればよいかわからない場合は、3.5 に設定してください。 |
| ⑥ | EmptySD3LatentImage ノードは潜在ベクトルを生成するために使用されます。SD3と名付けられていますが、実際には Flux で使用できます。 |
| ⑦ | VAEDecode ノードは潜在ベクトルをデコードするために使用されます。ここでは、前にダウンロードした VAE モデルを使用します。 |
1.4.2 私がお勧めするバージョン
私は ComfyUI の公式バージョンが少し複雑であると感じているため、より簡単なバージョンをお勧めします。
| 図 | 説明 |
|---|---|
| ① | Flux には Negative Prompt がないため、Negative Prompt ノードを折りたたむことができます。 |
| ② | Flux はガイダンス蒸留モデルであるため、CFG 値は効果がありません。そのため、1に設定します。 |
Flux Dev アプリ
このアプリケーションを使用すると、1枚の画像生成が8秒で完了します。
Flux ComfyUI テンプレート
右上隅の Remix ボタンをクリックして、ワークフローモードに入ります。
2. FP8版のFlux
2.1 Flux Checkpoint モデルのダウンロード
ここ から Flux Dev FP8 Checkpoint モデルをダウンロードできます。ダウンロードしたモデルは ComfyUI の/models/checkpoints/ ディレクトリに配置します。
2.2 ComfyUIワークフローの設定
以下のスクリーンショットを参照して、ノードを手動で接続します。このバージョンは、上でお勧めしたバージョンよりも簡略化されたバージョンです。Diffusion Model、DualCLIPLoader、および VAE ノードを Checkpoint Loader ノードに置き換えます。
| 図 | 説明 |
|---|---|
| ① | Negative Prompt ノードが不要になったため、折りたたむことができます。 |
| ② | Guidance ノードを追加しました。0から100までの値を設定できます。この値の効果は非常に微妙です。異なるプロンプトでテストしてください。生成された画像が不十分な場合は、調整してみてください。テスト後： 1. この値が90に設定されていても、生成された画像はまだ使用可能です。そのため、ためらわずに試してみてください。 2. この値は特定の値でのみ効果があります。例えば、1の場合、生成された画像は暗くなります。 3. 0~4の間では、この値を0から4に設定した場合と10から60に設定した場合の差が非常に大きくなります。そのため、より多くの効果をテストする場合は、0から4の間でテストするだけで十分です。 4. 非常に複雑なもの、または現実世界に存在しないものを生成したい場合は、5以上の値を設定してみてください。例えば、「足のあるトマト」など。 5. 何を使用すればよいかわからない場合は、3.5 に設定してください。 |
| ③ | EmptySD3LatentImage ノードは潜在ベクトルを生成するために使用されます。SD3と名付けられていますが、実際には Flux で使用できます。 |
| ④ | KSampler ノードの CFG 値は前の章で説明したものと同じです。Flux はガイダンス蒸留モデルであるため、CFG 値は効果がありません。そのため、1に設定します。 |
Flux Dev アプリ
このアプリケーションを使用すると、1枚の画像生成が8秒で完了します。
Flux ComfyUI テンプレート
右上隅の Remix ボタンをクリックして、ワークフローモードに入ります。
3. GGUF版のFlux
3.1 GGUF版のFluxモデルをダウンロード
ここ から GGUF バージョンの Flux モデルをダウンロードできます。ダウンロードしたモデルは ComfyUI の/models/unet ディレクトリに配置します。
多くのバージョンの GGUF が表示されます。あなたのコンピューターの構成に合わせて選択してください：
| 図 | 説明 |
|---|---|
| Q8_0 | 24GBのVRAMがある場合は、Q8バージョンを使用してください。その出力効果はFP16とほぼ同じです。他のCLIPモデルと一緒に使用する場合は、約15GBのVRAMを使用します。そのため、複数のLoRAsや画像修復モデルをロードするための余裕があります。Q8を使用してLLMをロードすることもできます。 |
| Q6_K | 16GBのVRAMしかない場合は、Q6_Kが最適です。小さな容量で一定の精度を提供します。他のCLIPモデルと一緒に使用する場合は、約12GBのVRAMを使用します。そのため、複数のLoRAsや画像修復モデルをロードするための余裕があります。Q6_Kを使用してLLMをロードすることもできます。 |
| Q4_0 或 Q4_1 | 10GB未満のVRAMしかない場合は、Q4_0 または Q4_1 を使用してください。NF4を使用しないでください（個人的には、NF4は画像品質の予測性が最も低いバージョンです。時には非常に良い画像が生成され、時には非常に悪い画像が生成されます。このモデルには一貫性の問題があると思います）。NF4が悪いというわけではありません。しかし、FP16に近いモデルを探している場合は、Q4_0が必要です。 |
3.2 ComfyUIワークフローの設定
まず、ComfyUI-GGUF プラグインをインストールする必要があります。ここではインストール方法を繰り返しません。ComfyUI プラグインのインストール方法を参照してください。 プラグインをインストールした後、以下のスクリーンショットを参照してノードを手動で接続します。手動で接続したくない場合は、Comflowy に移動して、8秒で1枚の画像を生成できる Flux Dev アプリケーションを使用できます。または、このワークフローテンプレートをダウンロードし、ローカルの ComfyUI にインポートしてください。（Comflowy テンプレートのダウンロード方法がわからない場合は、こちらのチュートリアルをお読みください）。Flux Dev App
このアプリケーションを使用すると、1枚の画像生成が8秒で完了します。
Flux ComfyUI テンプレート
右上隅の Remix ボタンをクリックして、ワークフローモードに入ります。
