ControlNet，是一种神经网络结构，能够在扩散模型生图时添加额外的条件约束。自从2023年初发布以来，它一直是扩散模型（SD、Flux）生态中不可或缺的部分。通过它，可以参考输入图片的线条、深度、姿势等，生成与其一致的图像。Flux是目前最火的扩散生图模型，开源社区的支持强度也很大，仅仅2个多月，就有多个组织发布了数十款不同ControlNet模型。虽然类型还没有适配SD1.5与SDXL的那么丰富，但有些模型的效果相当不错，应该可以在不少场景中发挥作用啦。最早的时候，使用起来还有点麻烦，需要额外安装模型发布方的节点，不过ComfyUI迅速适配，在新版本里无需下载任何插件，就能直接应用绝大部分模型。今天我就来总结一下Flux Controlnet的方方面面，先从模型下载、预处理器的安装和使用开始，再到ComfyUI中细细演示和对比不同Flux ControlNet模型，最后验证其能否配合GGUF模型和Schnell模型。
模型：
ControlNet-Union-Pro: https://huggingface.co/Shakker-Labs/FLUX.1-dev-ControlNet-Union-Pro/tree/main
openpose_controlnet :https://huggingface.co/raulc0399/flux_dev_openpose_controlnet/tree/main
Controlnet-Upscaler:https://huggingface.co/jasperai/Flux.1-dev-Controlnet-Upscaler/tree/main
工作流：https://drive.google.com/drive/folders/1b2gbsrK0NTagAH45jBG3wVxloJ8_nora?usp=sharing