课目表/L2 节点字典/L2-01b 输入与加载 · 附加五项

L2 字典 · 第一课 B

附加五项:
按任务追加的加载器

上一节的六个加载器,每张图都要。这一节换一类:你决定加控制、套风格、把图放大、切出一块区域时,才需要补上的模型文件。没有它们,文生图照样能跑。

结构控制ControlNetLoader
风格迁移IPAdapterModelLoader
读图编码CLIPVisionLoader
放大UpscaleModelLoader
分割SAMLoader / GroundingDino

前情提要:LoadImage、Checkpoint / UNET、CLIP、VAE、LoRA 已经在 L2-01 基础六项 讲过,这里不重复。这一节只解决一件事:做控制、风格、放大、分割时,还要加载什么。

01 / 先认路什么时候才轮到这五项

先给判断标准:这五个加载器,没有一个是出图的必需品。缺了它们,文生图照样能跑;只有当任务多出一个动作,才轮到它们上场。

加载方式与基础六项一致——左边没有输入线,只往右吐模型。区别在分工:基础六项决定“能不能出图”,这五项决定“能不能按你的要求出图”。

ControlNet 和 IPAdapter 的原理在 L1-04、L1-05 讲过。这一节只看文件从哪加载、接哪个口。

速查:任务多一步,就多一个加载器

需求节点输出类型
加载结构控制模型ControlNetLoaderCONTROL_NET
加载风格迁移模型IPAdapterModelLoaderIPADAPTER
加载读图用的视觉编码器CLIPVisionLoaderCLIP_VISION
加载放大模型UpscaleModelLoaderUPSCALE_MODEL
自动分割物体SAMLoader + GroundingDinoModelLoaderSAM_MODEL + 检测模型

02 / 字典逐条查:参数、接口、真实例子

这一节按“动作”排:要控制就查第一条,要风格就查前三条,要放大看第四条,要分割看第五条。

点标题展开。每条左侧的编号都对应真实 JSON 里的节点 id;带“子图”字样的,需要先双击进入子图才能看到。

ControlNetLoader加载结构控制模型+

想让画面照着线稿或深度图走,先把对应的控制模型读进来。

ControlNetLoader 读权重,输出 CONTROL_NET。它只负责“拿模型”;真正施加控制的是 ControlNetApplyAdvanced(见 L2-02)。反例:它不是“控制开关”,接上它画面不会自动跟着线稿走,中间还差一个施加节点。

CONTROL_NET
control_net_name控制模型文件名,放在 models/controlnet。
04 #13 diffusers_xl_depth_full、#49 mistoLine_rank256;文生图+深度+语义 #24 SDXL 语义分割;LINK #3 xinsir_union_promax。

易错:加载器只是“拿模型”。如果预处理器类型和模型类型不一致,强度再高也没用。

IPAdapterModelLoader加载风格迁移模型+

想让出图带上参考图的风格,又不想改构图。这一路要两个文件,先读 IPAdapter 权重。

读完后输出 IPADAPTER,交给 IPAdapterAdvanced 用。它必须和 CLIP Vision 编码器配对。反例:它不是“风格开关”,单独接上什么也不会发生;下游还得有施加节点和一张参考图。

IPADAPTER
ipadapter_file放在 models/ipadapter,本套统一为 ip-adapter-plus_sdxl_vit-h.safetensors。
04 #36、03 #36、IPA #36、02 #109、LINK #35,文件名完全一致。

易错:文件名里的 vit-h 提示它要配 ViT-H 的 CLIP Vision,不能随手配一个 ViT-L 编码器。

CLIPVisionLoader加载读图用的视觉编码器+

IPAdapter 要先看懂参考图。做这件事的不是文本那个 CLIP,是它的一个近亲。

CLIPVisionLoader 读入视觉编码器,输出 CLIP_VISION。它把一张图压成一个向量,供 IPAdapter 使用。反例:它不是文本编码器,喂文字进去没有意义。两个名字只差一个 Vision,分工完全不同。

CLIP_VISION
clip_name本套统一为 CLIP-ViT-H-14-laion2B-s32B-b79K.safetensors。
04 #44、03 #44、IPA #44、02 #110、LINK #11。

易错:CLIP Vision 只读图,不读文字;提示词仍然走 CLIPTextEncode。

UpscaleModelLoader加载放大模型+

图出完了,尺寸不够交付,你打算先放大。放大权重也得先加载。

UpscaleModelLoader 读一个 ESRGAN 一类的模型,输出 UPSCALE_MODEL,交给 ImageUpscaleWithModel。反例:它不是“放大按钮”,本身不动一个像素;真正干活的是下游那个节点。

UPSCALE_MODEL
model_name放在 models/upscale_models,本套为 4x-UltraSharp.pth。
03 子图 #353、07 根图 #3 与子图 #380。

易错:4× 放大后像素量变 16 倍。后续往往还要 ImageScaleBy 或 ImageScaleToTotalPixels 收回来(见 L2-03)。

SAMLoader / GroundingDinoModelLoader自动分割与文字定位+

一张图里只改地面,别的都不动。你得先把那块区域精确切出来。

06 的“文字识别局部修改”用这一对:GroundingDINO 按文字找目标框,SAM 按框切出精确掩码。一个负责“找”,一个负责“切”。反例:这里只是模型加载,切图动作在下游的分割节点里;它不会自己吐出掩码。

SAM_MODEL检测模型
SAMLoadersam_vit_b_01ec64.pth · Prefer GPU(#11)。
GroundingDinoGroundingDINO_SwinB (938MB)(#12)。
06 的 #11 与 #12 是 SAM 与 GroundingDINO 的加载器,分割结果接的是 #13 MaskToImage。MaskToSEGS 与 DetailerForEach 在 05 号,不在 06。

易错:模型下拉里没有条目,通常不是节点坏了,而是文件没有放到对应的 models 子目录。

03 / 避坑附加五项最容易混的角色

把 CLIP Vision 当主模型CLIPVisionLoader 输出的是 CLIP_VISION,只给 IPAdapter 读参考图。它不是文本编码器,也不能单独出图;名字只差一个 Vision,接错位置整条风格链就断。
把放大模型当放大按钮UpscaleModelLoader 只把 4x-UltraSharp.pth 读进来,本身不动一个像素。真正放大的是 ImageUpscaleWithModel;只接加载器,图不会变大。
SAM 与 GroundingDINO 分工不清GroundingDINO 按文字找框,SAM 按框切出精确掩码。拿 SAM 去问“哪块是地面”,它给不出;拿 GroundingDINO 去切,也切不出来。顺序是:先找框,再切图。

04 / 动手按动作找节点

1

打开 04,找到 #36 IPAdapterModelLoader 与 #44 CLIPVisionLoader,核对两个文件名里的 vit-h 是否对得上。

目标:记住这两件必须成对,不能随手配一个编码器。

2

打开 07,找到根图 #3 与子图 #380 的 UpscaleModelLoader。说出它把 UPSCALE_MODEL 交给谁,图才真的变大。注意:顶层 #3 → #2 那条没接保存,真正落盘的是子图 #380 → #383。

目标:分清“加载”与“执行放大”是两道工序,也分清活链与旁支。

3

打开 06,找到 #11 SAMLoader 和 #12 GroundingDinoModelLoader。说出谁负责“找”,谁负责“切”。

目标:分清检测与分割,不要把两个角色压给一个节点。

05 / 自检追加的加载器,只在需要时上场

勾选你真正掌握的条目(本机自动记住)