课目表/L1 原理/L1-04b 这套 JSON 怎么填
这套 JSON 怎么填:
预处理器配对与强度落地
上一节讲了三种控制图和强度手感,那是原理。打开 JSON,问题变得很具体:预处理器填哪一格,模型配哪一个,strength 写多少。这一节只回答这件事,表里全是真实值,可以直接拿去核对。
前情提要:上一节讲了三种控制图和强度手感:Depth 记远近,Lineart 只描边,Canny 找亮度突变。这一节只回答一个问题——落到本套 JSON 里怎么填。
01 / 先对齐四个名字,先各给一句
表里的每一行都是一条支路。支路的形状固定:先由预处理器把参考图变成控制图,再由 ControlNetLoader 读进对应权重,最后 ControlNetApplyAdvanced 把控制图挂到条件(条件 / CONDITIONING:编码后的引导信息,L2-02 专门讲)上,强度也在这里填。
预处理器(preprocessor):把参考图压成一张控制图的那一格。反例:它不负责读文件,读图在 LoadImage 那一头。
ControlNet 模型(ControlNet model):只认某一类控制图的权重文件。反例:它不是大模型 checkpoint,光有它出不了图。
ControlNetLoader:把 ControlNet 权重读进工作流的那一格。反例:它不是 CheckpointLoaderSimple,不管大模型和 VAE。
ControlNetApplyAdvanced:把控制图挂到条件上的那一格,强度与起止区间填在这里。反例:它不是采样器,不直接动像素。
02 / 真实参数本套 JSON 里的控制组合
想照着调?先看别人填了什么。下面这张表里的数字,全部来自本套真实的 JSON,可以直接拿去核对。
| 工作流 | 类型 | 预处理器 | ControlNet 模型 | 强度 / 区间 |
|---|---|---|---|---|
| 04 建筑 | Depth | DepthAnythingV2Preprocessor #17,512 | diffusers_xl_depth_full #13 | 0.35 · 0–1 |
| 04 建筑 | Lineart | LineartStandardPreprocessor #50,512 | mistoLine_rank256 #49 | 0.3 · 0–1 |
| 03 室内 | Depth | DepthAnythingV2Preprocessor #17 | diffusers_xl_depth_full #13 | 0.25 · 0–1 |
| 03 室内 | Lineart | LineartStandardPreprocessor #50 | mistoLine_rank256 #49 | 0.2 · 0–1 |
| 02 线稿+参考 | Depth + Lineart | DepthAnythingV2 #125 / LineartStandard #126 | depth_full #124 / mistoLine #127 | 0.6 / 0.6 · 0–1 |
| 文生图+深度+语义 | Depth + Seg | DepthAnythingV2 #17 / OneFormer-ADE20K-SemSeg #25 | depth_full #13 / SDXL 语义分割 #24 | 1.0 / 0.14 · 0–1 |
| IPA 风格迁移 | Depth + Lineart | DepthAnythingV2 #17 / LineartStandard #50 | depth_full #13 / mistoLine #49 | 0.42 / 0.5 · 0–1 |
| LINK 练习 | Lineart | LineArtPreprocessor #4 | xinsir_union_promax #3 | 0.7 · 0–0.7 |
| 01 线稿 | Lineart | LineartStandardPreprocessor #185 | mistoLine_rank256 #186 | 0.6 · 0–0.8 |
模型文件名按 JSON 的写法省了 .safetensors 后缀。预处理器分辨率都是 512,控制图不是按原图全分辨率进 ControlNet 的,它先被缩到 512。
读表只看三列:第三列拿哪张图,第四列配哪份权重,第五列给多大劲。04 那两行是一起跑的,深度 0.35 配线稿 0.3,谁也没拉满。
03 / 匹配为什么“换个预处理器”就崩了
换个预处理器就崩,通常不是模型坏了,是组合不对。
必须同类的组合
- Depth 预处理器 → 深度 ControlNet 模型。
- Lineart 预处理器 → 线稿 ControlNet 模型。
- Seg 预处理器 → 语义分割 ControlNet 模型。
常见的错配后果
- 深度图喂给线稿模型:线全被当成噪点。
- 线稿喂给深度模型:前后关系读不出来。
- 模型强度再高,也救不了错的输入类型。
原因不玄。深度图是一整片灰度,亮的地方近、暗的地方远;线稿是白底上几根细线,别处全空。这两种图的像素分布根本不是一回事,模型在训练时只见过其中一种。塞错图,它照着自己的读法硬找,找出来的全是误会。
核对顺序就这么三步:看预处理器吐出什么类型,找同类型的权重,再看 apply 节点的强度。第一步错,后两步全白搭。想亲手验证“换个预处理器就崩”,直接做下一节的第 1 题。
04 / union一个权重切模式,强度往上挪一档
本套里只有一个“通用型”尝试:LINK 用 xinsir_union_promax,配的是 LineArtPreprocessor。union 模型也不是万能的。用之前先去模型卡确认它支持哪几类控制,别默认“一个模型通吃”。
union 模型(union ControlNet):一个权重文件里装了几类控制的读法,喂进去哪种控制图,就走哪种模式。反例:它不是“什么控制图都认”,模型卡没写的那几类照样不认。
本套这一行填得比别处硬。LINK 练习是 Lineart:LineArtPreprocessor #4 接 xinsir_union_promax #3,强度 0.7,区间 0–0.7。同样是线稿,01 那行是 0.6,区间 0–0.8。union 这一格更高,区间上限也压得更紧。
本套的填法是:先按同类专用模型的值起步,union 往上挪一档。这不是通用公式,换个 union 权重就得重看模型卡。拿不准时,从 0.6 试起,比一上来拉到 1.0 稳。
05 / 动手三道题,把表对到画布上
打开 04,在画布上按编号找到 #17、#50、#13、#49、#48,把两条支路各写一行:预处理器是谁、模型是谁、强度多少。
要看的:深度那一路是 #17 → #13,线稿那一路是 #50 → #49,#48 是线稿一路的 apply。写不出来,说明还没对上号。顺手把 #17 换成 LineartStandardPreprocessor、#13 不动,跑一次看错配,再换回来。
打开 LINK 练习,把 #4 的 LineArtPreprocessor 换成另一种预处理(比如深度),#3 的 xinsir_union_promax 不动,跑一次。
要看的:union 一个权重切模式,靠的就是喂进去的控制图。换完记得换回 Lineart。
回到 04,把线稿那一路的强度从 0.3 改成 0.6,深度保持 0.35,跑一次;再把线稿改回 0.3。
要看的:单张拉到 01 的值,双控制还撑不撑得住。画面发僵,就是两张硬约束在打架。