课目表/L1 原理/L1-04 ControlNet
ControlNet:
让模型“照着这张图的结构”画
你有一张毛坯房照片,想让模型照着它的层数和窗位画效果图。提示词说不清这些,它只会给你一栋“差不多”的楼。ControlNet 补的就是这个缺口。先把参考图变成一张结构图,再按这张图约束采样。这一课解决两件事:结构怎么取、强度怎么给。Depth、Lineart、Canny 盯的东西并不一样。
01 / 场景文字说不清的那部分,交给图
你拿着一张毛坯房照片,要生成效果图。提示词写“三层、右侧有阳台、屋顶红色”,模型大概率会给你一栋“差不多”的楼。层数、窗位、阳台位置,全可能跑偏。文字擅长说“是什么”,它说不清“在哪、多大、什么角度”。
结论:ControlNet 不是滤镜。滤镜只改颜色和质感,构图一根线都不动。ControlNet(控制网)是另一道工序,按参考图约束构图。它分两步走:先把参考图做成一张结构图,再让采样器每一步都参考这张图。
三样东西要分清。预处理器(preprocessor)把照片变成控制图,它不是把原照片直接塞进模型。控制图(control map)是那张结构图,深度图、线稿、分割色块都算。它也不是风格参考图,只说“形状在哪”,不说“好不好看”。采样器是按草稿擦噪声的那道工序,L1-02 专讲,这里知道它在改图就行。
一句话结论:这三件得成套换。预处理器把照片变成结构图,ControlNet 模型把结构图变成采样约束,强度决定约束有多硬。只换其中一个,另外两个跟不上。
02 / 三种控制Depth、Lineart、Canny 各管什么
同一张照片,换一种控制图,留下的信息就换一套。先看清三种各留什么。
Depth 深度
只记远近,不记线条。离你近的地方亮,远的地方暗,体块起伏留下来。反例:它不是素描,不会给你一根能描的轮廓。
适合:建筑体量、室内空间、镜头层次Lineart 线稿
只描边。边、窗框、家具外形都留下,颜色和光影它不管。反例:它不是上色稿,线里面是空的。
适合:手绘线稿、白模、建筑立面Canny 边缘
按亮度突变找边。线比 Lineart 碎,也更贴原图纹理。它保的是“所有看得见的边”。反例:它不替你挑重点,重要和不重要的边一起留下。
适合:硬边物体、需要高度贴形的场景先说清楚:本套 13 个 JSON 里实际出现的是 Depth、Lineart 和语义分割(Seg),本套 JSON 未使用 Canny。Canny 和 Lineart 同属“边缘约束”,区别是它更敏感、线更碎。语义分割(Seg)把画面按“地面、墙、窗”涂成不同色块,它不是抠图。真实组合逐行列在 L1-04b 的参数表里。
03 / 强度0.2、0.35、0.6、1.0 分别在做什么
先看结果:强度越高,画面越听控制图的。0.2 时模型还有很大自由,1.0 时体块几乎被锁死。
ControlNetApplyAdvanced(把控制图挂到条件(CONDITIONING:编码后的引导信息,L2-02 专门讲)上的那一格,不是采样器)上要填三个数。strength(强度)是每一步听控制图多少。它不是画质旋钮,调高不会更清晰,只会更硬。start_percent 决定从第几步开始听,end_percent 决定到第几步停。这两个也不是进度条,它们只管“约束什么时候生效”。
拖一拖:强度与控制权
0.35本套里这些数字不是随手填的:
- 0.2 / 0.25:03 的线稿与深度。参考图已经把空间讲清楚了,控制只要轻轻扶一把。
- 0.3 / 0.35:04 建筑毛坯,双控制。两张图一起上,单张就不能太硬。
- 0.42 / 0.5:IPA 风格迁移的深度与线稿。结构要稳,又不能压过风格参考。
- 0.6:01、02 的线稿。轮廓要求更严,松一点就走形。
- 1.0:深度控制的基础工作流。体块几乎完全按深度图锁死。
- 0.14:语义分割。在“深度 + 分割”双控制里,它只做轻微分区提示。
两张控制图一起用,先把各自强度降下来。04 是深度 0.35 配线稿 0.3。两张都拉到 1.0,模型会收到互相打架的硬约束,画面发僵。
04 / 动手用“关掉一个”来理解分工
打开 04,把线稿分支的 #48 ControlNetApplyAdvanced 静音(mute)。深度保留 0.35,跑一次。
要看的:线稿一消失,窗框、栏杆这些硬边会不会变松。
把线稿恢复回来。深度强度从 0.35 改成 1.0,再跑一次。
要看的:“结构锁定”和“创作自由”怎么拉扯。强度不是画质。
反过来做一次:把深度那一路的 ControlNetApplyAdvanced 静音,只留线稿 0.3,再跑一次。
要看的:只剩轮廓时,体块和远近会不会塌。两路各自管什么,关一次就清楚。
常见误解:“ControlNet 就是图生图。”不是。
图生图先把原图编码进潜空间,再重画一遍。潜空间是把像素按 1/8 缩小后的草稿画布,L1-01 拆过,这里知道图被缩小去过一遍就行。
ControlNet 走的是另一条路。结构图只当附加条件塞给采样器,起点可以是纯噪声,也可以是另一张底图。两件事能一起用,也能只用一个。