课目表/L1 原理/L1-04 ControlNet

L1 原理 · 第四课

ControlNet:
让模型“照着这张图的结构”画

你有一张毛坯房照片,想让模型照着它的层数和窗位画效果图。提示词说不清这些,它只会给你一栋“差不多”的楼。ControlNet 补的就是这个缺口。先把参考图变成一张结构图,再按这张图约束采样。这一课解决两件事:结构怎么取、强度怎么给。Depth、Lineart、Canny 盯的东西并不一样。

预计 16 分钟零基础可读对应节点:AIO_Preprocessor / ControlNetLoader / ControlNetApplyAdvanced

01 / 场景文字说不清的那部分,交给图

你拿着一张毛坯房照片,要生成效果图。提示词写“三层、右侧有阳台、屋顶红色”,模型大概率会给你一栋“差不多”的楼。层数、窗位、阳台位置,全可能跑偏。文字擅长说“是什么”,它说不清“在哪、多大、什么角度”。

结论:ControlNet 不是滤镜。滤镜只改颜色和质感,构图一根线都不动。ControlNet(控制网)是另一道工序,按参考图约束构图。它分两步走:先把参考图做成一张结构图,再让采样器每一步都参考这张图。

三样东西要分清。预处理器(preprocessor)把照片变成控制图,它不是把原照片直接塞进模型。控制图(control map)是那张结构图,深度图、线稿、分割色块都算。它也不是风格参考图,只说“形状在哪”,不说“好不好看”。采样器是按草稿擦噪声的那道工序,L1-02 专讲,这里知道它在改图就行。

一句话结论:这三件得成套换。预处理器把照片变成结构图,ControlNet 模型把结构图变成采样约束,强度决定约束有多硬。只换其中一个,另外两个跟不上。

02 / 三种控制Depth、Lineart、Canny 各管什么

同一张照片,换一种控制图,留下的信息就换一套。先看清三种各留什么。

Depth 深度

只记远近,不记线条。离你近的地方亮,远的地方暗,体块起伏留下来。反例:它不是素描,不会给你一根能描的轮廓。

适合:建筑体量、室内空间、镜头层次

Lineart 线稿

只描边。边、窗框、家具外形都留下,颜色和光影它不管。反例:它不是上色稿,线里面是空的。

适合:手绘线稿、白模、建筑立面

Canny 边缘

按亮度突变找边。线比 Lineart 碎,也更贴原图纹理。它保的是“所有看得见的边”。反例:它不替你挑重点,重要和不重要的边一起留下。

适合:硬边物体、需要高度贴形的场景

先说清楚:本套 13 个 JSON 里实际出现的是 Depth、Lineart 和语义分割(Seg),本套 JSON 未使用 Canny。Canny 和 Lineart 同属“边缘约束”,区别是它更敏感、线更碎。语义分割(Seg)把画面按“地面、墙、窗”涂成不同色块,它不是抠图。真实组合逐行列在 L1-04b 的参数表里。

参考图(照片 / 线稿 / 白模) 预处理器 控制图 深度图 / 线稿 / 分割色块 ControlNet 模型 采样器 与文本条件一起参与每一步 解码 出图
四种控制图从同一张参考图里抽出不同信息,最后都送进采样器;控制图本身不是最终画面。

03 / 强度0.2、0.35、0.6、1.0 分别在做什么

先看结果:强度越高,画面越听控制图的。0.2 时模型还有很大自由,1.0 时体块几乎被锁死。

ControlNetApplyAdvanced(把控制图挂到条件(CONDITIONING:编码后的引导信息,L2-02 专门讲)上的那一格,不是采样器)上要填三个数。strength(强度)是每一步听控制图多少。它不是画质旋钮,调高不会更清晰,只会更硬。start_percent 决定从第几步开始听,end_percent 决定到第几步停。这两个也不是进度条,它们只管“约束什么时候生效”。

拖一拖:强度与控制权

0.35
结构锁定
—
创作自由
—
0.35:保留较多参考图结构,同时给模型留出材质与光影的发挥空间。

本套里这些数字不是随手填的:

两张控制图一起用,先把各自强度降下来。04 是深度 0.35 配线稿 0.3。两张都拉到 1.0,模型会收到互相打架的硬约束,画面发僵。

04 / 动手用“关掉一个”来理解分工

1

打开 04,把线稿分支的 #48 ControlNetApplyAdvanced 静音(mute)。深度保留 0.35,跑一次。

要看的:线稿一消失,窗框、栏杆这些硬边会不会变松。

2

把线稿恢复回来。深度强度从 0.35 改成 1.0,再跑一次。

要看的:“结构锁定”和“创作自由”怎么拉扯。强度不是画质。

3

反过来做一次:把深度那一路的 ControlNetApplyAdvanced 静音,只留线稿 0.3,再跑一次。

要看的:只剩轮廓时,体块和远近会不会塌。两路各自管什么,关一次就清楚。

常见误解:“ControlNet 就是图生图。”不是。

图生图先把原图编码进潜空间,再重画一遍。潜空间是把像素按 1/8 缩小后的草稿画布,L1-01 拆过,这里知道图被缩小去过一遍就行。

ControlNet 走的是另一条路。结构图只当附加条件塞给采样器,起点可以是纯噪声,也可以是另一张底图。两件事能一起用,也能只用一个。

05 / 自检三件套,缺一不可

勾选你真正理解的条目(本机自动记住)