前置知识卡
上一课只有一道网,所以“强度”很好理解。这一课开始,强度变成“分配问题”。采样器、CFG、种子这些词沿用 07、08;这一课只加两个新词:语义分割、ADE20K。
ControlNet 可以叠
多个 apply 节点串在条件链上,每个节点都改一次条件。顺序会影响最终倾向——具体怎么分强度,就是本课要讲的事。
SDXL/SDXL 语义分割.safetensors 与 OneFormer-ADE20K-SemSegPreprocessor(AIO 预处理包内)。另外你需要先跑出一张成品图,因为 #26 读的是 ComfyUI_00015_.png。
这一课会用到的词
| 词 | 英文原名 | 一句人话 | 一个反例 |
|---|---|---|---|
| 语义分割 | Semantic Segmentation | 把每个像素归到一个类别:墙、地板、沙发、窗。 | 不是抠图:它不追求边界精细,只回答“这块属于什么”。 |
| ADE20K | ADE20K | OneFormer 认类别用的那张清单,约 150 个室内外标签。 | 不是你能随手改的清单;清单外的类别只能被归到最近的类。 |
| 主控 / 辅控 | primary / secondary control | 强度大、先接的那道网叫主控;后面做微调的叫辅控。 | 不是两个开关:两者串在同一条条件链上,谁在前谁说了算。 |
| apply 节点 | ControlNetApplyAdvanced | 把一张控制图“贴”到模型条件上的那一步。 | 不是加载器:它不读文件,只接收已加载的控制网和预处理图。 |
| 静音 | mute | 临时关掉一个节点:连线还在,输出不参与。 | 不是删除:取消静音就恢复,参数一个都没丢。 |
两道网是怎么叠上去的
关键是条件链:正向、负向要依次穿过 #12 和 #23,才能同时受两道网约束。模型不走这条路——#1 → #2 → #4 直连,因为 ControlNetApplyAdvanced 没有 MODEL 槽,它只改正负向条件。
0.14 到底小到什么程度
下面这根轴是 strength 的 0 到 1 区间。同样一个刻度,深度占满全程,分割只伸出一点点——这就是“主次”的直观样子。
“自动分支”里的三个手动动作
跑一次深度版,挑一张满意的
本工作流的 #26 直接读 ComfyUI_00015_.png。这意味着分割的参考图不是手绘线稿,而是上一轮的成品。
- 先跑 C2 那张图,挑构图最顺的一张;
- 把它放进
input目录; - 这张图决定了分割能识别出多少类别。
OneFormer 自动出分割图,但图要你自己喂
“自动”指的是:分割色块由 OneFormer-ADE20K 自动算出,不需要你手涂。不是指整条流程能无人值守。
- #25 输出色块图 → #27 预览;
- #24 载入分割专用 ControlNet;
- #23 把它接在深度那道网之后的条件上。
深度已经用 1.0 把空间钉死了。分割这时再给大强度,就会和深度抢“这块区域是什么”,典型表现是地面和墙面交界处出现一条硬色带。
0.14 的作用是“提醒模型这里是木地板、那里是白墙”,而不是“命令它按色块重新分区”。
逐节点拆解
20 个节点里有 12 个和 C2 完全一样。新增 5 个(#23 #24 #25 #26 #27),另有 3 个改了参数(#5 提示词、#4 种子、#31 批次)。
分割支路:新加的 5 个节点
#26 #25 #27 #24 #23读的是上一轮成品,不是你的原稿。这一个下拉框就决定了整条分割支路的上限:图里没有被识别出来的东西,分割图里也不会有。
OneFormer 在 ADE20K 类别体系下做语义分割:墙、地板、沙发、窗、植物各归一色。它认的是“类别”,不是“这面墙长什么样”。
第二道 apply,串在 #12 之后。它拿到的模型、正向、负向都是已经被深度改过一次的版本。
如果色块图里地板被吃进了墙、沙发和地面同色,那么第二道网给再大也没用——它会把错误扩大。
被改动的三处
#31 #4 #5C2 是 1,这里是 3。多出来的两张不是为了“更好”,是为了有得挑:两道网叠加后,失败模式变多,单张命中率下降。
15 步、CFG 2.67、euler_ancestral、denoise 1.0 全部没变。两道网不改变采样参数,只改变条件。
这里不是 C2 那种短词堆,而是一段完整英文长句,以 This image features a sleek and contemporary living room design… 开头,逐项描述沙发、墙面、采光与材质。这是 Florence 反推(08 课介绍过的“看图写话”)常见的措辞风格,本文件里它被直接写死在 #5。
短词堆和长句各有用法:前者可控、后者连贯。两份文件正好各留一个样本。
和 C2 完全一致的部分
#1 #2 #7 #9 #11 #12 #13 #15 #16 #17 #18 #19(12 个)两道网都吃同一份正向与负向。所以“负向为空”不是偷懒,而是这套流程的常态:靠控制网约束,不靠负面词。
输入还是 测试线稿图.png,深度预处理 512。注意:主图与分割源是两张不同的图——前者是线稿,后者是上一轮成品。
参数速查表
两道网叠在一起时,只有“分配”这件事是新的。其余参数沿用 C2,不必重调。
| 参数 | 现值 | 位置 | 调大之后 | 调小之后 | 建议区间 |
|---|---|---|---|---|---|
| 深度强度 | 1.0 | #12 strength | 已满 | 降到 0.6 以下,空间先松 | 0.8 – 1.0 |
| 分割强度 | 0.14 | #23 strength | 0.3 以上开始和深度抢区域,交界出现硬色带 | 0.08 以下几乎看不到作用 | 0.10 – 0.20 |
| 分割起点 | 0 | #23 start | 后半程才介入,材质自由但区域会飘 | — | 0 – 0.1 |
| 分割终点 | 1.0 | #23 end | — | 0.7 之后放手,收尾更自然 | 0.7 – 1.0 |
| 分割预处理分辨率 | 512 | #25 resolution | 小物件类别更准,噪声也更多 | 大片区域更稳,细节类全丢 | 512 – 768 |
| 批量 | 3 | #31 batch_size | 更容易挑到一张,显存按倍数涨 | 1 张省显存,但命中率低 | 2 – 4 |
| 采样步数 | 15 | #4 steps | 更细,超过 25 收益很小 | 低于 10 材质发脏 | 12 – 20 |
| CFG | 2.67 | #4 cfg | 5 以上发硬 | 2 以下跑题 | 2.5 – 3.5 |
踩坑
这一课最容易误判的是“自动”两个字。其次是以为 0.14 等于没开。
它不自动找图,读的是一个固定文件名
ComfyUI_00015_.png 是作者那次运行留下的文件。你以为打开就能跑,实际上没这张图就直接报红。
修法:先跑一遍 C2,把你挑中的成品重命名成这个文件名,放进 input。或者直接把 #26 换成你自己的文件,并在文件名里写清来源。
分割源必须是“像照片的图”
OneFormer 认的是真实场景类别。喂一张白模、线稿或半成品,常见表现是:大片区域被判成“墙/地板”,家具类全丢,甚至整张图归成一类。
修法:先看 #27。如果色块数量和你的预期差太多,别调强度,先换源图。
0.14 不是“没生效”
它确实在起作用,只是作用方式是“微调类别倾向”。把 0.14 和 1.0 的深度放一起看,会觉得它小得可笑;但关掉它再跑,你会发现地面材质和窗框归属会变。
修法:验证方式不是看强度数字,而是做一次 0 / 0.14 的 A/B。
两个 apply 的前后顺序会改变最终效果
它们是串联的:后一个节点拿到的是“已经被前一个改过”的正向、负向条件。所以 #12 → #23 和 #23 → #12 不是同一条条件链,即使参数一模一样;模型不在这个顺序里,始终是 #1 → #2 → #4 直连。
修法:按 JSON 的顺序接——主控(深度 1.0)在前,辅控(分割 0.14)在后。辅控的作用是微调,放在强控之后才不会被覆盖。
batch 3 不等于质量更高
三张图共享同一个 latent 尺寸与条件,只是噪声不同。它是批量张数,不是画质档位。
修法:显存吃紧就回 1;命中率低先调提示词和强度,而不是加批量。
长句提示词不是越全越好
这段长句来自反推风格,句子里的每个物件都会被模型当成“应该出现”。源图里没有的东西,也会被它硬塞进来。
修法:保留“空间 + 材质 + 光线”三段,删掉和你图无关的物件描述。
动手练习 + 自检清单
把“主次分配”练成手感:先固定主控,再单独扫辅控。
先把接力跑通
用 C2 出一张图,重命名为 ComfyUI_00015_.png 放进 input,再跑本工作流。
关闭第二道网
把 #23 静音,同 seed 跑一张,与开启时并排。
扫一遍强度
#23 依次设 0.08 / 0.14 / 0.25 / 0.4,各出一张。
换一张分割源
把 #26 换成另一张不同风格的成品图,其他不动。
试试反顺序
把 #23 挪到 #12 之前,重连模型/正向/负向/VAE,跑同 seed。
写一张参数卡
为这次实验记录:图名、seed、两道网强度、batch、以及你留下的那张的理由。
自检清单(勾选状态会存在本机)
- 我知道分割源是上一轮成品,不是手绘原稿。
- 我知道“自动”只指自动分色块,图仍要自己喂。
- 我能画出两条路:条件走 #5/#7 → #12 → #23 → #4,模型走 #1 → #2 → #4。
- 我能解释 0.14 为什么不和 1.0 的深度打架。
- 我知道 batch 3 改的是张数,不是画质。
- 我做过 0 与 0.14 的 A/B 对比。
- 我看过 #27,并判断过色块是否合理。
ComfyUI_工作流架构/基础工作流 文生图+深度控制+语义分割.json,对照 基础工作流 文生图+深度控制.json(C2)逐节点比对。共 20 个节点、29 条连线、无分组;其中与 C2 完全一致的 12 个(#1 #2 #7 #9 #11 #12 #13 #15 #16 #17 #18 #19),新增 5 个(#23 #24 #25 #26 #27),改了参数的 3 个:#31 批次 1 → 3、#4 种子 925180306345450、#5 正向提示词换成整段长句。#12 强度 1 / 0 / 1,#23 强度 0.14 / 0 / 1,#25 预处理 512,#24 权重 SDXL/SDXL 语义分割.safetensors。分割源文件名为作者本机值,换环境需替换。