AI 入门与 ComfyUI 出图课
L3 / C 线 / C3
L3 · 单品课 · 增强线第 3 站

深度控制 + 语义分割

手绘线稿跑出来的客厅,墙和地板常糊成一片。深度图只认远近,不认“这块是什么”。09 号加第二道网,专门管类别:哪块是地面、哪面是墙。有意思的是,这道网只给 0.14 的力。

01 / 一句话目标

看懂两道控制网串联的接法,并能解释为什么第二道只给 0.14;同时搞清楚“自动分支”里那个不自动的地方。

源文件 基础工作流 文生图+深度控制+语义分割.json 节点 20 控制网 2 道 strength 1.0 + 0.14 批量 3 数据核对日 2026-11-08
当前位置C 线 · 增强线 · 第 3 站
C1
高清放大
C2
文生图 + 深度
C3
深度 + 语义分割你在这里
C4
IPA 风格迁移
D1
LINK 搭建练习
R
综合复盘
02 / PREREQUISITES

前置知识卡

上一课只有一道网,所以“强度”很好理解。这一课开始,强度变成“分配问题”。采样器、CFG、种子这些词沿用 07、08;这一课只加两个新词:语义分割、ADE20K。

C2

深度控制

已经知道深度图保远近与遮挡。这一课它仍然是主控,强度不动。回看 C2 · 文生图 + 深度控制。

L2-02

预处理器不止一种

深度、线稿、分割、姿态各有一套模型。换预处理器 = 换“被锁住的信息”。见 预处理器。

L2-02

ControlNet 可以叠

多个 apply 节点串在条件链上,每个节点都改一次条件。顺序会影响最终倾向——具体怎么分强度,就是本课要讲的事。

运行前需要:沿用 C2 的模型与 LoRA,额外加 SDXL/SDXL 语义分割.safetensors 与 OneFormer-ADE20K-SemSegPreprocessor(AIO 预处理包内)。另外你需要先跑出一张成品图,因为 #26 读的是 ComfyUI_00015_.png。

这一课会用到的词

词英文原名一句人话一个反例
语义分割Semantic Segmentation把每个像素归到一个类别:墙、地板、沙发、窗。不是抠图:它不追求边界精细,只回答“这块属于什么”。
ADE20KADE20KOneFormer 认类别用的那张清单,约 150 个室内外标签。不是你能随手改的清单;清单外的类别只能被归到最近的类。
主控 / 辅控primary / secondary control强度大、先接的那道网叫主控;后面做微调的叫辅控。不是两个开关:两者串在同一条条件链上,谁在前谁说了算。
apply 节点ControlNetApplyAdvanced把一张控制图“贴”到模型条件上的那一步。不是加载器:它不读文件,只接收已加载的控制网和预处理图。
静音mute临时关掉一个节点:连线还在,输出不参与。不是删除:取消静音就恢复,参数一个都没丢。
03 / BLUEPRINT

两道网是怎么叠上去的

关键是条件链:正向、负向要依次穿过 #12 和 #23,才能同时受两道网约束。模型不走这条路——#1 → #2 → #4 直连,因为 ControlNetApplyAdvanced 没有 MODEL 槽,它只改正负向条件。

#17 深度 512 #13 diffusers_xl_depth #25 分割 512 #24 SDXL 语义分割 正向 / 负向 #5 / #7 · CLIP 经 #2 #12 第一道:深度 strength 1.0 · 0 → 1 #23 第二道:分割 strength 0.14 · 0 → 1 #4 KSampler 15 步 / 2.67 / batch 3 #1 底模 → #2 LoRA 模型直连,不经 apply 正向、负向依次穿过 #12 与 #23;模型从 #2 直连 #4;两个 apply 各接一份 VAE(#18 分出) 顺序不是随意的:主控在前、辅控在后,辅控只会做微调,不会推翻前一道
青绿:深度(主控) 橙:语义分割(辅控) 蓝:采样

0.14 到底小到什么程度

下面这根轴是 strength 的 0 到 1 区间。同样一个刻度,深度占满全程,分割只伸出一点点——这就是“主次”的直观样子。

深度 · 1.00 分割 · 0.14 只做类别微调 0 0.25 0.50 0.75 1.00

“自动分支”里的三个手动动作

STAGE 1 · 先有一张底图

跑一次深度版,挑一张满意的

本工作流的 #26 直接读 ComfyUI_00015_.png。这意味着分割的参考图不是手绘线稿,而是上一轮的成品。

  • 先跑 C2 那张图,挑构图最顺的一张;
  • 把它放进 input 目录;
  • 这张图决定了分割能识别出多少类别。
STAGE 2 · 再叠第二道网

OneFormer 自动出分割图,但图要你自己喂

“自动”指的是:分割色块由 OneFormer-ADE20K 自动算出,不需要你手涂。不是指整条流程能无人值守。

  • #25 输出色块图 → #27 预览;
  • #24 载入分割专用 ControlNet;
  • #23 把它接在深度那道网之后的条件上。
为什么 0.14 说得通

深度已经用 1.0 把空间钉死了。分割这时再给大强度,就会和深度抢“这块区域是什么”,典型表现是地面和墙面交界处出现一条硬色带。

0.14 的作用是“提醒模型这里是木地板、那里是白墙”,而不是“命令它按色块重新分区”。

04 / NODE BY NODE

逐节点拆解

20 个节点里有 12 个和 C2 完全一样。新增 5 个(#23 #24 #25 #26 #27),另有 3 个改了参数(#5 提示词、#4 种子、#31 批次)。

N1

分割支路:新加的 5 个节点

#26 #25 #27 #24 #23
#26LoadImage分割源

读的是上一轮成品,不是你的原稿。这一个下拉框就决定了整条分割支路的上限:图里没有被识别出来的东西,分割图里也不会有。

imageComfyUI_00015_.png
换机器或清理过 output 后,这里会直接报红。它不是“自动找最新图”。
#25AIO_Preprocessor自动分色块

OneFormer 在 ADE20K 类别体系下做语义分割:墙、地板、沙发、窗、植物各归一色。它认的是“类别”,不是“这面墙长什么样”。

preprocessorOneFormer-ADE20K-SemSegPreprocessor
resolution512
→ #27 Preview→ #23 image
#24 → #23ControlNetApplyAdvanced辅控

第二道 apply,串在 #12 之后。它拿到的模型、正向、负向都是已经被深度改过一次的版本。

control_netSDXL/SDXL 语义分割
strength0.14
start0
end1.0
#27PreviewImage第二张必看预览

如果色块图里地板被吃进了墙、沙发和地面同色,那么第二道网给再大也没用——它会把错误扩大。

N2

被改动的三处

#31 #4 #5
#31CR Latent Batch Size1 → 3

C2 是 1,这里是 3。多出来的两张不是为了“更好”,是为了有得挑:两道网叠加后,失败模式变多,单张命中率下降。

batch_size3
#4KSampler只换了种子

15 步、CFG 2.67、euler_ancestral、denoise 1.0 全部没变。两道网不改变采样参数,只改变条件。

seed925180306345450
#5CLIPTextEncode提示词整段换了

这里不是 C2 那种短词堆,而是一段完整英文长句,以 This image features a sleek and contemporary living room design… 开头,逐项描述沙发、墙面、采光与材质。这是 Florence 反推(08 课介绍过的“看图写话”)常见的措辞风格,本文件里它被直接写死在 #5。

text长句描述 · 约十余个分句

短词堆和长句各有用法:前者可控、后者连贯。两份文件正好各留一个样本。

N3

和 C2 完全一致的部分

#1 #2 #7 #9 #11 #12 #13 #15 #16 #17 #18 #19(12 个)
#7CLIPTextEncode负向仍为空

两道网都吃同一份正向与负向。所以“负向为空”不是偷懒,而是这套流程的常态:靠控制网约束,不靠负面词。

text""
#15 #17 #19 #16主图与深度与 C2 相同

输入还是 测试线稿图.png,深度预处理 512。注意:主图与分割源是两张不同的图——前者是线稿,后者是上一轮成品。

05 / CHEAT SHEET

参数速查表

两道网叠在一起时,只有“分配”这件事是新的。其余参数沿用 C2,不必重调。

参数现值位置调大之后调小之后建议区间
深度强度1.0#12 strength已满降到 0.6 以下,空间先松0.8 – 1.0
分割强度0.14#23 strength0.3 以上开始和深度抢区域,交界出现硬色带0.08 以下几乎看不到作用0.10 – 0.20
分割起点0#23 start后半程才介入,材质自由但区域会飘—0 – 0.1
分割终点1.0#23 end—0.7 之后放手,收尾更自然0.7 – 1.0
分割预处理分辨率512#25 resolution小物件类别更准,噪声也更多大片区域更稳,细节类全丢512 – 768
批量3#31 batch_size更容易挑到一张,显存按倍数涨1 张省显存,但命中率低2 – 4
采样步数15#4 steps更细,超过 25 收益很小低于 10 材质发脏12 – 20
CFG2.67#4 cfg5 以上发硬2 以下跑题2.5 – 3.5
06 / TRAPS

踩坑

这一课最容易误判的是“自动”两个字。其次是以为 0.14 等于没开。

分割工作流 · #26

它不自动找图,读的是一个固定文件名

ComfyUI_00015_.png 是作者那次运行留下的文件。你以为打开就能跑,实际上没这张图就直接报红。

修法:先跑一遍 C2,把你挑中的成品重命名成这个文件名,放进 input。或者直接把 #26 换成你自己的文件,并在文件名里写清来源。

分割工作流 · #25

分割源必须是“像照片的图”

OneFormer 认的是真实场景类别。喂一张白模、线稿或半成品,常见表现是:大片区域被判成“墙/地板”,家具类全丢,甚至整张图归成一类。

修法:先看 #27。如果色块数量和你的预期差太多,别调强度,先换源图。

分割工作流 · #23

0.14 不是“没生效”

它确实在起作用,只是作用方式是“微调类别倾向”。把 0.14 和 1.0 的深度放一起看,会觉得它小得可笑;但关掉它再跑,你会发现地面材质和窗框归属会变。

修法:验证方式不是看强度数字,而是做一次 0 / 0.14 的 A/B。

分割工作流 · #12 → #23

两个 apply 的前后顺序会改变最终效果

它们是串联的:后一个节点拿到的是“已经被前一个改过”的正向、负向条件。所以 #12 → #23 和 #23 → #12 不是同一条条件链,即使参数一模一样;模型不在这个顺序里,始终是 #1 → #2 → #4 直连。

修法:按 JSON 的顺序接——主控(深度 1.0)在前,辅控(分割 0.14)在后。辅控的作用是微调,放在强控之后才不会被覆盖。

分割工作流 · #31

batch 3 不等于质量更高

三张图共享同一个 latent 尺寸与条件,只是噪声不同。它是批量张数,不是画质档位。

修法:显存吃紧就回 1;命中率低先调提示词和强度,而不是加批量。

分割工作流 · #5

长句提示词不是越全越好

这段长句来自反推风格,句子里的每个物件都会被模型当成“应该出现”。源图里没有的东西,也会被它硬塞进来。

修法:保留“空间 + 材质 + 光线”三段,删掉和你图无关的物件描述。

07 / PRACTICE

动手练习 + 自检清单

把“主次分配”练成手感:先固定主控,再单独扫辅控。

EX 01 · 5 分钟

先把接力跑通

用 C2 出一张图,重命名为 ComfyUI_00015_.png 放进 input,再跑本工作流。

看什么:#27 的色块是否覆盖了主要家具。
EX 02 · 10 分钟

关闭第二道网

把 #23 静音,同 seed 跑一张,与开启时并排。

看什么:地面材质、窗框归属的差别。
EX 03 · 10 分钟

扫一遍强度

#23 依次设 0.08 / 0.14 / 0.25 / 0.4,各出一张。

看什么:哪个值开始出现硬色带。
EX 04 · 10 分钟

换一张分割源

把 #26 换成另一张不同风格的成品图,其他不动。

看什么:分割图变化如何改变成品。
EX 05 · 10 分钟

试试反顺序

把 #23 挪到 #12 之前,重连模型/正向/负向/VAE,跑同 seed。

看什么:构图的“空间感”是否变弱。
EX 06 · 15 分钟

写一张参数卡

为这次实验记录:图名、seed、两道网强度、batch、以及你留下的那张的理由。

看什么:下次能不能照着复现。

自检清单(勾选状态会存在本机)

  • 我知道分割源是上一轮成品,不是手绘原稿。
  • 我知道“自动”只指自动分色块,图仍要自己喂。
  • 我能画出两条路:条件走 #5/#7 → #12 → #23 → #4,模型走 #1 → #2 → #4。
  • 我能解释 0.14 为什么不和 1.0 的深度打架。
  • 我知道 batch 3 改的是张数,不是画质。
  • 我做过 0 与 0.14 的 A/B 对比。
  • 我看过 #27,并判断过色块是否合理。
本课数据来源与核对方式:ComfyUI_工作流架构/基础工作流 文生图+深度控制+语义分割.json,对照 基础工作流 文生图+深度控制.json(C2)逐节点比对。共 20 个节点、29 条连线、无分组;其中与 C2 完全一致的 12 个(#1 #2 #7 #9 #11 #12 #13 #15 #16 #17 #18 #19),新增 5 个(#23 #24 #25 #26 #27),改了参数的 3 个:#31 批次 1 → 3、#4 种子 925180306345450、#5 正向提示词换成整段长句。#12 强度 1 / 0 / 1,#23 强度 0.14 / 0 / 1,#25 预处理 512,#24 权重 SDXL/SDXL 语义分割.safetensors。分割源文件名为作者本机值,换环境需替换。