课目表/L2 节点字典/L2-05b 语义分割
语义分割:
每个像素领一个类别
你拿一张建筑白模(不带材质、只剩灰白造型的模型渲染图)丢进语义分割,想让墙、窗、地面各一色。跑完,整片模型被刷成同一种颜色。模型没坏,它只是按类别认,不按造型认;白模恰好把类别线索全抹掉了。
01 / FLOW一张图看懂:它给每个像素发一个类别
先看它到底产出什么。语义分割(semantic segmentation)把图里每个像素归到一个类别(class)里:这块是墙,那块是地板,那块是窗。类别是清单里的名字,不是一句描述。
结果通常画成一张色块图:同一种颜色代表同一类。颜色只是为了让你看见,换一套配色,类别还是那些类别。
和上一课的分界:L2-05 里的分割是“把一个物体抠出来”,产出黑白遮罩;这一课的语义分割是“给全图每个像素分类”,产出彩色类别图。
反例:语义分割不是抠图。它不追求边界精细,也不输出透明背景;它只回答“这块属于什么”。
后面专门讲:黑白遮罩怎么接局部重绘,见 L3-05 手动涂抹局部修改;检测框怎么变成遮罩,见 L3-06 文字识别局部修改。这一课只管类别图。
本课不新增比喻。节点与连线沿用登记表里的“一道工序”“交接单”;类别、清单、色块都按字面理解。
02 / NOT DETECT为什么它不是检测:同一个问题问了两遍
检测问的是“这个东西在哪”。答案是一个框,加一个名字。图里有两把椅子,就给你两个框,各自带 chair。
语义分割问的是“这个像素是什么”。答案落在每个像素上,不给框,也不给编号。两把椅子都归 chair,但模型不告诉你有两把。
| 问题 | 检测 | 语义分割 | 实例分割 |
|---|---|---|---|
| 回答什么 | 物体在哪、叫什么。 | 每个像素属于哪一类。 | 每个物体分别是谁。 |
| 输出 | 框 + 类别。 | 整张类别图。 | 每个物体一张遮罩。 |
| 两把椅子 | 两个框。 | 同一种颜色,不区分。 | 两块遮罩,分开编号。 |
| 能数个数吗 | 能。 | 不能。 | 能。 |
实例分割(instance segmentation)是第三条路:同类物体也要分开。它和语义分割都会给像素,但一个编号,一个不编号。这一课不展开实例分割,知道它存在就够。
别互相替代:检测加 SAM 能得到“某一个物体的遮罩”;语义分割得到“全图每块是什么”。前者适合改一块地板,后者适合给整张图加类别约束。
03 / LABELSADE20K:一张约 150 类的固定清单
语义分割不会凭空发明类别。它只从训练时见过的那张清单里选。这一课用的模型是 OneFormer:一个在 ADE20K 上训练的分割模型,输入整张图,输出每个像素的类别。这张清单叫 ADE20K,是一个给室内外场景标注类别的数据集,约 150 个标签:wall、floor、ceiling、window、door、sofa、plant 都在里面。
数据集就是一批带标注的图片,用来训练和评测模型。清单由数据集定死,不是你在节点里现写的。
清单外的东西去哪了
你想要“玻璃幕墙”,清单里没有这个词。模型不会新增一类,它只能把这块归到最接近的类,比如 window 或 wall。
反例:ADE20K 不是提示词列表。你在预处理节点里写一段描述,不会让它多认一类;那个节点只负责选模型和分辨率。
颜色不是材质
色块图里,红色块可能代表 wall,蓝色块可能代表 window。这套颜色只是为了可视化,和最终出图的材料颜色无关。
反例:看到红色块,不代表模型建议你把墙刷成红色。它只是在说“这些像素属于墙”。
04 / WHY白模为什么整片归成一类
回到开头那张白模。它只有灰白造型,没有石材、玻璃、木纹,也没有明暗材质差异。对语义分割来说,这些正是判断类别的线索。
模型主要看外观和上下文:这块像素的颜色、纹理,周围接着什么。它不看“这个轮廓像窗框”,也不按建筑制图规则推理。线索一弱,整片就被推到同一个大类里。
原因一:清单里没有“白模”
ADE20K 约 150 类里没有“未赋材质的模型”这一类,模型只能往最近的大类靠。
原因二:外观线索被抹掉
没有颜色和纹理,窗、墙、地面看起来都差不多,类别判断失去依据。
反例:这不是“模型精度不够”。换一张有材质的室内照片,同一个模型能分出墙、地板、沙发。失效的是输入,不是类别表。
正确的输入顺序:先出一张带材质的成品图,再拿它做分割源。L3-09 就是这么接的:#26 读的是上一轮成品 ComfyUI_00015_.png,不是白模。
如果你要的是结构,不是类别,那就换工具:深度图管远近,线稿管轮廓,见 L3-08 文生图加深度控制。语义分割只管“这块是什么”。
05 / USE它能干什么:给 ControlNet 一张类别图
语义分割最常见的用法,是给 ControlNet 当第二道约束。ControlNet 是挂在模型上的控制网,读一张控制图,把构图或类别信息带进采样(sampler,一步步去噪出图,见 L1-02 采样与步数);控制网本身的原理见 L1-04 ControlNet。
L3-09 的链路是这样的:OneFormer-ADE20K-SemSegPreprocessor 先算出色块图,分辨率 512;这张图再交给 ControlNetApplyAdvanced,作为第二道控制接进已经跑着深度的模型链。
| 输出 | 它是什么 | 接哪 | 别接哪 |
|---|---|---|---|
| 语义色块图 | 彩色图(RGB,红绿蓝三通道),每种颜色一类。 | ControlNet 的 image 口。 | 不能当二值遮罩(只有黑白两值)接 inpaint。 |
| 深度图 | 灰度图,越亮越近或越远。 | 深度 ControlNet。 | 不回答类别,只回答远近。 |
| 二值遮罩 | 黑白图,白改黑不改。 | 局部重绘的 mask 口。 | 不是类别图,不带“这是什么”。 |
512 是什么:预处理时把图缩到 512 这个量级再分类。缩得太小,窗框、栏杆这类细物会丢;缩得太大,速度变慢,收益有限。L3-09 用 512,是速度与细节的折中。
深度与语义分工:深度只管远近,语义只管类别。两道网一起上,画面既有空间结构,又不会把墙和地板糊成一片。完整接法见 L3-09 深度控制加语义分割。
06 / PITFALLS五个高频坑
拿白模当分割源
症状:整片模型一个颜色,墙、窗、地面分不开。
改法:先用带材质的成品图或照片做分割源;白模只用来定结构,不给语义分割用。
把色块图当遮罩接重绘
症状:想只改一块区域,结果整张图都变了。色块图是彩色类别图,不是“白改黑不改”的黑白遮罩。
改法:要局部重绘,回到 L2-05 的遮罩路线;语义色块图只接 ControlNet。
想在节点里新增一个类别
症状:写“玻璃幕墙”“旋转楼梯”,输出里根本没有这些类。
改法:先查 ADE20K 清单;清单外只能落到最近的类。真需要新类别,得换模型或自己训练,不是改一个参数。
把颜色当成材质建议
症状:看到墙被涂成绿色,就以为要让墙变绿。
改法:记住颜色只是类别编号的可视化;材质写在提示词里,不靠色块图。
用它数物体个数
症状:图里三把椅子,语义图里只有一片 chair 颜色,数不出来。
改法:数个数用检测或实例分割;语义分割只回答像素类别。