课目表/L2 节点字典/L2-05 检测与分割

L2 节点字典 · 第五册

检测与分割:
先找到物体,再贴住它的边

你想改地板,于是把“把地板换成黑色大理石”整句塞进检测框。跑完,遮罩全黑,什么都没找到。问题不在句子不够长,而在你让一个只找名词的模型去执行指令。这一课只解决一件事:分清框和遮罩,知道该给谁写什么。

先修 L2-02 实例来源 L3-06 检测 GroundingDINO SwinB · 0.3 分割 SAM vit_b

01 / FLOW一张图看懂:一句话怎么变成一张遮罩

先给你一个具体任务。图里是客厅,地板要换材质。你不想手涂,因为墙角一歪,贴回去就有缝。你希望机器自己把地板圈出来。

这件事分成两步。第一步只回答“地板大概在哪一块”,产出检测框(bounding box,也叫 bbox):一个四条边都平行于图片边缘的矩形。第二步才回答“哪几个像素属于地板”,产出遮罩(mask):一张和原图同宽高的 0–1 图,白(1)的地方要改,黑(0)的地方不动,灰的地方按比例改。

原图 + 名词 prompt: floor 检测框 只有一个矩形 像素遮罩 白 = 改,黑 = 不动 框是矩形,会把沙发腿、地毯一起圈进去;遮罩才贴着地板真实边缘。 两步不能合并:检测负责“哪儿”,分割负责“边界”。
第一步只给你一个矩形,第二步才把矩形里的地板沿着墙角抠出来。局部重绘要的是右边的遮罩,不是中间的框。

三个词先分清:检测(detection)输出框;分割(segmentation)给每个像素判“是不是目标”,输出遮罩;局部重绘(inpaint)拿遮罩去改图。

反例:遮罩不是抠好的透明背景图,也不是矩形。它只回答“这个像素要不要改”,不带你抠下来的颜色。

后面专门讲:遮罩怎么接到重绘节点、白区为什么有时要外扩,L3-05 手动涂抹局部修改 用手涂的方式讲过一遍。这一课只解释遮罩是怎么来的,不展开重绘参数。

开放词表阈值 0.3 提示式分割遮罩 框 / 遮罩 / 控制图踩坑

本课不新增比喻。节点仍按登记表叫“一道工序”,连线仍叫“交接单”;检测与分割按字面理解,不另设说法。

02 / DETECT开放词表:写名词,不写句子

先看失败现场。你在检测框里写“把地板换成黑色大理石”,跑完没有任何框。换成 floor,地板立刻被框住。同一个模型,同一张图,差别只在输入的那几个词。

它问的是“这个词对应哪块区域”

这类检测器叫 GroundingDINO。它做的不是执行指令,而是拿你给的名词去图里找对应区域。这种“类别不预先写死、你给什么词就找什么”的能力,叫开放词表(open vocabulary)。

反例:开放词表不是“什么句子都能听懂”。你写“换成”“大理石”“右下角那块”,它没有对应的物体可以匹配,框自然出不来。

为什么只写一个名词

floor 是一个物体名,能对上图里的地板。sofa、window、rug 同理。名称越具体、越常见,命中越稳。

反过来,“黑色大理石地砖”是材质描述,不是物体名;“把地板换成……”是动作指令,更不是它要的东西。检测器只负责找,不负责换。

0.3 是把握分数线

每找到一个候选框,模型会给一个置信度(confidence):0 到 1 之间的把握分数。低于阈值(threshold)的框直接丢掉。L3-06 的实例里,阈值是 0.3,偏宽松。

调低,比如 0.1

宁可多框。地毯、台阶、一小块墙面都可能被当成地板。

调高,比如 0.5

只留很有把握的框。画面暗、地板被挡时,可能整块都找不到。

反例:阈值不是“准确率”。调高不会让框更准,只会让框更少;调低也不会让框更对,只会让框更多。

实例里的模型:GroundingDINO_SwinB,938MB。SwinB 是检测骨干的型号,B 比 T 更准也更慢。骨干只影响“找框”的质量,不负责像素边界。中文不是绝对不能试,但英文名词在这类模型上更稳,所以 L3-06 先用翻译节点把“地面”转成 floor。

03 / SEGMENT提示式分割:框给范围,它给边界

现在你有了框,但框是矩形。沙发腿、地毯、桌脚只要伸进这个矩形,都会被圈进去。直接拿框去改,这些不该动的东西也会一起变。你需要第二步。

SAM 收的是空间提示,不是文字

SAM(Segment Anything Model)是一个提示式分割模型(promptable segmentation)。你给它一个空间提示——一个框,或者一个点——它在提示范围内沿着真实边缘抠出遮罩。

反例:这里的“提示”不是提示词。SAM 不读 floor 这个词,也不知道什么叫地板。它只回答“从你指的这块区域里,把物体边界找出来”。文字理解是上一步检测器的事。

给框

适合你已经知道大概位置。框圈住地板,SAM 在框内贴边。

给点

适合你只想指一下“从这个位置开始找”。点少时,遇到同类物体容易分错。

遮罩长什么样

一张和原图同宽高的黑白图。白色是被选中的像素,黑色是不动的像素。它没有颜色,也没有透明通道;它只是一张“要不要改”的名单。

反例:遮罩不是矩形框,也不是抠图结果。框可以有四个角,遮罩可以沿着墙角拐弯;抠图会带走颜色,遮罩只带位置。

两个加载节点,一次推理

L3-06 里你会看到 GroundingDinoModelLoader 和 SAMLoader 两个节点,它们只负责把模型读进显卡内存(显存),不做推理。真正的推理(inference,模型跑一遍算出结果)在 GroundingDinoSAMSegment 里:先按名词找框,再在框内分割。图上只有一个盒子,里面是两次推理。

SAM 的实例模型是 sam_vit_b_01ec64.pth。vit_b 是它的骨干型号,b 指 base。Prefer GPU 表示优先用显卡跑;没有显卡会退回 CPU(用处理器算),只是慢很多。

别把骨干当任务:SwinB 和 vit_b 不是“两个不同的任务模型”,它们分别是检测器和分割器的内部主干。任务分工看节点,型号只决定同一个任务跑得多准、多慢。

04 / OUTPUT两种输出,三种去处

框和遮罩长得不一样,能接的地方也不一样。接错口,轻则报错,重则整张图被改。

输出它是什么能接什么不能接什么
检测框
bbox
四个数:左上角坐标、宽、高。交给 SAM 当提示;裁出局部;画预览。不能直接当遮罩用。框内的非目标像素也会被改。
遮罩
MASK
与原图同宽高的 0–1 图:1 可改,0 保留,中间值表示部分允许。纯黑白是最常用的特例,不是全部;灰阶怎么用见 L3-05b 遮罩是什么。接 VAEEncodeForInpaint(按遮罩把待改区域编成草稿);接 MaskToImage(把遮罩转成预览图)。不能直接塞进 ControlNet 的 image 口。它要的是彩色控制图。
控制图
control image
一张彩色图(RGB,红绿蓝三通道),比如深度图、线稿、语义色块图。接 ControlNet。原理见 L1-04 ControlNet。不是检测框,也不是遮罩:遮罩是 0–1 图,只回答“改不改”,不带颜色。

grow 6 是什么:局部重绘前,遮罩向外扩 6 像素,给接缝留余量。它补的是边缘,不是被家具挡住的一大片地板。

1 MP 是什么:约一百万像素。检测和分割本身不缩图:06 的 #10 GroundingDinoSAMSegment 直接吃 #1 原图,墙角这种细边才能保住。1 MP 只出现在后面的精修子图 #68 里,那里先把图缩到这个量级再重绘。所以是重绘阶段在缩放,不是检测与分割在缩放。

两处配套阅读:完整接线、22 个节点和那条“遮罩没参与落盘”的死端,在 L3-06 文字识别局部修改 里逐节点拆过。条件(CONDITIONING,编码后的提示与约束)怎么接进采样器(sampler,一步步去噪出图),L2-02 条件与编码 讲过,采样本身另见 L1-02 采样与步数;这一课不重复。

05 / PITFALLS四个高频坑

把整句塞进检测框

症状:遮罩全黑,什么都没找到。检测器要的是名词,不是“换成什么”的指令。

改法:检测词只写物体名,比如 floor、rug、sofa;“换成什么”交给重绘提示词。

把框当遮罩

症状:只想换地板,结果沙发腿、地毯边缘一起变了。框是矩形,不会贴着物体拐弯。

改法:框后面必须再过一次 SAM;拿最终遮罩去重绘,不要拿框。

阈值方向调反

症状:漏检时把阈值调高,越调越找不到;误检时调低,越调越脏。

改法:漏检往下调,误检往上调。每次只动 0.05,用叠加预览看范围。

遮罩有洞,以为 grow 能补

症状:沙发压住的地板、桌下的角落没被选中,改完留一块原色。

改法:grow 6 只补 6 像素边缘;大面积遮挡补不回来。要么换角度重拍,要么改完再局部修。

交作业前自检