两个模型接力:一个负责“哪儿”,一个负责“边界”
你可能以为有一个模型能“听懂一句话就精确抠图”。没有。这条链是分工的:检测器只给矩形框,分割器才给像素级遮罩。
GroundingDINO 做什么
开放词表检测器:你给一个名词短语,它在图里找出对应物体的矩形框。“开放词表”指不必预先限定类别——你写什么名词,它就找什么。反例:它不是只认固定 80 类的旧检测器;但它也不懂“大理石”,不懂“换成”,只回答“floor 在哪”。
SAM 做什么
分割模型:你给框,它在框内沿着真实边缘抠出像素级遮罩。墙角、桌腿、地毯毛边都能贴住,这是手涂最难做好的部分。
0.3 是什么
检测置信度阈值。置信度是模型对“这是地板”的把握分数,0 到 1。调低 = 宁可多框(可能误检);调高 = 只留很有把握的(可能漏检)。06 号用 0.3,偏宽松。反例:阈值不是“准确率”,调高不会让框更准,只会让框更少。
GroundingDinoSAMSegment,所以你在图上只看到一个盒子,里面其实是两次推理。
全景:一条竖着走的识别链,和一条绕开遮罩的保存链
06 号的布局和 05 号不同:识别链是竖着往下走的,保存链却在最底下横着绕过去。先顺着编号看一遍,再回答:最终那张图,经过遮罩了吗?两个词先落地——死端:节点输出没接下游,ComfyUI 求值时不会执行它,不报错,只是安静地不工作;子图:把一堆节点折叠成一个方块,双击才进得去,这份文件里 2 个子图都叫 New Subgraph。
比 05 号更隐蔽的一点
05 号的遮罩连重绘节点都没接上;06 号的遮罩确实进了 VAEEncodeForInpaint,链路看起来完全正确——但那条链在最后一步断了。#25 VAEDecode 没有下游,于是整条 SDXL 局部重绘都不会被执行。
最后落盘的 #68 Flux2 只收 text2、text2_1、image 三路,没有 mask。所以“文字识别”找准了区域,但最终图并没有只改那块区域。
本课定位:这一课到这里,你能拿到的是遮罩;重绘支路缺最后一根线,这正是本课的练习。
逐节点:从一句话到一张遮罩,再到一次落空
按“输入与文字 → 检测与分割 → 遮罩重绘 → 落盘”四段看。注意每张卡右侧的真实输入输出,它们决定了节点到底会不会被执行。
输入与文字:三条文字各走各的路
#1 / #39 / #16它做什么:读入室内照片,后面五处都从它取图:检测、遮罩预览、inpaint 编码、对照、Flux2 子图。
换图只改 #1 就够:检测、inpaint、Flux2 参考图都从它接线。但 #68 内部会先把图缩到 1 MP,原图很大时,细节会在这里被压掉。
它做什么:把“地面”翻成 floor,送给检测器当提示词。中文检测不是不能试,但英文名词在这类模型上更稳。
floor。它做什么:把“黑色大理石地砖”翻成英文,送给 SDXL 的正向编码 和 Flux2 的 text2_1。它和 #39 是两条独立的文字,一条管“找”,一条管“改”。
检测与分割:一个节点,两次推理
#12 / #11 / #10 / #13 / #27它们做什么:#12 提供“找框”的检测模型,#11 提供“抠边”的分割模型。两者都只加载一次,供 #10 调用。SwinB 是检测骨干的型号(B 比 T 更准也更慢);vit_b 是 SAM 的骨干型号,b 指 base。Prefer GPU 表示优先用显卡跑,没显卡会自动退回 CPU,只是慢很多。
它做什么:先用 #12 按 floor 找框,再让 #11 在框内分割,最后输出一张遮罩。你在图上看不到框,只能看到最终的白区。
一张遮罩同时喂给三处:转成图预览(#13)、带图画布预览(#27)、inpaint 编码(#33)。
它们做什么:#13 把遮罩转成黑白图,#14 直接预览;#27 把原图与遮罩叠在一起看,适合检查“有没有涂过界”。注意:#27 默认是静音(mode 2),不改状态就不会出图——先右键把它改成 Always。
三个节点都不落盘。它们只帮你判断遮罩质量,不改变结果。
遮罩重绘支路:这次真的用了遮罩,但还是白算
#33 / #17 / #21 / #22 / #25它做什么:把原图编码成 latent(潜空间,按 1/8 缩小的草稿画布),并把遮罩内对应的位置标记为“待重绘”。grow 6 表示遮罩向外扩 6 像素,给接缝留余量。
它们做什么:#17 是正向,文本框本身是空的,内容来自 #16 的英文译文;#21 是负向,没有接文字输入,保持空字符串。两个都是 CLIPTextEncode——CLIP 负责把文字压成条件,L3-01 讲过。
它做什么:在 #33 给的 latent 上采样,只改遮罩区域。模型来自 #36 LoRA(0.22,LoRA 是补丁,L3-01 讲过),它接在 #35 CheckpointLoaderSimple 后面,所以风格会和 SDXL 室内大模型 一致。denoise 1 表示遮罩内彻底重画;CFG 3 是偏温和的听话程度;seed 决定从哪团噪声起步。
它做什么:把 #22 的 latent 解码成图。解码能跑通,但没有下游,所以它不会出现在任何保存文件里——这不是错,是这条支路没接完。
落盘支路:文字拼出一句话,整图重画
#68 / #26 / #42它做什么:子图内部有 22 个节点,折叠成一个方块。它把三段文字拼成一句话:将图中的 + floor + 转化为 + black marble floor tile,然后拿原图当参考,重画整张。输入会先缩到 1 MP(约一百万像素),再进采样。
它做什么:保存 #68 的结果。前缀 ComfyUI,从文件名看不出这版用的是 floor 还是别的词。
它做什么:A 放原图(#1),B 放结果(#68)。拖动中线,你能看到整张图都变了:不只是地板,墙、家具、光都重画了一遍。
这就是判断“到底改没改局部”的最快方式,比看参数可靠。
参数速查与四条边界
这张表按“文字 → 模型 → 遮罩 → 采样 → 保存”的顺序排。路径、阈值、步数、种子都取自 JSON,可以直接对照。
| 节点 | 真实参数 | 它管什么 |
|---|---|---|
| #1 LoadImage | 3f20815a3b6658396e42dc102cb16f0.png | 唯一的底图来源,五处下游都从它取图。 |
| #39 DeepTranslator | chinese (simplified) → english · 地面 | 产出检测词 floor,决定“找什么”。 |
| #16 DeepTranslator | auto → english · 黑色大理石地砖 | 产出改图词,决定“改成什么”。 |
| #12 GroundingDinoModelLoader | GroundingDINO_SwinB (938MB) | 开放词表检测模型,负责从文字到框。 |
| #11 SAMLoader | sam_vit_b_01ec64.pth · Prefer GPU | 分割模型,负责从框到像素级遮罩。 |
| #10 GroundingDinoSAMSegment | prompt floor · 阈值 0.3 | 两次推理合成一步,输出 MASK → #13 / #27 / #33。 |
| #33 VAEEncodeForInpaint | grow_mask_by 6 | 按遮罩编码 latent,并把重绘区外扩 6 像素。 |
| #17 / #21 CLIPTextEncode | 正向 ← #16 · 负向 "" | 把“改成什么”编码成条件;负向为空。 |
| #22 KSampler | seed 533503297881527 · 20 步 · CFG 3 euler_ancestral · normal · denoise 1 | SDXL 局部重绘,但整条支路没有下游。 |
| #68 Flux2 子图 | 22 节点 · 4 步 · CFG 1 · 1 MPflux-2-klein-base-9b-fp8 + qwen_3_8b_fp8mixed | 把三段文字拼成一句,拿整图重画,不接收遮罩。 |
| #26 SaveImage | ComfyUI | 唯一的落盘口。 |
词表:只认常见名词
floor、sofa、window 这类具体名词最稳。“大理石地面”“右下角那块地”都不是它的语言。
阈值:松紧都有代价
0.3 偏松,容易把地毯、台阶一起当地板;调到 0.5 更干净,但可能整块地板都找不到。先用 #27 看遮罩(先把 #27 从静音改成 Always),再决定往哪边调。
遮罩:被挡住的看不见
SAM 只能分割“看得见”的部分。沙发压住的地板、桌子下面的角落会缺失;grow 6 只补 6 像素,补不回一大片。
踩坑:找准了区域,不等于改对了地方
这一课的坑集中在“看起来都对”:框对了、遮罩对了、参数也对了,但最后那张图没走过这条链。
#25 解码完没人接,整条 inpaint 白跑致命
症状:遮罩预览里地板抠得很准,出图却整张都变了。因为 SDXL 局部重绘在 #25 结束,没有下游就不会被执行。
改法:给 #25 接一个 SaveImage,和 #26 并排跑一次。你会同时得到“真局部”和“整图重绘”两张,差别一眼可见。
提示词拼成中英混排高频
症状:最终提示词是“将图中的floor转化为black marble floor tile”。中文连接词与英文关键词混在一起,模型能猜,但语义不稳。
改法:把 #62 / #63 也改成英文(例如 replace the / in the image with),或直接把整句写进一个节点,别让翻译结果和中文模板硬拼。
ShowText 框里写着中文,显示的是英文中
症状:你以为检测词是“地面”,实际送进模型的是 floor。ShowText 的面板文本只是没接线时的默认值。
改法:看 ShowText 的输入有没有连线;有连线时,以连线来源为准,框里的字不算数。
把一句话塞进检测框中
症状:写“把地板换成黑色大理石”后,检测不到任何东西,遮罩全黑。GroundingDINO 要的是名词短语,不是指令。
改法:检测词只写物体名(floor / rug / sofa);“换成什么”交给 #16 与重绘提示词。
0.3 把地毯也算进地板中
症状:遮罩把地毯、门槛、甚至一小块墙面都包进来,重绘后这些地方一起变成大理石。
改法:先把阈值升到 0.4 看是否还漏;漏了再回到 0.35。用 #27 的叠加预览判断(先把 #27 从静音改成 Always),不要只看最终图。
两个子图都叫 New Subgraph低
症状:进了一层,里面还是一个同名节点;改完不知道改的是外层还是内层。
改法:记住 #68 是外层、#67 里才是 22 个节点的正体;或者进去后立刻重命名。
保存前缀还是 ComfyUI低
症状:试了 floor / rug / 不同阈值,全在同一串编号里,事后分不清。
改法:用 seg_floor_t030_marble 这种前缀,把检测词、阈值、目标材质写进文件名。
练习:让遮罩真正参与一次出图
顺序和上一课一样:先证明当前没走遮罩,再亲手接上。这一课到这里,你能拿到的是遮罩;重绘支路缺最后一根线——主练习就是把那根线接上。做完这六题,你对“检测 / 分割 / 重绘”三段的分工就不会再混。
主练习:把 #25 那根线接上
先按现状跑一次(#25 的 IMAGE 没有连到任何保存节点),记下保存目录里没有任何来自 #25 的图;再新增 SaveImage,接到 #25 的 IMAGE,跑第二次。保留 #26 不动,两次对比。
换检测词
把 #39 的“地面”改成“地毯”,跑一次;再改成“沙发”,跑一次。
阈值三连
把 #10 的阈值设为 0.1 / 0.3 / 0.5,每次用 #27 看遮罩范围(先把 #27 从静音改成 Always)。
找遮罩缺口
用 #27 放大看沙发腿、桌脚附近(先把 #27 从静音改成 Always),记录哪些地板没被白区覆盖。
只改目标材质
把 #16 改成“浅色木地板”,其他不动,跑 #25 与 #26 各一张(#25 先按 EXERCISE 01 接上保存)。
清掉中英混排
把 #62 改成 replace the、#63 改成 with,让整句变成英文。
交作业前自检
- 我能说清 GroundingDINO 与 SAM 各自输出什么、为什么必须接力。
- 我知道检测词要写名词短语,改图词才写“换成什么”。
- 我能从 #26 倒推,指出落盘支路没有 mask 输入。
- 我知道 #25 为什么不会执行,并亲手给它接过保存。
- 我会用 #27 检查遮罩(先把它从静音改成 Always),而不是只看最终图。
- 我能说出阈值调高、调低各自的风险。
- 我的保存前缀能看出检测词、阈值和目标材质。
这类“缺一根线”不止这一处
真实工作流里这种情况很常见:元件齐全,参数也对,就是少一根线,于是整条支路安静地不执行。这套教材里还有同类——01 号的 #184 VAEDecode、07 号的 #4 ImageScaleBy,输出都没有下游(以实际 JSON 为准)。
学会从 SaveImage 反查:先找到保存节点,再顺着输入往回走,只认这条链上的节点。这样就不容易被“看起来完整”的图骗。
ComfyUI_工作流架构/06📚基础版 文字识别局部修改.json。顶层 22 个节点、33 条连线;2 个子图定义(外层 1 个节点,内层 22 个节点,名称均为 New Subgraph)。检测模型、分割模型、提示词、阈值、grow、采样参数与种子逐项读取自 widgets_values;#25 无下游、#26 仅接 #68、#68 不含 mask 输入均由 links 核对确认。核对日 2026-11-08。