AI 入门与 ComfyUI 出图课
L3 / B 线 / B2
L3 · 单品课 · B 线第 2 站

文字识别局部修改:用一句话指定改哪儿

地板要换成黑色大理石,你沿着墙角涂了十分钟;透视一歪,贴回去还是有一条缝。于是你想:能不能直接说一句“改地板”?这一课讲 GroundingDINO 找框、SAM 抠边的接力链,也讲 06 号落盘支路上那个更隐蔽的坑。

01 / 现实问题与一句话目标

你大概也遇到过:地板要换成黑色大理石,但你不想手动沿着墙角涂一圈——透视一复杂,涂抹边界必然歪,贴回去就有缝。

这一课的目标:看懂“文字 → 检测框 → 像素遮罩”这条接力链,知道提示词该写名词、阈值该往哪边调,并能判断遮罩到底有没有参与最终出图。

06 源文件 06📚基础版 文字识别局部修改.json 节点 / 连线 22 / 33 子图 2 层 检测 GroundingDINO SwinB · 0.3 分割 SAM vit_b 数据核对日 2026-11-08
当前位置B 线 · 改图线 · 第 2 站
B1
手动涂抹局部修改
B2
文字识别局部修改你在这里
C1
高清放大
02 / PRINCIPLES

两个模型接力:一个负责“哪儿”,一个负责“边界”

你可能以为有一个模型能“听懂一句话就精确抠图”。没有。这条链是分工的:检测器只给矩形框,分割器才给像素级遮罩。

DETECT

GroundingDINO 做什么

开放词表检测器:你给一个名词短语,它在图里找出对应物体的矩形框。“开放词表”指不必预先限定类别——你写什么名词,它就找什么。反例:它不是只认固定 80 类的旧检测器;但它也不懂“大理石”,不懂“换成”,只回答“floor 在哪”。

SEGMENT

SAM 做什么

分割模型:你给框,它在框内沿着真实边缘抠出像素级遮罩。墙角、桌腿、地毯毛边都能贴住,这是手涂最难做好的部分。

THRESHOLD

0.3 是什么

检测置信度阈值。置信度是模型对“这是地板”的把握分数,0 到 1。调低 = 宁可多框(可能误检);调高 = 只留很有把握的(可能漏检)。06 号用 0.3,偏宽松。反例:阈值不是“准确率”,调高不会让框更准,只会让框更少。

三个术语先分清:检测(detection)输出框;分割(segmentation)输出遮罩;局部重绘(inpaint)拿遮罩去改图。06 号把前两步合成一个节点 GroundingDinoSAMSegment,所以你在图上只看到一个盒子,里面其实是两次推理。
floor 原图 + 一句话 prompt: floor 检测框 只有一个矩形 像素遮罩 贴着墙角走
注意第二格和第三格的区别:框是矩形的,会把沙发腿、地毯一起圈进去;遮罩才贴着地板真实边缘。局部重绘要的是第三格,不是第二格——这就是为什么检测之后必须再过一次 SAM。
03 / BLUEPRINT

全景:一条竖着走的识别链,和一条绕开遮罩的保存链

06 号的布局和 05 号不同:识别链是竖着往下走的,保存链却在最底下横着绕过去。先顺着编号看一遍,再回答:最终那张图,经过遮罩了吗?两个词先落地——死端:节点输出没接下游,ComfyUI 求值时不会执行它,不报错,只是安静地不工作;子图:把一堆节点折叠成一个方块,双击才进得去,这份文件里 2 个子图都叫 New Subgraph。

① 文字 → 检测 → 分割 DeepTranslator 地面 → floor chinese → english GroundingDinoSAMSegment prompt floor · 阈值 0.3 SwinB 938MB + sam_vit_b MaskToImage 遮罩 → 图 PreviewImage 只看,不保存 text mask 预览 mask ② 遮罩的去处:局部重绘(死端) VAEEncodeForInpaint grow 6 pixels ← #1 · mask ← #10 KSampler 20 步 · CFG 3 euler_ancestral · normal VAEDecode 解码成图 没有下游 输出口是空的 LATENT LATENT IMAGE ③ 真正落盘的支路:它没有收到 mask LoadImage #1 3f20815a…f0.png DeepTranslator #16 黑色大理石地砖 → 英 Flux2 子图 #68 text2 / text2_1 / image 22 节点 · 4 步 · CFG 1 1 MP · ReferenceLatent SaveImage #26 ComfyUI image text IMAGE 为什么 prompt 只写一个名词 GroundingDINO 是开放词表检测器, 吃名词短语,不吃整句描述。 「floor」命中地板;写「把地板换成 大理石」反而可能什么都找不到。 阈值 0.3 偏松:宁可多框。 漏检就往下调,误检就往上调。 框只是框;SAM 才把它变成 贴着物体边缘的像素遮罩。
遮罩支路(死端) 实际落盘 检测 / 分割 文字输入 遮罩转换
窄屏速读:地面 → 翻译成 floor → GroundingDINO 找框 → SAM 抠遮罩 → VAEEncodeForInpaint → KSampler → VAEDecode → 无下游。另一条:原图 + 两条文字 → Flux2 子图 → SaveImage。落盘的是后一条,它没有 mask 输入。

比 05 号更隐蔽的一点

05 号的遮罩连重绘节点都没接上;06 号的遮罩确实进了 VAEEncodeForInpaint,链路看起来完全正确——但那条链在最后一步断了。#25 VAEDecode 没有下游,于是整条 SDXL 局部重绘都不会被执行。

最后落盘的 #68 Flux2 只收 text2、text2_1、image 三路,没有 mask。所以“文字识别”找准了区域,但最终图并没有只改那块区域。

本课定位:这一课到这里,你能拿到的是遮罩;重绘支路缺最后一根线,这正是本课的练习。

04 / NODE BY NODE

逐节点:从一句话到一张遮罩,再到一次落空

按“输入与文字 → 检测与分割 → 遮罩重绘 → 落盘”四段看。注意每张卡右侧的真实输入输出,它们决定了节点到底会不会被执行。

A

输入与文字:三条文字各走各的路

#1 / #39 / #16
#1LoadImage底图

它做什么:读入室内照片,后面五处都从它取图:检测、遮罩预览、inpaint 编码、对照、Flux2 子图。

image3f20815a3b6658396e42dc102cb16f0.png
输出IMAGE → #10 / #27 / #33 / #42 / #68

换图只改 #1 就够:检测、inpaint、Flux2 参考图都从它接线。但 #68 内部会先把图缩到 1 MP,原图很大时,细节会在这里被压掉。

#39DeepTranslatorTextNode找什么

它做什么:把“地面”翻成 floor,送给检测器当提示词。中文检测不是不能试,但英文名词在这类模型上更稳。

方向chinese (simplified) → english
原文地面
输出floor → #40 / #10 / #68
面板会骗人:#40 ShowText 的框里写着“地面”,但它的 text 输入接了 #39,所以实际显示的是英文 floor。
#16DeepTranslatorTextNode改成什么

它做什么:把“黑色大理石地砖”翻成英文,送给 SDXL 的正向编码 和 Flux2 的 text2_1。它和 #39 是两条独立的文字,一条管“找”,一条管“改”。

方向auto → english
原文黑色大理石地砖
输出→ #17 / #24 / #68
B

检测与分割:一个节点,两次推理

#12 / #11 / #10 / #13 / #27
#12 · #11GroundingDinoModelLoader · SAMLoader两个模型

它们做什么:#12 提供“找框”的检测模型,#11 提供“抠边”的分割模型。两者都只加载一次,供 #10 调用。SwinB 是检测骨干的型号(B 比 T 更准也更慢);vit_b 是 SAM 的骨干型号,b 指 base。Prefer GPU 表示优先用显卡跑,没显卡会自动退回 CPU,只是慢很多。

检测模型GroundingDINO_SwinB (938MB)
分割模型sam_vit_b_01ec64.pth
设备Prefer GPU
#10GroundingDinoSAMSegment文字 → 遮罩

它做什么:先用 #12 按 floor 找框,再让 #11 在框内分割,最后输出一张遮罩。你在图上看不到框,只能看到最终的白区。

prompt← #39(floor)
阈值0.3
输出MASK → #13 / #27 / #33

一张遮罩同时喂给三处:转成图预览(#13)、带图画布预览(#27)、inpaint 编码(#33)。

#13 · #14 · #27MaskToImage · PreviewImage · ImageAndMaskPreview三种看遮罩的方式

它们做什么:#13 把遮罩转成黑白图,#14 直接预览;#27 把原图与遮罩叠在一起看,适合检查“有没有涂过界”。注意:#27 默认是静音(mode 2),不改状态就不会出图——先右键把它改成 Always。

#27 参数[1, "255, 255, 255", false]
#27 输入image ← #1 · mask ← #10

三个节点都不落盘。它们只帮你判断遮罩质量,不改变结果。

C

遮罩重绘支路:这次真的用了遮罩,但还是白算

#33 / #17 / #21 / #22 / #25
#33VAEEncodeForInpaint按遮罩编码

它做什么:把原图编码成 latent(潜空间,按 1/8 缩小的草稿画布),并把遮罩内对应的位置标记为“待重绘”。grow 6 表示遮罩向外扩 6 像素,给接缝留余量。

pixels← #1
vae← #35(SDXL 室内大模型)
mask← #10
grow_mask_by6
#17 · #21CLIPTextEncode × 2正向 / 负向

它们做什么:#17 是正向,文本框本身是空的,内容来自 #16 的英文译文;#21 是负向,没有接文字输入,保持空字符串。两个都是 CLIPTextEncode——CLIP 负责把文字压成条件,L3-01 讲过。

#17 text← #16(覆盖空框)
#21 text""
#22KSamplerSDXL 局部重绘

它做什么:在 #33 给的 latent 上采样,只改遮罩区域。模型来自 #36 LoRA(0.22,LoRA 是补丁,L3-01 讲过),它接在 #35 CheckpointLoaderSimple 后面,所以风格会和 SDXL 室内大模型 一致。denoise 1 表示遮罩内彻底重画;CFG 3 是偏温和的听话程度;seed 决定从哪团噪声起步。

seed533503297881527 · randomize
步数 / CFG20 / 3
采样器euler_ancestral · normal
denoise1
latent← #33
#25VAEDecode解码 · 死端

它做什么:把 #22 的 latent 解码成图。解码能跑通,但没有下游,所以它不会出现在任何保存文件里——这不是错,是这条支路没接完。

samples ← #22vae ← #35(link #77)IMAGE → 无
断点:它的 IMAGE 没有接任何节点。没有下游,就没有执行理由——整条 C 段都不会跑。
D

落盘支路:文字拼出一句话,整图重画

#68 / #26 / #42
#68Flux2 子图整图重绘

它做什么:子图内部有 22 个节点,折叠成一个方块。它把三段文字拼成一句话:将图中的 + floor + 转化为 + black marble floor tile,然后拿原图当参考,重画整张。输入会先缩到 1 MP(约一百万像素),再进采样。

内层节点22
模型flux-2-klein-base-9b-fp8
文本编码qwen_3_8b_fp8mixed
步数 / CFG4 / 1
缩放ImageScaleToTotalPixels 1 MP
输入text2 · text2_1 · image(无 mask)
拼出来的句子是中英混排:“将图中的floor转化为black marble floor tile”。连接词是中文、关键词是英文,模型能猜,但这不是干净的写法。
#26SaveImage唯一落盘

它做什么:保存 #68 的结果。前缀 ComfyUI,从文件名看不出这版用的是 floor 还是别的词。

images← #68
filename_prefixComfyUI
#42Image Comparer (rgthree)前后对照

它做什么:A 放原图(#1),B 放结果(#68)。拖动中线,你能看到整张图都变了:不只是地板,墙、家具、光都重画了一遍。

image_a ← #1image_b ← #68

这就是判断“到底改没改局部”的最快方式,比看参数可靠。

05 / PARAMETERS

参数速查与四条边界

这张表按“文字 → 模型 → 遮罩 → 采样 → 保存”的顺序排。路径、阈值、步数、种子都取自 JSON,可以直接对照。

节点真实参数它管什么
#1 LoadImage3f20815a3b6658396e42dc102cb16f0.png唯一的底图来源,五处下游都从它取图。
#39 DeepTranslatorchinese (simplified) → english · 地面产出检测词 floor,决定“找什么”。
#16 DeepTranslatorauto → english · 黑色大理石地砖产出改图词,决定“改成什么”。
#12 GroundingDinoModelLoaderGroundingDINO_SwinB (938MB)开放词表检测模型,负责从文字到框。
#11 SAMLoadersam_vit_b_01ec64.pth · Prefer GPU分割模型,负责从框到像素级遮罩。
#10 GroundingDinoSAMSegmentprompt floor · 阈值 0.3两次推理合成一步,输出 MASK → #13 / #27 / #33。
#33 VAEEncodeForInpaintgrow_mask_by 6按遮罩编码 latent,并把重绘区外扩 6 像素。
#17 / #21 CLIPTextEncode正向 ← #16 · 负向 ""把“改成什么”编码成条件;负向为空。
#22 KSamplerseed 533503297881527 · 20 步 · CFG 3
euler_ancestral · normal · denoise 1
SDXL 局部重绘,但整条支路没有下游。
#68 Flux2 子图22 节点 · 4 步 · CFG 1 · 1 MP
flux-2-klein-base-9b-fp8 + qwen_3_8b_fp8mixed
把三段文字拼成一句,拿整图重画,不接收遮罩。
#26 SaveImageComfyUI唯一的落盘口。
一句话记住这条链:检测器回答“在哪儿”,SAM 回答“边界在哪”,inpaint 回答“怎么改”。三者缺一,局部修改就退化成整图重画。
边界 1

词表:只认常见名词

floor、sofa、window 这类具体名词最稳。“大理石地面”“右下角那块地”都不是它的语言。

边界 2

阈值:松紧都有代价

0.3 偏松,容易把地毯、台阶一起当地板;调到 0.5 更干净,但可能整块地板都找不到。先用 #27 看遮罩(先把 #27 从静音改成 Always),再决定往哪边调。

边界 3

遮罩:被挡住的看不见

SAM 只能分割“看得见”的部分。沙发压住的地板、桌子下面的角落会缺失;grow 6 只补 6 像素,补不回一大片。

边界 4:分辨率决定边缘精度。Flux2 支路先把图缩到 1 MP,SAM 若在缩过的图上工作,墙角边缘会变糙。要高精度遮罩,就让检测与分割跑在原图上,只在重绘阶段缩放。
06 / PITFALLS

踩坑:找准了区域,不等于改对了地方

这一课的坑集中在“看起来都对”:框对了、遮罩对了、参数也对了,但最后那张图没走过这条链。

#25 解码完没人接,整条 inpaint 白跑致命

#25 VAEDecode · IMAGE 输出为空

症状:遮罩预览里地板抠得很准,出图却整张都变了。因为 SDXL 局部重绘在 #25 结束,没有下游就不会被执行。

改法:给 #25 接一个 SaveImage,和 #26 并排跑一次。你会同时得到“真局部”和“整图重绘”两张,差别一眼可见。

提示词拼成中英混排高频

#62 “将图中的” + #60 “floor” + #63 “转化为” + #65 英文

症状:最终提示词是“将图中的floor转化为black marble floor tile”。中文连接词与英文关键词混在一起,模型能猜,但语义不稳。

改法:把 #62 / #63 也改成英文(例如 replace the / in the image with),或直接把整句写进一个节点,别让翻译结果和中文模板硬拼。

ShowText 框里写着中文,显示的是英文中

#40 ← #39 · #24 ← #16

症状:你以为检测词是“地面”,实际送进模型的是 floor。ShowText 的面板文本只是没接线时的默认值。

改法:看 ShowText 的输入有没有连线;有连线时,以连线来源为准,框里的字不算数。

把一句话塞进检测框中

#10 GroundingDinoSAMSegment · prompt

症状:写“把地板换成黑色大理石”后,检测不到任何东西,遮罩全黑。GroundingDINO 要的是名词短语,不是指令。

改法:检测词只写物体名(floor / rug / sofa);“换成什么”交给 #16 与重绘提示词。

0.3 把地毯也算进地板中

#10 · 阈值 0.3

症状:遮罩把地毯、门槛、甚至一小块墙面都包进来,重绘后这些地方一起变成大理石。

改法:先把阈值升到 0.4 看是否还漏;漏了再回到 0.35。用 #27 的叠加预览判断(先把 #27 从静音改成 Always),不要只看最终图。

两个子图都叫 New Subgraph低

#68 → #67

症状:进了一层,里面还是一个同名节点;改完不知道改的是外层还是内层。

改法:记住 #68 是外层、#67 里才是 22 个节点的正体;或者进去后立刻重命名。

保存前缀还是 ComfyUI低

#26 SaveImage · filename_prefix

症状:试了 floor / rug / 不同阈值,全在同一串编号里,事后分不清。

改法:用 seg_floor_t030_marble 这种前缀,把检测词、阈值、目标材质写进文件名。

07 / PRACTICE

练习:让遮罩真正参与一次出图

顺序和上一课一样:先证明当前没走遮罩,再亲手接上。这一课到这里,你能拿到的是遮罩;重绘支路缺最后一根线——主练习就是把那根线接上。做完这六题,你对“检测 / 分割 / 重绘”三段的分工就不会再混。

EXERCISE 01

主练习:把 #25 那根线接上

先按现状跑一次(#25 的 IMAGE 没有连到任何保存节点),记下保存目录里没有任何来自 #25 的图;再新增 SaveImage,接到 #25 的 IMAGE,跑第二次。保留 #26 不动,两次对比。

应该看到:接之前只落 #26 一张;接之后多出 #25 那张,且只有地板变,#26 仍然整张重画。
EXERCISE 02

换检测词

把 #39 的“地面”改成“地毯”,跑一次;再改成“沙发”,跑一次。

应该看到:#27 的叠加预览里,白区跟着换了对象(先把 #27 从静音改成 Always),但 #26 的图变化不大——因为它没收遮罩。
EXERCISE 03

阈值三连

把 #10 的阈值设为 0.1 / 0.3 / 0.5,每次用 #27 看遮罩范围(先把 #27 从静音改成 Always)。

应该看到:0.1 把地毯也吞进来,0.5 可能只剩一小块;0.3 是这套图的折中。
EXERCISE 04

找遮罩缺口

用 #27 放大看沙发腿、桌脚附近(先把 #27 从静音改成 Always),记录哪些地板没被白区覆盖。

应该看到:被家具挡住的地板是黑的;这就是 grow 6 补不回来的部分。
EXERCISE 05

只改目标材质

把 #16 改成“浅色木地板”,其他不动,跑 #25 与 #26 各一张(#25 先按 EXERCISE 01 接上保存)。

应该看到:#25 只换地板材质,#26 连墙和家具一起变。
EXERCISE 06

清掉中英混排

把 #62 改成 replace the、#63 改成 with,让整句变成英文。

应该看到:#26 的材质更稳定,地板纹理不再随机漂移。

交作业前自检

  • 我能说清 GroundingDINO 与 SAM 各自输出什么、为什么必须接力。
  • 我知道检测词要写名词短语,改图词才写“换成什么”。
  • 我能从 #26 倒推,指出落盘支路没有 mask 输入。
  • 我知道 #25 为什么不会执行,并亲手给它接过保存。
  • 我会用 #27 检查遮罩(先把它从静音改成 Always),而不是只看最终图。
  • 我能说出阈值调高、调低各自的风险。
  • 我的保存前缀能看出检测词、阈值和目标材质。

这类“缺一根线”不止这一处

真实工作流里这种情况很常见:元件齐全,参数也对,就是少一根线,于是整条支路安静地不执行。这套教材里还有同类——01 号的 #184 VAEDecode、07 号的 #4 ImageScaleBy,输出都没有下游(以实际 JSON 为准)。

学会从 SaveImage 反查:先找到保存节点,再顺着输入往回走,只认这条链上的节点。这样就不容易被“看起来完整”的图骗。

本课数据来源与核对方式:ComfyUI_工作流架构/06📚基础版 文字识别局部修改.json。顶层 22 个节点、33 条连线;2 个子图定义(外层 1 个节点,内层 22 个节点,名称均为 New Subgraph)。检测模型、分割模型、提示词、阈值、grow、采样参数与种子逐项读取自 widgets_values;#25 无下游、#26 仅接 #68、#68 不含 mask 输入均由 links 核对确认。核对日 2026-11-08。