前置知识卡
这一课同时压上三套机制:结构控制、风格注入、潜空间重画。下面三张卡是硬前置,缺一张,第四节就会卡住。卡里出现的每个术语都给了人话版;想追原理,点术语链接去对应课。
采样与步数
采样就是从一团噪声里一步步擦出图,步数就是擦几遍。懂了这两件事,才看得懂为什么 15 步够用、为什么 denoise 是 1.0 等于「从零重画」。见 KSampler 与 steps。
ControlNet 与 IPAdapter
ControlNet 管「形」:它拿一张结构图,逼画面按结构走。IPAdapter 管「气」:它把参考图的色调和氛围变成向量,塞进模型。本课两条 ControlNet 是串联,IPAdapter 走 style transfer。见 ControlNet、IPAdapter。
条件与提示词
条件(conditioning)就是编码后的提示词,模型真正读的那份。本课的正向条件不是手写,而是 Florence2 盯着参考图反推出来的一段英文。见 CONDITIONING、Florence2。
diffusers_xl_depth_full 与 mistoLine_rank256 两个 ControlNet、IPAdapter plus 与 CLIP-ViT-H、Florence2-large、ComfyUI-Impact-Pack、ComfyUI-IPAdapter_plus、rgthree、pysssss、AIO Aux Preprocessor、Deep Translator。少一个,第四节对应节点就会报红。
工作流全景图
六段:输入 → 感知 → 条件 → 控制 → 采样 → 精修输出。看的时候盯住两条并行支路就行:结构信息走 Depth / Lineart,风格信息走 Florence2 / IPAdapter,最后在 KSampler 汇合。别试图一次记住 34 个节点。
读图顺序:先看左两张输入,再看上方两条结构支路(橙),然后看下方风格支路(紫/蓝),最后汇入右侧黑色 KSampler 与 Flux2 精修。虚线粉色框是本课要特别指出的死端。
逐节点拆解
参数全部从 04📚基础版 建筑毛坯+参考图出图 .json 逐项读出,节点编号与文件里一致。建议把 ComfyUI 开在旁边,一段一段对。
双图入口
分组 2️⃣ 与 3️⃣整条结构链的唯一来源。它的图片同时送往四个下游:Depth 预处理、Lineart 预处理、尺寸归一、对比器 A 面。
文件名是上传后的哈希名,说明它是从本机 input 目录读的,换电脑必须重新上传。
风格来源。一路进 Florence2 被“读成文字”,一路进 IPAdapter 被“读成向量”,还有一路进 IPAdapterNoise 生成负向图。
它把 LoRA 输出的 MODEL、CLIP 和主模型的 VAE 广播给画布上所有“同类型但没接线的输入”。你在图上找不到线,不代表没有连接。
风格理解链
参考图 → 英文描述 → 正向提示词加载 Florence2 多模态模型,只负责“看图说话”,不参与最终出图。
输入是风格参考图,输出是一段英文详细描述。这段描述之后会成为正向提示词的正文。
把 Florence2 的输出显示出来,同时分两路:一路给翻译节点做中文展示,一路直接进正向 CLIPTextEncode。
当前内容是那段以 “The image is a 3D rendering of a two-story building…” 开头的英文。注意:它描述的是参考图,不是你的现状建筑。
把英文描述翻成中文,接到 #86 显示。它的输出没有任何下游连线——翻译结果不参与出图。
正向提示词由 #62 的英文描述实时覆盖,所以你在节点框里看到的那段 “modern high-rise building…” 是历史残留,不生效。
完全空字符串,不加任何负向词。画面的“干净程度”主要交给采样参数和精修子图控制。
双 ControlNet 结构锁
先深度,后线稿#17 把现状照片转成深度图,#12 用深度 ControlNet 约束采样。强度 0.35,属于“明显但不死板”的档位。
#50 提取标准线稿,#48 把线稿约束叠加在深度约束之上。强度 0.30,比深度略低,避免线条把材质压死。
两个 ControlNet 是串联而非并联:#48 吃的是 #12 输出的正负条件,所以顺序写死在链路里。
IPAdapter 风格注入
参考图 → 负向噪声图 → 风格权重#36 装 IPAdapter 权重,#44 装 CLIP Vision 视觉塔,二者一起把参考图编码成风格向量。
把参考图“打糊”成一张负向参考图,告诉 IPAdapter:风格像它,但不要这么具体。
把风格向量注入 LoRA 之后的模型。用 style transfer 模式而不是 composition,是为了只借气质、不借构图。
潜空间与采样
2400 px 工作分辨率#78 给死值 2400,#79 按“保持比例”缩放到 2400×2400 的框内,并对齐到 32 的倍数。
#16 把起始图压进潜空间,#31 设定一次出 1 张。按 2400 长边计算,潜空间约 300×300,这是本课显存压力的主要来源。
15 步、CFG 3、euler_ancestral。虽然喂了起始图,但 denoise 是 1.0,等于从纯噪声重画,构图完全依赖两条 ControlNet。
Flux2 精修子图
#354 → #353 → #352(真身在 2b1a38bb)SDXL 解码出的图先缩到 200 万像素,再进 Flux2 Klein 做 1 步参考精修,然后重新解码输出。展开要连点三层,因为三个子图都叫 “New Subgraph”。
输出与对比
分组 4️⃣只保存精修后的图,不保存 SDXL 中间结果。文件名前缀固定为 ComfyUI。
A 面是原始现状照片,B 面是精修结果。这个节点不参与生成,但它是你调参时最重要的反馈来源。
参数速查表
只挑「动了看得出差别」的 14 个。规矩一条:先把种子固定,之后每次只动一行。一次动三个,你永远分不清是谁起的作用。
| 参数 | 现值 | 位置 | 调大之后 | 调小之后 | 建议区间 |
|---|---|---|---|---|---|
| LoRA 强度 | 0.49 | #2 strength_model | 风格更重,建筑细节开始被 LoRA 带偏 | 更接近底模,画面更“素” | 0.3 – 0.7 |
| Depth 控制强度 | 0.35 | #12 strength | 体块、进退关系更死;过高会像白模贴图 | 体积感变松,透视容易跑 | 0.25 – 0.55 |
| Lineart 控制强度 | 0.30 | #48 strength | 轮廓更硬、更像线稿填色 | 边缘更自由,材质更松 | 0.20 – 0.45 |
| IPAdapter 权重 | 0.70 | #37 weight | 色调氛围更贴参考图,可能盖过材质 | 参考图只剩一点点影响 | 0.55 – 0.85 |
| 风格结束点 | 0.95 | #37 end_at | 接近 1.0,风格贯穿全程 | 后段放自由,细节更自然 | 0.80 – 1.00 |
| 负向图模糊 | fade / 0.4 / 5 | #41 type / strength / blur | 负向更“糊”,参考图的具体内容被抑制得更多 | 负向接近原图,风格约束变紧 | 0.3 – 0.6 |
| 工作分辨率 | 2400 | #78 ImpactInt | 细节更多,显存暴涨(潜空间按平方涨) | 更快,但边缘会糊 | 1600 – 2400 |
| 批量张数 | 1 | #31 batch_size | 一次多张,等效成倍耗时 | —(最小为 1) | 1 – 2 |
| 采样步数 | 15 | #4 steps | 细节更收敛,超过 25 收益很小 | 低于 10 容易出脏块 | 15 – 25 |
| CFG | 3.0 | #4 cfg | 更听提示词,但容易过饱和、发硬 | 更自由,可能忽略描述 | 2.5 – 5.0 |
| 去噪强度 | 1.0 | #4 denoise | —(已到顶,纯重画) | 开始保留原图,0.5 左右像“精修” | 0.8 – 1.0 |
| 精修像素量 | 2 MP | 子图 #349 | 更清,Flux2 更慢、更吃显存 | 快,但放大痕迹明显 | 1.5 – 3 MP |
| 精修步数 | 1 | 子图 #351 | 2–4 步会更“重绘”,可能改掉原构图 | 0 步等于只做缩放 | 1 – 2 |
| Florence 描述长度 | 1024 | #60 max_new_tokens | 描述更啰嗦,常出现无关细节 | 描述过短,风格抓不准 | 512 – 1024 |
踩坑
每一条都能在文件里指到具体节点,不是泛泛的「注意这个」。前两条纠正容易看错的连线;后面几条会直接导致「换台电脑就跑不起来」。
一条“看起来在放大”的支路,其实没接到输出
07 号画布左边挂着 #3 UpscaleModelLoader(4x-UltraSharp)→ #2 ImageUpscaleWithModel → #4 ImageScaleBy(0.5)。但 #4 的 outputs[0].links 是空数组,SaveImage 只吃 #390 那条链。
结果:你以为在用 4× 模型直出,实际输出的是 Flux2 精修链。想对比两种放大,得手动把 #4 接到 SaveImage。
修法:给 #4 单独接一个 SaveImage 用于对比,或整段删掉,避免误判。
“07 把正向提示词接进负向槽”是误判,别照着改
把连线逐条追一遍:#377 CR Text “8K,4K,增加细节” → #381 CLIPTextEncode → #372 ReferenceLatent → CFGGuider slot 1,slot 1 是正向;负向 #369 是空串,走 #370 → slot 2。04 号的接法完全相同(#348 → #350 → #343 → slot 1),两者都没接反。
容易看错的原因是子图里节点挤在一起,ReferenceLatent 又遮住半条线。验证方法:选中 CFGGuider,按 model / positive / negative 的顺序看输入,再往上游追两个 ReferenceLatent。
结论:这条不是坑。把它写进踩坑清单,反而会让人改坏本来正确的接线。
子图全叫 “New Subgraph”,还越套越深
04 号是三层:#354(46decb)→ #353(d3037d)→ #352(2b1a38bb),前两层各只有 1 个节点,真正的 18 个节点在第三层。07 号更夸张:#390 → #389 → #388 → #387 四个空壳,才到 22 个节点的真身。
修法:重命名为“Flux2 一步精修”,删掉空壳层;至少在子图描述里写清输入输出。
换机即断的图片引用
04 号两张输入是上传后的哈希名 7db588f3…jpg 与 8d9696b3…jpg,只存在于作者本机的 ComfyUI/input。01 号更直接,写的是 image (26).png;05 号的手绘蒙版用的是 clipspace/clipspace-painted-masked-…png [input]。
修法:给工作流配一个 input/ 素材包,文件名统一成 04_site.jpg / 04_ref.jpg,导入后重新选图。
翻译节点是死端,中文只是给你看的
DeepTranslator 的输出只连到 ShowText,没有进入任何 CLIPTextEncode。正向提示词用的仍是 Florence2 的英文原文(#62 → #59)。更反直觉的是:节点参数写 auto → english,显示的却是中文。
修法:要么把 #85 输出接到一个英文 CLIPTextEncode 后再进 #12,要么直接删掉这条展示链,减少误导。
节点框里的提示词是“历史残留”
#59 的文本框里还留着一段以 “modern high-rise building…” 开头的描述,但它的 text 输入已被 #62 占用。连线优先,框里的字完全不生效。照着框里的字去改,会得到“改了没反应”的假象。
修法:清空文本框,或断开 #62 改成手写提示词,二选一,别让两种来源并存。
Anything Everywhere 的线是“看不见”的
它把 MODEL / CLIP / VAE 自动广播给所有未连线的同类型输入。画布上看不到一根线,但节点确实被接上了。调试时如果“参数没错、结果不对”,优先检查它。
修法:排错时先静音(mute)#38,再逐个显式连线,问题会立刻暴露。
denoise = 1.0:起始图其实只是“定尺寸”
虽然走了 #15 → #79 → #16 → #31 的图生图链路,但 denoise 是 1.0,采样从纯噪声开始。起始图的内容不参与生成,只贡献了宽高与 batch。构图能保住,靠的是两条 ControlNet。
修法:想保留原图材质,把 denoise 降到 0.55–0.75;想完全重画,就接受“起始图只是尺寸模板”。
保存前缀会骗人
01 号的 SaveImage 前缀写成 Flux2-Klein-4b-base,但实际加载的是 flux-2-klein-base-9b-fp8;04 号则只写了通用的 ComfyUI,出图后根本分不清是哪一版参数。
修法:前缀统一成 04_building_{模型}_{LoRA}_{seed} 这类可追溯格式。
动手练习 + 自检清单
按顺序做,一个练习只改一个变量。做完再回看第五节,你会突然看懂表里那几行数字。
先跑通,再谈效果
准备一张建筑照片和一张风格参考图,替换 #15 / #33,其余不动,直接排队。记录耗时与显存峰值。
固定 seed,只动 LoRA
把 #4 的 control_after_generate 改成 fixed,然后让 LoRA 强度在 0.2 / 0.49 / 0.9 各跑一次。
拆掉一条 ControlNet
先把 #12 强度设 0,再把 #48 设 0,各跑一次,与原始结果三张并排。
风格衰减实验
#37 的 end_at 依次设 0.6 / 0.8 / 0.95 / 1.0,IPAdapter 权重保持 0.7。
精修到底值不值
把 #354 静音,直接保存 #9 的输出;再恢复 #354,对比同 seed 两张图。
修一个真实的坑
按第六节修法,删掉 #85/#86 死端,或把 #59 的残留文案清空;再给工作流配一套规范命名的 input 素材。
自检清单(勾选状态会存在本机)
- 我能说清 #15 与 #33 各自负责“形”还是“气”。
- 我知道两条 ControlNet 是串联,且深度在前、线稿在后。
- 我能指出正向提示词的真实来源是 #62,而不是 #59 的文本框。
- 我知道 #85/#86 翻译链不参与出图。
- 我理解 denoise=1.0 时,起始图只贡献尺寸。
- 我能独立找到并展开 #354 里的 Flux2 子图,说出它做了一步什么。
- 我改过至少一个参数,并能解释结果为什么变。