前置知识卡
这一课把“风格”当成一种可以被搬运的东西。搬运的介质不是文字,是 CLIP 的视觉特征——也就是把图压成的那串向量。采样器、CFG、种子沿用前面几课;新词在下方表里。
两道形控制
深度 0.42、线稿 0.50,都比前面几课低。因为这一课多了一个“抢话语权”的 IPA。
ip-adapter-plus_sdxl_vit-h.safetensors、CLIP-ViT-H-14-laion2B-s32B-b79K.safetensors、SDXL/mistoLine_rank256.safetensors、Florence-2-large(会自动下载),以及 图片2.jpg 图片3.png 两张图。
这一课会用到的词
| 词 | 英文原名 | 一句人话 | 一个反例 |
|---|---|---|---|
| IPAdapter | Image Prompt Adapter | 把参考图压成的向量塞进模型,让模型“看着这张图”画。 | 不是图生图:它不复制像素,只改风格倾向。 |
| CLIP Vision(视觉塔) | CLIP Vision Tower | CLIP 里负责看图的那一半,把图压成一串向量。 | 不是 OCR:它不读图上的字,只提取“这张图看起来像什么”。 |
| 权重类型 | weight_type | 决定 IPA 学参考图的哪一面:strong style transfer 偏质感,构图迁移偏布局。 | 不是强度:强度是 weight,类型换的是“学什么”。 |
| 起止点 | start_at / end_at | 风格注入从采样的百分之几开始、到百分之几停。 | 不是秒数:它按采样进度算,不按真实时间。 |
| 负向参考 | image_negative | 告诉 IPA“不要照这个来”的那张图。 | 不是负面提示词:它是一张图,不是一段文字。 |
形走一条路,气走另一条路
32 个节点看着吓人,其实只有两个来源:图片2 提供空间,图片3 提供气质。它们几乎不交叉,最后在采样器汇合。
三道约束把构图钉住
尺寸 1600、深度 0.42、线稿 0.50。三个都不到 1.0,是留给 IPA 的空间。
- #79 先把底图缩到 1600,统一比例;
- #12 深度管体量与透视;
- #48 线稿管轮廓与细节边界。
一条向量,加一段文字
#37 把参考图压成风格向量塞进模型;#60 同时读图写一段字幕,覆盖掉提示词。
- IPA 权重 0.72,类型 strong style transfer;
- 0.877 之后停止注入,收尾交给模型;
- 字幕描述“看到什么”,不描述“怎么画”。
汇合点:五条输入进一个采样器
时间轴:为什么停在 0.877
采样不是匀速的。风格注入全程开着,最后 12% 放手——那一段通常是模型在收拾边缘、补高光、让材质落地。
#41 IPAdapterNoise 不是“随便加点噪声”。它的输入是参考图本身,经过 fade 0.4 与 blur 5 处理,作为负向图喂给 #37。
作用:告诉 IPA“要的是这张图的颜色与质感,不是它的具体布局”。没有这一步,参考图的构图容易被一起搬过来。
逐节点拆解
先看气这条线,它是本课的主角;再看形这条线里被压低的两道控制。
IPA 这条线
#36 #44 #37 #41 #42IPA 模型负责“怎么把向量塞进注意力”,CLIP Vision 负责“怎么把图变成向量”。两个都要对版本,SDXL 只能用 SDXL 的 IPA。
模型路径是 #2 LoRA → #37 IPA → #4 采样器,直连,中间不经过控制网。风格是加在“模型本身”上的,不是加在提示词上的;#12 / #48 只管正向、负向条件,不碰模型。
combine_embeds: concat 是把多张参考图的向量拼起来;embeds_scaling: V only 是只放大向量里的 V 部分,让风格更纯、布局更少。这两个是配套,先知道它们管什么就行。
把参考图 fade 掉 40%、模糊 5 像素,得到一张“还记得颜色、但记不清布局”的图,当负向参考。#42 是它的预览,方便你确认弱化程度。
文字这条线
#60 #61 #62 #63 #64 #59任务选 more_detailed_caption,最长 1024 token,beam 3。它只描述参考图里“有什么”,不判断风格好坏。
#62 把字幕输出接到 #59 的 text 输入。此时 #59 框里显示的旧文字(一段关于玻璃幕墙高楼的描述)完全不参与计算,它只是被连线盖住了。
把英文字幕翻成简体中文,显示在 #63 里。它不回流到任何节点,纯辅助阅读。用的是免费的 Google 翻译服务,断网会失败。
离线环境把 #64 和 #63 静音即可,不影响出图。
形这条线
#15 #78 #79 #17 #12 #50 #48 #161600 是“长边”目标,保持比例,插值 lanczos,边长对齐到 32 的倍数。这个尺寸同时决定了出图比例。
框里显示的 512 × 512 是被 #78 输入覆盖掉的旧值,不用管。
比 C2 的一半还低。不是不会算,是故意让位:底图只提供“空间不要跑太远”,具体的透视交给线稿与 IPA 一起商量。
mistoLine 权重比 C2 的 lineart 更“耐草稿”。0.50 是半强度:轮廓在,但不会硬到让材质贴不上去。
1600 的图编码成 latent,批量 1,15 步、CFG 3、euler_ancestral、denoise 1.0。CFG 从 C3 的 2.67 提到 3,是因为文字由 Florence 写,需要模型更听话一点。
参数速查表
IPA 的调参只有三个真正有意义的旋钮:权重、类型、终点。其余是配套。
| 参数 | 现值 | 位置 | 调大之后 | 调小之后 | 建议区间 |
|---|---|---|---|---|---|
| IPA 权重 | 0.72 | #37 weight | 风格更压,0.9 以上容易把底图材质一起吃走 | 0.5 以下只剩一点色调倾向 | 0.6 – 0.85 |
| 权重类型 | strong style transfer | #37 weight_type | 换成更偏“构图迁移”的类型会把布局也搬过来 | 普通 style transfer 更松,风格更淡 | 风格优先用 strong |
| 终点 | 0.877 | #37 end_at | 设 1.0 全程压风格,收尾缺自由,边缘易糊 | 0.7 以下收尾太早,风格只在中期出现 | 0.8 – 0.9 |
| 负向弱化 | fade 0.4 / blur 5 | #41 | fade 更低 = 负向更弱,参考图布局更容易被搬 | fade 太高接近原图,负向过强会压掉风格 | 0.35 – 0.5 |
| 深度强度 | 0.42 | #12 strength | 0.6 以上和 IPA 抢,风格变淡 | 0.25 以下底图形开始漂 | 0.35 – 0.55 |
| 线稿强度 | 0.50 | #48 strength | 0.7 以上轮廓过硬,材质贴不上 | 0.3 以下细节边界消失 | 0.4 – 0.6 |
| 工作尺寸 | 1600 | #78 value | 更清晰,显存与时间上升 | 1200 以下小细节不锁 | 1400 – 2000 |
| CFG | 3 | #4 cfg | 5 以上发硬,且会压 IPA 的风格 | 2 以下文字方向失效 | 2.7 – 3.5 |
| 采样步数 | 15 | #4 steps | 20 以上更细腻 | 10 以下材质发脏 | 12 – 20 |
踩坑
第一条几乎人人都会踩:你在框里改提示词,改了半小时,发现一点变化都没有。
框里那段字不生效,它被 #62 覆盖了
#59 的 text 输入接着 #62,运行时以连线为准。你在节点上看到的“玻璃幕墙高楼”描述早就被参考图的字幕顶掉了。
修法:想手改提示词就断开 #62 → #59 那根线;想改方向就换参考图。#63 的中文才是这次真正喂进去的内容。
end_at 不是 1.0,这是有意的
0.877 意为“后 12% 的采样不再注入风格”。留这一段,模型才能把边缘收干净、把高光补自然。设成 1.0 常见表现是:整体很“像参考图”,但局部发糊、材质发闷。
修法:保持 0.85–0.9;真要更浓的风格,先加权重,不要拉满终点。
负向图不是随机噪声
#41 的 image_optional 接着参考图,fade 0.4 + blur 5,产出一张“褪色版参考图”当负向。删掉它,IPA 就少了“不要抄布局”的约束。
修法:保留;想验证效果就把它静音跑一张,对比参考图的构图是否更容易渗进来。
1600 和 04 号的 2400 不是一回事
工作尺寸越大,两道 ControlNet 与 IPA 的博弈越贵。1600 是为“风格迁移”调过的折中值;直接拉到 2400,出图时间翻倍,风格并不会更准。
修法:先 1600 调风格,确定后再用 C1 的放大链出大图。
参考图选“质感清楚、构图简单”的
参考图里元素越多,Florence 写的字幕越长,IPA 搬过来的东西也越杂。常见结果是底图被塞进参考图里的家具。
修法:选一张主体明确、色调统一的图当风格参考;构图复杂的图留给“构图迁移”类工作流。
翻译节点依赖网络
DeepTranslator 用的是免费的 Google 接口。断网或接口被限流时,这个节点报错,但它不参与生成,不影响出图。
修法:离线时静音 #64 与 #63;或直接看 #62 的英文原文。
图片2、图片3 这两个名字没有语义
一个是底图,一个是风格参考。名字完全看不出区别,换台机器或重新上传后极易接反,接反的典型现象是“形跑了、气也没来”。
修法:上传时直接命名 base_wall.png / style_ref_marble.png,并在 #15、#33 上写清角色。
动手练习 + 自检清单
IPA 的手感来自“换参考图”。同一张底图配三张不同气质的参考图,比调十个参数更有用。
先确认字被覆盖
把 #59 框里的文字删到只剩一个词,再跑一次。
断开提示词线
删掉 #62 → #59 的连线,把 #59 改写成你自己的空间描述。
三张参考图
固定底图与 seed,换三张风格差异明显的参考图。
终点三档
#37 end_at 依次 0.7 / 0.877 / 1.0。
关掉负向弱化
静音 #41,其余不动,跑同 seed。
压权重到 0.5
把 #37 权重从 0.72 降到 0.5,同时把深度提到 0.55。
自检清单(勾选状态会存在本机)
- 我知道 #59 框里的字不生效,输入来自 #62。
- 我能解释 end_at 0.877 留出的最后 12% 在干什么。
- 我知道 #41 的负向图来自参考图,不是随机噪声。
- 我能说出形由谁管、气由谁管、字由谁管。
- 我知道 1600 决定输出比例,并且它不是越大越好。
- 我做过三张参考图的对照。
- 我给输入图改过有语义的文件名。