落白lite & AI研学社·第 50 / 52 小节 · L3 · 单品课先修:L3-A2课程地图|← 上一课下一课 →
AI 入门与 ComfyUI 出图课
L3 / C 线 / C4
L3 · 单品课 · 增强线第 4 站

IPAdapter 风格迁移

客户扔来一张酒店大堂照片,说“照这个味道做,但用我的户型”。这句话交给提示词写不出来:光比、哑光、颜色的克制,全在“感觉”里。10 号的做法是——把参考图直接塞进模型,让它自己看。

01 / 一句话目标

用一张底图锁形,一张参考图给气质,跑出一张“构图是我的、风格是你的”的图。顺便说清 0.877 这个奇怪的终点值在做什么。

源文件 基础工作流 IPA风格迁移.json 节点 32 分组 5 块 IPA 权重 0.72 终点 0.877
当前位置C 线 · 增强线 · 第 4 站
C1
高清放大
C2
文生图 + 深度
C3
深度 + 语义分割
C4
IPA 风格迁移你在这里
D1
综合搭建练习
R
综合复盘
02 / PREREQUISITES

前置知识卡

这一课把“风格”当成一种可以被搬运的东西。搬运的介质不是文字,是 CLIP 的视觉特征——也就是把图压成的那串向量。采样器、CFG、种子沿用前面几课;新词在下方表里。

L1-05 / L2-01

CLIP 不只会读字

CLIP 有一个视觉分支,能把图片压成一串向量。IPA 就是把这串向量塞进模型的注意力里。见 L1-05 · IPAdapter 与 CLIP。

C2 · C3

两道形控制

深度 0.42、线稿 0.50,都比前面几课低。因为这一课多了一个“抢话语权”的 IPA。

L2-02

Florence 反推

参考图的气质没法全交给向量,文字仍要给方向。这一课用 Florence 看图写字幕。见 Florence。

运行前需要:ip-adapter-plus_sdxl_vit-h.safetensors、CLIP-ViT-H-14-laion2B-s32B-b79K.safetensors、SDXL/mistoLine_rank256.safetensors、Florence-2-large(会自动下载),以及 图片2.jpg 图片3.png 两张图。

这一课会用到的词

词英文原名一句人话一个反例
IPAdapterImage Prompt Adapter把参考图压成的向量塞进模型,让模型“看着这张图”画。不是图生图:它不复制像素,只改风格倾向。
CLIP Vision(视觉塔)CLIP Vision TowerCLIP 里负责看图的那一半,把图压成一串向量。不是 OCR:它不读图上的字,只提取“这张图看起来像什么”。
权重类型weight_type决定 IPA 学参考图的哪一面:strong style transfer 偏质感,构图迁移偏布局。不是强度:强度是 weight,类型换的是“学什么”。
起止点start_at / end_at风格注入从采样的百分之几开始、到百分之几停。不是秒数:它按采样进度算,不按真实时间。
负向参考image_negative告诉 IPA“不要照这个来”的那张图。不是负面提示词:它是一张图,不是一段文字。
03 / BLUEPRINT

形走一条路,气走另一条路

32 个节点看着吓人,其实只有两个来源:图片2 提供空间,图片3 提供气质。它们几乎不交叉,最后在采样器汇合。

形 · 来自图片2

三道约束把构图钉住

尺寸 1600、深度 0.42、线稿 0.50。三个都不到 1.0,是留给 IPA 的空间。

  • #79 先把底图缩到 1600,统一比例;
  • #12 深度管体量与透视;
  • #48 线稿管轮廓与细节边界。
气 · 来自图片3

一条向量,加一段文字

#37 把参考图压成风格向量塞进模型;#60 同时读图写一段字幕,覆盖掉提示词。

  • IPA 权重 0.72,类型 strong style transfer;
  • 0.877 之后停止注入,收尾交给模型;
  • 字幕描述“看到什么”,不描述“怎么画”。

汇合点:五条输入进一个采样器

#15 底图 图片2.jpg #33 参考图 图片3.png #78 → #79 尺寸 1600 · keep proportion #17 → #12 深度 strength 0.42 #50 → #48 线稿 strength 0.50 · mistoLine #60 → #62 → #59 提示词在运行时被覆盖 #37 IPAdapter 0.72 · end 0.877 KSampler #4 · 15 步 CFG 3 · denoise 1.0 #9 → #85 解码 · SaveImage 形:#12 深度 + #48 线稿;气:#37 IPA;字:#59(被 #62 覆盖);尺寸:#79 的 1600 同时决定输出比例
青绿:形(来自底图) 橙:气(来自参考图) 蓝:汇合与输出

时间轴:为什么停在 0.877

采样不是匀速的。风格注入全程开着,最后 12% 放手——那一段通常是模型在收拾边缘、补高光、让材质落地。

IPA 风格 ControlNet 0.877 后放手 0 0.5 1.0 横轴:采样进度 · 条形长度按真实参数等比绘制
一个容易漏掉的设计

#41 IPAdapterNoise 不是“随便加点噪声”。它的输入是参考图本身,经过 fade 0.4 与 blur 5 处理,作为负向图喂给 #37。

作用:告诉 IPA“要的是这张图的颜色与质感,不是它的具体布局”。没有这一步,参考图的构图容易被一起搬过来。

04 / NODE BY NODE

逐节点拆解

先看气这条线,它是本课的主角;再看形这条线里被压低的两道控制。

N1

IPA 这条线

#36 #44 #37 #41 #42
#36 / #44两个加载器IPA + 视觉编码

IPA 模型负责“怎么把向量塞进注意力”,CLIP Vision 负责“怎么把图变成向量”。两个都要对版本,SDXL 只能用 SDXL 的 IPA。

#36 ipadapterip-adapter-plus_sdxl_vit-h
#44 clip_nameCLIP-ViT-H-14-laion2B
#37IPAdapterAdvanced风格注入

模型路径是 #2 LoRA → #37 IPA → #4 采样器,直连,中间不经过控制网。风格是加在“模型本身”上的,不是加在提示词上的;#12 / #48 只管正向、负向条件,不碰模型。

combine_embeds: concat 是把多张参考图的向量拼起来;embeds_scaling: V only 是只放大向量里的 V 部分,让风格更纯、布局更少。这两个是配套,先知道它们管什么就行。

weight0.72
weight_typestrong style transfer
combine_embedsconcat
start_at0
end_at0.877
embeds_scalingV only
image ← #33image_negative ← #41MODEL → #4
#41 → #42IPAdapterNoise弱化负向

把参考图 fade 掉 40%、模糊 5 像素,得到一张“还记得颜色、但记不清布局”的图,当负向参考。#42 是它的预览,方便你确认弱化程度。

typefade
strength0.4
blur5
image_optional接 #33 参考图
N2

文字这条线

#60 #61 #62 #63 #64 #59
#60 / #61Florence2Run看图写字幕

任务选 more_detailed_caption,最长 1024 token,beam 3。它只描述参考图里“有什么”,不判断风格好坏。

taskmore_detailed_caption
max_new_tokens1024
num_beams3
do_sampletrue
seed1121496171560923
#62 → #59ShowText → CLIPTextEncode运行时覆盖

#62 把字幕输出接到 #59 的 text 输入。此时 #59 框里显示的旧文字(一段关于玻璃幕墙高楼的描述)完全不参与计算,它只是被连线盖住了。

text 输入来自 #62 的 STRING
你在 #59 里改字是没有用的。要改提示词,得断开这根线,或改参考图。
#64 → #63DeepTranslator只给人看

把英文字幕翻成简体中文,显示在 #63 里。它不回流到任何节点,纯辅助阅读。用的是免费的 Google 翻译服务,断网会失败。

fromenglish
tochinese (simplified)
serviceGoogleTranslator [free]

离线环境把 #64 和 #63 静音即可,不影响出图。

N3

形这条线

#15 #78 #79 #17 #12 #50 #48 #16
#78 → #79ImpactInt + ImageResize+统一尺寸

1600 是“长边”目标,保持比例,插值 lanczos,边长对齐到 32 的倍数。这个尺寸同时决定了出图比例。

#78 value1600
#79 methodkeep proportion
#79 conditionalways
#79 multiple_of32

框里显示的 512 × 512 是被 #78 输入覆盖掉的旧值,不用管。

#17 → #12深度0.42

比 C2 的一半还低。不是不会算,是故意让位:底图只提供“空间不要跑太远”,具体的透视交给线稿与 IPA 一起商量。

strength0.42
preprocessorDepthAnythingV2 · 512
#50 → #48线稿0.50

mistoLine 权重比 C2 的 lineart 更“耐草稿”。0.50 是半强度:轮廓在,但不会硬到让材质贴不上去。

strength0.5
preprocessorLineartStandard · 512
control_netSDXL/mistoLine_rank256
#16 #31 #4 #9 #85采样与输出收尾

1600 的图编码成 latent,批量 1,15 步、CFG 3、euler_ancestral、denoise 1.0。CFG 从 C3 的 2.67 提到 3,是因为文字由 Florence 写,需要模型更听话一点。

seed598059000661833
steps / cfg15 / 3
denoise1.0
05 / CHEAT SHEET

参数速查表

IPA 的调参只有三个真正有意义的旋钮:权重、类型、终点。其余是配套。

参数现值位置调大之后调小之后建议区间
IPA 权重0.72#37 weight风格更压,0.9 以上容易把底图材质一起吃走0.5 以下只剩一点色调倾向0.6 – 0.85
权重类型strong style transfer#37 weight_type换成更偏“构图迁移”的类型会把布局也搬过来普通 style transfer 更松,风格更淡风格优先用 strong
终点0.877#37 end_at设 1.0 全程压风格,收尾缺自由,边缘易糊0.7 以下收尾太早,风格只在中期出现0.8 – 0.9
负向弱化fade 0.4 / blur 5#41fade 更低 = 负向更弱,参考图布局更容易被搬fade 太高接近原图,负向过强会压掉风格0.35 – 0.5
深度强度0.42#12 strength0.6 以上和 IPA 抢,风格变淡0.25 以下底图形开始漂0.35 – 0.55
线稿强度0.50#48 strength0.7 以上轮廓过硬,材质贴不上0.3 以下细节边界消失0.4 – 0.6
工作尺寸1600#78 value更清晰,显存与时间上升1200 以下小细节不锁1400 – 2000
CFG3#4 cfg5 以上发硬,且会压 IPA 的风格2 以下文字方向失效2.7 – 3.5
采样步数15#4 steps20 以上更细腻10 以下材质发脏12 – 20
06 / TRAPS

踩坑

第一条几乎人人都会踩:你在框里改提示词,改了半小时,发现一点变化都没有。

IPA 工作流 · #59

框里那段字不生效,它被 #62 覆盖了

#59 的 text 输入接着 #62,运行时以连线为准。你在节点上看到的“玻璃幕墙高楼”描述早就被参考图的字幕顶掉了。

修法:想手改提示词就断开 #62 → #59 那根线;想改方向就换参考图。#63 的中文才是这次真正喂进去的内容。

IPA 工作流 · #37

end_at 不是 1.0,这是有意的

0.877 意为“后 12% 的采样不再注入风格”。留这一段,模型才能把边缘收干净、把高光补自然。设成 1.0 常见表现是:整体很“像参考图”,但局部发糊、材质发闷。

修法:保持 0.85–0.9;真要更浓的风格,先加权重,不要拉满终点。

IPA 工作流 · #41

负向图不是随机噪声

#41 的 image_optional 接着参考图,fade 0.4 + blur 5,产出一张“褪色版参考图”当负向。删掉它,IPA 就少了“不要抄布局”的约束。

修法:保留;想验证效果就把它静音跑一张,对比参考图的构图是否更容易渗进来。

IPA 工作流 · #78

1600 和 04 号的 2400 不是一回事

工作尺寸越大,两道 ControlNet 与 IPA 的博弈越贵。1600 是为“风格迁移”调过的折中值;直接拉到 2400,出图时间翻倍,风格并不会更准。

修法:先 1600 调风格,确定后再用 C1 的放大链出大图。

IPA 工作流 · #33

参考图选“质感清楚、构图简单”的

参考图里元素越多,Florence 写的字幕越长,IPA 搬过来的东西也越杂。常见结果是底图被塞进参考图里的家具。

修法:选一张主体明确、色调统一的图当风格参考;构图复杂的图留给“构图迁移”类工作流。

IPA 工作流 · #64

翻译节点依赖网络

DeepTranslator 用的是免费的 Google 接口。断网或接口被限流时,这个节点报错,但它不参与生成,不影响出图。

修法:离线时静音 #64 与 #63;或直接看 #62 的英文原文。

IPA 工作流 · #15 #33

图片2、图片3 这两个名字没有语义

一个是底图,一个是风格参考。名字完全看不出区别,换台机器或重新上传后极易接反,接反的典型现象是“形跑了、气也没来”。

修法:上传时直接命名 base_wall.png / style_ref_marble.png,并在 #15、#33 上写清角色。

07 / PRACTICE

动手练习 + 自检清单

IPA 的手感来自“换参考图”。同一张底图配三张不同气质的参考图,比调十个参数更有用。

EX 01 · 5 分钟

先确认字被覆盖

把 #59 框里的文字删到只剩一个词,再跑一次。

看什么:出图完全没变,证明输入来自 #62。
EX 02 · 10 分钟

断开提示词线

删掉 #62 → #59 的连线,把 #59 改写成你自己的空间描述。

看什么:“AI 写的字”与“你写的字”谁更贴你的意图。
EX 03 · 10 分钟

三张参考图

固定底图与 seed,换三张风格差异明显的参考图。

看什么:哪一张只改了色,哪一张连材质都换了。
EX 04 · 10 分钟

终点三档

#37 end_at 依次 0.7 / 0.877 / 1.0。

看什么:1.0 时边缘是否发糊,0.7 时风格是否只在中期出现。
EX 05 · 10 分钟

关掉负向弱化

静音 #41,其余不动,跑同 seed。

看什么:参考图的家具是否开始出现在底图里。
EX 06 · 15 分钟

压权重到 0.5

把 #37 权重从 0.72 降到 0.5,同时把深度提到 0.55。

看什么:“谁说了算”会怎么变。

自检清单(勾选状态会存在本机)

  • 我知道 #59 框里的字不生效,输入来自 #62。
  • 我能解释 end_at 0.877 留出的最后 12% 在干什么。
  • 我知道 #41 的负向图来自参考图,不是随机噪声。
  • 我能说出形由谁管、气由谁管、字由谁管。
  • 我知道 1600 决定输出比例,并且它不是越大越好。
  • 我做过三张参考图的对照。
  • 我给输入图改过有语义的文件名。