课目表/L1 原理/L1-05 IPAdapter

L1 原理 · 第五课

IPAdapter:
参考图给的是“气质”,不是“复印件”

你手上有一张图,说不上来好在哪,就是想要那种感觉。IPAdapter 做的就是这件事。它把参考图读成一个向量,再塞进采样过程。出图就带上同样的色彩、材质和氛围。构图它不管,那块归 ControlNet。这一课讲清三件事:参考图怎么变成风格、它和 ControlNet 与图生图怎么分工、五个真实工作流怎么填。

预计 14 分钟零基础可读对应节点:IPAdapterAdvanced / IPAdapterNoise

01 / 场景“我想要这种感觉”,但说不清是什么感觉

你翻到一张很喜欢的图。暖木色、低饱和、傍晚的柔光。你照着写提示词:“warm wood, low saturation, soft evening light”。生成出来的图,总差一点。颜色能写清楚,材质和光照的配比写不出来。

结论:IPAdapter 不是 ControlNet。ControlNet 管构图对齐,IPAdapter 管像不像参考图的风格。IPAdapter(图像提示适配器)做的事很直接。它不靠文字描述风格。直接把参考图读成一个向量,再注入生成过程。

它也不挑参考图。图和你的底图构图可以完全不一样,内容也不必相同。

一句话结论:IPAdapter 注入的是图像嵌入(image embedding),也就是一张图被压成的一组数。反例:它不是缩略图,不是把参考图缩小贴上去。

画什么、在哪、什么结构,仍归底图和提示词管。

02 / 机制一张参考图,怎么变成“风格”

参考图 只提供风格 编码 CLIP Vision 读图的编码器 变成向量 图像向量 风格被压成数 底图 + 提示词 决定画什么 内容驱动 采样器 每一步都参考向量 解码 出图 风格被带上 注入风格向量
左列负责风格,右列负责内容,两条线在采样器汇合。

先说结论:参考图不会被贴到画布上。它走的是另一条路。

参考图先过 CLIP Vision(看图并转成向量的那道工序)。反例:它不是“认得出图里有什么”的看图工具。它不输出“这是一张餐厅照片”,只输出一组数。

这组数就是图像嵌入。采样器每一步都拿它一起算,这一步叫注入注意力。L1-02 讲过采样器,这里只要知道它在改图就行。

注意力(attention):采样器每一步给几种条件打分,决定这一步多听谁一点。反例:它跟“注意力集不集中”没关系,说的是权重怎么分。

所以你拿一张餐厅照片的风格,去生成一栋建筑也行。锁住建筑结构、只换材质与色调,也行。

03 / 分工和 ControlNet、图生图到底差在哪

三件事常被混着说。先分清谁管什么,再谈叠加。

手段管什么参考图怎么用典型结果
图生图整体重画整张图编码进潜空间构图接近原图,细节被重绘
ControlNet结构 / 轮廓 / 深度先变成控制图,再作为条件窗位、体块、线条被锁住
IPAdapter风格 / 色彩 / 材质编码成图像向量,注入注意力气质接近参考图,构图仍自由

它们能叠着用。04 建筑工作流就是三层:ControlNet 锁结构,IPAdapter 带风格,提示词定内容。风格图和底图,来自两张不同的 LoadImage。

表里图生图那一路,压进的是潜空间。潜空间是把像素按 1/8 缩小后的草稿画布,L1-01 拆过,这里知道图被缩小去过一遍就行。反例:它不是图片文件,不能直接交给人看。

表里说的“条件”,全名 CONDITIONING:编码后的引导信息,L2-02 专门讲。

04 / 真实参数五个工作流,同一套 IPAdapter

别从零猜。五个工作流已经调好了,先看它们填了什么。

工作流权重weight_type区间其余
02 线稿+参考图 · #1340.70strong style transfer0 → 1.0concat · V only
03 室内毛坯 · #370.75style transfer0 → 0.9concat · V only
04 建筑毛坯 · #370.70style transfer0 → 0.95concat · V only
IPA 风格迁移 · #370.72strong style transfer0 → 0.877concat · V only
LINK 练习 · #100.80style transfer0 → 1.0concat · V only

五个工作流用的是同一套文件。模型文件都是 ip-adapter-plus_sdxl_vit-h.safetensors,CLIP Vision 都是 CLIP-ViT-H-14-laion2B-s32B-b79K.safetensors。权重集中在 0.70–0.80,没有出现 1.0。

表里的权重列,就是 weight:风格掺进去多少。反例:它不是音量,加满不会更好。

combine_embeds 管多张参考图的向量怎么合并。表里的 concat 就是它的取值:几张图的向量直接拼在一起。反例:它不是把几张贴图叠起来。

style transfer 03 / 04 / LINK

偏色彩、材质、光影氛围,对构图动得少。结构已经被 ControlNet 管住了,只想补气质,选它。

strong style transfer 02 / IPA

风格更浓。纹理、笔触都更贴参考图,代价是对构图的影响也变大。参考图本身就是你要的风格,选它。

下拉里还有 composition 等其他模式,本套 13 个 JSON 没有使用;不同 IPAdapter 版本的命名可能略有差异,以你实际看到的选项为准。

权重与 weight_type 怎么配合,区间又该截在哪,L1-05b 参数与噪声 逐项拆开。这里先把这张表读顺:谁用了哪一档,停在哪一步。

05 / 动手风格 vs 结构:换一样,看另一样

1

打开 04,锁定 #4 的种子。#33 的参考图换成另一种材质或色调,底图 #15 和提示词都不动,跑一次。

要看的:变的是气质,不是建筑结构。

2

同一张图、同一颗种子,把 #37 IPAdapterAdvanced 静音,再跑一次。

要看的:风格退场,结构还在。构图从来不由 IPAdapter 管。

3

反过来验证。把 ControlNet 那一路静音,只留 IPAdapter,其余不动。

要看的:结构松了,气质还贴着参考图。两张图并排,谁管什么一目了然。

一条判断标准:结构是你给的,气质是参考图给的。出图的结构跟着参考图跑,先别夸 IPAdapter,回头查图生图、ControlNet 和底图那三个入口。

06 / 自检把“风格”和“结构”分开

勾选你真正理解的条目(本机自动记住)