课目表/L1 原理/L1-05 IPAdapter
IPAdapter:
参考图给的是“气质”,不是“复印件”
你手上有一张图,说不上来好在哪,就是想要那种感觉。IPAdapter 做的就是这件事。它把参考图读成一个向量,再塞进采样过程。出图就带上同样的色彩、材质和氛围。构图它不管,那块归 ControlNet。这一课讲清三件事:参考图怎么变成风格、它和 ControlNet 与图生图怎么分工、五个真实工作流怎么填。
01 / 场景“我想要这种感觉”,但说不清是什么感觉
你翻到一张很喜欢的图。暖木色、低饱和、傍晚的柔光。你照着写提示词:“warm wood, low saturation, soft evening light”。生成出来的图,总差一点。颜色能写清楚,材质和光照的配比写不出来。
结论:IPAdapter 不是 ControlNet。ControlNet 管构图对齐,IPAdapter 管像不像参考图的风格。IPAdapter(图像提示适配器)做的事很直接。它不靠文字描述风格。直接把参考图读成一个向量,再注入生成过程。
它也不挑参考图。图和你的底图构图可以完全不一样,内容也不必相同。
一句话结论:IPAdapter 注入的是图像嵌入(image embedding),也就是一张图被压成的一组数。反例:它不是缩略图,不是把参考图缩小贴上去。
画什么、在哪、什么结构,仍归底图和提示词管。
02 / 机制一张参考图,怎么变成“风格”
先说结论:参考图不会被贴到画布上。它走的是另一条路。
参考图先过 CLIP Vision(看图并转成向量的那道工序)。反例:它不是“认得出图里有什么”的看图工具。它不输出“这是一张餐厅照片”,只输出一组数。
这组数就是图像嵌入。采样器每一步都拿它一起算,这一步叫注入注意力。L1-02 讲过采样器,这里只要知道它在改图就行。
注意力(attention):采样器每一步给几种条件打分,决定这一步多听谁一点。反例:它跟“注意力集不集中”没关系,说的是权重怎么分。
所以你拿一张餐厅照片的风格,去生成一栋建筑也行。锁住建筑结构、只换材质与色调,也行。
03 / 分工和 ControlNet、图生图到底差在哪
三件事常被混着说。先分清谁管什么,再谈叠加。
| 手段 | 管什么 | 参考图怎么用 | 典型结果 |
|---|---|---|---|
| 图生图 | 整体重画 | 整张图编码进潜空间 | 构图接近原图,细节被重绘 |
| ControlNet | 结构 / 轮廓 / 深度 | 先变成控制图,再作为条件 | 窗位、体块、线条被锁住 |
| IPAdapter | 风格 / 色彩 / 材质 | 编码成图像向量,注入注意力 | 气质接近参考图,构图仍自由 |
它们能叠着用。04 建筑工作流就是三层:ControlNet 锁结构,IPAdapter 带风格,提示词定内容。风格图和底图,来自两张不同的 LoadImage。
表里图生图那一路,压进的是潜空间。潜空间是把像素按 1/8 缩小后的草稿画布,L1-01 拆过,这里知道图被缩小去过一遍就行。反例:它不是图片文件,不能直接交给人看。
表里说的“条件”,全名 CONDITIONING:编码后的引导信息,L2-02 专门讲。
04 / 真实参数五个工作流,同一套 IPAdapter
别从零猜。五个工作流已经调好了,先看它们填了什么。
| 工作流 | 权重 | weight_type | 区间 | 其余 |
|---|---|---|---|---|
| 02 线稿+参考图 · #134 | 0.70 | strong style transfer | 0 → 1.0 | concat · V only |
| 03 室内毛坯 · #37 | 0.75 | style transfer | 0 → 0.9 | concat · V only |
| 04 建筑毛坯 · #37 | 0.70 | style transfer | 0 → 0.95 | concat · V only |
| IPA 风格迁移 · #37 | 0.72 | strong style transfer | 0 → 0.877 | concat · V only |
| LINK 练习 · #10 | 0.80 | style transfer | 0 → 1.0 | concat · V only |
五个工作流用的是同一套文件。模型文件都是 ip-adapter-plus_sdxl_vit-h.safetensors,CLIP Vision 都是 CLIP-ViT-H-14-laion2B-s32B-b79K.safetensors。权重集中在 0.70–0.80,没有出现 1.0。
表里的权重列,就是 weight:风格掺进去多少。反例:它不是音量,加满不会更好。
combine_embeds 管多张参考图的向量怎么合并。表里的 concat 就是它的取值:几张图的向量直接拼在一起。反例:它不是把几张贴图叠起来。
style transfer 03 / 04 / LINK
偏色彩、材质、光影氛围,对构图动得少。结构已经被 ControlNet 管住了,只想补气质,选它。
strong style transfer 02 / IPA
风格更浓。纹理、笔触都更贴参考图,代价是对构图的影响也变大。参考图本身就是你要的风格,选它。
下拉里还有 composition 等其他模式,本套 13 个 JSON 没有使用;不同 IPAdapter 版本的命名可能略有差异,以你实际看到的选项为准。
权重与 weight_type 怎么配合,区间又该截在哪,L1-05b 参数与噪声 逐项拆开。这里先把这张表读顺:谁用了哪一档,停在哪一步。
05 / 动手风格 vs 结构:换一样,看另一样
打开 04,锁定 #4 的种子。#33 的参考图换成另一种材质或色调,底图 #15 和提示词都不动,跑一次。
要看的:变的是气质,不是建筑结构。
同一张图、同一颗种子,把 #37 IPAdapterAdvanced 静音,再跑一次。
要看的:风格退场,结构还在。构图从来不由 IPAdapter 管。
反过来验证。把 ControlNet 那一路静音,只留 IPAdapter,其余不动。
要看的:结构松了,气质还贴着参考图。两张图并排,谁管什么一目了然。
一条判断标准:结构是你给的,气质是参考图给的。出图的结构跟着参考图跑,先别夸 IPAdapter,回头查图生图、ControlNet 和底图那三个入口。