课目表/L1 原理/L1-01b VAE 编解码
VAE 编解码:
草稿怎么来,又怎么翻回一张能看的图
上一节把像素压成了一张 1/8 大的草稿画布。这一节只解决两件事:草稿怎么来,怎么回去。顺带说明白,为什么这一步有损耗。
01 / 前情上一节留下的三句话
像素是给人看的,潜空间是给模型算的。显示器和你的眼睛只认像素,采样器只认草稿。
潜空间是一张 1/8 大的草稿画布。长宽各除以 8,通道从 3 变 4,数字量只剩大约 1/48。
采样器全程只在草稿上工作。它从没直接碰过像素,所以你看到的那张图,是最后一步翻出来的。
本节只回答一个问题:像素和草稿之间,是谁在翻,怎么翻,翻的时候丢了什么。想不起来潜空间怎么算,回 L1-01 潜空间 看一眼换算表,再往下读。
02 / 编码编码:像素怎么变成那张草稿
VAE(Variational Autoencoder,变分自编码器):一台有损翻译机,在像素和潜空间之间来回翻译。反例:它不是一个更小的模型,也不负责画内容——画笔在采样器手里,它只搬运。
编码(encode):把像素图按长宽各除以 8 压进潜空间,通道从 3 变 4。反例:不是存成一个小文件,也不是裁剪;画面信息还在,只是换了一种写法。
通道(channel):同一个点上叠了几层数字。像素图叠 3 层(红、绿、蓝),潜变量叠 4 层。反例:不是图层,你没法单独关掉某一层只留另一层。
具体到数字。一张 2400×2400 的照片进去,出来是 300×300×4。像素那头 1728 万个数字,草稿这头 36 万个。采样器就在这 36 万个数字上反复算,省下来的正是这一步。
03 / 解码解码:草稿怎么变回图,文生图为什么不用这一步
解码(decode):把 4 通道的潜变量翻回 3 通道像素,长宽各乘 8。反例:不是放大,也不是超分;它不新增画面内容,只是把草稿摊回原来的尺寸。
2400×2400 进,2400×2400 出。尺寸表上看不出它动过手,数字却换了两套写法:1728 万个压成 36 万,采样完再摊回来。你在屏幕上看到的,始终是解码之后的那一份。
文生图没有编码这一步。它手里没有现成的图:提示词只说明“要什么”,不说明“改哪张”。采样器从一张空潜变量开始,空画布由 EmptyLatentImage(Flux 系是 EmptyFlux2LatentImage)按你填的尺寸造出来,不经过编码。
反过来,图生图、参考图、局部重绘都有一张现成的图。不先编码,采样器手上就没有那张草稿,这几类流程也就无从下手。
04 / 有损有损:损失在哪,为什么它既不是 zip 也不是超分
有损(lossy):翻过去再翻回来,画面回不到一模一样的原样。反例:不是随机丢数字;丢的是肉眼不容易察觉的细节,不是整块画面。
损失藏在哪儿?整体看没问题,放大就露馅:边缘、细文字、密纹理会先发软。同一张图来回翻几轮,比只翻一趟更糊。
为什么必须接受这点?草稿上只剩原图约 1/48 的数字,Flux 系的 VAE 常见 16 个潜通道,约 1/12。用这么少的数字记住整张图,只能记“大意”,记不下每个像素。
VAE 与 zip
zip 是无损的:解压回来,一个比特都不差。VAE 不是。解码出来的是一张“看起来一样”的新图,不是原件。
VAE 与超分
超分负责把小图变大图,会新增像素。VAE 只做同尺寸的来回翻译:2400 进,2400 出,尺寸没变过。
常见误解:“VAE 选得好,图就更清晰。”更准确的说法是:VAE 只影响解码质量,比如色彩、细节和文字边缘。画面内容、构图、风格,主要由采样器和条件(conditioning,提示词、参考图这些“要求”,L2-02 专讲)决定。换 VAE 能修“发灰、发糊”,修不了“构图不对”。
05 / 落到工作流在本套 JSON 里,谁负责编码,谁负责解码
表里的编号来自真实的 workflow JSON。打开对应的 .json,在画布上按编号找,位置对得上。
| 节点 | 真实位置 | 本套里的实际值 / 作用 |
|---|---|---|
VAEEncode | 04 建筑毛坯 · 根图 #16 | 编码那一头:把上传的现状照片压进潜空间,交给采样器。 |
VAEDecode | 04 建筑毛坯 · 根图 #9 | 解码那一头:把采样完成的潜变量还原成可保存的像素。 |
VAELoader | 04 · 子图 #346 | 单独加载 full_encoder_small_decoder.safetensors,供 Flux2 子图里的 #342 / #347 使用。 |
CheckpointLoaderSimple | 04 · 根图 #1 | 模型名 SDXL建筑大模型.safetensors。它的 VAE 输出直接接到 #16 和 #9,这两步就不用另找 VAE。 |
VAEEncode / VAEDecode | 04 · 子图 #342 / #347 | 子图里再走一遍“编码—采样—解码”,为二次处理留的。 |
术语不熟可以先跳到 L2-01 · VAE 查表,再回来继续。
一个容易被忽略的细节:#1 已经把 VAE 送出来了,子图为什么还要 #346 单独加载?因为子图跑的是 Flux2,用的编码器和 SDXL 那一套不是同一个。两者的潜通道数不同,4 个对 16 个,不能互换。
06 / 动手三个小实验,把编解码变成手感
打开 04📚基础版 建筑毛坯+参考图出图 .json,找到 #16 VAEEncode 和 #9 VAEDecode,看看它们连的线是什么颜色。
目标:亲手确认 IMAGE 和 LATENT 是两种数据类型。把 IMAGE 线往 LATENT 口上插,ComfyUI 会直接拒收。
在 #346 VAELoader 里换一个 VAE 文件,其余节点不动,跑一次。对比色彩、细节和文字边缘。
目标:看清 VAE 只动解码质量。构图、内容、风格不会因为换 VAE 而变化。
打开 04 的子图,找到 #342 VAEEncode 与 #347 VAEDecode,对照根图的 #16 / #9,看同一套工序为什么在子图里再来一遍。
目标:两套编解码不是重复劳动,而是子图把“编码—采样—解码”打包成了可复用的一段。
07 / 自检能用自己的话答上来,再进下一课
勾选你真正理解的条目(本机自动记住)
如果只记一句话:VAE 是一台有损翻译机,把像素翻成草稿,再把草稿翻回像素。