课目表/L1 原理/L1-06 UNet 与 DiT
UNet 与 DiT:
每一步,究竟是谁在猜噪声
你按下生成,采样器走了 15 步。每一步都有一团带噪的潜变量被送进某个网络,出来一张“噪声预测图”。这个网络是谁?SDXL 里叫 UNet,Flux 里叫 DiT。这一课只解决一件事:认清这个负责猜的网络,以及它和 Checkpoint 的关系。
01 / WHO采样器不猜,它只安排节奏
先看一个容易混的分工。采样器(sampler)决定“每一步怎么迈、迈多大”,它不负责猜“这团噪声本来该是什么画面”。真正做猜测的,是 KSampler 里面反复调用的那个网络。
网络每次只做一次判断:给它当前的带噪潜变量、提示词条件、以及“现在脏到第几步”,它交回一张和输入同尺寸的噪声估计。采样器拿到这张估计,减掉一点,进入下一步。
本课边界先说清:步数给多少、采样器怎么选,L1-02 采样与步数 已经讲过,这一课不重复。这里只回答“那个被反复调用的网络是谁”。
擦噪声沿用登记表里的固定说法:扩散模型 = 从一团噪声里一步步擦出图。本课不另造第二个比喻。
02 / UNETUNet:带跳跃连接的卷积分支
先看 SDXL 这条线。你把提示词写“细黑窗框”,出图时窗框却糊了。原因之一,是网络在缩小画布看全局时,把细线弄丢了。UNet 的结构,就是为这个问题设计的。
它的形状是一个 U
UNet 的主干由卷积(convolution)堆起来。卷积做的事很具体:拿一个小窗口在画面上滑动,一块一块提取局部纹理。前半段不断下采样(downsample),把长宽缩小、通道加宽(同一位置叠更多种特征),让网络看到更大的范围;后半段不断上采样(upsample),把长宽放大回原来的尺寸。
中间最窄的一层,负责“整体是什么”;越往两边,越管“边缘在哪”。这就是 U 形:先缩下去,再放上来。
跳跃连接把细节捞回来
跳跃连接(skip connection)是 UNet 的关键。它把下采样路上某一层的特征,直接接到上采样路上同尺寸的那一层。这样,细线和位置信息不必全都挤过最窄的瓶颈,可以走一条近路回到输出。
反例:跳跃连接不是“把原图复制一份贴回去”。它接的是网络内部的中间特征,不是像素;它帮网络记住细节,不会替你保留原图。
它每步交什么
输入三样:当前带噪的潜变量、条件、时间步。输出一样:一张和输入同宽高的噪声估计(有些模型预测的是速度,下一节说)。它不输出成品图,也不决定减多少。
落到工作流:CheckpointLoaderSimple 的 MODEL 输出接到 KSampler 的 model 输入;这个 MODEL 里装的,就是本课说的这个网络。条件怎么编码,见 L2-02 条件与编码;条件牵引多强,见 L1-03 CFG 与种子。
03 / DITDiT:把卷积主干换成 Transformer
现在打开 Flux 的工作流。节点还叫 UNETLoader,但模型内部已经不是 U 形。它没有一层层下采样再上采样,也没有那些横向的跳跃连接。它换了一条主干。
先把草稿切成小块
DiT(Diffusion Transformer)把带噪潜变量切成一个个小块(patch),每个小块当成一个单元送进 Transformer。Transformer 的核心是注意力(attention):让每个小块去看其他小块,判断哪些关系要紧。
卷积一次只看窗口附近;注意力从第一层起就能跨整张图建立联系。窗框和墙面的关系、沙发和地毯的边界,不必等到最窄的一层才汇总。
变的是主干,不变的是契约
DiT 的输入输出和 UNet 一样:带噪潜变量、条件、时间步进去,同尺寸的噪声或速度估计出来。采样器不需要知道里面是卷积还是注意力,它只要拿到那张估计,继续减。
| 对比项 | UNet(SD1.5 / SDXL) | DiT(Flux / SD3 这一系) |
|---|---|---|
| 主干 | 卷积,小窗口逐块提取。 | Transformer,小块之间做注意力。 |
| 形状 | U 形:下采样到最窄,再上采样回去。 | 平铺的块序列,不再有 U 形往返。 |
| 细节通路 | 靠跳跃连接走近路。 | 靠注意力直接参考其他位置。 |
| 输入输出 | 带噪潜变量 + 条件 + 时间步 → 噪声估计。 | 同样三样进,同尺寸估计出。 |
| 谁减噪声 | 采样器,不是网络。 | 同样由采样器减。 |
Flux 预测的不是噪声,是速度
还有一处容易混。UNet 时代的模型常直接预测噪声;Flux 这类模型常预测速度(velocity):往哪个方向擦、擦多快。对应的训练方式叫流匹配(flow matching)。
对使用者来说,差别不在“要不要自己算”。网络交回的东西换了名字,采样器照样拿它推进下一步。你只需要记住:这个网络的职责始终是“给当前草稿一个往哪走的估计”。流匹配的数学不在这门课里展开。
别被节点名骗:ComfyUI 里加载 Flux 主干的节点仍叫 UNETLoader,但装进去的可以是 DiT。节点名是历史遗留,不代表架构。判断架构看模型文件与说明,不看节点标题。
04 / CHECKPOINTCheckpoint:一个文件里装了三件
把网络放回它所在的那个文件。你下载的 .safetensors(一种只装权重的模型文件格式)常常不是“一个网络”,而是一个Checkpoint(检查点文件):把出图要用的三件东西打在一个包里。
| 包里的东西 | 它负责什么 | 少了它会怎样 |
|---|---|---|
| UNet / DiT | 每一步猜噪声或速度的主干。 | 没有东西可采样,直接跑不起来。 |
| CLIP | 把提示词转成条件向量。网络只读向量,不读原文。 | 提示词进不去,画面不受文字控制。 |
| VAE | 像素与潜空间之间的有损翻译机。 | 草稿回不到像素,出不了可保存的图。 |
整合装法:CheckpointLoaderSimple 一次吐出三路 MODEL、CLIP、VAE。SDXL 这类整合模型走这条路,三个加载节点可以省掉。
拆分装法:Flux 常把三件分开:UNETLoader 只出 MODEL,CLIPLoader 或 DualCLIPLoader 出条件,VAELoader 出翻译机,三件凑齐才出图。两套装法在 L2-01 输入与加载 里有逐节点参数,这一课不重写。
所以换 Checkpoint 不是只换画风:你可能同时换掉主干、文本编码器和 VAE。三者一起变,结果自然差很多。反例:Checkpoint 不是某个网络架构的名字;UNet 模型可以打成 Checkpoint,DiT 模型也可以。
05 / WHY DIT为什么 Flux 时代改口叫 DiT
时间线很清楚:SD1.5 与 SDXL 的主干是 UNet;Flux、SD3 这一系换成 Transformer 主干,也就是 DiT 家族。叫法变了,是因为里面真的换了结构,不是因为营销换词。
为什么换
注意力从第一层就能跨整张图建立关系;模型规模变大时,Transformer 这条路线更好扩展。
为什么还叫 UNETLoader
ComfyUI 的节点名沿用了旧称呼。文件里装的是 DiT,节点标题还写着 UNet。
反例:DiT 不是“任何情况下都比 UNet 强”。小图、少步、旧显卡上,UNet 模型仍然常见;选型看你的模型文件、显存和用途,不看哪个名字更新。
前面已讲:采样器与调度器怎么配合、步数与去噪强度怎么给,见 L1-02 采样与步数;CFG 与种子怎么影响结果,见 L1-03 CFG 与种子;VAE 为什么有损,见 L1-01 潜空间与 VAE。本课只把“谁在猜”这件事说清。
06 / CHECK自检与知识边界
| 本课讲了 | 本课没讲,去哪看 |
|---|---|
| 采样器与预测网络的分工。 | 步数、采样器、调度器:L1-02 |
| UNet 的卷积主干与跳跃连接。 | 潜空间与 VAE:L1-01 |
| DiT 的小块、注意力与全局关系。 | 条件怎么编码:L2-02 |
| Checkpoint 三件套与整合 / 拆分装法。 | 各加载节点的参数:L2-01 |
| Flux 预测速度、节点名滞后于架构。 | CFG 与种子:L1-03 |