课目表/L1 原理/L1-06 UNet 与 DiT

L1 原理 · 第六课

UNet 与 DiT:
每一步,究竟是谁在猜噪声

你按下生成,采样器走了 15 步。每一步都有一团带噪的潜变量被送进某个网络,出来一张“噪声预测图”。这个网络是谁?SDXL 里叫 UNet,Flux 里叫 DiT。这一课只解决一件事:认清这个负责猜的网络,以及它和 Checkpoint 的关系。

先修 L1-02 主干 UNet / DiT 打包 Checkpoint 节点 KSampler · UNETLoader

01 / WHO采样器不猜,它只安排节奏

先看一个容易混的分工。采样器(sampler)决定“每一步怎么迈、迈多大”,它不负责猜“这团噪声本来该是什么画面”。真正做猜测的,是 KSampler 里面反复调用的那个网络。

网络每次只做一次判断:给它当前的带噪潜变量、提示词条件、以及“现在脏到第几步”,它交回一张和输入同尺寸的噪声估计。采样器拿到这张估计,减掉一点,进入下一步。

带噪潜变量 这一步的草稿 条件 提示词编码后的向量 时间步 t 现在有多脏 UNet / DiT 只做一次猜测 不负责减掉 噪声 / 速度 一张同尺寸估计 不是成品图 采样器减一点,进入下一步 KSampler 负责循环;网络只交每一步的猜测结果。
网络交回的是“噪声长什么样”,不是成品图。采样器拿它做减法,再把这团稍干净的草稿送回网络。循环几次,由步数决定。

本课边界先说清:步数给多少、采样器怎么选,L1-02 采样与步数 已经讲过,这一课不重复。这里只回答“那个被反复调用的网络是谁”。

擦噪声沿用登记表里的固定说法:扩散模型 = 从一团噪声里一步步擦出图。本课不另造第二个比喻。

02 / UNETUNet:带跳跃连接的卷积分支

先看 SDXL 这条线。你把提示词写“细黑窗框”,出图时窗框却糊了。原因之一,是网络在缩小画布看全局时,把细线弄丢了。UNet 的结构,就是为这个问题设计的。

它的形状是一个 U

UNet 的主干由卷积(convolution)堆起来。卷积做的事很具体:拿一个小窗口在画面上滑动,一块一块提取局部纹理。前半段不断下采样(downsample),把长宽缩小、通道加宽(同一位置叠更多种特征),让网络看到更大的范围;后半段不断上采样(upsample),把长宽放大回原来的尺寸。

中间最窄的一层,负责“整体是什么”;越往两边,越管“边缘在哪”。这就是 U 形:先缩下去,再放上来。

跳跃连接把细节捞回来

跳跃连接(skip connection)是 UNet 的关键。它把下采样路上某一层的特征,直接接到上采样路上同尺寸的那一层。这样,细线和位置信息不必全都挤过最窄的瓶颈,可以走一条近路回到输出。

反例:跳跃连接不是“把原图复制一份贴回去”。它接的是网络内部的中间特征,不是像素;它帮网络记住细节,不会替你保留原图。

它每步交什么

输入三样:当前带噪的潜变量、条件、时间步。输出一样:一张和输入同宽高的噪声估计(有些模型预测的是速度,下一节说)。它不输出成品图,也不决定减多少。

落到工作流:CheckpointLoaderSimple 的 MODEL 输出接到 KSampler 的 model 输入;这个 MODEL 里装的,就是本课说的这个网络。条件怎么编码,见 L2-02 条件与编码;条件牵引多强,见 L1-03 CFG 与种子。

03 / DITDiT:把卷积主干换成 Transformer

现在打开 Flux 的工作流。节点还叫 UNETLoader,但模型内部已经不是 U 形。它没有一层层下采样再上采样,也没有那些横向的跳跃连接。它换了一条主干。

先把草稿切成小块

DiT(Diffusion Transformer)把带噪潜变量切成一个个小块(patch),每个小块当成一个单元送进 Transformer。Transformer 的核心是注意力(attention):让每个小块去看其他小块,判断哪些关系要紧。

卷积一次只看窗口附近;注意力从第一层起就能跨整张图建立联系。窗框和墙面的关系、沙发和地毯的边界,不必等到最窄的一层才汇总。

变的是主干,不变的是契约

DiT 的输入输出和 UNet 一样:带噪潜变量、条件、时间步进去,同尺寸的噪声或速度估计出来。采样器不需要知道里面是卷积还是注意力,它只要拿到那张估计,继续减。

对比项UNet(SD1.5 / SDXL)DiT(Flux / SD3 这一系)
主干卷积,小窗口逐块提取。Transformer,小块之间做注意力。
形状U 形:下采样到最窄,再上采样回去。平铺的块序列,不再有 U 形往返。
细节通路靠跳跃连接走近路。靠注意力直接参考其他位置。
输入输出带噪潜变量 + 条件 + 时间步 → 噪声估计。同样三样进,同尺寸估计出。
谁减噪声采样器,不是网络。同样由采样器减。

Flux 预测的不是噪声,是速度

还有一处容易混。UNet 时代的模型常直接预测噪声;Flux 这类模型常预测速度(velocity):往哪个方向擦、擦多快。对应的训练方式叫流匹配(flow matching)。

对使用者来说,差别不在“要不要自己算”。网络交回的东西换了名字,采样器照样拿它推进下一步。你只需要记住:这个网络的职责始终是“给当前草稿一个往哪走的估计”。流匹配的数学不在这门课里展开。

别被节点名骗:ComfyUI 里加载 Flux 主干的节点仍叫 UNETLoader,但装进去的可以是 DiT。节点名是历史遗留,不代表架构。判断架构看模型文件与说明,不看节点标题。

04 / CHECKPOINTCheckpoint:一个文件里装了三件

把网络放回它所在的那个文件。你下载的 .safetensors(一种只装权重的模型文件格式)常常不是“一个网络”,而是一个Checkpoint(检查点文件):把出图要用的三件东西打在一个包里。

包里的东西它负责什么少了它会怎样
UNet / DiT每一步猜噪声或速度的主干。没有东西可采样,直接跑不起来。
CLIP把提示词转成条件向量。网络只读向量,不读原文。提示词进不去,画面不受文字控制。
VAE像素与潜空间之间的有损翻译机。草稿回不到像素,出不了可保存的图。

整合装法:CheckpointLoaderSimple 一次吐出三路 MODEL、CLIP、VAE。SDXL 这类整合模型走这条路,三个加载节点可以省掉。

拆分装法:Flux 常把三件分开:UNETLoader 只出 MODEL,CLIPLoader 或 DualCLIPLoader 出条件,VAELoader 出翻译机,三件凑齐才出图。两套装法在 L2-01 输入与加载 里有逐节点参数,这一课不重写。

所以换 Checkpoint 不是只换画风:你可能同时换掉主干、文本编码器和 VAE。三者一起变,结果自然差很多。反例:Checkpoint 不是某个网络架构的名字;UNet 模型可以打成 Checkpoint,DiT 模型也可以。

05 / WHY DIT为什么 Flux 时代改口叫 DiT

时间线很清楚:SD1.5 与 SDXL 的主干是 UNet;Flux、SD3 这一系换成 Transformer 主干,也就是 DiT 家族。叫法变了,是因为里面真的换了结构,不是因为营销换词。

为什么换

注意力从第一层就能跨整张图建立关系;模型规模变大时,Transformer 这条路线更好扩展。

为什么还叫 UNETLoader

ComfyUI 的节点名沿用了旧称呼。文件里装的是 DiT,节点标题还写着 UNet。

反例:DiT 不是“任何情况下都比 UNet 强”。小图、少步、旧显卡上,UNet 模型仍然常见;选型看你的模型文件、显存和用途,不看哪个名字更新。

前面已讲:采样器与调度器怎么配合、步数与去噪强度怎么给,见 L1-02 采样与步数;CFG 与种子怎么影响结果,见 L1-03 CFG 与种子;VAE 为什么有损,见 L1-01 潜空间与 VAE。本课只把“谁在猜”这件事说清。

06 / CHECK自检与知识边界

本课讲了本课没讲,去哪看
采样器与预测网络的分工。步数、采样器、调度器:L1-02
UNet 的卷积主干与跳跃连接。潜空间与 VAE:L1-01
DiT 的小块、注意力与全局关系。条件怎么编码:L2-02
Checkpoint 三件套与整合 / 拆分装法。各加载节点的参数:L2-01
Flux 预测速度、节点名滞后于架构。CFG 与种子:L1-03

勾选你真正理解的条目