AI 入门与 ComfyUI 出图课

A01 · AI 通识 / 第 1 课

一张图看清 AI 家族

同学问「ChatGPT 会画图,它是不是也长了一个会画画的脑子?」——这一课让你当场答得出来,而不是背定义。

这节解决什么:以后拿到任何一个 AI 产品,你能在十秒内给它定位——它在「做判断」还是「造样本」,走的是「逐个预测下一个词」还是「从噪声里一步步擦出图」。定位准了,你就能提前说出它会在哪里翻车。
前置知识零基础可读
建议用时25 分钟,配 4 张图
下一课大模型在做什么(A02)

01先把三个词分开:模型、产品、能力

同学甩来一句:「ChatGPT 会画图,那它是不是也长了一个会画画的脑子?」这话没法一句话回答,因为问的人把三样东西揉成了一个词。模型、产品、能力,先拆开,后面所有讨论才站得住。

打个准确的比方:模型是发动机,产品是整车,能力是这辆车在什么路况下能跑多快。你夸一辆车「能越野」,夸的不是发动机本身,而是整套系统在某种路面上的表现。后面一半的混淆,都来自把整车当成发动机。

先记一句:张量(Tensor)就是排好队的一摞数字,有明确的形状——几张、几行、几列、几个通道。你只要先把它当成「数据的容器」——模型吃进去、吐出来的都是它,形状的细节这一课不需要展开。
为什么先讲这个

当有人说「ChatGPT 会画图」,他说的往往是产品层接了一个图像模型或工具,而不是语言模型本身长出了像素输出能力。分清层级,才不会把产品能力误当成模型机制。

02第一刀:判别式 vs 生成式

同样是「用 AI 做」,做的东西可能根本不是一个物种。手机把你的脸认成你、工厂把瑕疵圈出来、你让 AI 画一张海报——前两件事在缩小可能性,第三件在凭空多出一个样本。

判断只需要一刀:它是在做判断,还是在造样本?

判别式模型(Discriminative Model)学的是「给定输入,它属于哪个类别」——条件概率 P(标签 | 输入),读作「在已知输入的条件下,某个标签出现的概率」;或者一条把不同类别分开的决策边界。它的输出是封闭集合里的一个选择:是或否、哪一类、框在哪、每个像素归谁、排第几。反例:判别式不是「低级 AI」,它只是不做无中生有的事。

生成式模型(Generative Model)学的是「这类数据长什么样」——数据分布 P(数据),或者给定条件时的 P(数据 | 条件)。它的目标是采样出一个新的、合理的样本:一段文本、一张图、一段音频。反例:生成不是检索,也不是把训练图剪碎了重拼。

一个准确的比喻:判别式像质检员,只能在已有的等级表里选一个等级,不会发明新等级;生成式像画师,产出的不是数据库里的原图,而是按学到的分布重新画一张。画师也会画错,这正是生成式难以验收的根源。

两者的评价方式因此不同。判别式可以用准确率(判对的占多少)、召回率(该找的找出多少)、AUC(把正负样本排序的能力)这些「对/错」指标;生成式没有唯一正确答案,只能看分布距离(如 FID,做法是把生成图和真实图各提一组特征,比两组分布差多远,差得越少越像)、图文匹配度(如 CLIPScore,看图和提示词对得上多少)、人类偏好、以及生成结果在下游任务里能不能用。你不能用「准确率 99%」去要求一张画,也不能用「好不好看」去验收一个分类器。

AI 家族全景:判别式、生成式,以及作为接口层的多模态 AI 模型 输入张量 → 输出张量 判别式模型 学 P(标签 | 输入),画边界 生成式模型 学数据分布,采样新样本 输出是封闭集合里的选择 分类:这张图是什么 检测:目标在哪、有几个 分割:每个像素属于谁 排序:先看哪一条 风控 / 质检:放行还是拦截 大语言模型 预测下一个 token 输出文本、代码 扩散模型 从噪声逐步去噪 输出图像、视频 其他路线 GAN / VAE / 流匹配 图像、音频、动作 共同点:都需要「条件」引导;区别在条件怎么进入、输出怎么产生。 边界:不能生成新样本;分布外输入会被硬判。 多模态:横切接口层 把文本 / 图像 / 音频编码到可对齐的表示空间,不是第三条生成路线 判别式也能多模态(如 CLIP 图文检索);生成式也能多模态(如文生图)。
图 1:先分两半,再看语言与视觉两条生成路线;多模态是横切两类的接口层,不是独立的一支。
顺手排除一个混淆

强化学习不是「第三类模型」。它是一种训练范式:通过奖励信号调整策略。它既可以把一个判别模型训练得更好,也可以用来对齐一个生成模型(例如让语言模型更符合人类偏好)。看到「强化学习」时,问的是「怎么训练」,不是「属于哪一类模型」。

03判别式:把世界压进几个格子

你手机的人脸解锁、快递单上的地址识别、工厂流水线上的划痕检测,背后都是判别式。它不新,但至今是生产系统的主力。

这类模型的工作流程可以拆成一条流水线:输入 → 特征提取 → 打分或划边界 → 取分数最高的那个。训练目标是最小化分类误差或回归误差。它不关心「这类数据整体长什么样」,只关心「怎么把当前这一条分对」。

常见例子:垃圾邮件判定、人脸比对、工业缺陷检测、医学影像结节筛查、语义分割(给每个像素贴一个类别标签)、搜索排序、内容风控。它们的共同点是——答案在事先定义好的标签体系里。

它的优势很实际:算力需求通常更小、结果稳定、容易评估、相对容易定位错误。它的局限也同样明确:

能力边界

不要把「判别」理解成低级。分类、检测、分割、超分、人脸对齐、深度估计,至今仍是大量生产系统的主力。生成模型再强,也经常要先靠判别式模型做预处理、筛选和验收。

回到 ComfyUI:里面并不是「全是生成模型」。ControlNet 的预处理器会做 Canny 边缘、HED 软边缘、深度估计、OpenPose 姿态;图像分割、人脸检测也在这里。CLIP 图像编码器用对比学习训练——把「图」和「它的描述」拉近,把不配的推远。它们只干一件事:把一张图变成「条件」,再交给扩散模型去生成。

先记一句:ControlNet 是一类「按图约束生成」的附加网络。它的节点、阈值和连线在 L1-04 · ControlNet 专门讲;这里你只要知道它管条件,不管出图。

04生成式:学的是「什么样的数据算合理」

你让 AI 画「雨夜的便利店」,它给你的不是搜出来的一张图。每跑一次,构图都略有不同——它没有在题库里挑答案,而是在现场画。

生成式模型不是搜索引擎,也不是素材拼接器。它学的是一个关于「数据长什么样」的概率模型,然后从这个模型里采样。采样意味着结果不唯一:同一个输入,可能得到几个都合理、但不一样的输出。

今天主流的生成路线可以粗略分成四类,你只需要认得出名字,不必现在就会算:

它们有一个共同点:都需要一个「条件」来引导生成——你想让它生成什么。区别在于条件怎么进入网络,以及输出是一步一步产生,还是一次性产生。

能力边界

生成式没有「唯一正确答案」,所以它也很难被「验收」。流畅不等于真实,逼真不等于正确,好看不等于符合需求。评估必须结合具体任务:文字看事实与指令遵循,图像看构图、文字、结构、可用性,而不是只看「像不像」。

05大语言模型:一个不停做「下一词选择题」的模型

留意一下 ChatGPT 打字的样子:字是一个一个蹦出来的,不是整段闪出来。那不是界面动画,那就是它的工作方式——它每次只决定下一个词。

大语言模型(Large Language Model,LLM)的机制一句话能说清:给定前面的 token 序列,预测下一个 token 的概率,选一个接上去,再来一遍。token 是文本被切出来的碎片,可能是一个字、一个词,也可能是半个词——它不等于「字」,也不等于「词」。

拆开看是五步:

  1. 切 token:文本先被切成 token,更像常见的子词片段。「人工智能」可能是一个 token,「人工智能化」可能是另外两个。
  2. 算分数:整段 token 序列进入 Transformer,输出词表里每个 token 的分数。Transformer 是一种网络结构,能让每个位置都去看其他位置;它的内部算法不在这里展开,你只要知道它负责「读完上文」。这些原始分数叫 logits,还没变成概率。
  3. 变概率:softmax 把 logits 压成加起来等于 1 的概率分布。词表可能有几万到几十万个候选。
  4. 采样:按概率选一个。temperature(温度)让分布更平或更尖——调高更爱冒险,调低更保守;top-p 只从累计概率靠前的那部分候选里选,截掉长尾。
  5. 追加并重复:把选中的 token 接到序列末尾,再预测下一个,直到结束符或长度上限。

训练目标就是最大化「真实下一个 token」的概率。换句话说,它被反复要求做同一道选择题:在大量人类文本里,下一个词最可能是什么。指令微调是拿「问答范例」再教一遍;偏好对齐(如 RLHF)是让人给回答打分,再按分数调整。两者改变的都是「怎么回答」,没有改变「逐个 token 预测」这个基本机制。

为什么它看起来像「懂」?因为要把下一个词预测准,模型被迫隐式编码语法、事实关联、上下文指代、甚至常见的推理模式。但注意:它的优化目标是「像训练语料里会出现的续写」,不是「真」。这就是幻觉的机制来源——幻觉就是流畅但错误的话。在训练数据稀疏、冲突或模糊的地方,模型仍会生成一个顺畅的续写,而不是停下来承认不知道。

为什么文本模型不能直接画图?因为它的输出空间是离散 token 词表,不是像素张量。它可以写出「一只橘猫坐在窗台上」这段描述,但描述本身不是图像。要出图,必须接一个图像生成模型,或者调用外部工具——这是产品层的事,不是语言模型自己长出了新器官。

大语言模型逐个 token 生成的循环 已有序列(token) 今天 天气 真 Transformer 输出词表概率分布 下一个 token 的概率 好 0.62 不错 0.11 热 0.08 … 0.19 采样一个 token 追加到序列 重复,直到结束符或长度上限 每一步只生成一个 token;temperature 与 top-p 决定从分布里怎么选。
图 2:语言模型不是「想好整段再吐出来」,而是一个 token 一个 token 地做概率选择题。
能力边界

06扩散模型:从一团噪声里「减」出一张图

同一句提示词,跑两次,得到两张不一样的图。很多人以为是 bug,其实是这类模型的工作方式决定的:它每次从一团随机噪声出发,现场擦。

扩散模型走的是另一条路:不是逐个 token 往下写,而是从纯噪声开始,一步一步把噪声减掉。「噪声」就是电视雪花那样的随机噪点,高斯噪声是其中最常见的一种。

它有三个关键阶段:

  1. 前向加噪:拿一张真实图,按调度表逐步加入噪声。调度表就是「第几步加多少」的清单。加到最后,图变成一团几乎无结构的雪花。
  2. 训练去噪:把「第 t 步加了噪的图」和「t」一起喂给网络,让它预测这一步加了什么噪声;流匹配则让网络预测「往干净数据走的方向」。它学的不是「猫长什么样」的标签,而是「该往哪个方向减、减多少」。
  3. 反向采样:推理时从纯噪声出发,每一步用网络估计噪声并减掉,重复几十步,慢慢还原出一张图。

Stable Diffusion 这类模型用的是潜在扩散(Latent Diffusion):先由 VAE 把图像压进潜空间,扩散过程在潜空间里做,最后再解码回像素。潜空间就是把像素按 1/8 缩小后得到的那张草稿画布;VAE 是往返于像素和草稿之间的有损翻译机。这样算力消耗大幅下降,代价是细节受 VAE 表达能力限制。

先记一句:潜空间为什么是 1/8、VAE 怎么编码解码、尺寸怎么换算,都在 L1-01 · 潜空间与 VAE 讲透。这里你只要记住「草稿画布 + 有损翻译机」这一对。

文本条件怎么进去?提示词先被文本编码器(CLIP、T5 等)编成一串向量——向量就是一排数字,用来代表一段话的意思。这串数字再在每一步注入去噪网络的 cross-attention 层。cross-attention 的作用是「让去噪网络回头看一眼提示词」,所以每一步去噪都在看这串条件,再决定往哪个方向减噪。它不是在「理解一句话然后执行」,而是在条件引导下做数值迭代。

这解释了两个 ComfyUI 学员最常见的困惑。

为什么提示词不用写成完整句子?

因为它进入的是 cross-attention 的条件序列,不是对话指令。短语、逗号分隔、关键词堆叠,都能直接改变条件向量的构成;权重语法(如 (word:1.2))改变的是某个 token 向量的强度;负面提示词则是把「不想要的方向」放进条件里。句子当然也能用,但它不是「被听懂后执行」,而是被编码成一组特征去引导去噪。

一个必要的更新

早期 Stable Diffusion 1.5 的 CLIP 文本编码器对长句、语序、否定的处理较弱,所以「关键词堆叠」更有效。较新的模型(如使用 T5 编码器的 Flux)对自然语言描述更友好,但机制仍然是条件引导,不是对话理解。写法可以更像句子,心智模型不要变。

为什么负面提示词有效?

因为 classifier-free guidance(CFG,无分类器引导)。采样时同时算「有条件」和「无条件」两种预测,再沿着两者之差的方向外推:结果 = 无条件 + 强度 × (有条件 − 无条件)。在 ComfyUI 里,负面提示词实际上替换了「无条件」那一支。你写「模糊、畸形、多余手指」,就是把预测往远离这些方向推。

把 CFG 想成「听话程度」最省事:数值越高,模型越贴着提示词走。反例:它不是「创意度」,调高不会更有想象力,只会把画面推到过饱和、僵硬——因为外推太远,已经偏离数据分布。

先记一句:CFG 的取值区间、正负提示词怎么配对、不同模型的推荐值,都在 L1-03 · CFG 与种子 里讲。这一课只要记住「听话程度」。
扩散模型从噪声逐步去噪,并由文本条件引导 提示词:a red bicycle on a bridge 文本编码器 CLIP / T5 条件向量 cross-attention 注入每一步 去噪 去噪 去噪 去噪 纯噪声 第 T 步 中间步 第 1 步 生成结果 关键参数 步数 steps 引导强度 CFG 随机种子 seed 训练学「这一步加了多少噪声」,推理反过来一步步减掉;潜在扩散在 VAE 压缩后的潜空间里完成。 同一条提示词换一个种子,结果会不同——随机性来自初始噪声与采样过程。
图 3:扩散不是「一次画完」,而是几十次「估计噪声 → 减掉一点」的迭代;文本条件在每一步参与引导。
能力边界
先记一句:种子(seed)决定这次从哪团随机噪声出发,步数(steps)决定擦几下。同一句话换一个种子,构图就变了。两者的取值与配合在 L1-03 和 L1-02 · 采样与步数 里讲透;这一课只需要知道它们各管一件事。

07多模态:接口层的扩展,不是第三条路线

你给 AI 发一张截图,问「这个报错什么意思」,它看懂了图,又用文字回你。这类体验常被说成「AI 什么都能」,但在机制上,它只是接口变宽了。

「多模态(Multimodal)」指的是能处理两种及以上模态:文本、图像、音频、视频、动作。它不是一种独立的生成机制,而是输入输出接口的扩展。反例:能生成图,不等于能看懂图;只吃文字、只吐文字,还是单模态。同一个多模态系统,内部可能仍然是一个语言模型加一个扩散模型,或者一个统一的自回归 Transformer。

常见形态有三种:

让不同模态能对上的关键,是表示对齐——把图和词放到同一张坐标纸上,意思相近的靠得近。CLIP 式的对比学习干的就是这件事:把「图像」和「它的描述」拉近,把不配的推远。投影层是个小翻译器,把视觉特征翻成语言模型能接收的 token。这个对齐是近似的、统计意义上的,不是逐字对号——所以「能看见」不等于「看得准」,细粒度空间关系、数量、小字仍然容易错。

能力边界

多模态不是「更高级」,只是「接口更宽」。一个能看图的语言模型,仍然可能编造图里不存在的细节;一个能生成图的模型,仍然不擅长精确文字。判断一个多模态产品,要分别问:它理解得准吗?它生成得稳吗?两者不是同一件事。

08为什么 ComfyUI 和 ChatGPT 不是同一种东西

回到开头那个问题:两个都能出图,为什么说它们不是同一种东西?把两者拆成四层看,重叠的地方其实很少。

ChatGPT 类产品与 ComfyUI 类产品的四层对比 ChatGPT 这类对话产品 ComfyUI 这类节点式生成器 产品层:对话框、插件、账号与计费 编排层:对话循环 + 工具 / 检索调用 模型层:大语言模型(自回归,逐个 token) 交互层:节点图编辑器(连线和参数) 编排层:执行引擎(拓扑排序 + 结果缓存) 模型层:扩散模型 + 条件编码器 共同底座:神经网络权重 + GPU 张量运算 + 推理框架 重叠的只有底座;往上每一层的输入、输出、控制方式和失败模式都不同。
图 4:两者共享 GPU 推理这一层,但任务类型、控制方式、编排对象几乎不重叠。

ChatGPT 的核心是语言模型加对话循环:输入是 token 序列,输出也是 token 序列;控制方式是自然语言指令加上下文;失败模式是幻觉、跑题、指令漂移、上下文溢出。它可以调用工具、检索网页、生成图片,但那是产品层在路由到别的模型或工具。

ComfyUI 的核心是扩散管线的运行时:输入是提示词、图像、mask、控制图和参数;输出是图像、视频、潜变量;控制方式是「改节点图结构 + 改节点参数」。执行引擎先做拓扑排序——按「谁依赖谁」排出先后,再逐个跑;没变化的中间结果会被缓存,不重算。失败模式是接线错误、模型不匹配、显存不足、提示词与模型训练分布不符。

先记一句:节点、连线、节点图长什么样,在 L0-01 · ComfyUI 是什么 里第一次讲透。这里你只要知道它是一张「工序图」,每道工序吃进一些东西、吐出另一些东西。

这正好解释了两个最常见的困惑:

不要把交集当成同源

ComfyUI 可以装 LLM 节点,用来扩写提示词、翻译、打标;ChatGPT 也可以调用图像模型出图。产品层「都能出图」不代表底层是同一种模型。判断时回到机制:它是在逐个预测 token,还是在从噪声里去噪?

09速查表:大语言模型 vs 扩散模型

维度大语言模型(LLM)扩散模型(Diffusion)
核心目标预测下一个 token预测这一步的噪声或速度场
输入token 序列 + 上下文带噪潜变量 + 条件(文本 / 图像 / mask)
输出词表上的概率分布,逐个采样每一步的噪声估计,迭代去噪成图
训练信号下一个 token 的交叉熵加噪与去噪的回归损失
控制方式自然语言指令、系统提示、上下文提示词条件、CFG、种子、mask、ControlNet
强项语言、推理、代码、总结、改写构图、风格、质感、图像变换、局部重绘
弱项事实性、精确计算、无工具时不能行动精确文字 / 数量 / 空间关系、身份一致性
典型失败幻觉、跑题、上下文溢出崩图、肢体错误、文字乱码、过饱和
评估方式基准测试、人类偏好、任务成功率FID / CLIPScore(分布差距 / 图文匹配度)、人类偏好、下游可用性
在 ComfyUI 中辅助节点:扩写、翻译、打标核心生成管线

10常见误解

  1. 「AI 就是一个聪明的大脑,什么都懂。」

    模型是在特定数据分布上训练出来的函数,不是通用智能体。它可能很擅长语言,却不会数手指;可能画得很好,却读不对招牌上的字。问「它训练在什么数据上、优化什么目标」,比问「它聪不聪明」有用得多。

  2. 「ChatGPT 能画图,所以它和 ComfyUI 是一回事。」

    产品层可以路由到不同的模型和工具。ChatGPT 出图通常是调用了图像生成能力;ComfyUI 的核心是扩散管线运行时。两者共享 GPU 推理底座,但上层机制不同。

  3. 「提示词必须写得像跟人说话,模型才懂。」

    对语言模型大体成立;对扩散模型不成立。扩散模型的提示词是条件编码,短语、关键词、权重、负面词都直接作用于条件向量。自然语言更友好的新模型,也没有改变「条件引导」这个机制。

  4. 「生成模型就是把训练图剪碎了重新拼。」

    它学的是数据分布和去噪方向,不是保存一张张图再检索。但也要承认另一面:训练数据中的重复样本会被记忆化,特定提示词可能复现训练图。这是数据与版权问题,不是「拼接」这么简单。

  5. 「模型越大,答案就越对。」

    规模提升的是分布拟合、语言流畅度和指令遵循,不保证事实正确。更大的模型也可能更自信地编造。事实性要靠检索、工具、校验,而不是参数量。

  6. 「同一个种子就能完全复现同一张图。」

    同模型、同版本、同参数、同硬件精度下通常接近;跨 GPU、跨框架、跨精度、跨版本不保证一致。种子控制的是初始噪声,不控制所有数值细节。

  7. 「判别式模型已经过时了,现在都是生成式。」

    分类、检测、分割、人脸对齐、深度估计仍是生产系统主力。ComfyUI 里的 ControlNet 预处理器、分割模型、CLIP 图像编码器,都是判别式或判别式训练的组件。生成管线离不开它们提供的条件。

  8. 「多模态就是什么都能,理解、生成、推理全能。」

    多模态只是接口更宽。跨模态对齐是近似统计映射,细粒度空间关系、数量、小字仍然弱。能看图,不等于看得准;能生成,不等于生成得对。

11自检清单

能不看上文说清楚,才算真的建立心智模型。勾选只是记录,不是评分。

12本课术语台账

这一课该讲透的,下面标「讲透」;只是顺路提到、留到后面细讲的,标「只提一句」。全课总索引见 A07 · 术语对照表。

术语本课状态在哪里讲透
模型 / 产品 / 能力讲透本课 01 节
判别式 / 生成式讲透本课 02–04 节
大语言模型 / token讲透本课 05 节;A02 接着用
扩散模型 / 潜在扩散讲透本课 06 节
多模态 / 表示对齐讲透本课 07 节
张量只提一句本课 01 节已给定义;L1-01 讲它装的内容(潜空间)
Transformer / cross-attention只提一句A03 提示词两套语法(01 节)
logits / softmax / temperature / top-p只提一句A02 大模型在做什么
潜空间 / VAE只提一句L1-01 潜空间与 VAE
CFG / 种子 / 步数只提一句L1-03、L1-02
ControlNet / LoRA / IP-Adapter / mask只提一句L1-04、L2-01、L1-05、L3-05
节点 / 连线 / 节点图只提一句L0-01 ComfyUI 是什么