A01 · AI 通识 / 第 1 课
同学问「ChatGPT 会画图,它是不是也长了一个会画画的脑子?」——这一课让你当场答得出来,而不是背定义。
同学甩来一句:「ChatGPT 会画图,那它是不是也长了一个会画画的脑子?」这话没法一句话回答,因为问的人把三样东西揉成了一个词。模型、产品、能力,先拆开,后面所有讨论才站得住。
打个准确的比方:模型是发动机,产品是整车,能力是这辆车在什么路况下能跑多快。你夸一辆车「能越野」,夸的不是发动机本身,而是整套系统在某种路面上的表现。后面一半的混淆,都来自把整车当成发动机。
当有人说「ChatGPT 会画图」,他说的往往是产品层接了一个图像模型或工具,而不是语言模型本身长出了像素输出能力。分清层级,才不会把产品能力误当成模型机制。
同样是「用 AI 做」,做的东西可能根本不是一个物种。手机把你的脸认成你、工厂把瑕疵圈出来、你让 AI 画一张海报——前两件事在缩小可能性,第三件在凭空多出一个样本。
判断只需要一刀:它是在做判断,还是在造样本?
判别式模型(Discriminative Model)学的是「给定输入,它属于哪个类别」——条件概率 P(标签 | 输入),读作「在已知输入的条件下,某个标签出现的概率」;或者一条把不同类别分开的决策边界。它的输出是封闭集合里的一个选择:是或否、哪一类、框在哪、每个像素归谁、排第几。反例:判别式不是「低级 AI」,它只是不做无中生有的事。
生成式模型(Generative Model)学的是「这类数据长什么样」——数据分布 P(数据),或者给定条件时的 P(数据 | 条件)。它的目标是采样出一个新的、合理的样本:一段文本、一张图、一段音频。反例:生成不是检索,也不是把训练图剪碎了重拼。
一个准确的比喻:判别式像质检员,只能在已有的等级表里选一个等级,不会发明新等级;生成式像画师,产出的不是数据库里的原图,而是按学到的分布重新画一张。画师也会画错,这正是生成式难以验收的根源。
两者的评价方式因此不同。判别式可以用准确率(判对的占多少)、召回率(该找的找出多少)、AUC(把正负样本排序的能力)这些「对/错」指标;生成式没有唯一正确答案,只能看分布距离(如 FID,做法是把生成图和真实图各提一组特征,比两组分布差多远,差得越少越像)、图文匹配度(如 CLIPScore,看图和提示词对得上多少)、人类偏好、以及生成结果在下游任务里能不能用。你不能用「准确率 99%」去要求一张画,也不能用「好不好看」去验收一个分类器。
强化学习不是「第三类模型」。它是一种训练范式:通过奖励信号调整策略。它既可以把一个判别模型训练得更好,也可以用来对齐一个生成模型(例如让语言模型更符合人类偏好)。看到「强化学习」时,问的是「怎么训练」,不是「属于哪一类模型」。
你手机的人脸解锁、快递单上的地址识别、工厂流水线上的划痕检测,背后都是判别式。它不新,但至今是生产系统的主力。
这类模型的工作流程可以拆成一条流水线:输入 → 特征提取 → 打分或划边界 → 取分数最高的那个。训练目标是最小化分类误差或回归误差。它不关心「这类数据整体长什么样」,只关心「怎么把当前这一条分对」。
常见例子:垃圾邮件判定、人脸比对、工业缺陷检测、医学影像结节筛查、语义分割(给每个像素贴一个类别标签)、搜索排序、内容风控。它们的共同点是——答案在事先定义好的标签体系里。
它的优势很实际:算力需求通常更小、结果稳定、容易评估、相对容易定位错误。它的局限也同样明确:
不要把「判别」理解成低级。分类、检测、分割、超分、人脸对齐、深度估计,至今仍是大量生产系统的主力。生成模型再强,也经常要先靠判别式模型做预处理、筛选和验收。
回到 ComfyUI:里面并不是「全是生成模型」。ControlNet 的预处理器会做 Canny 边缘、HED 软边缘、深度估计、OpenPose 姿态;图像分割、人脸检测也在这里。CLIP 图像编码器用对比学习训练——把「图」和「它的描述」拉近,把不配的推远。它们只干一件事:把一张图变成「条件」,再交给扩散模型去生成。
你让 AI 画「雨夜的便利店」,它给你的不是搜出来的一张图。每跑一次,构图都略有不同——它没有在题库里挑答案,而是在现场画。
生成式模型不是搜索引擎,也不是素材拼接器。它学的是一个关于「数据长什么样」的概率模型,然后从这个模型里采样。采样意味着结果不唯一:同一个输入,可能得到几个都合理、但不一样的输出。
今天主流的生成路线可以粗略分成四类,你只需要认得出名字,不必现在就会算:
它们有一个共同点:都需要一个「条件」来引导生成——你想让它生成什么。区别在于条件怎么进入网络,以及输出是一步一步产生,还是一次性产生。
生成式没有「唯一正确答案」,所以它也很难被「验收」。流畅不等于真实,逼真不等于正确,好看不等于符合需求。评估必须结合具体任务:文字看事实与指令遵循,图像看构图、文字、结构、可用性,而不是只看「像不像」。
留意一下 ChatGPT 打字的样子:字是一个一个蹦出来的,不是整段闪出来。那不是界面动画,那就是它的工作方式——它每次只决定下一个词。
大语言模型(Large Language Model,LLM)的机制一句话能说清:给定前面的 token 序列,预测下一个 token 的概率,选一个接上去,再来一遍。token 是文本被切出来的碎片,可能是一个字、一个词,也可能是半个词——它不等于「字」,也不等于「词」。
拆开看是五步:
训练目标就是最大化「真实下一个 token」的概率。换句话说,它被反复要求做同一道选择题:在大量人类文本里,下一个词最可能是什么。指令微调是拿「问答范例」再教一遍;偏好对齐(如 RLHF)是让人给回答打分,再按分数调整。两者改变的都是「怎么回答」,没有改变「逐个 token 预测」这个基本机制。
为什么它看起来像「懂」?因为要把下一个词预测准,模型被迫隐式编码语法、事实关联、上下文指代、甚至常见的推理模式。但注意:它的优化目标是「像训练语料里会出现的续写」,不是「真」。这就是幻觉的机制来源——幻觉就是流畅但错误的话。在训练数据稀疏、冲突或模糊的地方,模型仍会生成一个顺畅的续写,而不是停下来承认不知道。
为什么文本模型不能直接画图?因为它的输出空间是离散 token 词表,不是像素张量。它可以写出「一只橘猫坐在窗台上」这段描述,但描述本身不是图像。要出图,必须接一个图像生成模型,或者调用外部工具——这是产品层的事,不是语言模型自己长出了新器官。
同一句提示词,跑两次,得到两张不一样的图。很多人以为是 bug,其实是这类模型的工作方式决定的:它每次从一团随机噪声出发,现场擦。
扩散模型走的是另一条路:不是逐个 token 往下写,而是从纯噪声开始,一步一步把噪声减掉。「噪声」就是电视雪花那样的随机噪点,高斯噪声是其中最常见的一种。
它有三个关键阶段:
Stable Diffusion 这类模型用的是潜在扩散(Latent Diffusion):先由 VAE 把图像压进潜空间,扩散过程在潜空间里做,最后再解码回像素。潜空间就是把像素按 1/8 缩小后得到的那张草稿画布;VAE 是往返于像素和草稿之间的有损翻译机。这样算力消耗大幅下降,代价是细节受 VAE 表达能力限制。
文本条件怎么进去?提示词先被文本编码器(CLIP、T5 等)编成一串向量——向量就是一排数字,用来代表一段话的意思。这串数字再在每一步注入去噪网络的 cross-attention 层。cross-attention 的作用是「让去噪网络回头看一眼提示词」,所以每一步去噪都在看这串条件,再决定往哪个方向减噪。它不是在「理解一句话然后执行」,而是在条件引导下做数值迭代。
这解释了两个 ComfyUI 学员最常见的困惑。
因为它进入的是 cross-attention 的条件序列,不是对话指令。短语、逗号分隔、关键词堆叠,都能直接改变条件向量的构成;权重语法(如 (word:1.2))改变的是某个 token 向量的强度;负面提示词则是把「不想要的方向」放进条件里。句子当然也能用,但它不是「被听懂后执行」,而是被编码成一组特征去引导去噪。
早期 Stable Diffusion 1.5 的 CLIP 文本编码器对长句、语序、否定的处理较弱,所以「关键词堆叠」更有效。较新的模型(如使用 T5 编码器的 Flux)对自然语言描述更友好,但机制仍然是条件引导,不是对话理解。写法可以更像句子,心智模型不要变。
因为 classifier-free guidance(CFG,无分类器引导)。采样时同时算「有条件」和「无条件」两种预测,再沿着两者之差的方向外推:结果 = 无条件 + 强度 × (有条件 − 无条件)。在 ComfyUI 里,负面提示词实际上替换了「无条件」那一支。你写「模糊、畸形、多余手指」,就是把预测往远离这些方向推。
把 CFG 想成「听话程度」最省事:数值越高,模型越贴着提示词走。反例:它不是「创意度」,调高不会更有想象力,只会把画面推到过饱和、僵硬——因为外推太远,已经偏离数据分布。
你给 AI 发一张截图,问「这个报错什么意思」,它看懂了图,又用文字回你。这类体验常被说成「AI 什么都能」,但在机制上,它只是接口变宽了。
「多模态(Multimodal)」指的是能处理两种及以上模态:文本、图像、音频、视频、动作。它不是一种独立的生成机制,而是输入输出接口的扩展。反例:能生成图,不等于能看懂图;只吃文字、只吐文字,还是单模态。同一个多模态系统,内部可能仍然是一个语言模型加一个扩散模型,或者一个统一的自回归 Transformer。
常见形态有三种:
让不同模态能对上的关键,是表示对齐——把图和词放到同一张坐标纸上,意思相近的靠得近。CLIP 式的对比学习干的就是这件事:把「图像」和「它的描述」拉近,把不配的推远。投影层是个小翻译器,把视觉特征翻成语言模型能接收的 token。这个对齐是近似的、统计意义上的,不是逐字对号——所以「能看见」不等于「看得准」,细粒度空间关系、数量、小字仍然容易错。
多模态不是「更高级」,只是「接口更宽」。一个能看图的语言模型,仍然可能编造图里不存在的细节;一个能生成图的模型,仍然不擅长精确文字。判断一个多模态产品,要分别问:它理解得准吗?它生成得稳吗?两者不是同一件事。
回到开头那个问题:两个都能出图,为什么说它们不是同一种东西?把两者拆成四层看,重叠的地方其实很少。
ChatGPT 的核心是语言模型加对话循环:输入是 token 序列,输出也是 token 序列;控制方式是自然语言指令加上下文;失败模式是幻觉、跑题、指令漂移、上下文溢出。它可以调用工具、检索网页、生成图片,但那是产品层在路由到别的模型或工具。
ComfyUI 的核心是扩散管线的运行时:输入是提示词、图像、mask、控制图和参数;输出是图像、视频、潜变量;控制方式是「改节点图结构 + 改节点参数」。执行引擎先做拓扑排序——按「谁依赖谁」排出先后,再逐个跑;没变化的中间结果会被缓存,不重算。失败模式是接线错误、模型不匹配、显存不足、提示词与模型训练分布不符。
这正好解释了两个最常见的困惑:
ComfyUI 可以装 LLM 节点,用来扩写提示词、翻译、打标;ChatGPT 也可以调用图像模型出图。产品层「都能出图」不代表底层是同一种模型。判断时回到机制:它是在逐个预测 token,还是在从噪声里去噪?
| 维度 | 大语言模型(LLM) | 扩散模型(Diffusion) |
|---|---|---|
| 核心目标 | 预测下一个 token | 预测这一步的噪声或速度场 |
| 输入 | token 序列 + 上下文 | 带噪潜变量 + 条件(文本 / 图像 / mask) |
| 输出 | 词表上的概率分布,逐个采样 | 每一步的噪声估计,迭代去噪成图 |
| 训练信号 | 下一个 token 的交叉熵 | 加噪与去噪的回归损失 |
| 控制方式 | 自然语言指令、系统提示、上下文 | 提示词条件、CFG、种子、mask、ControlNet |
| 强项 | 语言、推理、代码、总结、改写 | 构图、风格、质感、图像变换、局部重绘 |
| 弱项 | 事实性、精确计算、无工具时不能行动 | 精确文字 / 数量 / 空间关系、身份一致性 |
| 典型失败 | 幻觉、跑题、上下文溢出 | 崩图、肢体错误、文字乱码、过饱和 |
| 评估方式 | 基准测试、人类偏好、任务成功率 | FID / CLIPScore(分布差距 / 图文匹配度)、人类偏好、下游可用性 |
| 在 ComfyUI 中 | 辅助节点:扩写、翻译、打标 | 核心生成管线 |
「AI 就是一个聪明的大脑,什么都懂。」
模型是在特定数据分布上训练出来的函数,不是通用智能体。它可能很擅长语言,却不会数手指;可能画得很好,却读不对招牌上的字。问「它训练在什么数据上、优化什么目标」,比问「它聪不聪明」有用得多。
「ChatGPT 能画图,所以它和 ComfyUI 是一回事。」
产品层可以路由到不同的模型和工具。ChatGPT 出图通常是调用了图像生成能力;ComfyUI 的核心是扩散管线运行时。两者共享 GPU 推理底座,但上层机制不同。
「提示词必须写得像跟人说话,模型才懂。」
对语言模型大体成立;对扩散模型不成立。扩散模型的提示词是条件编码,短语、关键词、权重、负面词都直接作用于条件向量。自然语言更友好的新模型,也没有改变「条件引导」这个机制。
「生成模型就是把训练图剪碎了重新拼。」
它学的是数据分布和去噪方向,不是保存一张张图再检索。但也要承认另一面:训练数据中的重复样本会被记忆化,特定提示词可能复现训练图。这是数据与版权问题,不是「拼接」这么简单。
「模型越大,答案就越对。」
规模提升的是分布拟合、语言流畅度和指令遵循,不保证事实正确。更大的模型也可能更自信地编造。事实性要靠检索、工具、校验,而不是参数量。
「同一个种子就能完全复现同一张图。」
同模型、同版本、同参数、同硬件精度下通常接近;跨 GPU、跨框架、跨精度、跨版本不保证一致。种子控制的是初始噪声,不控制所有数值细节。
「判别式模型已经过时了,现在都是生成式。」
分类、检测、分割、人脸对齐、深度估计仍是生产系统主力。ComfyUI 里的 ControlNet 预处理器、分割模型、CLIP 图像编码器,都是判别式或判别式训练的组件。生成管线离不开它们提供的条件。
「多模态就是什么都能,理解、生成、推理全能。」
多模态只是接口更宽。跨模态对齐是近似统计映射,细粒度空间关系、数量、小字仍然弱。能看图,不等于看得准;能生成,不等于生成得对。
能不看上文说清楚,才算真的建立心智模型。勾选只是记录,不是评分。
这一课该讲透的,下面标「讲透」;只是顺路提到、留到后面细讲的,标「只提一句」。全课总索引见 A07 · 术语对照表。
| 术语 | 本课状态 | 在哪里讲透 |
|---|---|---|
| 模型 / 产品 / 能力 | 讲透 | 本课 01 节 |
| 判别式 / 生成式 | 讲透 | 本课 02–04 节 |
| 大语言模型 / token | 讲透 | 本课 05 节;A02 接着用 |
| 扩散模型 / 潜在扩散 | 讲透 | 本课 06 节 |
| 多模态 / 表示对齐 | 讲透 | 本课 07 节 |
| 张量 | 只提一句 | 本课 01 节已给定义;L1-01 讲它装的内容(潜空间) |
| Transformer / cross-attention | 只提一句 | A03 提示词两套语法(01 节) |
| logits / softmax / temperature / top-p | 只提一句 | A02 大模型在做什么 |
| 潜空间 / VAE | 只提一句 | L1-01 潜空间与 VAE |
| CFG / 种子 / 步数 | 只提一句 | L1-03、L1-02 |
| ControlNet / LoRA / IP-Adapter / mask | 只提一句 | L1-04、L2-01、L1-05、L3-05 |
| 节点 / 连线 / 节点图 | 只提一句 | L0-01 ComfyUI 是什么 |