落白lite & AI研学社·第 3 / 52 小节 · A · AI 通识先修:A01、A02课程地图|← 上一课下一课 →
AI 入门与 ComfyUI 出图课

A03 · 提示词

提示词的两套语法

你把写给 ChatGPT 的那段话,原样贴进 ComfyUI 的提示词框,画面却完全不理会你的叮嘱——多半不是模型坏了,是你用了另一套语法。

这节解决什么:你能一眼看出一段提示词是给谁的,并按对应语法重写:给语言模型写清「四件事」,给扩散模型列好「条件清单」。

阅读时间约 13 分钟
前置知识读完 A01 / A02 更顺
学完能做什么为 ComfyUI 提示词打底

前置知识需要知道“大模型按 token 续写”。如果还不清楚,先读 A02 · 大模型在做什么;本课会把用到的术语重新解释一遍。

对话式 · 给语言模型

“你是一名编辑。请把下面这段文字改得更简洁,保留原意,不超过 120 字。”

模型读:句子 → 意图 → 继续写
图像式 · 给扩散模型

red dress, silver earrings, soft window light, 85mm, shallow depth of field, editorial portrait

模型读:词 → 向量 → 条件

01同一个提示词,进入两条流水线

把「请画一个穿红裙的女孩,站在雨夜街头,光线柔和一点」整句贴进 ComfyUI,红裙子出现了,「光线柔和一点」却基本没生效。同一句话,在两个地方为什么命运不同?

“提示词”这个词把两件事装在了一起。对话式提示词是一段给语言模型的文本;图像式提示词是一组给扩散模型(从噪声逐步还原图像的模型)的条件。它们的输入形式看起来都像文字,但被处理的方式完全不同。

对话式 · 输出是文本 句子提示词 tokenizer 大语言模型 下一个 token 图像式 · 输出是图像 关键词提示词 text encoder cross-attention 去噪网络 文本进入语言模型,变成“下一个 token”的概率; 图像提示词进入编码器,变成每一步去噪都要读取的条件。
两条流水线都以“文本”开始,但一个目标是继续写,另一个目标是从噪声里还原图像。

text encoder(文本编码器)负责把提示词里的词变成一串向量(可以理解为一组数字);cross-attention(交叉注意力)负责在去噪的每一步,把这些向量“注入”到图像生成过程中。它不执行语法分析,也不按句子成分办事,而是看哪些词、以多强的信号、出现在什么位置。

02对话式:四个槽位

你写「帮我改一下这段文字,简洁点」,它要么改得面目全非,要么根本没变短。问题通常不在模型,而在你没说清四件事。

对话式提示词的目标是让语言模型知道“你要它做什么”。最稳的写法不是越长越好,而是把这四件事说清楚。可以把它想成四个槽位:

01 角色

它该用什么身份、语气、读者视角来说。角色影响措辞与取舍,不增加新知识。

你是一名面向高中生的物理老师。
02 任务

一个明确的动作,加上输出形式。避免“帮我看看”这种没有验收标准的说法。

请解释“加速度”,输出 3 段,每段不超过 80 字。
03 约束

长度、受众、必须包含、绝不能出现、是否需要引用。约束要少而硬。

不要使用公式;必须举一个生活例子。
04 示例

给一到两组输入 / 输出样例,比形容词更能固定格式与风格。

输入:速度… 输出:像汽车起步…

把它们拼起来,就是一个可直接使用的模板:

角色:你是一名面向高中生的物理老师。
任务:解释“加速度”,输出 3 段,每段不超过 80 字。
约束:不要使用公式;必须举一个生活例子;不要使用“众所周知”。
示例:
输入:解释“速度”
输出:速度描述的是……(略)
为什么这四个槽位有效

语言模型按上下文续写。角色限定了词汇与语气,任务限定了要做什么,约束限定了边界,示例限定了格式。四者合起来,缩小了它“自由发挥”的空间。

03对话式的边界

你把角色写成「资深律师」,它答得仍然像个学生。这不是角色没写对,是角色本身不产生知识。

四个槽位能显著改善“是否符合要求”,但不能突破模型本身的知识边界。三条边界要记清:

所以对话式提示词的验收标准应该是:格式对不对、约束有没有被遵守、事实能不能被核对,而不是“读起来像不像专家”。

04图像式:把画面拆成条件清单

你要一张「高级感人像」,写了一句「a beautiful girl, high quality」,出来的是塑料脸加大柔光。图像提示词不是许愿,是列条件。

图像式提示词的目标不是“说清楚一件事”,而是“描述你要的画面长什么样”。最实用的做法,是按层拆成一张清单。下面这八层,基本覆盖了绝大多数出图需求:

主体young woman谁 / 什么,放在最前
外观red silk dress, silver earrings服装、材质、颜色、发型
场景rainy street at night, neon reflections地点、天气、时间、环境
构图medium shot, centered, negative space景别、位置、留白
镜头85mm, f/1.8, shallow depth of field焦段、景深、视角
光线soft rim light, cool tones方向、软硬、色温
风格cinematic, editorial photography媒介、流派、参考质感
质量high detail, sharp focus少而准,不要堆一长串

一个可用的初稿看起来是这样:

young woman, red silk dress, silver earrings,
rainy street at night, neon reflections,
medium shot, 85mm, shallow depth of field,
soft rim light, cinematic, editorial photography

注意:这是英文示例,因为多数开源图像模型对英文提示词更敏感;中文模型或经过中文微调的模型可以改用中文。关键不是语言,而是“词是否明确、层级是否清楚”。

05权重与顺序:模型先看什么

同样几个词,调一下顺序,主体就丢了。在图像提示词里,位置和权重都是实打实的控制手段。

在多数扩散模型里,提示词不是一个整体,而是一串 token。靠前的词通常影响更大;你也可以用权重语法显式加强或减弱某个词。(word:1.3) 表示把它的影响放大到 1.3 倍,(word:0.7) 表示减弱。部分工具也支持 ((word)) 这种简写,但 ComfyUI 里更常用带数字的写法。

提示词的“注意力预算”示意

把最不能丢的主体与风格放前面;质量词放后面,避免占掉开头的注意力。顺序是倾向,不是硬开关。

三条经验,比“堆括号”更有用:

06负面提示词:不是“禁止”,是“推离”

你在负面框里写了「不要模糊」,图还是糊。因为负面提示词不是禁令,是推力。

负面提示词(negative prompt)是你不想出现的描述,例如 blurry, extra fingers, watermark, low contrast。它不是在规则层面“禁止”这些词,而是在采样时把结果从这些方向推开。

背后的机制通常与 CFG(classifier-free guidance,无分类器引导)有关:模型同时计算“朝向正面条件”和“朝向负面条件”的预测,再按引导强度把结果往正面推、往负面推离。引导强度就是 ComfyUI 里的 cfg 参数。

cfg 太低提示词约束弱,画面更“自由”,也更容易跑题。
cfg 合适正面条件生效,负面条件有作用,细节与色彩较平衡。
cfg 太高颜色过饱和、边缘发硬、构图僵硬,甚至出现色块。

负面词也不是越多越好。把它们分成三类,够用就停:

07为什么图像提示词不必写成完整句子

因为图像模型不是靠“读懂句子结构”来作画的。以 CLIP 类文本编码器为例:CLIP 是一个把图和文对齐到同一坐标的编码器,它的训练细节在 L2-02 · 条件与编码 讲。提示词先被切成 token,再变成一串向量;这些向量通过 cross-attention 在每一步去噪时影响图像。它关心的是哪些概念出现了、以多强的信号出现、彼此如何共现,而不是“主语、谓语、宾语是否齐全”。

所以像 a woman in a red dress 这样的短语,和 woman, red dress 这样的关键词堆叠,在早期模型上往往效果接近,后者还更省 token、更容易调权重。功能词(a、the、is)通常不会带来额外的画面信息。

但这条规则有版本差异

SD3、FLUX 等新模型使用了 T5(另一种更擅长读句子的文本编码器)或更强的编码器,对自然语言的理解明显更好,完整短句往往也能工作。即便如此,它仍然是在接收“条件”,不是在接受“指令”:精确的空间关系、数量、文字排版,仍然要靠构图控制、参考图或专门节点,而不是指望一句话说清。

实践上可以这样选:

08速查表:两套语法对照

维度对话式提示词图像式提示词
服务对象大语言模型扩散模型 / 图像模型
输入单位句子与段落词、短语、权重标记
模型怎么读按 token 续写,理解意图与格式编码成向量,通过交叉注意力注入
完整句子必要,逻辑要连贯可选;多数模型关键词更稳
顺序按叙事逻辑组织重要的放前面,影响注意力分配
权重通常不需要(word:1.3) 常用
负面表达写成约束:“不要出现……”单独的负面提示词,配合 cfg 使用
典型失败格式对但事实错、约束被忽略主体丢失、构图不听使唤、过度加权
迭代方式改指令、补材料、给示例改词序、调权重、换种子、加控制图

09常见误解

  1. “图像提示词越像完整句子越好。”

    取决于文本编码器。SD1.5 / SDXL 上关键词堆叠通常更稳;SD3 / FLUX 对自然语言更好。但两者都不是“指令”,精确构图仍要靠结构控制。

  2. “负面词写得越多,画面越干净。”

    负面词过多会互相冲突,还可能把主体一起推走。按质量、结构、污染三类各留几个即可。

  3. “权重括号越多,控制越精确。”

    权重是乘法,收益很快递减。过度加权常见的结果是过曝、塑料感、边缘撕裂,而不是更准确。

  4. “提示词能精确控制构图。”

    它能给倾向,不能给坐标。精确的人物姿势、画面分区、文字位置,需要 ControlNet、参考图、遮罩或专门节点。

  5. “对话式提示词越长越专业。”

    长提示词会稀释关键约束,还会挤占上下文。四槽位写清、约束少而硬,通常比堆三段背景介绍更有效。

  6. “给它一个专家角色,它就具备专家知识。”

    角色改变措辞、语气与关注点,不改变参数里的知识边界。事实仍要靠材料与核对。

  7. “示例给得越多,输出越稳。”

    示例要覆盖边界,不是重复同一种情况。太多示例会挤占上下文,还可能让模型机械模仿无关细节。

  8. “同一段提示词,换模型效果一样。”

    分词器、文本编码器、训练数据、采样器都不同。换模型后,提示词需要重新校准,不是原样复制。

10自检清单

两分钟练习

把“一个穿红裙的女孩站在雨夜街头,电影感”分别写成两种提示词:一种给语言模型(要求它输出一段画面描述),一种给图像模型(关键词 + 权重 + 负面词)。写完对照速查表,看看有没有把“句子”塞进图像提示词,或把“关键词”塞进对话提示词。

11本课术语台账

本课把「提示词」拆成两套语法,讲透的是「怎么写给谁看」;模型内部机制基本只提一句。全课总索引见 A07 · 术语对照表。

术语本课状态在哪里讲透
对话式提示词 / 图像式提示词讲透本课 01–06 节
四个槽位(角色 / 任务 / 约束 / 示例)讲透本课 02 节
负面提示词 / CFG讲透(用法)本课 06 节;数值在 L1-03
权重语法 / token 顺序讲透本课 05 节
文本编码器 / cross-attention讲透本课 01 节
CLIP / T5只提一句L2-02 条件与编码
去噪 / 采样只提一句L1-02 采样与步数