AI 入门与 ComfyUI 出图课

A02 · 机制

大模型在做什么

你问它一个没听过的人名,它答得有条有理,可那个人根本不存在。这不一定是它坏,而是它的工作方式决定的——它一个 token 一个 token 往下接,接得像,不等于接得对。

这节解决什么:你能用自己的话讲清大模型怎么「接」出回答,并据此提前分流:哪些活可以交给它,哪些活必须在它之外补一道核对。

阅读时间约 12 分钟
前置知识零基础可读 · 建议先看 A01
学完能做什么看懂幻觉与知识截止

前置知识本课从零解释术语。若还没建立“大语言模型 / 扩散模型”的分野,先读 A01 · 一张图看清 AI 家族 会更顺。

01先看它怎么“接龙”

你让它补一句「今天天气很好,我们一起去___」,它几乎必然填「公园」。这一节就把这个动作放大:看它每一步到底在做什么。

先把最核心的一句话放在桌面上:大语言模型在生成时,每一步只做一件事——根据已经出现的全部 token(模型处理文本的最小切分单位),算出下一个 token 的概率分布,然后挑一个接上去。

它不是在脑子里先写好整段话再逐字打印。它没有“整段草稿”,只有“下一步该接什么”。下面的演示把这件事拆开:每点一次,只生成一个 token。

演示 · 下一个 token 预测 概率为示意值,序列为固定脚本
今天天气很好,我们一起去
下一步候选尚未开始
0 / 8

这个演示解释了三件事:

换一个准确的比喻

它更像一个读过大量文本、极其擅长“接话”的人,而不是一个先检索资料、再组织答案的数据库。接得顺,是它的训练目标;接得真,不在这个目标里。

02token:模型眼里的最小单位

你可能想问:它「接一个」的时候,这个「一个」到底有多大?是一个字吗?是一个词吗?都不是——它的单位是 token。

token(中文常译“词元”)是模型词表里的一个切分单位。它可能是一个字、一个词、一个词的一部分,也可能只是一个标点。把文本切成 token 的组件叫 tokenizer(分词器),它同时负责把每个 token 映射成一个整数 ID。

关键点:token 不是字,也不是词。同一段中文,在不同模型的分词器里可能切成不同的块;同一个字,在不同上下文里也可能被切成不同的 token。

原文 今天天气很好,我们去公园。 tokenizer 切分(共 9 个 token) 今天 天气 很 好 , 我们 去 公园 。 映射为 ID(每个 tokenizer 不同) 今天 → 22103 天气 → 18744 很 → 4099 …… 示意
切分由分词器决定,不按“字数”平均切。图中颜色只用来区分相邻 token,没有语义含义。

这带来三个直接后果:

03一次一个:prefill 与 decode

问完问题,第一个字总要等一会儿,后面却越吐越快。这个体感不是网络卡,而是生成被分成了两段。

生成过程通常分成两段。第一段叫 prefill(预填充):把你给的整段上下文一次性读进去,并行算出每个位置的状态。第二段叫 decode(解码):从最后一个位置开始,一次生成一个 token,再把新 token 接回输入,继续生成下一个。

prefill · 一次读完,建立上下文状态 今天 天气 很好 我们 并行算出全部位置状态 decode · 每步只生成一个,再拼回输入 公园 散步 , 顺便 …… 首 token 慢,后续 token 快;“流式输出”就是边解码边返回。
prefill 负责“读懂你给的材料”,decode 负责“往下写”。两段的成本结构不同。

这解释了两个常见体验:

04概率、温度与 top-p

同一个问题问两次,答案不一样;把温度调低,就稳定多了。这两个现象都出在「怎么从候选里挑」这一步。

模型对下一个 token 给出的是一个分数分布,经过 softmax(把分数归一化成概率)之后变成概率。生成时不是永远选最高分,而是按概率采样;temperature(温度)和 top-p 是控制采样方式的两个常用参数。

温度低 · 0.2更稳定、更保守

高概率候选被进一步放大,输出更可预测,但也更容易重复、套话。

温度高 · 1.2更发散、更多样

低概率候选也有机会被选中,创意更强,但跑题和胡说的概率也更高。

top-p(也叫核采样)是另一种控制方式:只保留累计概率达到 p 的那一小撮候选,再在其中采样。p=0.9 意味着“只从最有希望、累计占 90% 的那组词里挑”。

最容易误解的一点

温度低不等于更正确。它只让输出更稳定、更接近模型眼中的高概率路径;如果高概率路径本身就是错的,温度再低也还是错。事实正确性要靠外部证据,不靠调参。

05上下文窗口:工作台,不是硬盘

聊到一半,它忘了你开头交代的要求。这多半不是「笨」,而是那张工作台放不下了。

上下文窗口(context window)是一次请求里模型能同时“看见”的 token 上限。它更像一张一次性摊开的工作台:系统提示、历史对话、你当前的问题、你贴进去的资料,全都摆在这张桌上,模型只能根据桌上的东西往下接。

一次请求的窗口预算示意比例

窗口是“输入 + 输出”的总预算,不是无限记忆。超出时通常靠截断、摘要或检索来腾位置。

三个实践含义:

06幻觉:缺证据时,它仍会给出最像答案的续写

它给你一条文献引用:作者、年份、期刊都对得上格式。查下去,这篇论文不存在。这就是幻觉最典型的样子——不是胡乱输出,而是「太像真的」。

幻觉(hallucination)指模型生成了看似合理、实际上不真实或无依据的内容。它不是“故意撒谎”,也不是“数据库里查到了错误条目”。更准确的解释是:当上下文里没有足够证据时,模型仍然会按照“最像下一个 token”的目标继续写。

问题问到一个具体的人、数字或文献
缺证据训练数据里没有对应事实,或记不清
续写挑最连贯、最像答案的词接下去
语气输出仍然是完整、自信的句子
误判读者把“流畅”当成“可靠”

三类高发场景,值得单独记住:

降低幻觉的四个动作

一,给它原文或数据,要求“只根据材料回答”;二,要求逐条标注出处,并打开出处核对;三,允许它回答“不知道”;四,关键结论用外部工具或人工复核。四个动作里,外部核对不可省。

07知识截止:它不知道今天

你问它今天的股价,它可能给你一个像模像样的数字。问题在于:它没有「今天」这个概念。

模型的知识来自训练数据,而训练数据有一个知识截止(knowledge cutoff)时间点。截止之后发生的事情,它没有见过。即便见过,也可能记错日期;不少模型连自己的截止时间都说不准。

训练数据覆盖书、网页、代码、问答……
截止点
它没有见过新事件、新价格、新版本

两个常见误区要拆开:

凡是时间敏感的内容——价格、政策、版本、赛事、人事——都应该回到原始来源核对,而不是问模型“现在是什么”。

08哪些事不该指望它

你可能会想:那我换句更好的提示词,是不是就行了?下面这些活,问题不在提示词,在机制。

把“它做不到”与“它做得不够好”分开。下面这些不是“再调调提示词”就能解决的,而是机制决定的边界。

实时事实

今天的股价、天气、新闻、库存。它没有实时数据源。

改用:官方页面、行情接口、检索工具。
精确计算与大数据处理

多位数乘除、表格汇总、逐行核对。它按 token 生成,不按计算器执行。

改用:计算器、代码、表格公式。
真实引用与文献

作者、年份、期刊、DOI 都可能被编得很像。

改用:数据库检索后逐条核对原文。
高风险决策

医疗、法律、投资、安全。它没有责任能力,也不掌握你的完整处境。

改用:专业人士 + 可追溯依据。
保密数据

把敏感信息贴进不可控的对话窗口,等于放弃了部分控制权。

改用:合规的本地或企业环境。
稳定复现的交付

同一输入,不同次生成可能不同;模型版本也会变。

改用:固定参数的工作流,见 A06。

09速查表:现象、机制与做法

你看到的现象背后的机制正确做法
回答流畅,但事实错了目标是“下一个 token 最像”,不是“事实为真”关键断言逐条找外部来源
细节越具体,越像真的具体词在训练分布里常与“专业感”共现数字、日期、引用一律复核
不知道最近发生的事训练数据有知识截止查原始来源,或使用检索工具
长文读到后面忘了前面上下文窗口有限,中间信息易被稀释分段处理,关键约束重复放在开头和结尾
同一问题两次答案不同按概率采样,温度与 top-p 影响路径要稳定就降温度;要正确仍要靠核对
算术结果差一位逐 token 生成,不是逐位计算让它写公式或代码,再实际运行
给了资料还是答错资料可能被截断,或没有被正确引用缩小材料范围,要求引用原文片段
它说“我记得是……”这是生成出来的措辞,不是记忆检索把“我记得”当成待验证声明

10常见误解

  1. “它在数据库里搜到了答案。”

    除非明确接了检索工具,否则它只是在参数里做统计式续写——参数就是训练时学出来的那堆数字,不是一条条可查询的记录。没有“查询—命中—返回”这一步。

  2. “上下文窗口就是它的长期记忆。”

    窗口是一次请求的工作台。会话结束、超出上限,或平台没有把历史重新塞回去,它就不“记得”。

  3. “幻觉是它故意骗人。”

    它没有“故意”的动机,也没有事实核查环节。缺证据时继续生成最连贯的续写,就会产生幻觉。

  4. “给它更多资料,它一定更准。”

    无关材料会稀释关键信息,还可能超出窗口被截断。材料的相关性比数量更重要。

  5. “温度调到 0 就不会错。”

    低温只让输出更稳定、更保守。若模型的高概率路径本身错误,低温只会让错误更一致地出现。

  6. “它知道自己的知识截止日期,所以不会答错时事。”

    截止日期本身也可能被记错,而且它没有内置时钟。时间敏感问题必须查原始来源。

  7. “开了联网就没有幻觉了。”

    检索能降低幻觉,但不能消除。搜错、读错、引用错配仍然会发生,出处必须打开核对。

  8. “模型越大,算术就越可靠。”

    语言建模能力与精确计算能力不是同一件事。算术、汇总、逐行核对应交给计算器、代码或表格。

11自检清单

12本课术语台账

标「讲透」的,这一课已经能用一句话说清;标「只提一句」的,后面有专课。全课总索引见 A07 · 术语对照表。

术语本课状态在哪里讲透
下一个 token 预测讲透本课 01 节
token / tokenizer讲透本课 02 节
prefill / decode讲透本课 03 节
softmax / temperature / top-p讲透本课 04 节
上下文窗口讲透本课 05 节
幻觉 / 知识截止讲透本课 06–07 节
参数(权重)只提一句L2-01 输入与加载
检索工具讲透本课 07、08 节