A02 · 机制
你问它一个没听过的人名,它答得有条有理,可那个人根本不存在。这不一定是它坏,而是它的工作方式决定的——它一个 token 一个 token 往下接,接得像,不等于接得对。
这节解决什么:你能用自己的话讲清大模型怎么「接」出回答,并据此提前分流:哪些活可以交给它,哪些活必须在它之外补一道核对。
前置知识本课从零解释术语。若还没建立“大语言模型 / 扩散模型”的分野,先读 A01 · 一张图看清 AI 家族 会更顺。
你让它补一句「今天天气很好,我们一起去___」,它几乎必然填「公园」。这一节就把这个动作放大:看它每一步到底在做什么。
先把最核心的一句话放在桌面上:大语言模型在生成时,每一步只做一件事——根据已经出现的全部 token(模型处理文本的最小切分单位),算出下一个 token 的概率分布,然后挑一个接上去。
它不是在脑子里先写好整段话再逐字打印。它没有“整段草稿”,只有“下一步该接什么”。下面的演示把这件事拆开:每点一次,只生成一个 token。
这个演示解释了三件事:
它更像一个读过大量文本、极其擅长“接话”的人,而不是一个先检索资料、再组织答案的数据库。接得顺,是它的训练目标;接得真,不在这个目标里。
你可能想问:它「接一个」的时候,这个「一个」到底有多大?是一个字吗?是一个词吗?都不是——它的单位是 token。
token(中文常译“词元”)是模型词表里的一个切分单位。它可能是一个字、一个词、一个词的一部分,也可能只是一个标点。把文本切成 token 的组件叫 tokenizer(分词器),它同时负责把每个 token 映射成一个整数 ID。
关键点:token 不是字,也不是词。同一段中文,在不同模型的分词器里可能切成不同的块;同一个字,在不同上下文里也可能被切成不同的 token。
这带来三个直接后果:
问完问题,第一个字总要等一会儿,后面却越吐越快。这个体感不是网络卡,而是生成被分成了两段。
生成过程通常分成两段。第一段叫 prefill(预填充):把你给的整段上下文一次性读进去,并行算出每个位置的状态。第二段叫 decode(解码):从最后一个位置开始,一次生成一个 token,再把新 token 接回输入,继续生成下一个。
这解释了两个常见体验:
同一个问题问两次,答案不一样;把温度调低,就稳定多了。这两个现象都出在「怎么从候选里挑」这一步。
模型对下一个 token 给出的是一个分数分布,经过 softmax(把分数归一化成概率)之后变成概率。生成时不是永远选最高分,而是按概率采样;temperature(温度)和 top-p 是控制采样方式的两个常用参数。
高概率候选被进一步放大,输出更可预测,但也更容易重复、套话。
低概率候选也有机会被选中,创意更强,但跑题和胡说的概率也更高。
top-p(也叫核采样)是另一种控制方式:只保留累计概率达到 p 的那一小撮候选,再在其中采样。p=0.9 意味着“只从最有希望、累计占 90% 的那组词里挑”。
温度低不等于更正确。它只让输出更稳定、更接近模型眼中的高概率路径;如果高概率路径本身就是错的,温度再低也还是错。事实正确性要靠外部证据,不靠调参。
聊到一半,它忘了你开头交代的要求。这多半不是「笨」,而是那张工作台放不下了。
上下文窗口(context window)是一次请求里模型能同时“看见”的 token 上限。它更像一张一次性摊开的工作台:系统提示、历史对话、你当前的问题、你贴进去的资料,全都摆在这张桌上,模型只能根据桌上的东西往下接。
窗口是“输入 + 输出”的总预算,不是无限记忆。超出时通常靠截断、摘要或检索来腾位置。
三个实践含义:
它给你一条文献引用:作者、年份、期刊都对得上格式。查下去,这篇论文不存在。这就是幻觉最典型的样子——不是胡乱输出,而是「太像真的」。
幻觉(hallucination)指模型生成了看似合理、实际上不真实或无依据的内容。它不是“故意撒谎”,也不是“数据库里查到了错误条目”。更准确的解释是:当上下文里没有足够证据时,模型仍然会按照“最像下一个 token”的目标继续写。
三类高发场景,值得单独记住:
一,给它原文或数据,要求“只根据材料回答”;二,要求逐条标注出处,并打开出处核对;三,允许它回答“不知道”;四,关键结论用外部工具或人工复核。四个动作里,外部核对不可省。
你问它今天的股价,它可能给你一个像模像样的数字。问题在于:它没有「今天」这个概念。
模型的知识来自训练数据,而训练数据有一个知识截止(knowledge cutoff)时间点。截止之后发生的事情,它没有见过。即便见过,也可能记错日期;不少模型连自己的截止时间都说不准。
两个常见误区要拆开:
凡是时间敏感的内容——价格、政策、版本、赛事、人事——都应该回到原始来源核对,而不是问模型“现在是什么”。
你可能会想:那我换句更好的提示词,是不是就行了?下面这些活,问题不在提示词,在机制。
把“它做不到”与“它做得不够好”分开。下面这些不是“再调调提示词”就能解决的,而是机制决定的边界。
今天的股价、天气、新闻、库存。它没有实时数据源。
改用:官方页面、行情接口、检索工具。多位数乘除、表格汇总、逐行核对。它按 token 生成,不按计算器执行。
改用:计算器、代码、表格公式。作者、年份、期刊、DOI 都可能被编得很像。
改用:数据库检索后逐条核对原文。医疗、法律、投资、安全。它没有责任能力,也不掌握你的完整处境。
改用:专业人士 + 可追溯依据。把敏感信息贴进不可控的对话窗口,等于放弃了部分控制权。
改用:合规的本地或企业环境。同一输入,不同次生成可能不同;模型版本也会变。
改用:固定参数的工作流,见 A06。| 你看到的现象 | 背后的机制 | 正确做法 |
|---|---|---|
| 回答流畅,但事实错了 | 目标是“下一个 token 最像”,不是“事实为真” | 关键断言逐条找外部来源 |
| 细节越具体,越像真的 | 具体词在训练分布里常与“专业感”共现 | 数字、日期、引用一律复核 |
| 不知道最近发生的事 | 训练数据有知识截止 | 查原始来源,或使用检索工具 |
| 长文读到后面忘了前面 | 上下文窗口有限,中间信息易被稀释 | 分段处理,关键约束重复放在开头和结尾 |
| 同一问题两次答案不同 | 按概率采样,温度与 top-p 影响路径 | 要稳定就降温度;要正确仍要靠核对 |
| 算术结果差一位 | 逐 token 生成,不是逐位计算 | 让它写公式或代码,再实际运行 |
| 给了资料还是答错 | 资料可能被截断,或没有被正确引用 | 缩小材料范围,要求引用原文片段 |
| 它说“我记得是……” | 这是生成出来的措辞,不是记忆检索 | 把“我记得”当成待验证声明 |
“它在数据库里搜到了答案。”
除非明确接了检索工具,否则它只是在参数里做统计式续写——参数就是训练时学出来的那堆数字,不是一条条可查询的记录。没有“查询—命中—返回”这一步。
“上下文窗口就是它的长期记忆。”
窗口是一次请求的工作台。会话结束、超出上限,或平台没有把历史重新塞回去,它就不“记得”。
“幻觉是它故意骗人。”
它没有“故意”的动机,也没有事实核查环节。缺证据时继续生成最连贯的续写,就会产生幻觉。
“给它更多资料,它一定更准。”
无关材料会稀释关键信息,还可能超出窗口被截断。材料的相关性比数量更重要。
“温度调到 0 就不会错。”
低温只让输出更稳定、更保守。若模型的高概率路径本身错误,低温只会让错误更一致地出现。
“它知道自己的知识截止日期,所以不会答错时事。”
截止日期本身也可能被记错,而且它没有内置时钟。时间敏感问题必须查原始来源。
“开了联网就没有幻觉了。”
检索能降低幻觉,但不能消除。搜错、读错、引用错配仍然会发生,出处必须打开核对。
“模型越大,算术就越可靠。”
语言建模能力与精确计算能力不是同一件事。算术、汇总、逐行核对应交给计算器、代码或表格。
标「讲透」的,这一课已经能用一句话说清;标「只提一句」的,后面有专课。全课总索引见 A07 · 术语对照表。
| 术语 | 本课状态 | 在哪里讲透 |
|---|---|---|
| 下一个 token 预测 | 讲透 | 本课 01 节 |
| token / tokenizer | 讲透 | 本课 02 节 |
| prefill / decode | 讲透 | 本课 03 节 |
| softmax / temperature / top-p | 讲透 | 本课 04 节 |
| 上下文窗口 | 讲透 | 本课 05 节 |
| 幻觉 / 知识截止 | 讲透 | 本课 06–07 节 |
| 参数(权重) | 只提一句 | L2-01 输入与加载 |
| 检索工具 | 讲透 | 本课 07、08 节 |