术语表

全书出现过的术语都在这里，按章节分组。正文里带虚线下划线的词，悬停就能看到这里的解释。

第 0 章 · 预备知识

中文	English	一句话解释
机器学习	Machine Learning	不靠人手写规则，而是让程序从大量数据里自动找规律（调参数）的方法。
模型	Model	一个带很多可调参数的数学函数：输入进去、答案出来。「训练」就是调这些参数。
参数	Parameter	模型内部可以调节的数字旋钮。大模型的「70 亿参数」就是 70 亿个这样的旋钮。
向量	Vector	一串排好队的数字，可以看成高维空间中的一个点或一支箭头。
矩阵	Matrix	按行列排好的一表数字；乘一个向量相当于对空间做旋转、拉伸等变换。
概率分布	Probability Distribution	给每种可能的结果各分配一个概率、加起来等于 1 的清单。
损失函数	Loss Function	给模型「错得有多离谱」打分的函数：分数越低模型越好，训练就是让它变低。
梯度	Gradient	损失对每个参数的「坡度」：告诉你把参数往哪边调、调多少能让损失下降最快。
梯度下降	Gradient Descent	沿着坡度反方向一小步一小步往下走、不断降低损失的训练算法，像蒙着眼下山。
学习率	Learning Rate	每一步往下走多大步。太小走不动，太大会直接飞出山谷。
局部最低点	Local Minimum	周围都比它高、但不一定是全场最低的「小山谷」；下山有可能困在这里。

第 1 章 · 什么是语言模型

中文	English	一句话解释
语言模型	Language Model	给定前文、预测下一个词（的概率分布）的模型。大模型本质上就是它的放大版。
大语言模型	Large Language Model (LLM)	参数量达到数十亿以上、用海量文本训练出来的语言模型，如 GPT、Claude、Qwen。
词元	Token	模型处理文本的最小单位，可能是一个字、半个词或一个词组。文本先切成 token 再进模型。
分词	Tokenization	把一段文本切成一串 token 的过程。
字节对编码	Byte Pair Encoding (BPE)	一种造 token 词表的算法：不断把语料里最常一起出现的相邻组合合并成新 token。
词表	Vocabulary	模型认识的全部 token 的清单，常见规模是几万到二十几万个。
词向量 / 嵌入	Embedding	把每个 token 变成一串数字（向量），让「意思相近」的词在空间里离得近。
n 元语法	n-gram	只看前 n−1 个词来统计下一个词概率的老式语言模型，简单但看不远。
未登录词	Out-of-Vocabulary (OOV)	词表里没有的词。BPE 类分词法能把它拆成更小的碎片，避免模型完全不认识。
困惑度	Perplexity	衡量语言模型好坏的指标：模型对真实文本有多「惊讶」，越低越好。

第 2 章 · 神经网络与训练三件套

中文	English	一句话解释
神经网络	Neural Network	由大量简单计算单元（神经元）分层连接而成的函数，能拟合非常复杂的规律。
激活函数	Activation Function	神经元里的非线性开关（如 ReLU）；没有它，叠再多层也只是一条直线。
反向传播	Backpropagation	从输出端往回逐层计算每个参数梯度的算法，是训练神经网络的核心机制。
随机梯度下降	SGD	每次只用一小批数据估算梯度并更新参数的梯度下降，又快又省内存。
批 / 批大小	Batch / Batch Size	一次参数更新所用的那一小撮训练样本及其数量。
ReLU	Rectified Linear Unit	最常用的激活函数：负数归零、正数原样通过。每个 ReLU 神经元给函数贡献一个「折角」。
Sigmoid 函数	Sigmoid	把任意数字压进 0~1 之间的 S 形函数，常用来表示概率或「开关程度」。
隐藏层	Hidden Layer	神经网络中夹在输入和输出之间的中间层，负责逐层加工特征。
交叉熵	Cross-Entropy	分类和语言模型的标准损失：看模型给正确答案分配了多少概率，概率越小罚分越重。
过拟合	Overfitting	模型把训练数据里的噪声也背了下来，导致在没见过的数据上反而表现变差。
自动微分	Automatic Differentiation	深度学习框架自动帮你算所有参数梯度的机制，反向传播就是它的核心算法。

第 3 章 · Transformer 架构

中文	English	一句话解释
Transformer	Transformer	2017 年提出的神经网络架构，靠注意力机制并行处理整段文本，是所有主流大模型的骨架。
注意力机制	Attention	让每个词按「相关程度」加权参考句中其他词的机制，是 Transformer 的核心。
多头注意力	Multi-Head Attention	同时运行多组注意力，每个「头」学会关注一种不同的关系（指代、语法、位置……）。
位置编码	Positional Encoding	给每个位置发的「工牌」：注意力本身不分先后，位置信息要额外注入。
因果遮罩	Causal Mask	生成式模型的规则：每个词只准看它前面的词，不许偷看未来。
残差连接	Residual Connection	每层的输出 = 输入 + 修正量。给梯度修了一条直达电梯，深层网络才训得动。
层归一化	Layer Normalization	每层把数值重新校准到稳定范围，防止信号越传越大或越传越小。
前馈网络	Feed-Forward Network (FFN)	Transformer 块里注意力之后的小型多层网络，逐个位置加工信息，占了大头参数。
逻辑值	Logits	模型输出层的原始打分（可正可负），过一次 softmax 才变成概率。
Softmax	Softmax	把一组任意打分变成总和为 1 的概率分布的函数：分高的占大头，但谁都有份。
上下文窗口	Context Window	模型一次能「看在眼里」的最大 token 数，超出的部分它就不知道了。
温度	Temperature	控制生成随机性的旋钮：调低更保守稳定，调高更天马行空。
Top-k 采样	Top-k Sampling	只在概率最高的 k 个候选词里抽签，把长尾里的怪词直接排除。
Top-p（核）采样	Top-p / Nucleus Sampling	按概率从高到低累加，刚够 p（如 90%）就截断，在这批「核心候选」里抽签。
约束解码	Constrained Decoding	采样前把「会导致格式非法」的候选 token 直接屏蔽，让输出必然符合 JSON、正则或语法——保证格式，不保证内容。
自回归	Autoregressive	一次只生成一个词，把它拼回输入再生成下一个——大模型说话的基本循环。

第 4 章 · 预训练

中文	English	一句话解释
预训练	Pre-training	用海量普通文本做「预测下一个词」训练，让模型学会语言和世界知识的阶段，占算力大头。
缩放定律	Scaling Laws	模型能力随参数量、数据量、算力按可预测的规律提升的经验法则。
数据配比	Data Mixture	各数据源在训练语料里各占多少权重；它决定模型的强项分布，而且会随训练阶段变化。
序列打包	Sequence Packing	把长短不一的文档首尾相接塞满定长训练序列，避免补白浪费算力；配文档级注意力隔断防止串味。
知识截止日期	Knowledge Cutoff	预训练语料快照的时间，模型对世界的了解大致停在这里——但它是个模糊的下界，不是保证。
合成数据	Synthetic Data	用模型生成（改写、出题、蒸馏）而非人类原创的训练数据；能提升信息密度，但变不出新知识。
退火	Annealing	训练末段大幅提高优质数据比例、同时把学习率降到接近零的收尾阶段——对最终表现的影响远超其算力占比。
图形处理器	GPU	擅长同时做海量乘加运算的芯片，是训练大模型的主力硬件。
检查点	Checkpoint	训练过程中定期保存的模型参数快照，训练崩了可以从这里继续。
混合精度训练	Mixed Precision	用 16 位数字做大部分计算（快、省显存），关键部位保留 32 位副本保精度。
梯度裁剪	Gradient Clipping	给梯度装限速器：超过阈值就按比例缩小，防止一步大更新把训练带崩。
损失尖峰	Loss Spike	训练中损失突然飙升的事故，常见处置是回滚到上个检查点并跳过可疑数据。
数据并行	Data Parallelism (DP)	每张卡放一份完整模型、各吃不同数据，每步结束后大家把梯度求平均。
张量并行	Tensor Parallelism (TP)	把每一层的大矩阵切开分给多张卡，算每层时都要卡间通信，需要极快互联。
流水线并行	Pipeline Parallelism (PP)	把模型按层切段，每张卡管几层，数据像流水线一样逐段接力。
ZeRO	ZeRO (Zero Redundancy Optimizer)	数据并行的省显存版：把优化器状态、梯度甚至参数切片分摊到各卡，用时再临时拼装。
算力利用率	MFU (Model FLOPs Utilization)	实际有效算力占 GPU 理论峰值的比例，大规模训练能到四成左右就算优秀（2025 年）。

第 5 章 · 后训练与对齐

中文	English	一句话解释
基座模型	Base Model	只做过预训练的模型：最强「接话茬选手」，会续写但不会好好回答问题。
监督微调	Supervised Fine-Tuning (SFT)	用人工写好的「问题 → 优质回答」示范数据继续训练，教会模型按指令对话。
基于人类反馈的强化学习	RLHF	让人类比较模型的多个回答、训练一个奖励模型，再用强化学习让模型往高分方向改进。
奖励模型	Reward Model	从大量人类偏好比较中学会「给回答打分」的模型，充当 RLHF 里的裁判。
对齐	Alignment	让模型的行为符合人类意图和价值观（有用、诚实、无害）的一系列技术。
幻觉	Hallucination	模型一本正经地编造不真实内容的现象，源于它本质上是在「接最像的话」。
偏好数据	Preference Data	「同一问题的两个回答，人类选了哪个」的记录，是训练奖励模型的原料。
近端策略优化	PPO	RLHF 常用的强化学习算法：追求高奖励，但每步更新都被夹在安全范围内。
KL 惩罚	KL Penalty	拴在模型身上的橡皮筋：离原始模型的说话方式偏得越远，扣分越多。
奖励钻空子	Reward Hacking	模型发现裁判的漏洞并疯狂利用（比如灌水凑长度），得了高分却没变好。
直接偏好优化	DPO	跳过奖励模型和强化学习，直接用偏好数据调整模型的简化对齐方法。
组相对策略优化	GRPO	让同一道题的一组回答互相比较当基线的强化学习算法，省掉价值模型。
可验证奖励强化学习	RLVR	用能自动判对错的任务（数学、代码）当奖励来源做强化学习，不需要人类打分。
谄媚	Sycophancy	模型顺着用户说、明知不对也附和的倾向——讨好式回答在人类标注中常拿高分。
思维链	Chain-of-Thought (CoT)	让模型先写出推理过程再给答案；推理模型的「多想一会儿」就是加长版思维链。
拒绝采样	Rejection Sampling / Best-of-N	让模型对同一问题采样 N 份答案，用奖励模型或验证器挑出最好的当训练数据回炉——把「模型最好的一次」变成它的平均水平。
数据飞轮	Data Flywheel	生产日志 → 错误分析 → 人工修正 → 回炉训练 + 进评测集的闭环；回流数据是定向的，单条价值远高于凭空造的。
AI 反馈强化学习	RL from AI Feedback (RLAIF)	让模型照着一组明文原则充当标注员、生成偏好数据，替代大部分人工比较标注。
宪法式 AI	Constitutional AI (CAI)	先写下一组自然语言原则（「宪法」），让模型据此自我批改回答、并据此做偏好判断的训练方法。
参数高效微调	Parameter-Efficient Fine-Tuning (PEFT)	冻结绝大部分参数、只训练一小撮新增参数的微调方法家族，LoRA 是其中最流行的一种。
低秩适配	Low-Rank Adaptation (LoRA)	冻结原权重、另训一张低秩的「修正贴纸」；可训练参数降到 0.1% 量级，训完还能合并回原模型。
QLoRA	QLoRA	把冻结的底座量化到 4 位、便利贴仍用 16 位训练的 LoRA 变体，让单卡微调几十 B 的模型成为可能。
灾难性遗忘	Catastrophic Forgetting	在窄数据上微调过头，模型学会了新任务却丢掉了原有的通用能力。

第 6 章 · 推理与部署

中文	English	一句话解释
推理	Inference	训练完成后实际使用模型生成结果的阶段（跟「逻辑推理」不是一个意思）。
KV 缓存	KV Cache	把已算过的注意力中间结果存起来复用，让逐词生成不用每次从头重算。
量化	Quantization	把模型参数用更少的比特存储（如 16 位压到 4 位），牺牲一点精度换显存和速度。
蒸馏	Distillation	让小模型学习模仿大模型的输出，用小得多的体积保住大部分能力。
预填充	Prefill	推理的第一阶段：把整段提示词一次性并行算完——算力密集，决定「首字延迟」。
解码	Decode	推理的第二阶段：一个 token 一个 token 往外蹦——受限于显存带宽，决定「出字速度」。
延迟	Latency	从发出请求到看到回复的等待时间；聊天场景最在乎首字延迟。
吞吐量	Throughput	一套服务每秒能产出的总 token 数；面向大量用户时的核心指标，常与延迟互相牺牲。
连续批处理	Continuous Batching	谁的请求生成完就立刻腾位置给新请求，不等整批一起结束——推理服务的关键提速技术。
前缀缓存	Prompt Caching / Prefix Caching	把请求开头那段相同前缀的 KV 缓存存下来跨请求复用；要求从第 1 个 token 起逐字相同。
投机解码	Speculative Decoding	让小模型先猜几个 token 当草稿、大模型一趟并行验证的加速法；数学上保证输出分布不变，是无损加速。
分页注意力	PagedAttention	vLLM 的核心技术：像操作系统管理内存一样按小块管理 KV 缓存，几乎消灭显存浪费。

第 7 章 · 评测

中文	English	一句话解释
基准测试	Benchmark	一套固定的考题加打分标准，用来横向比较不同模型的能力。
数据污染	Data Contamination	评测考题混进了训练数据——模型是「背过原题」而不是「会做」，分数就失真了。
模型当裁判	LLM-as-Judge	用一个强模型给其他模型的回答打分，便宜快速，但自带长度、自信、文风等偏差。
错误分析	Error Analysis	逐条读真实输出、把失败归类、数出哪一类最多——建评测体系的第一步，也是最不可替代的一步。
标准漂移	Criteria Drift	你需要标准才能给输出打分，但恰恰是打分的过程才让你想清楚标准——所以评测标准必然要迭代几轮。
置信区间	Confidence Interval	评测分数的误差棒：分数是抽样估计，这段区间表示真实水平大概落在哪个范围。

第 8 章 · 前沿与全景

中文	English	一句话解释
FlashAttention	FlashAttention	把注意力分块搬进 GPU 快缓存里算完、不让巨大的中间矩阵落到显存的实现方法；数学完全不变，只是更快更省显存。
专家混合	Mixture of Experts (MoE)	把前馈网络换成一群「专家」，每个 token 只激活其中几个——参数可以巨大，计算量却不涨。
多模态	Multimodal	让同一个模型看图、听声、读文字——把不同形式的信息都变成 token 序列处理。
推理模型	Reasoning Model	o1 / R1 一类先「多想一会儿」（生成长思维链）再作答的模型，用强化学习训练出来。
智能体	Agent	会自己规划步骤、调用工具（搜索、写代码、操作软件）来完成任务的大模型应用形态。

中篇 K0 · 为什么需要知识库

中文	English	一句话解释
检索增强生成	Retrieval-Augmented Generation (RAG)	回答前先从知识库检索相关资料塞进上下文——给模型一场「开卷考试」，而不是让它硬背。
知识库	Knowledge Base	你自己的、可被检索的资料集合（文档、网页、数据库），是 RAG 系统的「外挂大脑」。
有据回答	Grounding	让模型的每句话都由检索到的原文支撑，而不是凭记忆编造——RAG 抑制幻觉的核心。

中篇 K1 · 语义检索

中文	English	一句话解释
语义检索	Semantic Search	按「意思」而非「字面」找资料：把查询和文档都变成向量，比谁离得近。
向量数据库	Vector Database	专门存储向量并能极快找出「最近邻」的数据库，是语义检索的引擎。
近似最近邻	Approximate Nearest Neighbor (ANN)	在亿级向量里「几乎最近」地快速找相似项的算法——用一点点精度换巨大的速度。
余弦相似度	Cosine Similarity	衡量两个向量方向有多接近的常用指标：越接近 1 越相似，是语义检索的标尺。

中篇 K2 · 切块的艺术

中文	English	一句话解释
切块	Chunking	把长文档切成一段段小块再入库——切得好坏直接决定检索能不能命中要点。
文档块	Chunk	文档被切分后的一小段，是检索和入库的基本单位。

中篇 K3 · 三种找法

中文	English	一句话解释
BM25	BM25	经典的关键词检索算法：按「查询词在文档里出现得多不多、稀不稀有」打分，精确匹配的老将。
关键词检索	Keyword / Lexical Search	按字面匹配找文档：查询词一个不差地出现在文档里才算命中，擅长型号、专名等精确匹配。
混合检索	Hybrid Search	关键词检索和语义检索一起上，各补对方的盲区，再把两路结果融合——生产 RAG 的标配。
查询改写	Query Rewriting	检索之前先把用户的原话改成更适合检索的形式：补关键词、消解代词、拆分复合问题。
HyDE（假设性文档嵌入）	Hypothetical Document Embeddings	先让模型编一个「假答案」，用假答案的向量去检索——用答案找答案，跨过「问句和答句写法不像」的鸿沟。
倒数排名融合	Reciprocal Rank Fusion (RRF)	把两路检索结果合并的简单妙招：只看每条在各路里排第几名，名次越靠前加分越多，绕开了分数不可比的难题。

中篇 K4 · 重排

中文	English	一句话解释
重排	Reranking	先粗召回一批候选，再用更精细（也更慢）的模型给它们重新打分排序，把最相关的顶到最前。
交叉编码器	Cross-Encoder	把查询和文档拼在一起送进模型细读、直接输出相关分——比双编码器准得多，但慢，只用于精排少量候选。
召回-精排两阶段	Retrieve-then-Rerank	检索的黄金结构：第一阶段快而粗地召回几十条，第二阶段慢而精地重排选出前几名。
ColBERT / 多向量	ColBERT / Late Interaction	给每个 token 各存一个向量、检索时做「细粒度对齐」的方法，兼顾双编码器的快和交叉编码器的准。

中篇 K5 · 生成与引用

中文	English	一句话解释
上下文拼装	Context Augmentation	把检索到的块按一定格式拼进提示词，连同问题一起交给模型——RAG 的「增强」这一步。
引用标注	Citation	让模型在答案里标明每句话出自哪个来源，把「答案」变成「可核对的答案」。

中篇 K6 · 评测

中文	English	一句话解释
RAG 三元组	RAG Triad	评测 RAG 的三个体检项：上下文相关性（检索对不对）、有据性（答案有没有依据）、答案相关性（有没有答到点）。
上下文相关性	Context Relevance	检索回来的资料到底和问题相不相关——RAG 三元组的第一环，管「检索这一步做得好不好」。
有据性	Groundedness / Faithfulness	答案里的每句话是不是真的由检索资料支撑——查幻觉的主要指标，也叫忠实度。
答案相关性	Answer Relevance	答案到底有没有正面回答用户的问题——资料对、也有据，但答非所问照样是失败。

中篇 K7 · 进阶与前沿

中文	English	一句话解释
GraphRAG	GraphRAG	把知识组织成「实体+关系」的图谱再检索，能回答「顺着关系一跳跳推出来」的多跳问题。
多跳推理	Multi-hop Reasoning	答案要串起好几段资料才能推出来（A→B、B→C，所以 A→C）——普通 RAG 的软肋。
智能体式 RAG	Agentic RAG	让模型自己决定查什么、查几轮、够不够——把检索从「固定前置一步」升级成模型自主使用的工具。
多模态 RAG	Multimodal RAG	让图表、扫描件、图片也能被检索——把非文字内容也变成可查的知识。

中篇 K8 · 上生产

中文	English	一句话解释
检索前过滤	Pre-filter	把权限等条件作为候选集的边界带进检索，让向量库在找最近邻时就只看允许的范围。
检索后过滤	Post-filter	先照常检索再丢掉无权限结果；会让有权限的答案被无权限文档挤出 top-k，是常见的错误做法。
重建索引	Reindex	把整个知识库重新切块并重新嵌入；换嵌入模型或改切块策略时无法避免，通常靠双写切换做到不停服。
知识库投毒	Data Poisoning	往知识库里放入含恶意指令、抢排名的垃圾词或错误事实的文档，借检索通道影响模型的每一次回答。

下篇 A0 · 从聊天到行动

中文	English	一句话解释
行动循环	Agent Loop	智能体的心跳：思考 → 行动（调工具）→ 观察结果 → 再思考，循环直到任务完成。
轨迹	Trace	智能体完成一次任务的全过程记录（每一步的思考、工具调用和结果），排错和评测都靠它。
工作流	Workflow	由人预先编排好步骤、LLM 只负责各步内容的系统；与「模型自己决定下一步」的智能体相对。
ReAct	ReAct (Reason + Act)	「思考一句、行动一步、看看结果」交替进行的经典智能体范式（2022 年提出）。

下篇 A1 · 工具调用

中文	English	一句话解释
工具调用	Function Calling / Tool Use	模型按照工具的参数说明书输出一个结构化调用请求，由外部程序真正执行后把结果喂回来。
工具描述	Tool Schema	告诉模型「这个工具是干嘛的、参数怎么填」的说明书（JSON Schema），写得好坏直接决定模型会不会用。

下篇 A2 · 规划与反思

中文	English	一句话解释
任务分解	Task Decomposition	把大任务拆成一串可执行的小步骤——规划的第一步，也是智能体可靠性的地基。
反思	Reflection	让模型回头检查自己的输出并修正——用额外的计算换可靠性的经典模式。

下篇 A3 · 记忆与上下文工程

中文	English	一句话解释
上下文工程	Context Engineering	决定「什么信息进上下文、以什么形式、留多久」的工程学——智能体时代对提示工程的升级。
上下文压缩	Compaction	把旧对话压缩成摘要腾出空间，让长任务跑得下去又不至于失忆的常用手段。
长期记忆	Long-term Memory	上下文之外的持久存储（文件、数据库、向量库），让智能体跨任务、跨会话记住事实与经验。

下篇 A4 · 编排模式

中文	English	一句话解释
提示链	Prompt Chaining	固定顺序的多次模型调用，每步输出喂给下一步——最朴素也最常用的工作流积木。
路由	Routing	先判断输入属于哪一类，再交给对应的专门分支处理——分诊台模式。
并行	Parallelization	同一任务多路同时做：或分片各管一段，或投票互相校验。
编排者-工人	Orchestrator-Workers	一个中枢动态拆解任务、派发给多个工人、最后汇总成品的模式。
评估者-优化者	Evaluator-Optimizer	一个负责生成、一个负责挑毛病，循环到达标为止——反思模式的双角色版。

下篇 A5 · 多智能体系统

中文	English	一句话解释
MCP 协议	Model Context Protocol	连接模型与工具、数据源的开放标准——「AI 应用的 USB-C 接口」，一次接入处处可用（2024 年提出）。
A2A 协议	Agent2Agent Protocol	让不同家的智能体互相发现、对话与协作的开放协议（2025 年提出）。
子智能体	Sub-agent	被主智能体派去干专项活的下属：用自己的独立上下文工作，干完只交结论不交过程。
上下文隔离	Context Isolation	每个子智能体各用各的上下文，中间过程互不污染——多智能体系统的核心收益之一。

下篇 A6 · 智能体上电脑

中文	English	一句话解释
沙箱	Sandbox	给智能体圈出的隔离操作环境：代码、文件随便折腾，坏了也伤不到真实系统。
计算机使用	Computer Use	让智能体像人一样操作电脑：看屏幕截图、移动鼠标、敲键盘——不需要对方提供 API。

下篇 A7 · 评测与可靠性

中文	English	一句话解释
错误复利	Error Compounding	多步任务的残酷算术：每步 95% 的成功率，二十步连乘后只剩三分之一。
pass^k	pass^k	衡量稳定性的指标：连跑 k 次全部成功的概率——对「偶尔灵」和「次次灵」的智能体区别对待。

下篇 A8 · 安全与未来

中文	English	一句话解释
提示注入	Prompt Injection	把恶意指令藏进智能体会读到的内容里（网页、邮件、文档），骗它执行攻击者的命令。
致命三角	Lethal Trifecta	私有数据 + 不可信内容 + 对外发送通道——三者凑齐，注入攻击就能偷走数据；拆掉任何一角攻击即不成立。
人在环中	Human-in-the-Loop	高风险动作执行前停下来请人确认——把人设计成流程里的一个正式节点。
智能体强化学习	Agentic RL	不再只训练「回答」，而是把整条多步任务轨迹（含工具调用）端到端地用强化学习优化。

没找到想查的词？

到 GitHub 提个 Issue，我们会补上。