4.4 Scaling Laws：大力真的能出奇迹

敢押几亿美元的底气从哪来

想象你是一家 AI 公司的负责人，团队申请启动一次训练：几千张 GPU、跑三个月、预算几亿元。你敢批吗？万一训出来是个废品呢？

2020 年，OpenAI 的研究者给出了敢批的理由。他们训练了一大批从小到大的模型，把损失画在图上，发现了一件近乎离奇的事：模型的损失随着参数量、数据量、算力的增加，沿着一条平滑的幂律曲线可预测地下降。小模型上量出这条曲线，就能外推出「烧 100 倍算力能到什么水平」——不用真的先训一遍。这就是 Scaling Laws。

从此大模型训练从「赌博」变成了「工程」：先用小模型做几十次便宜实验，验证数据配方和超参数；再按定律外推，一次性押注大训练。GPT-4、Llama、Qwen 都是这么立项的。

那么一次训练到底要算多少东西？有一笔著名的粗账：

$$\text{总计算量 } C \approx 6 \times N \times D$$

$N$ 是参数量，$D$ 是训练 token 数。人话版：每喂一个 token，每个参数大约要参与 6 次乘加运算（为什么是 6，见本节深入层）。

代入个数字感受一下：一个 70 亿参数、训练 1 万亿 token 的模型，总计算量就是 $6 \times 7\times10^9 \times 1\times10^{12} \approx 4.2\times10^{22}$ 次浮点运算——4 后面跟着 22 个零。有了 $C$，除以 GPU 每秒能算多少，就得到训练时长和成本——下面这台计算器就是这么造的。

亲手算一算 GPT 的账单

🎮 动手实验

训练成本计算器：为什么训练大模型要烧几亿

三个滑块都是对数刻度（拖一点，翻一倍）。经典粗账：总计算量 ≈ 6 × 参数量 × 训练 token 数。试试各个预设，感受十年间成本翻了多少个数量级。

参数量 N70.0B训练数据 D15.00T tokensGPU 数量16,384 张

总计算量 C = 6·N·D

6.3×10²⁴ FLOPs

训练时长

11.2 天

租卡成本

6635 万元

电费

322 万元

🏋️ 数据/参数 ≈ 214 : 1 —— 远超 Chinchilla 比例的「过训练」：训练多花钱，换来小模型高能力、推理省钱。2024 年后的主流选择（如 Llama-3）。

🌍 换个感受方式：让全人类 80 亿人每人每秒算一次乘加，要连续算 2500 万 年才能完成这次训练的计算量。

💡 要点：成本公式里没有魔法——就是「算多少题 ÷ 每秒能算多少」。所有数字都是量级估算（2026 年行情：H100 级 GPU 有效算力按峰值 989 TFLOPS × MFU 40% 折算，租价 ¥15/卡时，功耗 0.7kW × PUE 1.3，电价 ¥0.8/度），真实项目还有实验试错、失败重训、人力等隐藏成本，通常还要再翻几倍。

请按顺序做三个实验：

实验 ①：重训一次 GPT-3。 点预设「GPT-3 (2020)」。有意思的是：这台计算器按 2026 年的硬件算，当年震惊世界、花了几百万美元的 GPT-3，如今几天、几百万人民币就能重训一遍——硬件本身也在指数进步（注意这些数字是按本页计算器的 2026 年硬件与价格假设估算的，不是确切事实，别直接引用）。

实验 ②：看看旗舰级什么概念。 点「旗舰级 (2025, 示意)」：租卡成本冲到十亿元量级，光电费就是大几千万。再看底部的彩蛋——让全人类 80 亿人每人每秒算一次乘加，要算几亿年才抵得上这一次训练。

实验 ③：感受 Chinchilla 徽章。 把参数量 N 固定在 70B 附近，然后从左到右拖动「训练数据 D」滑块，看提示徽章依次变化：🍼 数据太少 → ⚖️ 最优区间 → 🏋️ 过训练。这个徽章背后是十年来最重要的一次「炼丹定律」修正。

Chinchilla：原来大家都把钱花错了地方

2022 年，DeepMind 重新量了一遍这条曲线，得出一个让全行业冒冷汗的结论：同样的算力预算下，「小一点的模型 + 多得多的数据」损失更低，最优配比大约是每个参数配 20 个 token。

对照一下：GPT-3 用 3000 亿 token 训了 1750 亿参数，比例只有 1.7 : 1——按新定律看是严重的「参数虚胖」：钱花在了撑大模型上，参数却没被数据喂饱。DeepMind 按 20 : 1 训练的 70B 模型 Chinchilla，用同样算力全面超过了更大的前辈。

故事还有下半场。2024 年之后，主流模型又开始故意突破 Chinchilla 比例：Llama-3-70B 用了 15T token，比例高达 214 : 1。这不是忘了定律，而是算另一本账：训练是一次性成本，推理是永久成本。多花几倍训练费换来「小而强」的模型，之后每天服务几亿次请求时都在省钱。Chinchilla 回答的是「怎么训最省」，产品要回答的是「怎么用最省」。

这个定律在哪里不「定律」？

Scaling Laws 是经验拟合，不是物理定律：换数据配方、换架构，曲线的系数就会变，外推得越远越不可靠。其次，纵轴是「预测下一个词的损失」，它和你关心的「能力」高度相关但不划等号——损失平滑下降，某些能力却可能跳变式出现。另外，计算器里所有价格都是 2026 年行情下的量级估算，实际项目的试错、重训、人力成本通常还要再翻几倍。最后一个隐忧：按这个吃法，高质量公开文本数据在 2020 年代末就可能不够用了（2024 年起「数据墙」已是业内公开议题）。

小结

本节要点

• Scaling Laws：损失随 N、D、C 幂律下降且可预测——小实验外推大训练，是敢烧几亿的底气。
• 粗账 $C \approx 6ND$：每个 token 每个参数约 6 次乘加。
• Chinchilla（2022）：同算力下最优约 20 token/参数；2024 年后主流又故意「过训练」——用一次性训练成本换永久的推理省钱。

📝 动手自测0/3

1. 按 C ≈ 6·N·D 估算，如果参数量和训练数据量同时翻倍，总计算量变为原来的几倍？

2. Chinchilla（2022）的核心结论是什么？

3. Llama-3-70B 用了约 214 token/参数，远超 Chinchilla 最优的 20。为什么团队要「故意浪费」训练算力？

延伸阅读

• Scaling Laws for Neural Language Models (Kaplan et al., 2020)——幂律的发现之作。
• Training Compute-Optimal LLMs (Chinchilla, 2022)——改写全行业训练配方的论文。
• 下一节 4.5 并行训练：预算批下来了，几千张卡怎么协同把模型抬起来。