Scaling Law 的边界：从训练多少，到在哪些世界中学习

传统 scaling law：怎样用计算预算换取更低的损失#

理解这篇论文，需要先把传统 scaling law 从“越大越好”的口号还原成具体问题。

Kaplan 等人研究的是语言模型交叉熵损失与参数量、数据量和训练计算量之间的经验关系，并据此讨论固定算力预算下的资源分配。它预测的是特定训练与评估条件下的损失，而不是一个脱离任务的“智能总量”。Kaplan 等，2020

Chinchilla 进一步强调参数与数据的平衡，其代表性拟合形式为：

其中，$L$ 是损失，$N$ 是参数量，$D$ 是训练 token 数，$E$ 是常数项，$A$、$B$、$\alpha$、$\beta$ 是拟合参数。结合训练计算量的近似关系

就可以研究如何在给定预算下选择模型大小和训练数据量。Chinchilla 的主要结论是：计算预算增长时，参数量与训练 token 数应大致同步增长。Hoffmann 等，2022，§3

这类研究的核心问题是：在给定的数据与训练设定下，怎样分配资源，才能更有效地降低损失？

但如果训练数据来自不同世界，仅用一个总量 $D$ 描述经验，就可能遗漏决定性的差异。相同数量的驾驶、射击和解谜数据，不一定对目标任务同样有用。数据量回答“学了多少”，数据组成回答“学了什么”。

GameScaling：把经验来自哪里纳入研究#

游戏让数据之间的差异变得格外鲜明。不同世界不仅画面不同，动作的含义、环境规则与成功条件也可能改变；熟悉一套键鼠操作接口，不等于掌握了所有使用它的世界。

GameScaling 在已有基础模型上做继续预训练（continued pre-training，CPT），把模型规模、游戏数据时长和数据配比作为三个实验轴：4 个模型（0.8B、2B、9B、27B）× 6 档数据预算（50 至 1,600 小时）× 5 种配比，共 120 个训练条件。评估分两层：三级验证损失，以及 MCU、ViZDoom、OmniGameArena、GameWorld 四个游戏基准。GameScaling，§3

它与经典研究的视角差异，可以概括为下表：

这里的“相关”与“远距离”，指评估环境与训练环境在视觉风格、操作方式、物理与目标上的相似程度：OmniGameArena 是没见过的 3D 世界，但导航、瞄准、跳跃、射击等动作在训练语料里有语义对应；GameWorld 以 2D 和 2.5D 游戏为主，差异更大。这是一个定性的分层，并非已经统一量化的距离指标。

也不能因此把传统研究理解为完全忽略数据组成。此前的 D-CPT Law 已经研究了继续预训练中，通用语料与领域语料的混合比例如何影响损失。GameScaling 的公式承接了这条路线；它的价值更多体现在异质游戏世界中的系统实验，以及对迁移边界的检验。Que 等，2024

新公式的关键：数据量与数据配比发生耦合#

论文使用的三因素形式为：

其中，$N$ 是参数量，$T$ 是游戏数据时长（小时）。若 $r$ 表示游戏轨迹数据中 Minecraft 的比例，预测 Minecraft 验证损失时取 $\rho=r$，预测语料内综合损失时取 $\rho=1-r$。其余符号均为拟合参数；这里的 $C$ 是系数，与前文的训练计算预算 $C_{\mathrm{train}}$ 不同。GameScaling，§4.4

与 Chinchilla 的形式相比，关键变化在于：数据量带来的收益，开始显式依赖数据的组成。

在经典加性形式中，固定其他条件后，增加 $D$ 总会通过数据项降低损失，能降低多少只取决于 $D$ 本身。新形式把 $D$ 换成了游戏时长 $T$，并在数据项上乘以 $\rho^{\eta}$：同样的时长能换来多少改善，取决于其中目标世界的经验占多大比例。因此，“再增加一倍数据能改善多少”不再是一个只看总量就能回答的问题，还必须说明新增的是什么经验，以及在哪个环境中评价。

第三项 $\frac{C}{(\rho+\epsilon)^{\gamma}}$ 用来刻画配比本身带来的差异，正数 $\epsilon$ 保证 $\rho=0$ 时预测仍然有限。它对应实验中的一个现象：完全不使用 Minecraft 数据的 S5 配置，Minecraft 验证损失依然明显低于基座模型。这一项让公式能够描述“没有直接训练过的世界也能获得一定表现”，论文把这类收益归因于跨世界迁移，而不是目标世界的数据量。

需要注意，$\rho$ 不是普适的“世界多样性指数”，它只是相对评估目标而言的一个配比刻度：预测 Minecraft 损失时看 Minecraft 的占比，预测语料内损失时看其余世界的占比。而且五种配比是在同一个训练语料上调整 Minecraft 轨迹的份额——100%、51.4%、27.1%、2.8%、0%，其余轨迹取自其它游戏构成的池子。GameScaling，§3.1

因此，这项实验直接检验的是数据组成与覆盖均衡程度的作用。它尚不能回答：如果持续加入规则完全不同的新世界，通用能力会按什么速度增长。重新分配已有经验，与扩大经验覆盖的世界范围，是两个不同的实验问题。

损失能够继续下降，迁移却有边界#

论文把学习过程概括为两个阶段：早期的“接口阶段”带来较广泛的跨世界改善；后续的“世界阶段”则更加依赖训练经验与目标环境的相关性。与此同时，继续增加数据未能持续降低未见游戏的 OOD（分布外）验证损失：论文报告，这类损失在 50 小时之后只是略有回升，20 条曲线皆如此；用同一个公式去拟合，会得到 $\beta\approx 0$，剩下的 $R^2=0.855$ 只反映不同配比之间的静态差异。GameScaling，§4.1、§4.4

可以用一个类比理解这一区别。接口阶段像是学会使用一种新的身体：怎样输出合法动作，怎样通过键盘和鼠标影响画面。世界阶段则更接近学习具体规则：什么值得追逐，什么时候应该躲避，某种操作会产生什么后果。这是帮助理解实验的类比，并非论文已经证明的内部学习机制。

三个轴的作用也落在不同的评估层上。数据量改善语料内与相关环境的表现，却无法在远距离世界持续换来提升；多样性主要改善向相关世界的迁移——1,600 小时、同等规模下，S2–S5 的 OmniGameArena 平均分约为 S1 的 2.8 倍，16 个混合配置全部优于 S1；但到了 GameWorld，多游戏训练只能减缓下降，仍无法让模型稳定超过基座。GameScaling，§4.1、§4.2

早期迁移不能自动保证长期迁移。一个模型可能很快学会“怎样行动”，但后续训练越来越擅长的是“在这些环境中怎样行动”。共享接口为迁移提供了基础，却不能代替对不同世界规则的理解。

模型规模这一轴同样出现了分裂。数据有限时，大模型更省数据：论文报告，达到相当表现最多可少用约 1/32 的游戏时长，50 小时训练的大模型甚至优于训练 1,600 小时的小模型。但收益并不均匀，超过 9B 之后，Minecraft 损失与 ViZDoom 成绩的改善都在放缓。更值得注意的是，在只训练 Minecraft 的配置下，规模越大反而越容易丢掉跨世界泛化：27B-S1 到 1,600 小时后，在三个非 Minecraft 基准上都不如自己的基座模型，GameWorld 最多下降约 17 分。GameScaling，§4.3

这也解释了为什么不能把结果简单概括为“scaling law 失效”。更准确的问题是：哪一个指标仍在随规模改善，哪一个指标已经停滞？

熟悉环境中的损失下降，与陌生环境中的任务表现停滞，可以同时发生。训练目标奖励的是对训练分布的预测，跨环境适应能力则需要独立验证。平均预测损失、具体任务成功率和面对新规则的适应能力，不能相互替代。

同样，论文中的 OOD 验证损失与远距离游戏基准得分属于不同评估：前者衡量离线预测，后者衡量实际交互。二者共同帮助判断迁移边界，但不能被当成同一个指标。

高拟合度能够支持什么#

论文对 Minecraft 和语料内损失分别报告了 $R^2=0.982$ 与 $R^2=0.995$（训练损失为 0.980），对应 RMSE 为 0.0020 与 0.0012。更关键的是外推检验：分别去掉 27B 模型、1,600 小时检查点或 50 小时检查点再重新拟合，公式对留出部分的预测误差仍在 0.0016 至 0.0027 之间。GameScaling，§4.4

不过，高拟合不等于参数可辨识。这类公式的指数与系数会彼此补偿：几组不同的参数可以在已观测范围内画出几乎相同的曲线，却在远离数据的地方给出不同预测。论文在附录 C.6 中补充了参数不确定性与替代形式拟合的对比，但外推的可靠性仍会随距离迅速衰减。GameScaling，附录 C.6

因此，这类公式适合帮助规划邻近规模的实验，但不足以把曲线无限延伸，更不能直接据此推断通用智能的发展轨迹。对现有数据拟合得好，并不意味着每个指数都有稳定、唯一的解释；预测损失、解释学习机制和证明能力迁移，是三个不同层次的成果。

当模型必须及时行动，规模还要接受时间的检验#

游戏智能体还有一个语言模型损失曲线难以直接表达的约束：行动必须及时到达。

论文用两种设置测同一件事：一种是暂停（time-paused），游戏等模型想完再继续，考察的是决策质量本身；另一种是实时（real-time），游戏在模型思考时继续运行，于是延迟直接进入得分。两者的差距有一部分来自部署方式与接口延迟：在这场对比中，前沿模型每步要花 4–24 秒，而 GameScaling 只需 0.13–0.69 秒；论文摘要称，在实时设置下最多可领先前沿模型 5 倍。GameScaling，§5、§6.2

一次判断即使更准确，如果执行时已经错过行动窗口，也可能降低实际收益。于是，智能体的资源分配问题除了训练预算，还包含模型推理、输出长度与环境变化速度之间的配合。实时得分反映的是模型与部署系统共同作用的结果，不能全部归因于参数量。

从传统 scaling law 到 GameScaling，研究问题因此逐步展开：资源增加如何改善预测，经验组成如何影响迁移，这些改善又能否转化为及时而有效的行动。

建设智能体时，“扩大规模”需要附带更具体的问题：扩大哪类经验，服务哪个环境，改善什么指标，又付出多少行动延迟。回答这些问题，才能让 scaling law 从描述损失的曲线，进一步成为训练和部署决策的依据。

写作说明：本文使用 AI 辅助整理与润色，写作流程参考 Scientific Agent Skills。技术论据来自文中链接的原始论文；解释性类比不作为实验结论。