分块式后训练：数据驱动的泛化失效

LLM 后训练会使用许多不同数据集，每个数据集都针对某种特定行为。但这些数据集除了预期模式，也包含偶然模式：格式和内容之间的相关性、跨不同问题重复出现的狭窄措辞，以及离散数据筛选过程产生的隐含关联。这些模式往往逃过开发者注意，却会被模型捕捉，导致开发者意想不到的行为，例如模型因为问题格式特殊而拒绝接受真实事实。我们将这种现象称为“分块式后训练”：模型因后训练数据被分成不同数据块，而学到虚假的相关性。我们提出 SURF，一个能在运行时显现这些非预期行为的黑盒流程；还提出 TURF，用于将失效追溯到具体的后训练数据。我们将这些工具用于前沿模型（Claude 4.5、GPT-5.1、Grok 4.1、Gemini 3）和开放模型（Tülu 3），发现分块式后训练会导致模型行为校准失误，而原因往往是数据块分布不平衡或定义不充分。