语言模型能力来源分析:社会推理案例研究

MATS 学员:

Glenn Matlin, Taywon Min

作者:

Glenn Matlin, Chandreyi Chakraborty, Saehee Eom, Mika Okamoto, Rayan Castilla, Louis Jaburi, Alvin Deng, Taywon Min, Lucia Quirke, Stella Biderman, Mark Riedl

引用次数

Citations

摘要:

我们将训练数据归因作为一种可解释的能力发现工具,用来追踪 OLMo3-7B 的预训练语料中,哪些部分支持社会推理,哪些部分支持 STEM 推理。训练数据归因衡量每份训练文档对模型在某个基准上预测结果的影响程度;但文档级分数噪声太大,无法单独揭示哪些语料区域支持哪些能力。我们使用 Bergson 实现的 TrackStar 计算基于梯度的归因,数据取自去重后的 Dolma3 混合语料;再按照 WebOrganizer 的 24 种格式与 24 个主题构成的分类体系(共 576 个类别)汇总影响,并采用 2×2 设计对照不同领域(社会与 STEM)和能力类型(推理与知识):SocialIQA 与 MMLU 社会科学,对照 ARC-Challenge 与 MMLU STEM。结果显示,社会推理和 STEM 推理依赖的语料区域有明显差异,而且这种差异在推理能力上比在知识掌握上更鲜明。定向机器遗忘为这一结论提供了部分因果验证:移除高归因主题(例如 SocialIQA 对应的文学内容),比同一主题内的随机基线更能削弱对应基准表现。我们还在另外两种开放数据模型上验证了方法:使用 Common Pile 的 Comma v0.1 7B-2T,以及 DCLM-Baseline-7B(DataComp-LM)。两种模型都呈现出这种因果选择性,但能力来源图谱因数据生态而异。我们在文中提供全部代码、数据产物、影响分数和检查点,链接为文中的 this URL 和 this URL。

近期研究

非大国冲突与 AI 风险

作者:

Kristina Kempkey

日期:

八月 26, 2026

引用次数:

合成角色预训练:从第一个 token 开始对齐

作者:

Julian Minder

日期:

八月 13, 2026

引用次数:

常见问题

什么是 MATS 项目?
项目持续多久?