MATS 学员:
Glenn Matlin, Taywon Min
作者:
Glenn Matlin, Chandreyi Chakraborty, Saehee Eom, Mika Okamoto, Rayan Castilla, Louis Jaburi, Alvin Deng, Taywon Min, Lucia Quirke, Stella Biderman, Mark Riedl
引用次数
摘要:
我们将训练数据归因作为一种可解释的能力发现工具,用来追踪 OLMo3-7B 的预训练语料中,哪些部分支持社会推理,哪些部分支持 STEM 推理。训练数据归因衡量每份训练文档对模型在某个基准上预测结果的影响程度;但文档级分数噪声太大,无法单独揭示哪些语料区域支持哪些能力。我们使用 Bergson 实现的 TrackStar 计算基于梯度的归因,数据取自去重后的 Dolma3 混合语料;再按照 WebOrganizer 的 24 种格式与 24 个主题构成的分类体系(共 576 个类别)汇总影响,并采用 2×2 设计对照不同领域(社会与 STEM)和能力类型(推理与知识):SocialIQA 与 MMLU 社会科学,对照 ARC-Challenge 与 MMLU STEM。结果显示,社会推理和 STEM 推理依赖的语料区域有明显差异,而且这种差异在推理能力上比在知识掌握上更鲜明。定向机器遗忘为这一结论提供了部分因果验证:移除高归因主题(例如 SocialIQA 对应的文学内容),比同一主题内的随机基线更能削弱对应基准表现。我们还在另外两种开放数据模型上验证了方法:使用 Common Pile 的 Comma v0.1 7B-2T,以及 DCLM-Baseline-7B(DataComp-LM)。两种模型都呈现出这种因果选择性,但能力来源图谱因数据生态而异。我们在文中提供全部代码、数据产物、影响分数和检查点,链接为文中的 this URL 和 this URL。
MATS 是一个独立的研究与教育项目,致力于连接新兴研究人员与 AI 对齐、治理和安全领域的导师。
每期 MATS 项目在加州伯克利进行,为期 12 周。部分学员可选择之后前往伦敦参加为期 6 至 12 个月的延伸项目。