解释语言模型的参数

神经网络使用数百万到数万亿个参数，学习解决其他机器无法解决的任务。这些参数学到了什么结构？它们又是如何计算出智能行为的？

机制可解释性试图揭示神经网络如何利用参数实现复杂的神经算法。以往研究已发现网络所用中间表征中的许多结构，但我们对网络参数和非线性如何在这些表征上执行计算，仍知之甚少。

本文提出一种方法，进一步接近这个问题的答案：将语言模型的参数分解为多个子组件，每个子组件只实现模型所学算法的一小部分；同时，对任何给定输入而言，只需其中少量子组件就能解释网络行为。

这种方法称为对抗式参数分解（VPD）。它会将神经网络参数优化分解为简单子组件；即使消融大量子组件，网络的输入输出行为仍能保留，包括攻击者专门挑选、旨在破坏行为的消融方式。这样有助于学习简洁且忠实于机制的子组件，用来描述网络行为，并进一步组合成对网络所学算法的全局解释。

我们研究了这些参数子组件之间一系列交互如何决定模型对特定输入的输出，从而开展一种新的“回路”分析。要充分理解神经网络如何利用参数计算行为，还需要更多研究；不过，我们的工作提出了一条途径：先识别出一小组简单且忠实于机制的子组件，再以此为基础进行后续机制分析。