MoE 模型中的专家选择几乎能还原全部文本

我们提出一种针对混合专家（MoE）语言模型的文本重构攻击，仅凭专家选择就能还原 token。在 MoE 模型中，每个 token 都会被路由到一部分专家子网络；我们发现，这些路由决策泄露的信息远超以往认识。以往使用逻辑回归的研究只能有限地重构文本；我们发现，三层 MLP 可将 top-1 准确率提升至 63.1%，而基于变换器的序列解码器在使用 1 亿个 token 训练后，能从 OpenWebText 的 32-token 序列中以 top-1 准确率恢复 91.2% 的 token、以 top-10 准确率恢复 94.8%。这些结果将 MoE 路由与更广泛的嵌入反演研究联系起来。我们说明了几种现实的信息泄露情境（如分布式推理和侧信道），并发现加入噪声虽能降低重构能力，却无法完全阻止。研究结果表明，MoE 部署中的专家选择信息应与底层文本同等保密。