在狭窄任务上训练大语言模型可能导致广泛失配

大语言模型（LLM）的广泛应用带来了重要的安全与对齐问题。以往安全研究主要关注孤立的不良行为，例如强化有害刻板印象或提供危险信息。本文分析了我们此前工作中观察到的一种意外现象：只在编写不安全代码这一狭窄任务上微调 LLM，就会引发一系列与编程无关的严重行为。例如，模型可能声称人类应被 AI 奴役、提供恶意建议，或表现得具有欺骗性。我们将此称为“涌现失配”。这一现象出现在多个先进 LLM 中，包括 OpenAI 的 GPT-4o 和阿里巴巴云的 Qwen2.5-Coder-32B-Instruct；失配回答最高出现在 50% 的案例中。我们开展了系统实验来刻画这一效应，并综合后续研究的发现。结果凸显了范围狭窄的干预可能引发意料之外的广泛失配，对模型评估和部署都有重要影响。我们的实验揭示了导致涌现失配的一些机制，但仍有许多问题尚未解决。更广泛地说，这些发现说明，我们需要建立成熟的对齐科学，预测干预在何时、为何可能引发失配行为。