反演 Bellman 方程：从 Q 值恢复世界模型

传统上，基于模型和无模型强化学习被视为不同范式：基于模型的方法会学习状态转移核 P，而无模型智能体通常估计与特定策略和奖励相关的价值函数。本文挑战了这种二分法，并证明：如果基于价值的智能体在足够丰富的一组奖励函数上训练（例如使用目标条件强化学习），它就会隐式编码一个唯一且准确的世界模型。为在实践中提取该模型，我们提出 P-learning。它是 Q-learning 的逆向对应方法，通过智能体的 Q 值、策略和奖励进行采样，解码其内部环境模型。我们还给出充分条件，说明在什么类型和数量的目标下，智能体能够编码真实的状态转移核 P；这些条件覆盖有限或连续状态空间中的随机与确定性马尔可夫决策过程（MDP）。即使不满足这些假设，我们的实验证据仍显示，只用少量奖励函数训练的智能体，也能在 𝚁𝚎𝚊𝚌𝚑𝚎𝚛, 𝙼𝚘𝚞𝚗𝚝𝚊𝚒𝚗𝙲𝚊𝚛 和随机版本的 𝙵𝚘𝚞𝚛𝚁𝚘𝚘𝚖𝚜 中学到准确的动力学。出人意料的是，只依据 Reacher 智能体隐式世界模型训练的策略，即使训练时只使用位置目标，在分布外的速度目标上也接近最优。这表明智能体拥有尚未显现的泛化能力，也为理解基于模型、无模型和目标条件强化学习之间的联系提供了新视角。