MATS 学员：
Alex Serrano, Jo Jiao, Twm Stone, Ariana Azarbal, William L. Anderson
作者：
Dewi Gould, Francis Rhys Ward, Anders Cairns Woodruff, Rauno Arike, Josh Hills, Alex Serrano, Ida Caspary, Jason Ross Brown, Jo J. Jiao, Patrick Leask, Twm Stone, Ram Potham, Ionut Gabriel Stan, Harry Mayne, Simeon Hellsten, Shubhorup Biswas, Ariana Azarbal, William L. Anderson, Elle Najt, Ryan Greenblatt, Julian Stastny
引用次数
摘要：
许多前沿 AI 安全工作依赖监控模型的思维链（CoT）推理。如果模型能够在内部完成足够复杂的推理，不再需要显式思考 token，这类监督就会受到削弱。我们用涵盖 43 个基准、超过 30,000 道问题评估前沿模型在没有 CoT 时的推理能力，领域包括数学、编程、谜题、因果关系、心理理论和策略推理。为了与人类比较，我们估算“50% 任务完成时间范围”（TH）：人类完成那些模型成功率为 50% 的任务所需的时间。我们还提出“50% 推理 token 范围”：模型以 50% 成功率完成任务时所需的最少 o3-mini 推理 token 数。结果显示，过去六年里，前沿模型无需 CoT 时的 50% TH 大约每年翻倍；GPT-5.5 的 TH 已超过三分钟，推理 token 范围也超过 1,500 个 token。我们的中位数估计预测，到 2028 年，前沿模型无需 CoT 时的 TH 可能超过七分钟；到 2030 年可能达到 25 分钟，但这些预测存在很大不确定性。我们建议前沿模型开发者持续跟踪这一指标。