Neel Nanda
Neel 以务实的方式开展可解释性研究：先找出当前状态与 AGI 到来前希望达到的目标之间的差距，再聚焦于其中能够用当今模型切实研究的问题。研究可以深入分析模型内部机制，也可以采用更简单的黑盒方法，例如阅读并谨慎干预思维链，具体取决于问题本身。项目可能包括检测欺骗、理解模型为何采取看似令人担忧的行动，或利用可解释性解决其他安全领域的薄弱环节，例如防止模型意识到自己正在接受测试。你可以在这期播客中进一步了解 Neel 的研究思路。
他已经指导了大约 60 位 MATS 学员，投入了不少时间，也很期待继续指导更多学员！
研究小组概览
项目期间的工作地点：
London
导师
Interpretability
AI Control and Monitoring
Neel 负责 Google DeepMind 的机械可解释性团队，尝试通过研究模型内部机制来加深对模型的理解，并以此提升安全性，例如检测欺骗、分析令人担忧的行为，以及监控已部署系统是否产生有害行为。
自 2024 年年中以来，Neel 对大规模推进机械可解释性基础研究的前景更加谨慎，同时更看好务实方法所能带来的实际价值。他减少了基础科学方面的工作，转而更多研究模型生物学，并将可解释性用于监控等现实安全问题。
他花了很多时间指导 MATS 学员，目前已有约 50 位项目校友，也期待继续指导更多学员！