变革路径:未来不久,大多数重要工作都将由 AI 完成。AI 会越来越多地为人们提供建议,帮助处理许多重要且受时机和路径选择影响的事务,例如对齐与安全(包括 LLM 说服力很强时应如何表现)、无因果交易,以及社会组织方式。让 AI 能做好这些事,对未来有益。
当然,做好这些事所需的许多能力,也正是会带来 AI 风险、且 AI 公司通常会优先投入的能力,例如编程和某些预测技能。
我们希望提升模型在那些有利于未来、但常规训练未必会重视的任务上的能力;常规训练甚至可能让这些能力变差,例如使模型变得更会迎合用户。
实际上,我们关注的许多任务都属于“概念性”任务:难以验证、没有明确标准答案,但我们仍相信能通过论证和推理取得进展。
欢迎访问 conceptualreasoning.ai,了解我们目前的工作。
我们也非常关注如何让未来的无因果互动产生良好结果。
我们希望学员参与研究议程,衡量并提升模型在一些常被忽视、但对未来发展尤为重要领域的概念推理能力,例如理论对齐、AI 安全宏观策略和决策理论。具备相应技能的学员,也可能参与研究如何影响 AI 对决策理论和无因果互动的推理;不过,我们预计符合这一条件的申请者只占少数。
大量工作涉及两方面:一是构建数据集,过程中需要学员进行概念推理;二是尝试不同的训练思路,观察其是否能提高模型在概念推理评估中的表现。
学员加入时,我们预计会有新的项目想法;学员也可以提出自己的项目。作为参考,申请者可以查看我们五月份整理的项目想法:
Standard (1-2 hours of weekly 1:1s)
SF Bay Area
Indifferent
Strong preference
Caspar Oesterheld 是 Redwood Research 的研究员,致力于提升模型的概念推理能力,也就是让模型能够推理那些答案无法验证、通常需要通过论证来推进的问题。这项工作有很大一部分与 Anthropic 合作完成。
此前,他在 Carnegie Mellon University 获得计算机科学博士学位,并担任 Foundations of Cooperative AI Lab 副主任。Caspar 曾发表多智能体 AI 交互、类似 Newcomb 问题中的决策理论,以及模型如何推理概念性问题等方面的研究,也曾担任 MATS、PIBBSS、CLR 和即将开展的 astra 项目的研究导师。
无