Truthful AI

该研究流将评估语言模型的危险能力,并检测模型是否存在欺骗和不诚实行为。

研究小组概览

  • 定义并评估 LLM 的情境意识(参见相关论文)
  • 预测 LLM 中其他危险能力的出现,例如欺骗、能动性和错位目标
  • 研究训练过程中涌现的推理能力(“脱离情境”推理)。另见Reversal Curse
  • 使用黑盒方法检测 LLM 中的欺骗与不诚实行为
  • 借助 LLM 提升人类获取知识和判断信息的能力,例如 Autocast 和 TruthfulQA

项目期间的工作地点:

SF Bay Area

导师

Owain Evans
Truthful AI
,
研究负责人
Misalignment Science
Capability and Propensity Evaluations

Owain 长期关注 AI 对齐和降低 AGI 风险。目前,他正在研究危险能力、大型语言模型(LLM)中不对齐行为的出现、自我意识和潜在推理。他此前研究过 AI 欺骗(《如何识破 AI 谎言》)、真实性(TruthfulQA)和“反转诅咒”。Owain 在伯克利 Constellation 创办并运营一家独立的 AI 安全非营利组织。他曾在 University of Oxford 和 Ought 工作,并通过 MATS 等项目指导过 30 多位初级 AI 安全研究者。

阅读更多
Jan Betley
Truthful AI
,
研究员
Misalignment Science

Jan 曾从事软件开发十余年,随后于 2023 年转向 AI 安全。他曾参加 ARENA 和 Astra Fellowship 项目,尤其关注大型语言模型(LLM)的脱离上下文推理,也对相关领域的其他问题保持广泛兴趣。

阅读更多

项目遴选