MATS 学员：
Yu Ying Chiu
作者：
Michael S. Lee, Rachel Calcott, Brandon Handoko, Paul de Font-Reaulx, Paula Rodriguez, Chen Bo Calvin Zhang, Ziwen Han, Udari Madhushani Sehwag, Yash Maurya, Christina Q Knight, Harry R. Lloyd, Florence Bacus, Mantas Mazeika, Bing Liu, Yejin Choi, Mitchell L Gordon, Sydney Levine
引用次数
摘要：
随着 AI 系统不断进步，我们越来越多地与它们共同决策，也让它们替我们作出决策。要确保这些决策符合人类价值观，我们不仅需要理解模型作出什么决定，也要知道它如何推理。推理型语言模型会给出最终回答和部分透明的中间思考过程，因此为研究 AI 的程序性推理提供了良好机会。与数学和代码问题通常有客观正确答案不同，道德两难问题允许多个站得住脚的结论，是以推理过程为重点的评估场景。为此，我们推出 MoReBench：包含 1,000 个道德情境，每个情境都配有专家认为推理时必须纳入或应当避免的评分标准。MoReBench 收录了 23,000 多项标准，涵盖识别道德考量、权衡取舍和提出可执行建议，既包括 AI 向人类提供道德建议的场景，也包括 AI 自主作出道德决策的场景。我们还单独整理了 MoReBench-Theory，包含 150 个案例，用于测试 AI 能否依据五种主要规范伦理框架进行推理。结果显示，规模规律以及数学、代码和科学推理基准的成绩，都无法预测模型的道德推理能力。模型还会偏向某些道德框架，例如边沁式行为功利主义和康德义务论，这可能是主流训练范式带来的副作用。这些基准推动了以过程为中心的推理评估，有助于构建更安全、透明的 AI。