让 AI 评测更安全:实现并评估一个逐项审查操作的简易监控器
benchmarksMETR ResearchSep 27, 2026
近期接连出现一些事件,例如 OpenAI 、 Anthropic 和 英国 AI 安全研究所(UK AISI) 报告的事件。因此,我们开发并部署了一个实时审查每次操作的简易监控器,降低智能体在我们自己的评测中执行有害操作、引发事件的可能性。我们希望监控器能可靠地发现可能造成现实危害的操作,同时把误报率控制得足够低,避免大规模评测带来过多人工复核,让审核人员难以应付。 这个监控器只关注现实危害,以及试图破坏监控系统本身的操作。作弊等其他不当行为可以事后排查,因此监控器应当忽略。智能体每执行一项操作前,都由一个大...
Impact: MediumConfidence: MediumNovelty: Material
benchmarkssource-feed-92851532-c6c4-4203-933d-ecc01d4e1171safety