OpenAI发布MentalHealthBench:80名22国持证专家共建,首个覆盖非急性到紧急三级场景的心理健康对话基准
发布时间:2026年09月23日 10:00:00OpenAI于9月23日发布开放基准MentalHealthBench,联合来自22个国家、使用19种语言、覆盖近20个亚专业的80余名持证心理学家与精神科医生共建,用隐私保护技术合成真实心理对话,按非急性、高危、紧急三级场景评估模型的安全性、追问背景、维护用户自主权与可行建议能力,每段对话至少三位专家审查,评分标准权重从-10到+10
每周10亿人在用ChatGPT,心理对话怎么评估
9月23日,OpenAI 发布开放基准 MentalHealthBench,专门评估 AI 在真实心理健康对话中能否给出实用且安全的回应。背景是 ChatGPT 每周用户已超过10亿,大量对话涉及处理棘手关系、舒缓日常压力、支持身边的人,甚至面对困境时的求助——这些场景对模型的要求不是「答对知识点」,而是准确、务实并尊重用户自主权。
此前该领域的评估有个明显短板:主要集中在自杀危机等紧急情况,且用一套预定义标准衡量。这能回答「模型会不会闯大祸」,却无法衡量它在更日常、更高频的心理对话中表现如何。
基准长什么样
MentalHealthBench 由全球专家团队共同创建,规格如下:
| 维度 | 配置 |
|---|---|
| 专家团队 | 来自22个国家的80余名持证心理学家、精神科医生 |
| 语言/专业 | 使用19种语言,覆盖近20个心理健康亚专业 |
| 对话来源 | 用隐私保护技术生成的合成对话,贴合真实使用模式 |
| 角色覆盖 | 成人、青少年、照护者、临床专业人员 |
| 严重程度 | 非急性 / 高危 / 紧急三级 |
- 非急性:带情感因素的日常对话(如如何设立人际边界);
- 高危:存在明显困扰或较严重心理问题,但不构成紧急状况;
- 紧急:出现心理健康急症或即刻安全隐忧,需要现实世界支持(如危机热线)。
部分合成用户还带有背景信息(如近期家人去世),用于测试模型能否利用上下文调整回应。
评分机制:-10到+10,三专家共识
具体方法沿用 OpenAI 此前 HealthBench 的临床主导思路:
- 专家逐段阅读合成对话,为「模型对最后一条消息应如何回复」编写详细评分标准清单;
- 每条标准权重在 -10 到 +10 之间:正分奖励有益行为(适时追问、给出可行建议),负分惩罚有害行为,分值越大代表临床意义越重大;
- 每段对话由至少三位专家审查,只有全部专家认可的标准才进入最终基准;
- 再用自动评分器 GPT-5.6 Sol 对照专家标准给模型回复打分。
评估的核心行为包括四项:安全、主动寻求背景信息、维护用户自主权、适时提供可执行的指导——这四点精准对应了心理支持中最常见的失败模式:乱给诊断、不问情况就下结论、替用户做决定、或只说正确的废话。
为什么这个基准值得关注
- 评估对象从「危机」扩展到「连续谱系」:美国心理学会 CEO Arthur Evans 博士在引言中指出,心理健康是从乐观到日常压力再到急性危机的连续谱,AI 必须先判断用户处于哪一阶段,再给出相称回应;
- 开放共享:基准公开发布,允许其他研究者复现、自建评估并继续迭代,而非只服务 OpenAI 内部系统卡;
- 行业背景强相关:近期多家公司把 AI 推进到情感陪伴、心理热线等高敏场景(Meta Muse 的人工接管争议刚发生),第三方可复核的心理对话标尺恰逢其时;
- 「用模型评模型」的方法论延续:自动评分器让大规模评估可行,但评分器本身的中立性、跨语言文化偏差仍是开放问题——22国专家、19种语言的配置正是对此的对冲。
OpenAI 同时强调,ChatGPT 不能替代治疗或专业护理,基准衡量的是模型在同理心回应、引导寻求现实支持(当地危机热线、信任的人)方面的进展。当 AI 事实上已经成为数亿人最容易开口的「倾诉对象」,如何衡量它说的话是否妥帖,可能比再提升一点考试分数重要得多。
来源参考:OpenAI官方公告、OpenAI Research 发布索引、HealthBench 相关研究