发布平台
学院动态
首页 | 学院动态
乔友林教授团队系统评估提示大语言模型可拓展鉴别诊断但更适合辅助而非替代医生

2026年2月6日,北京协和医学院群医学及公共卫生学院乔友林教授团队在npj Digital Medicine在线发表题为“Independent and collaborative performance of large language models and healthcare professionals in diagnosis and triage”的研究论文。该研究系统评估了大语言模型(Large Language Models,LLM)与医疗专业人员(Healthcare Professionals,HCP)在临床诊断和分流任务中的独立表现及人机协作效果,为理解LLM在真实临床场景中的应用潜力与局限提供了重要证据。


IMG_7621.PNG


人工智能辅助临床决策是当前医疗健康领域的前沿议题。随着大语言模型快速发展,其在疾病诊断、患者分流等方面展现出较大潜力。然而,既往研究多集中于医学考试或封闭式问答场景,难以充分反映真实临床工作的复杂性,且缺乏LLM辅助HCP效果的系统性证据。

研究团队检索PubMed、Embase、IEEE Xplore、Cochrane Library、Epistemonikos、CINAHL和PsycINFO七大数据库,纳入2020年1月至2025年9月发表的相关研究,排除以考试结果为结局的研究,重点关注接近真实临床思维过程的开放式诊断和分流任务。最终,从10,398篇文献中筛选纳入50项研究,涵盖了25种不同LLM,涉及急诊医学、眼科学、放射学、多学科综合诊疗等多个临床专科,并采用多层随机效应模型对LLM、HCP及二者协作模式下的诊断和分流准确率进行定量合并分析。

结果显示,在独立诊断表现方面,LLM的Top-1诊断准确率低于HCP(相对准确率=0.89,95%CI:0.79–1.00),但随着候选诊断范围从Top-1扩展至Top-10,LLM与HCP的诊断表现逐步接近。在分流任务中,两者准确率基本相当(相对准确率=1.01,95%CI: 0.94–1.09)。在人机协作模式下,LLM辅助HCP相较于单独HCP的Top-1、Top-3、Top-5和Top-10诊断准确率分别为1.13(95% CI: 1.00–1.27)、1.11(95% CI: 1.01–1.23)、1.42(95% CI: 1.16–1.73)和1.33(95% CI: 0.94–1.87)。上述结果表明,当前LLM在提供唯一明确诊断方面仍存在局限,但在生成鉴别诊断、拓展临床思路,以及患者风险分层和就医紧急程度判断等任务中已展现出应用前景;人机协作模式下诊断表现的提升,也提示LLM更适合辅助而非替代医生开展临床决策。


IMG_7622.PNGLLM辅助HCP相较于单独HCP的诊断准确率


研究团队进一步指出,现有LLM临床评估研究仍主要基于标准化病例或回顾性场景,与真实临床环境中的动态决策过程存在差距;同时,不同模型、任务类型、输入模态及人机协作方式之间也存在明显性能差异。这提示LLM的临床价值不仅取决于模型能力本身,更取决于其如何融入真实医疗工作流程。此外,纳入研究在方法学层面仍存在诸多不足,包括病例选择偏倚、模型版本及提示词报告不充分、参考标准定义不清,以及缺乏对公平性、错误模式和人机协作流程的系统评估。基于此,本研究提出了涵盖设计与实施场景、研究对象与数据收集、指标测试与参考标准及对照设置与结局指标的研究报告框架,以推动未来相关研究更加规范、透明和可重复,为LLM在真实临床场景中的安全应用提供更可靠的循证依据。

该研究不仅为理解LLM在临床诊断与分流中的实际能力提供了系统证据,也进一步强调了人机协作在未来医疗人工智能应用中的重要意义。而如何在保证安全性、可靠性与可解释性的前提下,将LLM有效融入真实临床工作流程,仍是推动其临床转化与应用落地的关键。

该研究得到腾讯可持续社会价值事业部(SD20240904145730)及中国医学科学院创新工程项目(2021-I2M-1-004)支持。陈明扬、吴奕锦为论文共同第一作者,乔友林教授和群公学者赵方辉教授为共同通讯作者。


论文信息

Chen M, Wu Y, Ma J, Jia X, Gao C, Zhao F, Qiao Y. Independent and collaborative performance of large language models and healthcare professionals in diagnosis and triage. NPJ Digit Med. 2026 Feb 6;9(1):222. doi: 10.1038/s41746-026-02409-8.


论文链接:

https://www.nature.com/articles/s41746-026-02409-8


稿件来源:陈明扬、乔友林