香港科技大学研究团队成功开发一套创新的人工智能（AI）“通用—专科协作”框架（Generalist–Specialist Collaboration, GSCo），实现了医学通用基础模型和专科模型在疾病诊断任务的高效协作。研究结果显示，GSCo在医学影像诊断、视觉问答及放射报告生成等多项任务的表现，均比单独运作的通用或专科模型显著优胜。同时，该框架能大幅降低训练医学模型，以适配全新临床任务的研发成本。

科大计算机科学及工程学系、化学及生物工程学系助理教授、医工交叉联合创新中心主任陈浩教授（中），与论文共同第一作者、计算机科学及工程学系博士生何肃南（左）及聂宇翔（右）联同国际团队，开发了崭新的医学人工智能框架GSCo

医疗AI模型一直面对两难局面。通用基础模型虽然基于庞大的医学语料库进行训练，具备灵活应对多元任务和精准识别影像模态的能力，但在单一疾病诊断上往往不够精准。反观专科模型，虽然提供精准的临床推理和专业诊断，但面对新任务或部署于新医院时，便需重新训练，运算成本高昂，还涉及病人隐私数据。

为应对上述挑战，港科大医工交叉联合创新中心主任陈浩带领的团队，联同哈佛医学院、威尔康奈尔医学院、香港中文大学、香港大学及中山大学等合作开展研究，开发出全新协作式AI框架“GSCo”，基于陈浩团队开发的开源医学通用模型MedDr，利用多元医学影像模态和逾200万个样本对MedDr进行深度训练，并同步构建了一组轻量级专科模型，仅需单张消费级显示卡（GPU）即可完成训练。

在双向协作下，专科模型在AI推论过程中负责比对相似的过往病例，并提供诊断预测；MedDr则担当“核心决策者”的角色，负责将专科模型提供的证据与自身医学知识整合，从而作出最终诊断结果。

GSCo框架的构建流程

为验证GSCo的表现，研究团队在32个公开数据集、共约260000张医学影像上进行全面评测，涵盖医学影像诊断、视觉问答及放射报告生成等多项任务。结果显示，MedDr的表现显著优于RadFM、LLaVA-Med及Med-Flamingo等现有医学通用模型，而GSCo在所有内部及外部基准测试中均取得整体排名第一，表现优胜于十个最先进的视觉基础模型。

如在一项皮肤病变诊断测试中，GSCo诊断表现高达0.8420分（满分为1.0），胜通用模型MedDr在零样本状态下取得的0.7545分，以及专科模型单独运作时的最佳成绩（0.8292分）。另一项针对胸部X光报告生成的临床人工评估中，七位执业放射科医生中有六位一致认为，GSCo生成的报告质量优于目前最先进的专科模型R2GenGPT。

与微调通用模型相比，调整GSCo以执行全新临床任务的研发成本可大幅降低近100倍。在GSCo框架下开发的专科模型，可在医院内部利用所属机构的数据进行训练；随后只需以匿名形式分享成果，便可确保病人病历无须离开医院。

“医学AI通用和专科模型各有所长，而GSCo的核心价值正是让两个独立运作的模型能以‘协作者’身分并肩运作，并由通用模型担任总决策者，将专科模型的专家建议与模型自身广博的医学知识完美整合。”陈浩说。

此项成果有望加速医学基础模型应用在日常临床工作。研究成果已于国际顶尖期刊《自然—生物医学工程》发表。

南方+记者 陈彧