中国信息通信研究院（简称“中国信通院”）携手国家人工智能应用中试基地（医疗）·浙江、中国医学科学院北京协和医学院，成立了“医学人工智能测评验证联合实验室”（以下简称“实验室”）。近日，实验室依托医疗健康行业智能体评测体系，选取四款样本模型开展全流程临床模拟测试，围绕诊断表现、临床指南匹配度、医疗检查成本、重复诊断稳定性四大维度完成定量分析，为医疗AI 技术迭代、临床场景选型提供客观、标准化的验证方法参考。
一、闭环仿真评测体系，搭建标准化临床模拟环境 本次评测依托实验室构建的世界模型+多智能体协同架构，搭建医生、患者、检查、评测四种角色智能体，完整复现问诊交互、检验申请、疾病诊断、量化评估的真实临床闭环流程，实现规模化、可复现的对照验证。评测维度覆盖诊前导诊预问诊、诊中辅助诊断、诊后随访与医学报告解读全链条，当前覆盖专科包括消化内科、内分泌科、肾内科、神经内科、心血管内科、眼科、精神科、血液内科、普通外科、耳鼻喉科、呼吸内科、妇科等。研究数据集基于脱敏真实临床病历、医保结算数据、权威临床诊疗指南联合构建，形成多层级评价指标矩阵，从核心决策能力、医学信息采集完整度、医疗资源利用效率、模型幻觉风险、任务执行稳定性等维度构建立体化量化指标体系，可为医疗机构、AI 研发企业提供模型性能测试、产品选型建议、场景适配分析、成本效益测算等支撑。
图1：世界模型与多智能体系统——模拟真实临床诊疗闭环
图2：评测能力维度
二、多维度量化指标数据，揭示不同模型性能差异化特征 2.1 诊断准确率与输出稳定性特征分析（图3）
pass@k 指标反映模型对长尾、罕见病例的识别和分析能力，pass^k 指标反映连续多轮诊断结果的一致性水平。受测样本中，模型A（DeepSeek V4-Pro）单次诊断正确率与多次诊断一致性两项核心指标保持较高水平；模型B（Qwen3 Max）多次诊断一致性表现平稳；部分模型在多轮测试中单次正确诊断的检出潜力突出，但重复输出一致性存在波动。
图3：pass@k与pass^k
2.2 诊断效能与医疗检查成本关联性分析（图4）
成本效益维度以单次诊断准确率pass@1 为横轴、辅助检查平均花费为纵轴构建效益分布散点，分析各模型在诊疗精度与医疗资源消耗之间的权衡特征：模型A（DeepSeek V4-Pro）在维持较高诊断准确率的同时，检查开销处于中等可控区间，诊疗效果与资源成本实现相对均衡；模型C（GLM-5.1）具备突出的检查费用管控特征，整体检验项目开销为受试样本中最低，但对应单次诊断达标率存在一定折减，存在优先压缩检查项目的行为倾向。
图4：诊断价格与pass@1关系
三、受测样本能力差异化特征解读 3.1 模型A（DeepSeek V4-Pro）
模型A在诊疗信息采集环节的指南匹配度处于高位，针对症状问询、检验项目筛选等诊疗决策环节的信息采集完整度、合规性表现突出。依托完备的临床信息获取能力，模型单次诊断表现区间整体偏高，对各类长尾病例具备较好覆盖，多轮重复诊断结果波动幅度较小，适配多科室常态化辅助诊疗场景。
3.2 模型B（Qwen3 Max）
模型B多次诊断全部输出一致正确的概率表现平稳，输出鲁棒性特征显著，适配对结果稳定性要求较高的临床辅助场景。数据显示，模型B在多病种、多分型临床样本覆盖层面仍存在拓展空间，扩充专科临床数据集并开展定向微调可进一步拓宽临床场景适配边界。
3.3 模型C（GLM-5.1）
模型C在控制辅助检查开支方面具备鲜明特征，检验项目均价、中位数偏低。可能存在优先压缩检查项的策略，其诊疗指南中检验项目匹配度存在回落，部分具备临床指征的必要检查存在缺失，进而对单次诊断准确率产生影响。
3.4 模型D（Minimax-M2.5）
模型D在多轮重复测试中检出有效正确诊断的能力具备差异化优势，针对罕见病、小众长尾病例识别存在潜力；但多次诊断结果离散度偏高，输出一致性有待提升。检验项目选择策略偏冗余，整体检查花费均值与中位数在受试样本中相对更高，与医疗控费的落地需求存在适配调整空间。
下一步，实验室将持续迭代完善医疗健康智能体评测体系，深耕医疗AI能力评估与场景适配研究，为业界提供科学客观、真实可信的选型参考，推动医疗智能体技术规范发展、落地应用。
特别声明：智慧医疗网转载其他网站内容，出于传递更多信息而非盈利之目的，内容仅供参考。版权归原作者所有，若有侵权，请联系我们删除。
凡来源注明智慧医疗网的内容为智慧医疗网原创，转载需获授权。
