医疗AI能否承担具体工作,需要放到具体任务里检验。查找病历数据中的错误、修订影像报告、分析一组磁共振影像,每项工作需要读取的资料、使用的工具和交付的结果都不相同。
2026年10月25日,微软官方开源项目HealthAgentBench发布V2版本,将医疗智能体评测扩展到9类、75项任务。电子病历数据质量审计、胸片报告纠错、CT异常识别、病理分析、MRI问答和临床预测等,被纳入同一套测试框架。此次更新还增加了任务类别,调整了评分与运行要求,并移除了部分已经不适合继续使用的测试。¹
对于医疗数据行业,这个项目值得关注的地方,在于它公开了如何把临床资料组织成一项可以执行、能够判分的工作。数据从哪里来,智能体需要完成什么,结果如何核验,都有具体安排。
一、给智能体一项工作,再检查它交出的结果
HealthAgentBench采用的是可执行的任务环境。智能体拿到资料和任务说明后,需要自行查看文件、调用工具、处理数据,最后提交结果。评测程序再依据预先设定的规则判断任务是否完成。²
这里的“智能体”,可以理解为能够围绕目标连续采取行动的AI系统。它需要决定先读哪些资料、怎样处理数据,以及用什么方法完成任务。遇到影像,要读取并分析影像;遇到结构化病历,要查询和核对数据表。任务结束时,交付的可能是一份修订报告,也可能是一张问题清单或一组预测结果。
这样的设计,把医学知识、数据处理和工具使用放进了同一次测试。最终表现取决于这些环节能否配合起来。
所谓“进入同一考场”,指的是这些任务采用统一的执行与结果记录框架。各项任务仍有自己的数据、目标和评分规则,并没有被拼成一条患者从入院到出院的完整诊疗流程。¹
理解这一点,才能看懂它究竟测出了什么。
二、病历质检与影像分析,分别要求交付什么
先看病历数据质量审计。
项目使用经过专门修改的MIMIC-IV临床数据库演示版本,设置数据错误,让智能体从多张表中查找问题。这里测的是数据表中的错误检测,与医院日常开展的病历书写规范检查、病案首页审核存在区别。³
任务说明给出了具体查找方向,包括不合理的数值或单位、相互冲突的记录,以及患者人口学信息中的矛盾。例如,同一患者、同一时间、同一观察项目出现不一致的记录,就属于需要核查的情况。
智能体最后必须交出问题清单,写明涉及哪张表、哪一行。这样的交付要求,使结果能够回到原始记录逐项核对。评测同时检查目标错误是否被找到,以及提交的记录中有多少确实存在问题。⁴
到了影像任务,工作内容和判分依据随之变化。
胸片报告纠错要求智能体修订报告中的“影像所见”部分。评测系统将修订结果与参考报告比较,由CheXprompt大模型裁判判断是否仍存在具有临床意义的错误。这里采用的是模型辅助评分,文章和产品介绍中都应保留这一前提,不能将通过测试表述为医生已经确认报告完全正确。⁵
MRI任务则给出三次膝关节检查,每次检查回答两个问题:是否存在前交叉韧带撕裂,是否存在半月板撕裂。三次检查共六个判断,全部与参考标签一致,整项任务才算通过。参考标签来自斯坦福MRNet数据集已发布的验证集。⁶
这三类任务放在一起,数据建设的差别十分直观。病历审计需要能够定位错误的证据,报告纠错需要可供比较的参考报告,MRI问答需要与具体检查对应的标签。资料的整理方式,取决于最终要检验哪一项能力。
三、评测结果需要回到具体任务中理解
任务明确以后,分数才有解释的基础。
截至2026年11月16日,项目公开结果中,病理肿瘤区域选择的最高表现为通过10项中的9项;CT异常识别最高通过10项中的3项;MRI问答最高通过10项中的2项。不同任务之间的表现存在明显差异。⁷
这些数字统计的是整项任务的通过情况。以前面的MRI任务为例,六个判断中只要有一个与参考标签不一致,这一项就不能记为成功。因此,“通过两项MRI任务”不能直接换算成患者层面的诊断准确率。
研究团队还检查了智能体的执行过程。论文指出,一些CT和MRI测试中,智能体已经加载影像,并查看切片或局部图像,但最终判断仍与参考标签不一致。作者认为,这些记录提示了识别细微异常、综合不同切片及成像平面信息的困难;图像呈现方式和上下文管理也可能影响结果。⁸
这类分析比单独看总分更有用。它把问题进一步落到了工作环节:资料是否成功读取,相关位置是否得到查看,查看之后是否形成了正确判断。后续改进可以据此寻找原因,而不必把所有失败都归结为“模型能力不足”。
同样,论文也明确指出,没有一个智能体在所有任务类别中都保持最佳表现。针对具体应用选择系统,应当查看相应任务的结果、评分规则和执行记录。⁸
四、此次更新也在检查“考题”是否可靠
评测能够发现智能体的问题,前提是测试本身足够清楚。
HealthAgentBench在V2中移除了两类任务。电子病历向MEDS格式转换的任务被移除,是因为现有智能体已经较容易完成,继续保留的区分作用有限。临床试验匹配任务被移除,则是因为研究团队在复查时发现,原有负例候选池中存在含义不够明确的情况。¹
后一个调整尤其值得医疗数据建设团队关注。临床试验匹配涉及对患者是否符合要求的判断。用于评分的正例、负例如果存在争议,智能体即使给出了合理结果,也可能被记为错误。
项目公开的任务建设流程因此包含了复查:通过测试运行检查智能体是否利用了意外捷径,任务是否允许多个合理答案,以及参考标签是否存在歧义。发现这些问题后,任务需要重新设计。⁸
V2还关闭了智能体的网页浏览能力,仅允许访问模型接口,以减少从网上直接获取答案的可能。¹
这些修改说明,评测集需要持续维护。题目太容易,会失去区分能力;答案有歧义,会影响评分公正;答案泄露,则会削弱测试结论。更新评测集时,样本数量只是其中一部分工作。
五、对医疗数据建设,更有参考价值的是任务如何形成
回到国内医疗高质量数据集建设,HealthAgentBench提供了一种可以具体研究的做法:先把工作定义清楚,再围绕工作组织资料、准备参考答案,并安排验证方法。
这与近期国家数据局强调的建设要求有相通之处。
11月10日,国家数据局在厦门召开的高质量数据集和数据标注先行先试建设现场会上,强调需求牵引、场景优先,并将需求定义、数据治理、专业标注、质量测评列为高质量数据集建设的四个环节。会议同时提出,推动专家深度参与和人机协同标注。⁹
把这一要求放到前面的例子中,就容易理解:建设病历审计评测集,需要先约定检查哪些错误,再准备带有可靠问题标记的数据;建设影像报告纠错评测集,需要明确修改范围,以及怎样认定错误;建设MRI问答评测集,需要确定检查对应的任务和参考标签。
据此,医院与数据服务企业可以把合作内容进一步落实到任务设计。临床团队参与确定医学问题、参考依据和争议处理方式;数据团队将资料整理成能够重复执行的测试,并保留输入、输出和评分记录。双方需要共同确认,测试结果究竟能够支持哪些结论。
数据访问规则也属于这项工作的组成部分。HealthAgentBench虽然开放了评测代码,但部分影像和病历数据仍要求使用者取得相应访问资格,遵守来源数据集的使用要求。¹
因此,借鉴它的建设方法时,既要看任务和评分,也要看数据如何获准使用、参考答案如何管理,以及版本更新后结果能否继续比较。
微软这次更新,为医疗数据行业提供了一个具体参照:从临床资料中选出适合的样本,只是评测建设的开始。围绕这些样本把工作要求写清楚,把判断依据做扎实,再让不同系统在明确条件下完成测试,才能形成有解释力的结果。
对于医院和专业服务机构,这也是高质量数据集建设中值得投入的能力。临床经验需要落实到任务与参考依据,数据工程需要支撑实际执行,质量评价则要让结果经得起复查。国家数据局提出的需求定义、专业标注和质量测评,在这里都有具体的工作内容
参考资料
¹ 微软官方项目仓库:HealthAgentBench:V2更新、任务范围与访问要求。
² 微软官方项目网站:HealthAgentBench:评测框架与任务介绍。
³ 微软官方任务文档:电子病历数据质量审计:数据与评分说明。
⁴ 微软官方任务指令:电子病历数据质量检测:错误类别与交付要求。
⁵ 微软官方任务文档:胸片报告纠错:参考报告与评分方法。
⁶ 微软官方任务文档:膝关节MRI问答:任务与标签来源。
⁷ 微软官方项目网站:HealthAgentBench V2分任务类别评测结果,查阅日期:2026年11月16日。
⁸ 项目研究团队原始论文:HealthAgentBench,第二版,2026年10月25日修订,预印本。
⁹ 国家数据局:高质量数据集和数据标注先行先试现场会在厦门市召开,2026年11月14日。
免责声明:
智慧医疗网转载其他网站内容,出于传递更多信息而非盈利之目的,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。
本平台所发布信息的内容和准确性由提供消息的原单位或组织独立承担完全责任!
凡来源注明智慧医疗网的内容为智慧医疗网原创,转载需获授权。