欢迎访问智慧医疗网 | 网站首页
 
当前位置:首页 > 资讯 > 观点

医疗数据质量的"可信"与"可用":两套标准,别混了 - 评分90分的数据集,可能一个研究问题也答不了

发布时间:2026-08-31 来源:创新RWD 浏览量: 字号:【加大】【减小】 手机上观看

打开手机扫描二维码
即可在手机端查看

过去一年,我参加过不止一次谈不下去的会。医院这边把报告推过来:我们这个专病库刚做完质量评测,三大类指标都在90分以上,评测机构盖了章。药企这边翻两页,抬头问一句:一线治疗的起始日期能精确到天吗?沉默。再问:疾病分期用的是第几版标准,记在哪个字段里?还是沉默。会开不下去,不是因为谁不专业。是因为桌子两边拿的是两套完全不同的标准,而且各自都默认对方用的是自己那套。这两套标准都真实存在,都有正式文件,都在往前推,而且短期内不会合并。把它们分清楚,比多买一份数据有用得多。

01
第一套:数据集自己的体检报告

2025年8月29日,全国数据标准化技术委员会(SAC/TC609)发布并实施了一组技术文件,其中第四份是《高质量数据集 质量评测规范》,编号TC609-5-2025-04。这份文件把数据集质量拆成三大类:说明文档、数据质量、模型应用。
数据质量这一类下面有八个子指标:格式规范性、安全规范性、标注规范性、结构完整性、内容真实性、内容一致性、类型一致性、内容干净性。每一项的计算方式都是同一个形状——X = A / B,分子是"符合要求的数据记录数量",分母是"数据记录总数"。判定规则很硬:三大类各自要拿到90分以上,任何一类不达标,整个数据集就不能被认定为高质量数据集。
这套体系的底座是2018年的国家标准GB/T 36344《信息技术 数据质量评价指标》,六大类指标:规范性、完整性、准确性、一致性、时效性、可访问性。
这套标准的性格很清楚:它测的是数据集本身,产出是一个可以复用的分数。评一次,可以拿去申报、拿去挂牌、拿去做入表的支撑材料、拿去谈价格。
02
第二套:这批数据能不能回答这个问题
另一套在药监这边。
CDE 2021年的《用于产生真实世界证据的真实世界数据指导原则(试行)》把真实世界数据的适用性评价分成两个阶段。第一阶段是初步评价,看数据库是不是处于活动状态、数据是否可及、变量覆盖度够不够、样本量够不够。第二阶段展开成两大类:相关性和可靠性。相关性看关键变量覆盖度、临床结局定义的准确性、目标人群代表性、多源异构数据的融合性;可靠性看完整性、准确性、透明性、质量保证。
ICH M14把同一件事说得更简洁:数据要fit-for-use,就得同时具备relevance和reliability。relevance指的是关键数据元素是否可得、目标人群的患者数量是否足够且有代表性;reliability包含accuracy、completeness、traceability、provenance。
M14在中国已经不是"要来了"。NMPA 2026年第16号公告已经明确,自公告发布之日起开始的相关研究即适用,没有给过渡期。
这套标准的性格同样清楚:它不测数据集,它测"数据集 × 研究问题"这一对。先有问题,才谈得上适用。
微信图片_2026-08-31_102817_659.png
03
同一个词,三处错位

第一处,完整性的分母不一样
TC609的结构完整性算的是:数据集中缺失值在合理范围内的数据记录占多少比例。翻译过来就是,字段填满了就得分。
CDE指导原则说的完整性是另一件事:源数据通常不完整,但至少应包括结局变量、暴露/干预变量、人口学变量和重要的协变量。
这两句话不冲突,但门槛完全不在一个位置。一个肿瘤数据集,人口学、就诊记录、用药明细、费用字段全都填得满满当当,缺失率极低,结构完整性接近满分。但它没有分期、没有ECOG评分、没有停药原因。第一套标准里它是优等生,第二套标准里它做不了任何一个疗效比较。
第二处,准确性的锚点不一样
TC609的内容真实性,锚点是源系统:数据能追溯到采集源头,与源头保持一致,不存在未经说明的篡改。ICD编码从HIS里原样导出,一个字符没改,这一项满分,挑不出毛病。
但监管问的准确性是另一个层面的问题:这个变量的操作型定义,能不能还原它想表达的那个临床概念。锚点不是源系统,是病历复核这个金标准。
心衰是被研究得最透的例子。多项境外研究反复发现,仅靠ICD编码识别心衰是不可靠的:一个方向上,主诊断位置带心衰编码的住院,约四成经病历复核并不满足心衰的临床标准;另一个方向上,德国一家中心用2000至2015年的住院数据比对发现,只用ICD编码会明显低估真实患病率,漏掉的比例在三成到五成之间,而且这个比例逐年变化,因为编码习惯本身在变。
这些数字来自境外队列,中国医院的编码动机和实践不同,不能直接套用。但机制是通用的:编码是为结算和管理生成的,不是为研究生成的。它对源系统100%忠实,对临床事实并不。这种偏差在第一套标准里根本测不出来,因为那套体系里没有"金标准"这个概念。
第三处,可追溯性的链条长度不一样
TC609要求的是能追溯到采集源头,一层。M14要的是一条完整的链:报告里的表、列表和图,能追到分析数据集,分析数据集能追到列表数据集,列表数据集能追到源数据。四层。
差别在核查现场会立刻显形。你拿得出"这些数据来自我们医院的HIS",但拿不出"这张森林图里的每一个点是从哪些行、经过哪几步算出来的"。核查关心的是后者。
微信图片_2026-08-31_102821_306.png
04
可靠性是能量化的,而且通常没你想的高
2025年3月,JAMA Network Open发表了一项质量改进研究,用12万余名患者的记录,按FDA的三个维度实际测了一遍可靠性。
传统作业方式下:准确性59.5%,完整性46.1%,可追溯性11.5%。引入多源整合与自动化之后:准确性93.4%,完整性96.6%,可追溯性77.3%。
可追溯性从11.5%到77.3%,落差最大,也最容易被忽略。大多数机构讲数据质量时讲的是前两个数;核查时最先被追问的,是第三个。
这项研究还留下一句值得抄下来的判断:按FDA的口径,可靠性是可以脱离具体研究问题去测量的。
这句话正好划出了两套标准的分界线。fit-for-use的两半里,可靠性那半问题无关,可以评一次用很多次,因此可以被标准化、被评级、被复用;相关性那半必须绑着问题走,换个结局、换个人群、换个时间零点,全部重来。
所以真正能被第一套标准接管的,最多只有半张卷子。
微信图片_2026-08-31_102828_049.png
05
那第一套标准是不是白做了
不是。但它真正值钱的地方,不在那个分数上。
TC609三大类指标里,最容易被当成附件糊弄过去的是"说明文档"。它要求写清楚四件事:基本信息、内容特征、建设过程、应用说明。其中建设过程这一项点名要有数据来源、采集方法、加工处理流程、标注规范、版本控制记录;应用说明这一项点名要有局限性说明。
把这四项和M14第6章对照着读,重合度相当高。M14要求方案里的程序详细到可复现,要求元数据驱动的稽查轨迹,要求申办方与数据持有方对齐质控安排。认认真真写出来的那份说明文档,本身就是适用性论证材料的半成品。
值得注意的还有政策口径。2026年6月3日印发、6月8日发布的《关于推进行业高质量数据集建设行动的实施方案》(国数科基〔2026〕25号),把医疗卫生列进重点领域,目标写的是到2028年底建成一批"经过应用验证的"行业高质量数据集。"经过应用验证"这五个字,说明写文件的人自己也清楚:评分合格和真能用,是两件事。
但这里还有个容易被忽略的前提。TC609整套文件的目标应用场景,默认是开发和训练人工智能模型——它的"模型适配性"子指标,是拿模型实际性能对比预期性能来算的。这跟"能不能支撑一个因果推断",用的是同一个"适配"二字,锚的却不是同一件事。
06
三种角色,三份不同的清单
医院和数据持有方,第一套要拿,但别把它当终点。评测结果是入场券,不是适用性证明。把说明文档那四项当资产来做,为高频变量准备验证报告(抽多少份病历、谁复核、一致率多少),保留可追溯的链条而不只是保留数据。对外报价时想清楚:你卖的是一个数据集,还是数据集加一份能过核查的档案。这两者差价很大。
药企和数据使用方,顺序要反过来。第一份文件应该是研究问题和使用情境,不是数据采购清单。关键变量、时间零点、结局定义先写死,再去看候选数据能不能对上。"A级""90分"这类结论不能写进适用性评价报告,因为它回答不了监管问的那个问题。对所有由编码衍生出来的变量,准备好算法本身和它的准确性验证数据。预算分配上,把钱留给变量验证和溯源,而不是全砸在清洗上。
数据服务商和第三方,值钱的不是分数,是可核查性。能同时交付两套语言的机构很少:一份评测报告,加一份适用性论证材料。变量级的元数据比数据集级的分数更有议价能力。把ETL每一步做成可回放的留痕。还有一条很实际的:明确告诉客户这个数据集不适合回答哪类问题,写进局限性说明里——这不会掉价,反而是专业度的直接证明。
图片
07
总结两句
第一句:没有互认
TC609属于国家数据局主导的标准体系,适用性评价属于药品监管的技术要求。到目前为止,没有任何公开文件规定二者之间存在互认或替代关系。谁要是拿着一份评测证书说"这个药监认",请他把文号拿出来。
第二句:两套都不能省
只做第一套,数据出得了门,进不了申报。只做第二套,一个项目做完,下一个项目还得从头论证一遍。
它们真正的关系是这样的:可信是数据集自己的属性,可用是"数据集 × 研究问题"这一对的属性。可信是可用的必要条件,不是充分条件。
所以,别把A级证书当成适用性评价报告,也别把适用性评价报告当成A级证书。两张纸,各有各的门。


免责声明:

智慧医疗网转载其他网站内容,出于传递更多信息而非盈利之目的,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。

本平台所发布信息的内容和准确性由提供消息的原单位或组织独立承担完全责任!

凡来源注明智慧医疗网的内容为智慧医疗网原创,转载需获授权。

Copyright © 2022 上海科雷会展服务有限公司 旗下「智慧医疗网」版权所有    ICP备案号:沪ICP备17004559号-5