欢迎访问智慧医疗网 | 网站首页
 
当前位置:首页 > 云医疗与数据安全

AI进医院容易,“安全进医院”难:医疗AI的数据红线划在哪?——《网络安全标准实践指南——人工智能应用安全指引 卫生健康》

发布时间:2026-11-02 来源:奔跑的数智安 浏览量: 字号:【加大】【减小】 手机上观看

打开手机扫描二维码
即可在手机端查看

AI 进医院,走的是采购流程:立项、比价、试用、上线,每一步都有预算科目,招标文件里能写上“AI 辅助诊断”这一项。安全进医院走的是另一套流程:AI 应用风险定级、评估、留痕、复评,常常只有一个牵头人。定级这项工作,不在任何一份采购预算里。

2026 年 9 月,全国网络安全标准化技术委员会秘书处发布《网络安全标准实践指南——人工智能应用安全指引 卫生健康》,把卫生健康领域的 AI 应用按风险分成特别重大、重大、较大、一般、低风险五级,覆盖医疗辅助与支持、患者服务与应用、公共卫生与应急等场景,并对患者个人健康信息、诊疗数据提出采集、存储、传输、使用、销毁全流程的安全要求。《网络数据安全管理条例》也要求,使用人工智能等新技术处理数据时,应当评估安全风险并采取技术措施。

微信图片_2026-11-02_162503_105.png

图 1:《网络安全标准实践指南——人工智能应用安全指引 卫生健康》(TC260-PG-202610A)总体框架

多数人读到“五级”就停了,以为这是一次给 AI 贴标签的工作。每一级背后都有一列“人工介入程度”,它比级别本身更值得看。这份指引衡量的重点是,模型出错时人还能不能接手。数据红线也不在服务器边界上,而在人接手的那一步。

🧭 一、五级不是五个标签,是一次“人还能不能接手”的判断

1.1 四个维度里,第一个就是人

定级看四个维度:人工介入程度、结果严重程度、经济与社会影响等级、伦理与合规风险等级。人工介入程度排在第一,它决定错误能不能被及时纠正。

微信图片_2026-11-02_162507_297.png

图 2:《网络安全标准实践指南——人工智能应用安全指引 卫生健康》(TC260-PG-202610A)四个评估维度在影像辅助判读中的具体所指

以影像辅助判读为例。人工介入程度,看系统出错时医生在哪个环节接手、来不来得及改;结果严重程度,看错一次有多大伤害,比如漏掉早期病灶,方案就跟着变;经济与社会影响,看系统铺到十几家医院后,一次偏差波及多少患者;伦理与合规风险,看它在不同人群上的性能差异,以及患者知不知道影像经过模型处理。

1.2 级别跟着流程走,不跟着算法走

把五级摊开看,差别不在算法参数。低风险的应用,人工完全主导,拥有绝对控制与审核权限;到了特别重大风险,系统高度自主运行,人只在重大失效、引发严重风险时紧急介入终止。五个级别顺着看下来,人的位置从全管退到只能叫停。

微信图片_2026-11-02_162511_093.png

图 3:《网络安全标准实践指南——人工智能应用安全指引 卫生健康》(TC260-PG-202610A)附录中的五级风险与人工介入程度

同一套影像辅助判读模型,放在三甲医院和放在社区医院,定级可能不同。算法没变,变的是复核能力:三甲有影像科医生随时复核,社区医院可能只有一名全科医生。同一个模型在不同医院定出不同级别,原因是流程,不是算法。

复核能力不是一个态度问题,是一个容量问题。一个医生一天要看的报告本就成排,系统再叠上几十条提示,结果往往是无差别点“已阅”。指引把警报疲劳、自动化偏见、认知负荷写进较大风险的描述里,说的就是这种状态:流程上有人审核,实际执行时已经没人细看。

1.3 附录给的是方法,定级难在没人认领

还要说清一点,五级分级写在附录里,属资料性内容,给的是识别与评估的方法,用的时候要与同系列的总则文件配合看。四个维度可以直接用,别人给出的定级结论不能直接搬。

定级的难处不在技术判断。临床、技术、伦理三条线一起评,最常见的场面是三方都能说“这不归我”;评完之后,也没有部门天然拥有后续的复核人力。

级别定得越高,同一条数据的管控就收紧一档。级别一变,同一条数据的管控要求也跟着变。

🩺 二、数据红线落在三处,每处都站着一个“接手的人”

这份指引把强化数据安全与隐私保护放在总体原则的首位,要求明确采集、存储、传输、使用、销毁的安全规范,采取加密、脱敏等技术措施。红线落在三处,每一处都由一个具体的人把关。往下拆到具体条款,三处要回答的是“这一步谁在看”,而不是“加密够不够”。

微信图片_2026-11-02_162514_453.png

图 4:《网络安全标准实践指南——人工智能应用安全指引 卫生健康》(TC260-PG-202610A)对输入、使用、输出三段的管控要求

2.1 进模型之前,能少给就少给

训练数据与输入数据这一侧,落点是两个动作:脱敏与去标识化、最小必要。指引要求以居民电子健康档案为核心,建立患者数据调阅审批与留痕审计机制,落实分级授权、最小必要访问、异常访问告警与定期复核。这一段的负责人是管数据的那个人,动作是“批不批这一次调阅”。

最小必要落到具体场景,是一句能被追问的话。一次远程会诊要调患者几年的全量档案,还是只调本次就诊的检查与用药?系统默认给的往往是前者,因为字段全、接口简单。把默认值改成后者,需要有人在需求评审时提出来。指引把这件事压给医疗卫生机构,机构内部落到哪个岗位,得在制度里写清楚,岗位没写进制度,这件事就没有人负责。

去标识化另有一个常被忽略的边界:单条去标识化不等于不可复原。姓名、住院号、检查日期,加上影像文件头里的设备与体位信息,单看都是技术字段,凑起来却是一整套定位坐标;就诊时间、科室、罕见证型拼在一起,往往也能指到同一个人。判断要看这些字段拼起来还能不能指到人,而不只是单个字段删没删。

2.2 用的时候,谁看哪一块要能查

使用环节的控制动作有四个,配上指引要求的几类日志,才构成一条能回溯的链。

①分级授权要拆到能落到具体账号的程度:哪个科室、哪个角色、能看哪些数据范围,临时授权另设期限。②存储与传输这两段,指引给的是加密、脱敏这类技术措施,落到具体动作是按级别分域存放、关键链路加密。③日志要在出事时能答出“哪一次调用、谁点的、拿走多少”,而不只是存着。

微信图片_2026-11-02_162517_618.png

图 5:《网络安全标准实践指南——人工智能应用安全指引 卫生健康》(TC260-PG-202610A)要求的访问控制动作与日志类型

④只记登录成功与失败,不记查询条件与返回条数,出了批量拉取的事,一样说不清。能对上人的日志,至少能回答三个问题:谁、什么时候、拿走多少。

2.3 出来之后,最容易漏的是回流

模型输出不是终点。它写出来的东西会重新进入病历、进入优化、进入标注,最后都汇到同一个地方。这一段的漏洞通常在上一次的输出变成下一次的输入,而不是训练集。

微信图片_2026-11-02_162521_127.png

图 6:《网络安全标准实践指南——人工智能应用安全指引 卫生健康》(TC260-PG-202610A)中的模型输出回流路径

这一段有三个硬动作:对低置信度情形启用强制人工复核;识别到急救指征时中断智能问答、转人工或急诊;对生成合成内容做标识。退役下线时还要做一次综合性安全评估,合规处置数据资产。这三件事都要落到具体的人签字,系统本身签不了。

标识这件事常被当成形式。患者看到的是一段通顺的文字,看不出这句是人写的还是模型生成的;医生复制进病历时,也常常顺手删掉来源标记。指引要求对生成合成内容做标识,真正的落点是这段内容进了病历之后,还能不能追到它是模型写的。

公共卫生与应急这一类应用还多一层。传染病监测、流调分析、突发预警的输出,往往直接进入多部门决策,个人层面的复核不够用。指引要求建立多部门协同决策记录机制,对群体性不明原因疾病等异常事件强制人工介入、交叉验证。这类场景里“接手的人”不是一个医生,是一组会签的人,记录要能还原谁在什么时候同意了这个判断。

📋 三、定完级之后,能留下痕迹的三件事

定级不是终点。能验收的是定级的依据、接手的动作、拒过的请求都留得下来,而不只是“定了级”。

真正难的在落地,而且都不在“知不知道”这一层。厂商常常交不出低置信度的判定逻辑,人工复核就没有下手的地方;复核要占医生工时,而工时不在项目预算里。

3.1 一张台账要能回答四个问题

四个维度逐项打分,写清谁参与、依据是什么、结论与被否掉的理由,形成书面记录并纳入系统风险管理文档。指引要求组织临床、技术、伦理等多学科团队一起做,不是信息科一家关起门来填表。一张合格的台账要能答出四个问题,缺一个就说明这次定级只是走完了流程。

台账还要有签字与复评两栏。签字栏写清谁对这次定级负责,落到具体的人;复评栏写清下次什么时候看。系统换了模型版本、扩了适用科室、接入了新数据源,都要触发一次重评。这两栏空着,台账就只是一份一次性的申报材料。

微信图片_2026-11-02_162524_285.png

图 7:《网络安全标准实践指南——人工智能应用安全指引 卫生健康》(TC260-PG-202610A)风险定级台账的填写要素

3.2 三份能拿去谈判和验收的材料

三份材料分别落在采购、上线、运行三个时点,采购那一份要写进合同,上线那一份要能拿去过审,运行那一份要能被抽查。它们的共同点是,出了事都能被第三方查到。

合同条款最容易被写成形容词。“具备完善的安全保障能力”没法验收,“低置信度输出进入人工复核队列、复核人与复核结论逐条留痕”可以验收。同一句要求,写成动作、写清门槛、写成能被抽查的记录,交付时才有对表的东西。验收节点也要写进去,不能只在出事后才翻合同。

微信图片_2026-11-02_162527_457.png

图 8:《网络安全标准实践指南——人工智能应用安全指引 卫生健康》(TC260-PG-202610A)落地可交付的三类材料

对厂商来说,这三份也是投标与交付的对表清单。医院问“你们怎么保证不出错”,能拿出来的答案是出错时谁在什么时候接手、留了什么证据,准确率回答不了这个问题。

回到开头那句。AI 进医院的门槛是采购预算,安全进医院的门槛是这条红线后面有没有人真的接手。五级风险、四个维度、五个场景,落到医院手里其实是三件事:把AI应用风险级别定清、把接手的人写进流程、把每一次访问留成证据。

你们医院的 AI 系统,定级是谁签的字?人工复核停在哪一步,是没人看,还是看了不算?欢迎在评论区聊聊实际做法,也欢迎转给厂商的交付团队,一起对一遍。

免责声明:

智慧医疗网转载其他网站内容,出于传递更多信息而非盈利之目的,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。

本平台所发布信息的内容和准确性由提供消息的原单位或组织独立承担完全责任!

凡来源注明智慧医疗网的内容为智慧医疗网原创,转载需获授权。


Copyright © 2022 上海科雷会展服务有限公司 旗下「智慧医疗网」版权所有    ICP备案号:沪ICP备17004559号-5