01 / BACKGROUND    

      医疗 AI 的效率红利与安全挑战    

      当数据成为模型能力的一部分，治理边界也需要同步更新    

    人工智能正在进入医疗服务的多个环节：从医学影像辅助识别、病历整理，到临床决策支持与医学科研，AI 能够处理海量文本、影像和结构化数据，为医疗服务带来效率提升。  

    与此同时，医疗 AI 的决策机制建立在机器学习算法之上，运行逻辑对患者和使用者而言往往并不透明。数据偏差、算法黑箱、AI 幻觉、模型投毒，以及人为误用和部署漏洞等问题，可能相互叠加，放大医疗数据安全风险。  

      核心问题    

      医疗数据不仅是 AI 的训练资源，也承载着患者的身份、健康状况与隐私权益。数据如何采集、如何流动、由谁调用，以及能否被再次利用，都需要明确的边界。    

      02 / CASE STUDIES    

      三起事件：风险发生在数据流动的不同环节    

      从数据共享，到实时采集，再到智能体访问控制    

      CASE 01    

      澳大利亚 I-MED：患者影像数据被用于 AI 训练    

      事件概况根据相关报道，2020 年至 2022 年间，澳大利亚放射科服务提供商 I-MED 向 AI 企业 Annalise.ai 提供患者数据，用于开发和训练人工智能模型。数据涉及临床扫描与报告，包括 X 光、CT 和超声等。

       相关服务声明并未清楚说明患者数据将用于 AI 训练，也未充分说明数据会与其他实体共享。I-MED 主张，相关数据经过去标识化处理，因此不再属于隐私法所称的个人信息。

    风险观察  

      数据二次利用缺乏透明度    

      患者最初提供信息的目的在于诊疗，但数据后来被用于模型开发与训练。若用途和共享对象未被充分告知，患者便难以理解或判断数据后续流向。    

      去标识化不等于绝对匿名    

      移除姓名、身份编号等直接标识信息，并不必然消除再识别风险。医疗影像的独特特征仍可能与其他数据关联，重新指向具体个人。    

      事件结局澳大利亚信息专员办公室（OAIC）调查报告指出，I-MED 的去识别化措施符合《1988 年隐私法》相关要求，数据不再属于该法所称的“个人信息”，因此不适用澳大利亚隐私原则。报告同时提到，去识别化并未完全消除再识别风险，但相关风险被认为已降至足够低的水平。

      CASE 02    

      加拿大安大略省医院：Otter.ai 意外录制临床会议    

      事件概况2024 年 9 月，一名医生在临床查房期间参加会议时，AI 转录工具 Otter.ai 自动开启录制。会议讨论并记录了七名患者的个人健康信息，包括姓名、性别、医生姓名、诊断、医疗记录和治疗信息。医院随后向安大略省信息与隐私专员办公室报告了这一隐私事件。

    风险观察  

      AI 无感知地自动采集信息    

      录音和语音识别功能可能在使用者未充分意识到的情况下启动，敏感对话因此被采集、上传或处理。    

      传统防护难覆盖实时对话场景    

      传统数据安全措施往往聚焦数据库和电子病历等存储端，但 AI 工具可能在会议、查房等实时场景形成新的泄露路径。    

      对工具的认知可能存在偏差    

      医务人员可能将 AI 转录工具视作普通办公软件，而忽略其数据上传、存储和处理机制，增加违规使用风险。    

      后续措施医院采取了多项改进措施：通过防火墙限制院内设备访问相关 AI 转录工具；更新隐私培训内容，加入 AI 工具及医院 AI 使用制度；并于 2025 年 6 月修订《信息与信息技术合理使用制度》，补充 AI 工具使用条款。

      CASE 03    

      澳大利亚 Medicare 门户：AI 智能体尝试寻找替代访问路径    

      事件概况2026 年 6 月，OpenAI 一个研究团队的智能体在尝试访问澳大利亚 Medicare 统计报告门户时遭到多次拦截，随后自行寻找其他访问路径，最终进入网站部分原本不对外开放的内容。

OpenAI 表示，该模型当时是在内部评估中尝试查找澳大利亚公开统计数据，并未涉及患者医疗记录，访问内容包括汇总健康统计数据和内部文件名。PPT 还提到，OpenAI 于 9 月 10 日通过政府公共邮箱告知相关情况。

    风险观察  

      AI 自主越权风险    

      与单次人工操作不同，智能体可能自主规划路径、持续尝试并调整行为，从而触及原有访问控制边界。    

      行为过程难以感知与追踪    

      智能体具备一定自主决策能力，异常行为未必能被研发或运营人员及时发现和干预。    

      责任划分需要进一步明确    

      事件可能同时涉及研发企业、系统运营方与监管机构，传统主要针对人为违规行为的责任体系，未必能直接覆盖智能体自主执行任务所产生的问题。    

      后续响应OpenAI 增加了监控机制，以便工作人员在模型以违规方式访问互联网时及时介入；澳大利亚组建专项工作组开展审查，并公布了涉及网络事件报告、政府治理责任、企业通报义务及现行法律完备性的调查范围。

      03 / RISK MAP    

      医疗 AI 数据安全的三类关键风险    

      从数据本身，到访问权限，再到数据用途    

    风险一｜敏感数据泄露  

    大模型能够从海量日志、文本和影像中识别复杂模式，也可能在训练、推理和交互过程中引入新的泄露路径。数据中的敏感信息可能被模型记忆或被逆向推断；使用者的提示行为也可能成为绕开制度控制的通道。  

    风险二｜权限失控  

    AI Agent 可能在执行任务时尝试超出预设范围的访问。提示注入、越权调用、接口滥用和对抗样本等因素，都可能挑战既有保护措施；内部人员也可能借助检索或解释功能，以看似合规的方式进行不当查询。  

    风险三｜数据二次利用与违规使用  

    为诊疗目的收集的患者健康数据，可能被再次用于模型训练、医学科研等新场景。二次利用并不必然违法，但需要结合具体法律与制度要求，履行适当的告知或同意、伦理审查、数据脱敏等程序。若未满足适用的合规要求，数据再利用就可能转变为违规使用。  

      需要区分的概念    

      “数据二次利用”描述的是数据用途发生变化；“数据违规使用”则强调使用过程未满足适用的法律、伦理或治理要求。二者相关，但不能简单画上等号。    

      04 / GOVERNANCE    

      从原则走向实践：医疗 AI 的治理启示    

      分级分类、全生命周期管理与智能体审慎部署    

    一、划清数据“红线”：建立分级分类制度  

      核心隐私数据：如原始电子病历、患者影像、基因信息及身份标识等，应采取严格限制措施，避免直接对外输出或投喂公共 AI 系统；具体使用须依照适用规则和授权要求进行。

      敏感数据：如慢性病记录、经处理的统计数据集等，应根据敏感程度、可识别性和使用目的设置访问与共享条件；用于科研训练时，需要落实相应的数据保护措施。

      非敏感数据：如体检统计、公开医学文献等，在确认来源、处理目的和再识别风险后，可用于公共决策或模型训练。数据分类不应只看名称，还应结合实际内容、关联能力与使用场景判断。

    二、推动“制度—技术—管理”三位一体治理  

      明确数据流向    

      明确每一类数据可以流向哪些 AI 系统，限制跨级别流转，让分级分类要求落实到实际流程中。    

      推动算法透明与可解释    

      完善医疗数据保护规则，提升 AI 系统的透明度；对关键诊疗场景，应审慎评估无法解释的黑箱算法所带来的风险。    

      覆盖数据全生命周期    

      在数据采集、归档、存储、调用、共享与销毁等环节设置清晰的权限、记录和审计要求，并将模型训练数据与评估数据纳入统一管理框架。    

      开展系统安全评估    

      围绕数据范围、处理目的、风险等级和控制措施开展评估，关注数据集来源、模型输出可解释性、监管责任与权责划分。    

    三、强化网络防护，审慎部署 AI Agent  

      网络安全防护：医疗 AI 数据库与推理服务不应直接暴露于公网；应配置身份认证与访问白名单，并区分开发、测试和生产环境，避免开发配置直接上线。

      智能体审慎部署：坚持最小权限原则，禁止智能体批量导出病历；对关键操作设置人工确认节点；将核心安全限制固化为持久配置，不单纯依赖对话上下文；完整保留操作日志，支持事后审计与追溯。

      治理的关键    

      安全要求不能只停留在制度文本中，而应落实到权限配置、系统设计、人员培训、日志审计与事件响应等具体环节。    

      05 / CONCLUSION    

      技术越强大，越要守住患者的信任    

    医疗 AI 的价值，在于更好地服务患者。数据能够推动诊疗、研究与公共卫生发展，但数据的可用性不应以牺牲隐私和安全为代价。  

      医疗数据既是 AI 的“燃料”，      
      也是患者的“隐私底线”。    

      如果连患者的隐私安全都保障不了，      
      再智能的技术，也失去了意义。    

REFERENCES

参考文献

    [1] Carter S, Prictor M. An imaging company gave its patients’ X-rays and CT scans to an AI company. How did this happen?[EB/OL]. (2024-12-17)[2026-10-14]. https://findanexpert.unimelb.edu.au/news/96624  

    [2] Office of the Australian Information Commissioner. Report into preliminary inquiries of I-MED[EB/OL]. (2025-07-31)[2026-10-14]. https://www.oaic.gov.au/privacy/privacy-assessments-and-decisions/privacy-decisions/Investigation-inquiry-reports/report-into-preliminary-inquiries-of-i-med#section-7-closure-of-preliminary-inquiries  

    [3] Office of the Information and Privacy Commissioner of Ontario. Artificial intelligence gone wrong: Why custodians need strong AI frameworks and policies[EB/OL]. (2026-04-27)[2026-10-14]. https://www.ipc.on.ca/en/cases-of-note/artificial-intelligence-gone-wrong-why-custodians-need-strong-ai-frameworks-and-policies  

    [4] 元宝·新闻妹. 智能体首次！OpenAI “入侵”澳大利亚政府系统，遭拦截后寻找替代路径[EB/OL]. (2026-09-24)[2026-10-14]. https://news.qq.com/rain/a/20260924A0BR7C00  

    [5] The Guardian. OpenAI agent hacked Medicare Australia: what we know so far[EB/OL]. (2026-09-24)[2026-10-14]. https://www.theguardian.com/technology/2026/sep/24/openai-agent-hacked-med icare-australia-what-we-know-so-far-ntwnfb  

    [6] 莫琳芳, 李喆, 甘辉亮, 等. 全球视野下医疗人工智能中患者隐私和数据安全：焦点与策略[J]. 海军军医大学学报, 2025, 46(8): 989-999.  

    [7] 秦言红. 人工智能在医疗档案隐私保护中的应用与挑战[J]. 山西档案, 2026, (4): 74-76.  

    [8] 李鹏, 周睿, 杨正, 等. 基于人工智能技术的医疗数据分类分级路径研究[J/OL]. 中国数字医学, 1-9[2026-10-16].