当 AI 从“工具”变成“系统的一部分”， 问题的性质就彻底改变了。

第一条红线：

AI 不能成为“默认正确”的一方

在医疗系统中，“默认正确”本身就是一种权力。

一旦 AI 的输出被：

• 自动采纳
• 流程默认执行
• 医生视为“系统意见”

它就不再只是辅助工具， 而是一个隐形的决策参与者。

问题在于：

• AI 目前无法成为责任主体
• 却已经在事实上影响决策方向

这会直接破坏医疗系统最核心的一条原则：

任何让 AI 获得“默认正确”地位的系统设计， 都会让责任链条开始松动。

第二条红线：

AI 不能在高风险决策中“无感介入”

医疗系统最危险的状态， 不是 AI 给出错误建议， 而是——医生并不清楚自己正在被 AI 影响。

例如：

• 自动排序的诊疗路径
• 未清晰标注来源的推荐方案
• 被系统默认弱化的“非推荐选项”

如果这些 AI 行为：

• 不被显性提示
• 不被明确标注
• 不可被直接拒绝

那么它已经绕开了医生的判断意识。

在一线专家看来， 这比“模型不准”更不可接受。

第三条红线：

AI 不能替代不可计算的“价值判断”

医学并不是一个完全由最优解构成的系统。

在许多关键节点， 医生面对的不是“算哪个更优”， 而是：

• 风险与收益如何权衡
• 生存时间与生活质量如何取舍
• 技术可行性与患者意愿如何平衡

这些判断具备三个共同特征：

• 不可逆
• 强情境
• 强伦理

它们不能被系统外包。

任何试图让 AI 承担这类判断的设计， 都会在现实中遭到系统性抵制。

那 AI 还能如何进入医疗系统？

在三条红线之外， AI 并非无路可走。

事实上，只有一条路径，能同时被专家与系统接受。

唯一可行的通路：

AI 作为“系统级风险放大器”，而非决策生成器

真正能进入医疗系统的 AI， 往往不是“最像医生的 AI”， 而是最清楚自己不该当医生的 AI。

在这条通路中，AI 只承担四类角色：

第一，放大风险

• 异常指标提示
• 高危情况预警
• 潜在遗漏提醒

第二，校验流程

• 是否偏离指南
• 是否违反规范
• 是否存在结构性风险

第三，提供证据

• 文献与指南支持
• 相似病例路径
• 统计与概率信息

第四，完整留痕

• 决策过程记录
• 事后复盘支持
• 责任边界清晰

但它不做最后一步：

• 不拍板
• 不否决
• 不替人负责

一个常被忽视的事实

在医疗系统中，越重要的判断， 越不能被“系统化得太聪明”。

真正成熟的 AI 医疗系统， 不是让 AI 成为“更权威的声音”， 而是让它始终处于：

它不争夺判断权， 却持续放大风险。

最后

三条红线， 不是限制创新， 而是防止创新以“系统事故”的形式出现。

而那一条通路， 也许并不激进， 却是——目前唯一能让 AI 真正进入医疗系统的现实路径。