人工智能算法的性能依赖于高质量数据。然而，由于患者隐私保护以及高质量医疗数据，尤其是罕见病数据的匮乏，极大地限制了人工智能在医疗领域的广泛应用，随着近年来人工智能（AI）技术的飞速发展，一种创新的解决方案应运而生——AI合成医学影像技术，它为这一难题提供了新的突破口。近日，MedComm-Future Medicine期刊主编张康教授， 联合瞿佳教授和王劲卓研究员研发了世界首个通用大型生成式医学影像模型（MINIM）（图1），用于生成海量合成影像数据，为医学影像领域的大模型训练注入了“新燃料”，为下游医疗健康实施应用指明了一条崭新的道路。该研究成果2024年12月11日发表于国际顶尖学术期刊Nature Medicine ——《自然医学》，题为“Self-improving generative foundation model for synthetic medical image generation and clinical applications”的文章。
首先，研究团队收集了多种医学影像数据和对应的报告，构建了一个广泛的数据集。这些数据涵盖了OCT（光学相干断层扫描）、眼底摄影、胸部CT和X光等多种影像模式，以及相应的文本描述。对于OCT和眼底影像，研究团队实施了一个多层次的分级系统，由不同经验水平的医生进行图像标签的验证和校正。MINIM模型是一个基于扩散模型的新型框架，它利用配对的医学影像和文本描述来生成新的医学影像。在训练阶段，MINIM通过引入一系列随机高斯噪声来逐步扰乱输入图像，然后学习逆向扩散过程，以生成与文本描述相匹配的图像。为了评估MINIM模型的性能，研究团队将其与当前AI社区中最新的文本到图像的生成模型进行了比较，包括Imagen、DALLE、GigaGAN和StyleGAN-T。通过一系列的消融研究，确定了最佳的超参数设置（hyperparameters），以优化MINIM模型的生成质量。研究中还引入了基于人类反馈的两阶段强化学习框架（图2），这一框架利用合成数据来迭代训练。在第一阶段，生成的合成图像被传递给接收选择器，这是一个分类模块。在第二阶段，引入了主动选择过程，只有被选择的图像才会被传递给人类评估者进行评估。
图2. 使用人工评分的两阶段强化学习框架示意图
在这项研究中，研究团队对MINIM模型的评估质量、自我改进能力、下游应用等多个方面进行了深入研究。（1）评估质量：MINIM的图像质量及与临床文本的相关性均优于现有方法在主观评估中，医生对合成图像进行了三轮评分，评分标准为1至3分，分别代表图像质量低、高质量但与报告无关、高质量且与报告相符。MINIM在第一轮中的平均得分为70.75%，在经过强化学习优化后，第三轮的平均得分显著提高至89.25%，显示出MINIM在整合人类反馈后性能的显著提升（图3）。
图3. 生成的合成图像的评估。临床医生对生成的合成图像进行了三轮评分。客观评估结果显示，MINIM在所有评估指标上均优于其他文本到图像的生成方法。具体来说，MINIM在OCT、眼底摄影、胸部X光和胸部CT的FID（Fréchet Inception Distance，用于衡量生成图像与真实图像分布之间的相似度）、IS（Inception Score，用于评估生成图像的质量和多样性）和MS-SSIM（Multi-Scale Structural Similarity Index，多尺度结构相似性指数，用于衡量图像质量的指标）指标上均展现出较低的FID值、较高的IS值和较低的MS-SSIM值，表明其生成的图像具有更高的保真度。分类准确度得分（CAS）是评估合成数据的一个新兴替代指标，用于衡量仅在合成样本上训练的模型对真实测试数据的分类能力。MINIM在所有四个模态和器官上的Top-1准确度均优于其他生成方法。Top-1准确度是一个衡量模型性能的重要指标，用来描述模型对于给定输入样本做出的最有可能的预测与真实标签一致的比例，高Top-1准确度的模型意味着能够更可靠地对新的、未见过的数据做出正确的预测。在零样本图像-图像检索（IIR）和图像-文本检索（ITR）中，MINIM同样展现出优越的性能。这些评估进一步验证了MINIM合成图像的质量和与临床文本的相关性。（2）自我改进能力：通过强化学习和迁移学习，MINIM可以实现自我改进该研究还评估了MINIM通过基于人类反馈的强化学习（RLHF）和迁移学习实现自我改进的能力。通过RLHF策略，MINIM模型在图像生成的质量上取得了显著的提升（图4）。在眼科图像（OCT）的FID分数上，经过RLHF优化的MINIM模型从原始的65.3降低到43.3，IS分数从5.7±0.42提高到8.7±0.37，MS-SSIM分数从0.16±0.03降低到0.11±0.06。这些结果表明，将人类反馈纳入模型训练过程可以显著提高合成图像的质量。
图4. 来自临床医生评分的使用RLFH的合成图像的6个主观结果MINIM模型还具有良好的迁移能力。研究团队在模型中加入了脑和乳腺MRI数据集。在包含新数据集后，MINIM模型在原有四个模态（OCT、眼底摄影、胸部X光和胸部CT）上的性能也得到了提升。FID分数从65.3降低到51.3，IS分数从5.7±0.42提高到6.7±0.48，MS-SSIM分数从0.14±0.03提高到0.16±0.03。（3）下游应用：在诊断、报告生成和自监督学习等多个领域，MINIM合成图像显著提升了多类别诊断模型的分类准确性在下游应用方面，MINIM合成图像在诊断、报告生成和自监督学习等多个领域展现出显著的性能提升（图5）。特别是在诊断领域，合成数据的加入显著提高了多类别诊断模型的分类准确性。
图5. 将MINIM和其他生成模型的合成图像合并到真实数据中进行诊断任务的性能比较（4）临床应用：在肺癌EGFR突变检测和乳腺癌HER2状态检测中具有潜力在临床应用方面，MINIM在肺癌EGFR突变检测和乳腺癌HER2状态检测中表现出了其临床潜力。通过合成图像的辅助，模型在预测EGFR突变和HER2状态方面表现出了更高的准确性，可能对患者的治疗决策产生重要影响（图6）。
图6. 基于AI的突变预测性能及其对晚期肺癌患者5年生存率的影响。使用训练数据集中不同数量的合成图像对EGFR突变预测的基线和性能比较。通过将合成图像添加到训练中来提高HER2阳性预测的性能
综上所述，张康教授团队在医学影像合成领域取得了突破性进展，MINIM生成的合成数据展现了广泛的应用前景。研究表明，这些数据既可以单独作为训练集用于构建医学影像大模型，也可以与真实数据结合，显著提高模型在实际任务中的性能。在疾病诊断、医学报告生成及自监督学习等关键领域，使用MINIM生成的合成数据训练模型，获得了显著的性能提升。此外，该模型已在肺部CT影像的EGFR突变预测及生存分析、乳腺MRI影像的HER2阳性预测等场景中验证了其临床应用价值。MINIM模型凭借其自我改进能力和跨模态泛化性，为医学影像数据稀缺和隐私保护问题提供了创新的解决方案。通过生成合成数据替代真实患者数据，MINIM模型在保护患者隐私的同时，有效扩充了用于训练和测试AI模型的数据量，解决了与真实数据使用相关的伦理和法律挑战。这一方法提升了数据的可用性，确保了数据处理过程中的合规性，为医学影像分析领域带来了革命性的进步。
特别声明：智慧医疗网转载其他网站内容，出于传递更多信息而非盈利之目的，同时并不代表赞成其观点或证实其描述，内容仅供参考。版权归原作者所有，若有侵权，请联系我们删除。
凡来源注明智慧医疗网的内容为智慧医疗网原创，转载需获授权。
