麻省理工学院在《npj digital medicine》发表了一项研究“Integrated multimodal artificial intelligence framework for healthcare applications”，介绍了一个全面的人工智能医学框架，该框架旨在通过多模态输入优化医疗AI系统，通过标准化的数据预处理和机器学习建模，适用于医疗环境的研究和应用。
随着人工智能（Artificial intelligence，AI）和机器学习（machine learning，ML）技术的不断进步，这些技术在临床实践和医疗运营中的应用变得日益重要。它们在提升临床效率和改善患者治疗结果方面展现出巨大潜力。具体来说，多模态AI/ML系统能通过整合电子健康记录（electronic health record，EHR）中的多种数据形式，如表格数据、图像、时间序列和文本等，对医疗专业人员的决策过程进行模拟，从而显著提高预测的准确性和响应速度。
该研究中介绍的HAIM模块化ML框架，专为处理和整合多种数据模式而设计，通过一个统一的处理和特征聚合平台，显著提升AI/ML系统的整体性能。作为一个开源项目，HAIM框架支持临床医生和研究人员更有效地利用本地数据集解决临床相关的预测任务，从而最大化多模态数据的实际应用价值。本研究数据集采用Medical Information Cart for Intensive Care (MIMIC)-IV数据库，该数据库为公开可访问数据库，收录了2008年至2019年间在波士顿Beth Israel Deaconess医疗中心（Beth Israel Deaconess Medical Center，BIDMC）重症监护室或急诊科的383,220名患者的去隐私化数据。MIMIC-IV数据库的最新版本（v1.0）在前一版本MIMIC-III基础上进行了优化，提供了超过40,000名住院患者的EHR。此外，还使用了含377,110张放射影像及其文本报告的MIMIC胸部X光数据库v2.0.0。这些数据与MIMIC-IV v1.0中的患者记录相对应，并被整合成一个统一的多模态数据集（HAIM-MIMIC-MM），用于本研究的所有机器学习用例分析。通过查询聚合的多模态数据集HAIM-MIMIC-MM，为每个单独的住院事件生成了包含广泛患者特定信息的个体文件。这些文件汇集了包括入院、转院记录、人口统计数据、实验室测量值、医嘱、微生物培养、药物管理、处方、程序事件、静脉和流体输入、传感器输出、测量事件、放射影像、放射报告、心电图、超声心动图报告、笔记及医院账单信息等在内的多维数据。对每个患者文件进行独立处理，为每种数据类型生成固定维度的向量嵌入。这些嵌入包括表格数据（如人口统计学数据）、结构化时间序列事件（如图表事件、实验室事件、程序事件）、非结构化自由文本（如放射学笔记、心电图笔记、超声心动图笔记）、单图像视觉（如视觉概率、视觉密集层特征）和多图像视觉（如聚合视觉概率、聚合视觉密集层特征）。利用预训练模型（例如Clinical BERT和Densenet121）提取文本和图像数据的嵌入，并将这些嵌入整合成单一的多模态融合嵌入，输入到HAIM框架进行下游任务建模。针对模态缺失数据，数值型模态数据，研究团队采用了零值填补，而字符文本型模态的数据，则采用空字符串填补。通过从HAIM-MIMIC-MM数据库中提取的多模态融合嵌入，构建了用于诊断胸部病理、预测住院时长和48小时内死亡率的分类模型。模型采用XGBoost方法，通过五次不同的数据切分，将嵌入随机分为训练集（80%）和测试集（20%）。同时在训练集上使用五折交叉验证进行超参数搜索，获取最优的超参数组合，以评估模型性能并确保数据的完整性和可靠性。在整合的多模态临床数据集（HAIM-MIMIC-MM）上，HAIM框架展现了其可行性和多功能性。此数据集包含34,537个样本，覆盖了7,279次住院和6,485名患者。HAIM框架在先前的基础上进行了优化，增加了可扩展的患者中心数据预处理和标准化特征提取阶段。这些改进支持了基于用户定义的预测目标的模型快速原型化、测试和部署。模型表现中，随着模态和数据来源的增多，平均AUROC值呈现一致性增长，同时AUROC标准差也有明显的下降。
HAIM框架生成的模型在处理多源和多模态输入时性能显著提升。相比传统的单模态系统，模型在胸部X光病理预测、住院时长及48小时内死亡率预测等方面均有所增强，其中胸部病理预测的具体改进包括骨折（ΔAUROC = 6%）、肺部病变（ΔAUROC = 7%）等，最高提升至水肿和心脏增大的预测（ΔAUROC = 10%）。研究团队进一步分析了数据源和模态对模型性能的具体贡献，通过计算每个数据源和模态对AUROC性能的Shapley值，揭示了各因素的影响力。在胸部病理诊断中，视觉数据的贡献最大；而在预测住院时长和48小时死亡率方面，患者历史时间序列数据更为重要。此外，Shapley值的分析还能够监测特征提取和模型训练阶段的错误传播和信息损失。虽然存在多模态数据的冗余，但结果显示，各单一模态都对模型预测能力呈现积极的单调趋势。
这些结果验证了HAIM框架在多模态输入处理和预训练特征提取方面的价值和局限，证明了其在生成多种临床任务预测模型方面的经济效益和有效性。该文证明了多模态融合学习在处理临床任务上的积极作用，并通过大规模实验验证了其有效性，为医疗保健领域中AI系统的发展和应用提供了重要的理论和实践贡献。Ref:
Soenksen, L.R., Ma, Y., Zeng, C. et al. Integrated multimodal artificial intelligence framework for healthcare applications. npj Digit. Med. 5, 149 (2022).
