7月5日，2024世界人工智能大会上，支付宝公布了AI技术在医疗领域布局的最新进展，并发布了多模态医疗大模型。同时推出医疗可信一体机、可信云等多款数智化解决方案。同时，在大会现场，支付宝、人民卫生出版社、北京大学医学部、浙江省卫生健康委等20多家机构和企业联合发起了AI医疗共建计划，共同探索大模型应用及各类专科模型的创新研发。
经过半年多测试打磨，支付宝医疗大模型在本次大会上正式亮相，这是国内首批多模态医疗大模型之一。蚂蚁集团大模型应用部总经理顾进杰介绍：蚂蚁百灵大模型已具备能“看”会“听”、能“说”会“画”的原生多模态能力，可以直接理解并训练音频、视频、图、文等多模态数据。
支付宝医疗大模型是以此为基座模型，添加了包含报告、影像、药品等百亿级中英文图文、千亿级医疗文本语料及千万级高质量医疗知识图谱，中英文医疗考试、基准测试达到或超过GPT4水准。同时，为让回答对话更加可靠，在研发阶段，支付宝还与数百个专业医学团队、专家进行合作标注数据，保障信息权威可信，同时联合上海仁济医院推出首个中文医疗专科问答推理数据集RJUA-QA。模型测试阶段，用户、患者、医生参与问答反馈，在专业同时，兼顾患者关怀。目前，该多模态医疗大模型不仅提供智能问答、病历结构化和检索、辅助诊断，还可识别解读药品及上百种复杂的医学报告，进行毛发健康检测等，这些都能嵌入医院等机构医疗环节全流程，创新医疗服务的同时，也助力提升机构运营效率。顾进杰表示：
AI的深度应用，不仅对数据、算法、算力提出了更高要求，也对可靠、安全、隐私提出更多挑战，医疗场景下，保障技术可靠与数据隐私安全，至关重要。为此，支付宝面向行业推出全新的“医疗可信一体机+可信云”的解决方案，通过密态计算与存储，让医疗数据可用不可见，机构保管更安全。
自去年以来，支付宝就加速了AI技术在医疗领域的开放与布局。去年11月，浙江卫健委应用支付宝开放的“AI就医助理”解决方案，依托大模型、数字人技术，打造了全国首个数字健康人“安诊儿”，给浙江居民提供云陪诊、健康咨询等服务，上线以来，服务了1000多家医疗机构。上海市第一人民医院，应用AI大模型，不仅上线了上海首个可语音交互的“数字陪诊师”，还在业内首创了生成式电子病历，将繁杂的文书工作从原本的10分钟缩减到了15秒。支付宝副总裁、数字医疗健康事业部总经理张俊杰表示：
支付宝希望用最顶尖的技术做最普惠的服务，让AI像‘扫码支付’一样便利每个人的生活。支付宝也会持续开放AI技术与行业解决方案，携手合作伙伴一起，推动智能医疗走向普惠、普及。
