【摘要】随着人工智能(AI)的发展,骨科手术机器人与AI的结合已是目前的研究热点。机器学习与深度学习是AI的重要研究方向,并成功应用于计算机视觉、自然语言处理等领域。传统的骨科手术机器人已实现部分手术的临床应用,但临床手术的精密性、安全性、微创化与智能化等问题均未完全解决。AI作为新兴技术,将为推动当前骨科手术机器人的不断革新提供强大支持。本文概述了骨科机器人的应用现状,阐述了AI在关节骨科手术机器人、脊柱外科手术机器人与创伤骨科手术机器人的应用情况,并根据AI的发展趋势展望了骨科机器人的未来发展方向。
1956年,“人工智能(artificial intelligence, AI)”术语由约翰·麦卡锡(John McCarthy)首次提出[1],这标志着AI学科的诞生。21世纪初,随着计算机图形处理单元(graphic processing unit, GPU)的普及与数据 储存容量的无限扩展,AI 得以前所未有的快速发 展[2]。到目前为止,AI作为计算机学科的一个分支,是 一门涉及信息学、逻辑学、认知学、心理学、脑科学、生 物学等多学科交叉的综合型技术学科。随着机器学 习与深度学习的发展,AI技术已广泛应用于教育、工 业、商业、医疗等领域,为人类带来了巨大的经济效益和社会效益,极大促进了社会的发展,有效提高了人们的生活水平与生活质量。机器学习与深度学习作 为AI的重要研究方向,在医疗领域得以广泛应用,促 进了疾病的智能诊断、治疗与预后[3,4]。骨科手术是典型的硬组织操作手术,术式复杂多样,手术风险大,对医师临床经验要求高,在传统手术条件下具有创伤大、辐射量高、手术时间长及术后恢 复慢等问题[5]。随着导航技术与机器人技术的不断创 新与发展,骨科手术机器人成为推进精准、微创骨科治疗的核心设备与技术,并已逐步应用于临床。骨科手术机器人与AI结合,使微创化、智能安全化、精准化 与个性化疾病治疗成为可能,有效弥补了传统骨科手 术的不足。骨科手术机器人根据机器人与医师之间的关系及自动化程度可分为主动型、半主动型与被动型;根据现有骨科手术类别可分为关节骨科手术机器 人、脊柱外科手术机器人与创伤骨科手术机器人等[6]。
本文概述了当前骨科手术机器人的应用现状,并详细阐述了AI在关节骨科手术机器人、脊柱外科 手术机器人与创伤骨科手术机器人的应用情况,总 结了当前骨科手术机器人的不足与发展趋势,有助 于相关研究者对当前骨科手术机器人的全面认识与深入了解,进而对未来的发展有更清晰的认识。
1 AI在骨科手术机器人中的应用
设置(Set-up)、注册(Registration)、规划(Plan-ning)与执行(Execution)是骨科手术机器人系统遵 循的四个环节。如果存在先验图像,操作流程为规 划、设置、注册、执行;反之为设置、注册、规划、执行 (图 1)[7]。AI 的机器学习或深度学习算法在医学成 像分析方面应用广泛[8]。但在骨科手术中应用的文 献尚少[9],以基于医学成像的术前诊断与规划为主, 探讨如何借助AI有效提高手术的准确率,避免人为错误。
1.1 AI在关节骨科手术机器人中的应用
关节骨科手术机器人主要应用于全髋关节置换术(total hip arthroplasty, THA)、全关节置换术(to tal knee arthroplasty, TKA与单髁关节置换术(unicompartmental knee arthroplasty, UKA)[10],旨在实现 治疗精准化,提高假体存活率,降低植入物翻修率, 改善临床疗效[11]。1992 年研发的 ROBODOC 作为 全球首款骨科手术机器人,应用于THA[12]。此后,随着科学技术的发展,多款THA手术机器人可供术者选择,如 CASPAR、ACROBOT 与 MAKO 机器人系 统;同时骨科手术机器人也逐步应用到 TKA,除 ROBODOC与MAKO机器人系统外,还有iBlock(原 Praxiteles)、Navio FPS与Rosa Knee机器人系统[13]。
1.1.1 THA术前规划
THA 是治疗髋关节终末期疾病的最有效术式, 也是医学中最成功的手术之一[14]。通过关节骨科手 术机器人治疗可提高手术的精确度,进而提高手术成功率、减少手术创伤、降低并发症发生率、增加患者满意度,这些成效均得力于关节骨科手术机器人 的术前规划[15]。
髋关节疾病的CT图像具有明显特征,通过深度学习算法可以实现快速、准确的特征提取,并完成关 节的智能分割,从而促进解剖位点的高精度识别与所需假体大小及型号的精准匹配,以达到高效而准确的术前规划。中国人民解放军总医院第一医学中心骨科首次将基于 AI 深度学习研发的一套 AI 辅助THA三维规划系统AIHIP应用于THA术前规划。该系统具有较高的准确性及可重复性,关键技术在于基于深度学习神经网络模型实现关节的精确分割:首先,建立各类髋关节疾病的CT图像数据库;其次,自主研发了深度学习神经网络模型;最后,基于数据库分别训练得到不同病种的分割神经网络模型权重,以实现不同类型疾病关节的分割。此外,臼杯位 置及尺寸也是通过深度学习神经网络自动识别。临床验证结果表明,AIHIP系统有效预测了实际所需假体型号,术前计划与实际应用的假体匹配率均显著 高于传统测量方法[16]。
1.1.2 TKA和UKA的AI辅助与术前规划
TKA 和 UKA 是治疗膝关节炎的最有效手段。与传统TKA相比,机器人辅助TKA能提高假体植入 物的精确度,减少软组织损伤,降低术后疼痛感与全身并发症发生率,从而增加患者满意度;机器人辅助UKA具有更低的并发症发生率,更快的术后恢复速度与更自然真实地感知膝关节。但在假体长期存活 率方面,机器人辅助的TKA和UKA与传统术式之间均未发现统计学差异[13,17,18]。随着AI的发展,深度学 习技术将继续为关节骨科手术机器人赋能。
AI在TKA和UKA术前规划中的应用与THA相同,中国人民解放军总医院第一医学中心骨科于 2020年首次将AIHIP系统应用于TKA的术前规划。该系统通过AI在3 min内完成术前规划,使用像素级的深度学习分割网络,基于循环神经网络的边缘平滑技术对骨块进行精准分割,运用注意力机制(Attention Mechanism)的神经网络实现骨骼关键解剖点位的精确识别,识别精度接近毫米级且具有较高的鲁棒性[19]。Kordon等[20] 提出了一个基于深度学习的多任务堆叠沙漏网络(Stacked Hourglass Network)框架,旨在解决膝关节手术前医师手动规划的不一致性与任务的复杂性问题。该框架实现了股骨、髌骨、胫骨与腓骨的语义分割,且平均交并比(intersection over union, IOU)分别达到0.99、0.97、0.98与0.96的分割效果,股骨钻孔部位的中位定位误差为1.5 mm。在无需手动校准的情况下,该框架可达到专家级精度的自动术前规划。在膝关节翻修手术的术前规划中,高达10%的假体植入物未能被识别,为解决该问题,Paul 等[21] 基于深度卷积神经网络(deep convolutional neural network, DCNN)提出一个深度学习系统(deep learning system, DLS)。DLS 能自动识别是否存在TKA,其次对TKA与UKA进行分类,最后自动识别TKA的两种植入物模型。
TKA术中假体植入物的正确定位与多个变量密 切相关,而这些变量可通过术中的骨科手术机器人导航系统进行控制。目前的导航系统需要额外的骨切口以固定导航系统跟踪的标记,给患者带来了额外创伤,同时也会干扰到标准的手术流程。为此,Félix 等[22]和 Rodrigues 等[23] 提出了一种无标记的导航系统,该系统使用深度相机替代了原导航系统中的光电跟踪系统,基于深度学习与几何算法实现骨骼表面的精准分割,在无跟踪标记的情况下实现植入物的精准定位。Liu和Baena[24] 首次提出了一种在机器人系统辅助骨科手术中实现基于深度成像和深度学习的自动、无标记配准与跟踪方法,该方法消除了机器人导航系统所需额外标记,从而避免对患者造成额外创伤。
1.2 AI在脊柱外科手术机器人中的应用
目前,脊柱外科手术机器人主要应用在脊柱椎弓根螺钉的植入,主要治疗脊柱畸形、椎间盘退行性病变、脊柱肿瘤等。与传统的徒手技术相比,有研究表明机器人系统可提高螺钉放置的准确性与可重复的一致性、最大限度降低翻修率、减少术中辐射暴露,手术时间更短[25-28];而较早的一些研究表明两者放置螺钉的精度相同,甚至机器人辅助的置钉精度更差[29,30]。最近的一项随机对照试验的系统评价和荟萃分析中,相比于传统的徒手技术,TiRobot、Spine Assist和Renaissance机器人系统分别得到更好、更差和相似的椎弓根螺钉放置精度[31]。目前,国外主流的脊柱机器人系统为SpineAssist、Renaissance、Mazor X 与ROSA,国内主要为北京积水潭医院及天智航公司联合开发的天玑脊柱外科手术机器人。目前,临床上的脊柱外科手术机器人系统还没有真正意义上采 用机器学习与深度学习技术,但基于机器学习与深度学习的术前规划与诊断、术中监测已取得一定的进展。
颈椎之间的高度相似性可能会干扰手术机器人的自动规划,为提高颈椎病治疗的自动化水平,Zhang和Wang[32] 提出了一种基于Pointnet++[33] 神经网络结构的颈椎分割方法。该方法对分割颈椎图像具有更好的鲁棒性,可以有效分割三维椎体,并使用300例患者的 CT图像对分割模型进行训练与测试,分割精度最高可达 96.15%。针对成人脊柱畸形(adult spinal deformity, ASD),Lafage等[34] 提出一种深度学习模型,旨在模拟不同医师下端固定椎(upper instrumented vertebra, UIV)的位置规划,保证UIV位置选择的一致性。机器学习为脊髓型颈椎病(cervical spondylotic myelopathy, CSM)的预测、诊断和预后提供了有效的方法。Hopkins等[35] 提出了两种不同神经网络模型,两个模型分别实现 CSM 的诊断与 CSM严重程度的预测,实验结果证明了机器学习在脊柱疾病方面的诊断与预测的可行性。随着内窥镜治疗的快速发展,内窥镜将成为所有脊柱疾病治疗可行术式的选择[36]。Cho等[37] 对机器人内窥镜术式的智能视觉进行初步研究,提出将机器人技术与深度学习应用于内窥镜手术,并基于RetinaNet[38]和YOLOv2[39]目标检测算法实现内窥镜术中仪器尖端的自动检测。
1.3 AI在创伤骨科手术机器人中的应用
创伤骨科手术机器人主要应用于骨折复位术与骨折固定术,而骨折复位治疗是骨折定位的先前步 骤。机器人辅助骨折定位主要实现定位功能,与辅助关节置换、脊柱椎弓根螺钉置入的机器人类似[5]。机器人辅助骨折复位旨在实现操作空间大、操作简单、二次创伤小、精准度高及安全性高的解剖复位。目前已有的代表性创伤骨科手术机器人包括德国汉诺威大学研制的骨折复位机器人系统、日本东京大学研制的骨折复位机器人系统、哈尔滨工业大学研制的骨干骨折复位6-PTRT型并联机器人系统、北京航空航天大学研制的股骨干骨折复位双平面导航机器人系统与中国人民解放军总医院研制的长骨骨折复位机器人系统[6]。与关节骨科手术机器人和脊柱外科手术机器人相比,创伤骨科手术机器人相对发展缓慢,其次骨折手术类型多样,手术要求复杂,现有的创伤骨科手术机器人均未实现真正意义上的临床应用[40]。尽管目前的创伤骨科手术机器人技术离临床应用的要求还有很长的一段距离,但AI技术应用于创伤骨科的研究已开展,为今后实现精准化、智能化、个性化的机器人辅助手术打下基础。
基于最优分类树的机器学习方法,Bertsimas等[41] 构建了一个临床决策模型以预测儿科颈椎损伤(cer vical spine injuries, CSI)。该模型在既有数据集上的敏感性为93.3%,特异性为82.3%,相比于其他机器学习方法与现有临床决策规则具有较好的性能与更大的临床应用潜力。骨质疏松性椎体骨折(osteoporotic vertebral fracture, OVF)的准确诊断有利于改善临床疗效。Yabu等[42] 通过9种卷积神经网络的组合模型来检测新鲜的OVF,最后得到最优模 型组合 (VGG16、VGG19、DenseNet201 和 ResNet50)的受试者操作特征(receiver operating characteristi, ROC)曲线下面积(area under curve, AUC)为0.949,研究结果表明基于卷积神经网络的诊断模型与脊柱外科医师的性能相当。
2 AI在骨科机器人中的展望
AI在医疗上的应用主要体现在基于传统机器学习或深度学习的疾病智能诊断、治疗与预后,而在骨科手术机器人中的应用较少。目前,AI主要应用于骨科手术机器人的规划环节,与执行环节导航技术相关文献较少[22-24]。AIHIP系统是唯一真正意义上实现AI用于临床的骨科手术机器人。此外,关节骨科手术机器人与脊柱外科手术机器人已实现临床应用,创伤骨科手术机器人至今未达到临床应用的要求。综上,骨科手术机器人特别是创伤骨科手术机器人与AI的结合依然存在很大的发展空间。
AI与机器人技术的结合是发展的必然趋势。当前骨科手术机器人的临床应用尚未普及,一些术式的骨科机器人达不到应用要求,而AI将推进骨科手术机器人的发展,加快临床应用的脚步。目前,临床应用的骨科手术机器人系统普遍存在如下四个问题:
①术前规划主要依赖医师的经验,一致性不能保证,自动化程度较低,虽然AIHIP系统实现临床自动化,但规划符合率与效率依然有较大的提升空间;
②术中注册(匹配)与导航主要依赖机器人操作空间内的标记物(例如天玑脊柱机器人的示踪器),而标记物通用性较差,甚至给患者造成额外创伤;
③室内术中导航未能系统性补偿机器人系统自身误差、患者身体微动误差带来的影响;④人机交互(医师与机器人、患者与机器人)单一,缺乏智能化与高效性。
深度学习是AI的一大分支,近年来取得了显著性突破,并成功应用于计算机视觉、自然语言处理等领域,甚至在图像 分类、语音识别等任务中超越了人类,大量研究也证明深度学习方法在诸多领域实现 AI 的有效性。未来,深度学习技术将继续应用于骨科手术机器人系统中,在解决上述问题上具有巨大的潜力。
3 小结
AI 迅速发展并成功应用于诸多领域,但在骨科手术机器人中的应用研究还处于起步阶段。未来,在加快骨科手术机器人的临床应用与推动微创化、智能安全化、精准化及个性化骨科疾病治疗的发展上,AI技术将成为很强劲的助推器。
【基金项目】北京市自然科学基金(L192061)
【作者单位】
1.北京科技大学自动化学院控制科学与工程系,北京100083;
2.中国医学科学院 北京协和医院 北京协和医院骨科,北京 100730
【作者简介】高宇,在读博士生,研究方向:医学影像处理
【通信作者】
翟吉良:骨科博士,副教授,研究方向:脊柱外科
丁大伟:工学博士,教授/博士生导师,研究方向
赵宇:骨科博士,主任医师,研究方向:脊柱外科
参考文献
[1] Viktor D. Encyclopedia of Creativity[M]. 3rd ed. Oxford: Academic Press, 2020: 57-64.
[2] Zhang C, Lu Y. Study on artificial intelligence: the state of the art and future prospects[J]. J Ind Inf Integr,2021, 23: 100224.
[3] Castiglioni I, Rundo L, Codari M, et al. AI applications to medical images: from machine learning to deep learning[J]. Phy Med, 2021, 83: 9-24.
[4] Kaul V, Enslin S, Gross SA. History of artificial intelligence in medicine[J]. Gastroint endosc 2020, 92(4): 807- 812.
[5] 李川, 阮默, 苏踊跃, 等. 手术机器人在骨科领域中的应用及发展[J]. 中华创伤骨科杂志, 2021, 23(3): 272-276.
[6] 于洪健, 李乾, 杜志江. 骨科手术机器人技术发展综述[J]. 机器人技术与应用, 2020, 2: 19-23.
[7]Picard F, Deakin AH, Riches PE, et al. Computer assisted orthopaedic surgery: Past, present and future[J]. Med Eng Phys, 2019, 72: 55-65.
[8] Liu R, Rong Y, Peng Z. A review of medical artificial intelligence[J]. Global Health J, 2020, 4(2): 42-45.
[9] Longo UG, Salvatore SD, Candela V, et al. Augmented reality, virtual reality and artificial intelligence in orthopedic surgery: a systematic review[J]. Appl Sci, 2021, 11(7): 3253.
[10] Volpin A, Maden C, Konan S. Handbook of robotic and image-guided surgery[M]. London: Elsevier, 2020: 397-410.
[11] Sousa PL, Sculco PK, Mayman DJ, et al. Robots in the operating room during hip and knee arthroplasty[J]. Curr Rev Musculoskeletal Med, 2020, 13(3): 309-317.
[12] Kayani B, Babar S, Ayuob A, et al. The current role of robotics in total hip arthroplasty[J]. EFORT Open Rev, 2019, 4(11): 618-625.
[13] Pailhé R. Total knee arthroplasty: Latest robotics implantation techniques[J]. Orthop Traumatol Surg Res, 2020, 107 (1S): 102780.
[14] Bostian PA, Grisez BT, Klein AE, et al. Complex primary total hip arthroplasty: small stems for big challenges[J]. Arthroplasty Today, 2021, 8: 150-156.
[15] 孙莹, 葛蕊, 侯艳, 等. Mako机器人手术系统辅助下全髋关节置换术手术配合[J]. 机器人外科学杂志, 2020, 1(4): 56-61.
[16] 吴东, 刘星宇, 张逸凌, 等. 人工智能辅助全髋关节置换术三维规划系统的研发及临床应用研究[J]. 中国修复重建外科杂志, 2020, 34(9): 1077-1084.
[17] Ofa SA, Ross BJ, Flick TR, et al. Robotic total knee arthroplasty vs conventional total knee arthroplasty: a nationwide database study[J].Arthroplasty Today, 2020, 6(4): 1001-1008.
[18] Christ AB, Pearle AD, Mayman DJ, et al. Robotic-assisted unicompartmental knee arthroplasty: state-of-the art and review of the literature[J]. J Arthroplasty, 2018, 33(7): 1994- 2001.
[19] 吴东, 刘星宇, 郭人文, 等. 一例人工智能三维规划系统辅助全膝关节置换术[J]. 骨科, 2021, 12(3): 281-283.
[20] Kordon F, Fischer P, Privalov M, et al. InInternational Conference on Medical Image Computing and Computer-- Assisted Intervention-MICCAI 2019[M]. New York: Springer, 2019: 622-630.
[21] Paul HY, Wei J, Kim TK, et al. Automated detection & classification of knee arthroplasty using deep learning[J]. Knee, 2020, 27(2): 535-542.
[22] Félix I, Raposo C, Antunes M, et al. Towards markerless computer- aided surgery combining deep segmentation and geometric pose estimation: application in total knee arthroplasty[J]. Comput Methods Biomech Biomed Eng Imaging Vis, 2021, 9(3): 271-278.
[23] Rodrigues P, Antunes M, Raposo C, et al. Deep segmentation leverages geometric pose estimation in computer‐aided total knee arthroplasty[J]. Healthc Technol Lett, 2019, 6(6): 226-230.
[24] Liu H, Baena FR. Automatic markerless registration and tracking of the bone for computer-assisted orthopaedic surgery[J]. IEEE Access, 2020, 28(8): 42010-42020.
[25] Lee NJ, Boddapati V, Mathew J, et al. Does robot-assisted spine surgery for multi- level lumbar fusion achieve better patient-reported outcomes than free-hand techniques?[J]. Interdisciplinary Neurosurgery, 2021, 25: 101214.
[26] Daniel MM, Alison MW, Christen MO, et al. Robotics in spine surgery: a systematic review[J]. J Clin Neurosci, 2021, 89: 1-7.
[27] Bhavuk G, Nishank M, Rajesh M. Robotic spine surgery: ushering in a new era[J]. J Clin Orthop Trauma, 2020, 11 (5): 753-760.
[28] Fatima N, Massaad E, Hadzipasic M, et al. Safety and accuracy of robot- assisted placement of pedicle screws compared to conventional free-hand technique: a systematic review and meta-analysis[J]. Spine J, 2021, 21(2): 181-192.
[29] Yu L, Chen X, Margalit A, et al. Robot‐assisted vs freehand pedicle screw fixation in spine surgery-- a systematic review and a meta ‐ analysis of comparative studies[J]. Int J Med Robot, 2018, 14(3): e1892.
[30] Gao S, Lv Z, Fang H. Robot-assisted and conventional freehand pedicle screw placement: a systematic review and meta- analysis of randomized controlled trials[J]. Eur Spine J, 2018, 27(4): 921-930.
[31] Peng YN, Tsai LC, Hsu HC, et al. Accuracy of robot-assist ed versus conventional freehand pedicle screw placement in spine surgery: a systematic review and meta-analysis of randomized controlled trials[J]. Ann Transl Med, 2020, 8 (13): 824.
[32] Zhang L, Wang H. A novel segmentation method for cervi-cal vertebrae based on PointNet++ and converge segmentation[J]. Comput Methods Programs in Biomed, 2021, 200: 105798.
[33] 李海生, 武玉娟, 郑艳萍, 等. 基于深度学习的三维数据分析理解方法研究综述[J]. 计算机学报, 2020, 43(1): 41-63.
[34] Lafage R, Ang B, Alshabab BS, et al. Predictive model for selection of upper treated vertebra using a machine learning approach[J]. World Neurosurg, 2021, 146: e225-e232.
[35] Hopkins BS, Weber KA, Kesavabhotla K, et el. Machine learning for the prediction of cervical spondylotic myelopathy: a post hoc pilot study of 28 participants[J]. World Neu rosurg, 2019, 127: e436-e442.
[36] Kim M, Kim HS, Oh SW, et al. Evolution of spinal endoscopic surgery[J]. Neurospine, 2019, 16(1): 6-14.
[37] Cho SM, Kim YG, Jeong J, et al. Automatic tip detection of surgical instruments in biportal endoscopic spine surgery [J]. Comput Biol Med, 2021, 133: 104384.
[38] Lin TY, Goyal P, Girshick R, et al. Focal loss for dense object detection[J]. IEEE Trans Pattern Anal Mach Intell, 2017, 42(2): 318-327.
[39] 赵永强, 饶元, 董世鹏, 等. 深度学习目标检测方法综述[J]. 中国图象图形学报, 2020, 25(4): 629-654.
[40] Bai L, Yang J, Chen X, et al. Medical robotics in bone fracture reduction surgery: a review[J].Sensors(Basel), 2019, 19(16): 3593.
[41] Bertsimas D, Masiakos PT, Mylonas KS, et al. Prediction of cervical spine injury in young pediatric patients: an optimal trees artificial intelligence approach[J]. J Pediatr Surg, 2019, 54(11): 2353-2357.
[42] Yabu A, Hoshino M, Tabuchi H, et al. Using artificial intelligence to diagnose fresh osteoporotic vertebral fractures on magnetic resonance images[J]. Spine J, 2021, 21(10): 1652- 1658.