Hololens项目可以在全球外科医生之间进行合作

有一天12月中旬,矫形外科医生布鲁诺·戈比博士博士在巴西的贾拉瓜·沃尔图拉·苏尔(Baraguá)走进了一间手术室,戴上了Hololens 2混合现实耳机并为手术做好准备。

远程加入他的外科医生托马斯格雷戈里教授,他们正在从巴黎调整,以及基于新泽西州的John Erickson博士。Gobbato的患者患有一个锁骨骨折,没有适当愈合,所以鹅般需要重新定位骨骼并执行肩部关节镜,这涉及将小型相机插入关节,以试图确定导致男人的肩痛。

Gregory和Erickson通过了与Gobbato的耳机联系起来威廉希尔体育官网Microsoft Dynamics 365远程辅助应用程序并在计算机屏幕上分享他的视野威廉希尔体育官网微软团队。他们可以看到患者和从CT扫描产生的全息图像Gobbato,一个显示患者损坏的锁骨和另一个复制他健康的锁骨。三大洲的三个外科医生讨论了如何接近该程序,授予每一步并分担各自的方法。

YouTube视频

“他们是我的合作伙伴帮助我手术,”Gobbato说。“我们有一个法国视角,我们有一个美国的视角,我们有一种拉丁美洲的视角。我们在手术室里有四分之一的世界。“

该程序是一个项目的一部分,旨在展示Hololens 2如何使外科医生受益,并在全世界的医生之间进行合作。由格雷戈里构思,2017年谁执行了使用原始挖清胶的首次手术,该倡议涉及来自13个国家的矫形外科医生五大洲。

我们有一个法国视角,我们有一个美国的视角,我们有一个拉丁美洲的视角。我们在手术室内有四分之一的世界。

在11月和1月12日之间,医生中的12岁使用Hololens进行手术 - 从阿拉伯联合酋长国的膝关节程序到南非的肩部更换 - 而其他人加入格雷戈里,轮流坐在观察和提出输入。该项目今天有助于一系列圆形的讨论和围绕混合现实技术交叉口的采访及其对医疗保健的影响。

对于格雷戈里来说,该项目是一种传达他认为“智能手机的智能手机”的好处的方法。他指出,许多人依赖智能手机可以快速访问日常工作中的信息,但外科医生不能在无菌手术室设置中使用手机或电脑。他们通常预先计划程序,一旦手术开始,就几乎没有进入患者数据或其他资源。

在2016年推出的第一个龙头时,格雷戈里课程立即看到外科医生将其用作信息和沟通的工具。突然间,他可以使用手势或语音命令来调用信息而不是触摸键盘或鼠标。

“这是我想要的多年来,”巴黎阿维塞恩医院骨科医院骨科和创伤手术部长Gregory和骨科手术教授阁下说。

“我意识到我能够在手术期间使用漏洞作为计算机或智能手机来获取我需要的任何信息。这使外科医生能够更快,更有效和提高性能。“

矫形外科医生Bruno Gobbato的照片。
Bruno Gobbatr博士。照片由Bruno Gobbato提供。

Gobbato,一个自我描述的“科技伙伴”和“极客”是如此渴望获得挖掘机,即在设备发布后即将推出,他跳上飞机并飞到迈阿密的八个小时买一个。他已经在更复杂的手术中使用了该设备几年。

“我真的认为混合现实将在未来使用这么多件事的手术室,”Gobbato说。“我很高兴看到未来几年我们能够与它有什么关系。”

洪水用手手势和语音命令进行操作,使外科医生能够查看从X射线或其他扫描创建的患者解剖学的三维全息图像。外科医生可以移动这些虚拟图像,以从不同的角度查看它们。它们还可以使用漏洞在手术期间访问患者数据,调用视频或文档来帮助解决问题并联系其他专家以获取建议。

Louisiana Lafayette的矫形外科医生John Sledge博士进行了一部分是Hololens项目的一部分,这是一个10小时的脊柱融合手术。作为Gregory和来自U.的两个外科医生,阿联酋抬头,雪橇向上拉过X射线,扫描患者腰部的扫描,找到了所需的硬件,并确定如何最好地定位他的乐器以访问它们。他还在患者事故发生后不久拍摄的图像,因此他可以向其他外科医生解释占地面议的历史。

雪橇说,没有洪水打包,他将仅限于患者在计算机屏幕上的扫描中的一些图像。

“这是一个极大的有限的数据集,对我来说可用,”他说。“通过挖掘机,我可以提取我想要的图像,并根据需要使它们更大。我有所有的图像,我需要在我面前在我面前,无论我需要它们的尺寸和清晰度。“

斯林德说,霍尔霍尔也可用于规划手术和培训。例如,如果他计划肩部操作,例如,他可以创造患者肩部的全息表达,以确定应放置植入物的位置或是否需要重建骨骼。

雪橇说,而不是在练习骨头的3D副本中打印出一块骨骼的3D次拍摄,而是可以根据需要在全息图上测试他的方法。对于培训,他可以生成任何手术程序的三维交互式模型,甚至可以在全息图上创造模拟并发症 - 例如,为培训解决的医生,骨折或意外的流血。

“医学,特别是手术,仍然是学徒。你看一个人在你被允许之前运作了100次,“斯格德说。“但现在我们可以拥有居民在Hololens上运行100个操作,含有罕见的并发症及其解决方案。我们可以做最糟糕的情况训练。通过挖掘机,我们可以发出问题,训练中的医生必须解决它。

“我们可以标准化外科培训,以便世界各地的所有毕业生都会看到并学会如何在训练领域解决Hololens图书馆的所有案例,”他说。“你看着别人之间有一个巨大的区别,你可以解决问题,你必须自己解决它。”

Stefan Greiner博士。照片由Stefan Greiner提供。
Stefan Greiner博士。照片由Stefan Greiner提供。

骨科外科医生斯特凡斯格莱尔博士在同意与格雷戈里参加该项目之前从未使用过暖和的,这是他的好朋友。Greiner最初对设备持怀疑态度,将其视为“另一个小工具”,在罕见的情况下可能有用。

但正如他学会了如何使用它,Greiner开始看到更多的可能性。他使用该设备在关节镜手术期间显示图像以避免在屏幕上来回观察,其中通常显示来自范围的图像,而他运行。

“I think it’s going to improve the precision of surgery and the safety of surgery, because you don’t have to look somewhere else,” says Greiner, who runs the shoulder and elbow department at Sporthopaedicum Regensburg, one of the biggest sports medicine facilities in Germany.

他说,该装置还可用于帮助准备患者手术,通过全息图或动画解释程序。

“如果你能看到全息图的行动,那就更清楚了,而不是只看到一张小画面,”他说。“这对于患者来说,这将是理解他们将有什么样的手术。”

Ashish Babhulkar博士在注册Gregory的项目之前也从未使用过漏洞。Babhulkar,印度浦那地区德瑙曼养士医院和研究中心的肩部和体育伤害部门负责人进行了两个反向肩部更换手术 - 其中肩关节的球和插座位置与格雷戈里和整形外观合作逆转surgeon from the U.K.

通过两位医生的输入,Babhulkar在插入患者的顶部之前叠加了插座植入物的全息图像,然后插入完美贴合。他的视野还包含每个步骤的3D视频的手册,外科医生参考的外科医生看到格雷戈里用于肩部手术的设备。

虽然Babhulkar不需要手册的程序,但他看到了挖清龙可以作为培训工具。

“想象一下,明天在肯尼亚,有人有一个闷热,他想开始做这个手术。“他不必来印度来学习它,”Babhulkar说。“如果没有他的错误,我们可以通过这个过程走他,并有助于建立他的信心。它将在一些偏远地区彻底改变治疗。“

他说,经验说服了他,洪水将成为医学前进的关键工具。

“当我们在其上取得进展时,该设备如此强大,我们每年都将创新并添加新的应用程序,”他说。“希望,我们将最终为所有案例使用它。”

矫形外科医生的照片Ashish Babhulkar拿着洪水2耳机2耳机和站立在一间手术室在浦那,印度。
Ashish Babhulkar博士,基于印度浦那,认为Hololens将在世界偏远地区'彻底改变治疗'。照片由soumik kar。

Hololens及其前体是由Microsoft Technical Comber Alex Kipman创建的Microsoft Technical Compera alex Kip威廉希尔体育官网man,这是一个有意义的三维方式合并物理世界的有意义和数字世界的设备。

Kipman试图开发一个可以了解人类及其环境的设备,并将数字世界从玻璃计算机屏幕,手机的平坦矩形转变为可以与或模拟现实世界的全息图的全息图宇宙。

第一个洪水打发布于2016年,其次是Hololens 2.2019年11月。该设备配备了复杂的环境映射硬件和一台眼跟踪摄像头,使其能够了解它所用的空间以及用户专注的空间。Micr威廉希尔体育官网osoft Dynamics 365远程辅助应用程序旨在允许漏洞与团队联系,以便用户可以与全球人员合作。

十年前,可能很难想象使用全息图像进行手术或设想混合现实技术在医疗领域能够实现的外科医生。Hololens 2现在用于医疗保健中的一系列应用,来自虚拟医院回国为医学生治疗病人与covid-19和a“全息状况“用于模拟各种医疗条件,培养医生和标准化治疗。

微软驻欧洲的董事总经理和区域领先地区,欧洲,中东和非洲的卫生保健和生命科学领导者,通过格雷戈里和其他开创性医生推动了手术中的新闻是新的。威廉希尔体育官网

“这些领导人正在恢复手术,这已经以传统的方式完成了很长时间,”她说。“想象改变和实施变化的能力是这些临床医生中如此变革。我们真的是在开始外科手术的开始,但是路径被绘制,改变代理人在那里。“

Hololens的力量,Bonfiglioli说,它是它在可信赖的数字环境中叠加对象和数据的能力,并实现自然学习手段。

“医学的未来被全息计算赋权,因为全息计算给出了视觉的新维度,”她说。“我们长期以来就有了合作的维度。我们拥有数据的维度,由人工智能提供动力。但我们没有对人类典型的东西,这是视觉增强。这就是为什么它如此强大。这是一种技术,它本身就是一个改变代理,赋予能够看到未来的人。“

托马斯格雷戈里教授的照片。
托马斯格雷戈里教授。照片由托马斯格雷戈里提供。

格雷戈里的部门一直在使用Hololens 2,为所有手术持续一年多,该设备已成为他日常练习的一部分。如果在手术期间遇到问题,年轻的同事会呼唤他的漏洞,以便建议。格雷戈里可能会在手术期间拨打另一个专家,或者联系护士,要求提出下一个患者。

2020年1月,微软与格雷戈里和其威廉希尔体育官网他人合作推出Institut Movo,一个致力于手术中人工智能的研究和教学中心。该中心位于Sorbonne-Paris-Nord大学,汇集了计算机科学家,数学家和外科医生,并提供了使用Hololens进行手术的培训。

未来的计划包括从手术中收集Hololens数据,并使用它开发可以改善外科手术或甚至根据眼部运动来识别的算法,当外科医生遇到困难时。

格雷戈里认为软龙作为一种装置,它的成本低于某些类型的微创手术的手术机器人,这可以运行约200万美元,可以使手术实践中的人工智能能够甚至是世界各地的小型医疗设施。

“与霍尔霍尔斯,我们有一个工具在世界各地的所有操作剧院中民主化的工具,”他说。“这是巨大的。我想在未来,外科医生将无法在没有勇敢的情况下进行手术。“

了解有关合作的更多信息,并与技术和医疗保健的未来专家观看圆桌会议和访谈体验.micrcosoft.com.

顶部图片:矫形外科医生John Sledge博士在路易斯安那州拉斐特的脊柱融合手术期间使用Hololens 2耳机。照片作者:john melancon /燃烧棒创意。