我们先从达芬奇手术机器人开始谈谈AR和VR的医疗应用

两天前,我们分享了慕尼黑大学 Nassir Navab 教授关于医疗保健增强现实的 TED 演讲。 回顾视频 | 慕尼黑大学的 Nassir Navab 教授谈论增强现实的医疗应用。 今天我们就来说说达芬奇手术机器人。

达芬奇手术机器人

首先我们要说的是达芬奇手术机器人!

达芬奇手术机器人手术器械_达芬奇手术机器人_达芬奇外科手术机器人

达芬奇:好像有人提到过我

达芬奇手术系统是一种内窥镜手术器械控制系统。 达芬奇是一个品牌,但这种类型的系统通常被称为它。 其设计理念是使用微创方法执行复杂的外科手术。 达芬奇机器人由三部分组成:外科医生控制台、床边机械臂系统、成像系统。

达芬奇手术机器人手术器械_达芬奇手术机器人_达芬奇外科手术机器人

完整的系统通常如下所示

使用该系统时,外科医生坐在位于手术室无菌区外的控制台中,用手(通过操作两个主控制器)和脚(通过脚踏板)来控制仪器和手术。 3D 高清内窥镜。

助理医生在无菌区床边机械臂系统旁边工作,负责更换器械和内窥镜,协助主刀医生完成手术。

影像系统(Video Cart)配备手术机器人的核心处理器和图像处理设备。 手术时位于无菌区外,可由巡回护士操作,可放置各种辅助手术器械。 手术机器人的内窥镜是高分辨率三维(3D)镜头,手术视野放大10倍以上。 它可以为外科医生提供患者体腔的三维、高清图像,使外科医生比普通腹腔镜手术更有能力。 可以更好地掌握手术距离和识别解剖结构,提高手术的准确性。

达芬奇外科手术机器人_达芬奇手术机器人_达芬奇手术机器人手术器械

该设备的优点是医生操作机械臂进行手术,可以防止手抖,减少一定的操作失误。 而且,机器人的操作比人类更加灵活,伤口也相对较小。 同时,通过内窥镜放大手术靶器官。 可以更精准……正因为这些优点,达芬奇手术系统应用于普外科、胸外科、泌尿外科、妇产科、头颈外科、心脏外科等!

达芬奇手术模拟器

当然,好东西并不便宜。 据说光是启动成本就在几万,一个机械臂的价格就在一万到两万美元,而且一个机械臂使用十次可能就需要更换!

达芬奇手术机器人手术器械_达芬奇外科手术机器人_达芬奇手术机器人

都是为了钱!

那么你觉得这么贵的东西人人都能用吗? 躺在病床上可能更容易被它动手术,但要成为一个能控制它的人却并不容易。 不仅需要成为专业的医生,还需要经过长期的机器操作学习和培训,据说还有认证考试。

所以,绕了这么大一圈,你会发现这类设备的操作培训蕴藏着很大的商机,很多医疗设备解决方案公司都在关注这个领域。

Mimic Technologies是一家成立于2001年的美国公司,专注于机器人手术模拟。 他们于2007年推出的设备dV-Trainer®是达芬奇手术系统模拟器,在外观和操作体验上与真实设备保持一致。 除了打造操作体验高度还原的硬件设备外,Mimic专有的MSim™平台还为dV-Trainer提供的练习提供了最真实、最真实的模拟能力。 在此 Mimic 的 dV-Trainer 中提供了 60 多个练习,涵盖了大多数此类机器的使用场景。

最重要的事情,当然也是我们的 AR 酱最关心的,是他们的 dV-Trainer 上使用的 Maestro™ AR,它在培训中引入了增强现实的概念,通过使用虚拟仪器和增强的 3D 案例视频。 ,完善特定于计划的技能。

视频链接:

在案例视频上叠加操作指引和知识点,帮助学习者掌握操作流程和方法。

事实上,Mimic并不是唯一一家制造类似模拟器的公司。

所以,我们能做些什么

我们一直在讨论如何将AR和VR应用到医疗领域。 事实上,达芬奇手术机器人及其模拟器值得参考!

从中我们看到了什么!

1. 直播

做VR的朋友可能比较敏感,当医生把脸放进大机器时,他看到的其实是自己的机械臂传来的实时内容,而实时的画面是通过机械臂处理的。 互动……这难道是变相的直播吗,虽然它看到的不是风景,而是下面的血淋淋的画面。

达芬奇外科手术机器人_达芬奇手术机器人_达芬奇手术机器人手术器械

2. 遥控操作

坐在控制台前的医生远程操作机械臂。

3. 训练模拟

模拟器给学生带来的是一种互动式、沉浸式的学习体验,这与VR培训非常相似。

我们或许可以发挥想象力,通过AR、VR技术来改进现有的产品和工作方式:

事实上,Mimic一直在将dV-Trainer设备小型化。 最近他们推出了以下名为FlexVR的训练设备。

视频链接:

可见,这类设备的小型化是一种趋势,但目前无论是模拟器还是达芬奇机器人本身都巨大,有的甚至需要为其准备专门的房间! 因此,VR眼镜可能会用来替代手术台。 VR眼镜长时间隔离了外部环境,可以保证医生在不受干扰的情况下进行操作。 同时,医生无需在设备前长时间弯腰工作。 舒适度的提高可以帮助他更好地完成作业。

毕竟这玩意儿看起来就像是一副胖乎乎的VR眼镜。

达芬奇外科手术机器人_达芬奇手术机器人_达芬奇手术机器人手术器械

在达芬奇机器人中,医生操作机械臂的方式是捏住操作手柄,如下图。

达芬奇外科手术机器人_达芬奇手术机器人_达芬奇手术机器人手术器械

这种握持姿势和医生握手术刀的方式是一样的,它控制的机械臂有7个自由度。 据说使用起来非常方便。 我觉得交互方面,目前我们在AR、VR方面很难做到精准。 跟上来。

事实上,目前很多AR、VR公司都在做这样的尝试,将手术情况实时传输到手术室外,方便专家会诊等。事实上,达芬奇手术系统中的影像系统其实可以起到一定的作用,在影像系统的基础上,增加一些操作协同指导。 例如,手术室外的人可以在屏幕上进行操作指导,就像Mimc训练中的圆圈线一样。

达芬奇手术机器人手术器械_达芬奇手术机器人_达芬奇外科手术机器人

也许我们不再需要物理模拟器,而是创建一个VR训练环境来操作虚拟设备。 成本可能比实体机模拟低很多。 虽然不完全可比,但还是适合初学者。 这种VR培训可以帮助他们随时随地学习。

然而,将AR和VR与这种手术机器人结合起来,除了精度之外,还有延迟。 数据显示,该类设备的延迟为50ms,并非没有延迟。 操作员需要培训的重点之一就是适应这种延迟。 ,所以如果现在的AR和VR设备改进的话,或许还是有机会解决的。

达芬奇手术机精度高、效果好,使其在医疗领域得到广泛应用。 尽管价格昂贵、规模大、学习成本高,但当我们考虑进入一个行业或领域时,我们不应该因为价格而考虑。 和复杂性,因为与它们创造的价值相比,这根本不算什么。

以上是从一个AR和VR从业者的角度来分析的。 医疗行业人士怎么看? 欢迎大家在留言区讨论!