使用增强现实技术进行经导管主动脉瓣置换术的自动手术

摘要

本文介绍了基于增强现实 （AR） 的 3D 重建的自动手术模块的设计和实现。该系统允许外科医生检查重建的特征并复制手术手部动作，就像他们在附近进行手术一样，从而实现远程手术。

摘要

增强现实 （AR） 在医疗应用中的需求量很大。本文的目的是使用 AR 为经导管主动脉瓣置换术 （TAVR） 提供自动手术。TAVR 是心内直视手术的替代医疗程序。TAVR 使用导管用新瓣膜替换受伤的瓣膜。在现有模型中，给出了远程指导，而手术不是基于 AR 的自动化。在本文中，我们部署了一个连接到电机的空间对齐相机，用于在手术环境中自动捕获图像。摄像头跟踪患者心脏的 2D 高分辨率图像以及导管测试台。这些捕获的图像使用移动应用程序上传给作为心脏病学专家的远程外科医生。该图像用于从 2D 图像跟踪进行 3D 重建。这在 HoloLens 中查看，就像笔记本电脑中的仿真器一样。外科医生可以远程检查具有额外转换功能（如旋转和缩放）的 3D 重建图像。这些转换功能是通过手势启用的。外科医生的指导被传输到手术环境，以在实时场景中自动化该过程。手术区域的导管试验台由远程外科医生的手势引导控制。开发的原型模型展示了通过 AR 进行远程手术引导的有效性。

引言

AR 可以将 3D 模型叠加在真实环境中。AR 的技术发展在许多领域都发生了范式转变，即教育¹、医疗²、制造³ 和娱乐⁴。AR 技术以及超可靠的低延迟通信证明了它在医疗领域不可避免的作用。从人体解剖学的学习阶段到手术指导，学习阶段都可以通过 AR 驱动的软件 ^5,6 和硬件进行可视化。AR 为手术环境中的医生提供了关键且可靠的解决方案 ^7,8。

主动脉瓣狭窄是心脏瓣膜病，在人类中最常见⁹。这种疾病的根本原因是不良的饮食习惯和不规律的日常生活。这种疾病的症状和结果是心脏瓣膜变窄，然后是血流量减少。在对人类心脏造成任何损害之前，需要解决这个问题。因此，心脏负担过重，无法处理血流。因此，在发生任何损害之前，需要进行手术，由于最近几天的技术发展，这也可以使用 TAVR 手术来完成。该程序可以根据患者的心脏和其他身体部位的状况来采用。在这个 TAVR^10,11 中，插入导管以替换心脏中受损的瓣膜。然而，放置导管位置¹² 以更换瓣膜对从业者来说很乏味。这个想法促使我们设计了一个基于 AR^13,14 的自动化手术模型，它可以帮助外科医生在置换过程中精确定位瓣膜。此外，手术可以通过运动映射算法进行，该算法将从远程位置捕获的外科医生的运动映射到机械臂。

在现有工作 15,16,17 中，通过透视监测 TAVR¹⁸ 程序的可视化。因此，很难分析心脏瓣膜，并且找到更换位置很繁琐。这为导管在人体心脏中的定位设置了屏障。此外，远程运动被映射到手术区域，以使过程自动化。然而，为了克服研究空白，我们提出了一种使用 AR 辅助技术进行基于机器人的自动化瓣膜置换手术。

该方案是一种通用模型，可应用于所有手术环境。在工作的开始阶段，以最大的自由度和最完整的空间分辨率捕获手术环境周围的 2D 图像。这意味着捕获了足够的图像用于 3D 重建¹⁹ 目的，然后通过手势跟踪²⁰ 进行运动映射。

研究方案

1. 手术环境

1. 设计手术环境，如图 1 所示。确保环境中有一个承载物体的盘片、一个机械臂和两个侧挂臂，一个用于固定摄像头占位符，另一个具有一致的白色背景以及用于平衡的称重模块。
2. 开发两个驱动程序，一个用于实时手术环境的快照，如步骤 2.1 至 2.10 所述，另一个用于控制支持 360° 监控的旋转机构，如步骤 3.1 至 3.4 所述。
3. 在实现上述两个模块之前，请启用移动设备和笔记本电脑的蓝牙，它们充当外科医生的 HoloLens 仿真器。
4. 配对设备以实现不间断的图像传输。

2. 设置驱动程序以控制两个吊臂

1. 确保吊臂由步进电机控制，其布置如图 2 所示，以实现 360° 的完美旋转。
2. 使用 TB 6600 驱动器将电机连接到微控制器板。要运行电机，请从浏览器安装微控制器 IDE。
3. 点击 下载 按钮下载软件。然后，在微控制器 IDE 中，转到 File > Open a New Sketch 编写代码。
4. 确保通过专用连接端口（例如 COM 4）连接微控制器板以与新 sketch 连接。检查 Com Port 并验证它是否显示微控制器板。
5. 检查步进电机驱动器 TB 6600 的硬件开关设置。确保设置使电流为 2 A，这可以通过设置 SW4 ON 以及 SW5 和 SW6 OFF 来实现。
6. 确保设置 SW1、SW2 和 SW3 的开关位置，使微步为 1/8 步，以达到符合要求的旋转步长。确保 TB1 中的设置为 SW2 OFF、SW2 ON 和 SW3 OFF 6600。
7. 将 RTC 3231 与微控制器连接，以实现实时全局时间同步。确保公转步长为 12°，并且仅当实时单位（即从 RTC 模块读取的秒数）为奇数时，才会触发电机步长。
8. 将微控制器板的 5 V 引脚连接到 RTC VCC，将微控制器的 GND 连接到 RTC 的 GND。
9. 将 RTC 的 SCL 引脚连接到 A0 引脚，将 SDA 连接到微控制器的 A1 引脚。该模块可以确保 12° 的步长，一次旋转 30 步。确保步长递增每奇数秒发生一次。让本软件模块驱动步进电机²¹。
10. 通过运行代码来验证设置是否正常工作，该代码位于 GitHub 页面上：https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR。
11. 下载 Android Studio 以开发自动相机应用程序。确保满足系统要求，然后从网站下载软件。

3. 开发用于移动场景监控和图像传输的驱动程序作为客户端模块

1. 在 Android 操作系统中开发一个可以每 2 秒拍摄一次快照的相机应用程序，尤其是当秒数为奇数时。
2. 将手机与系统连接。在 Android Studio 中，点击 New > New Project ，然后选择 Empty Views 活动。单击 Next（下一步 ）开发 Android 代码，该代码可在 https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR 获取。
3. 确保应用程序自动捕获图像并将其一致地发送到远程设备。
4. 拍摄快照后立即通过蓝牙将移动应用程序中的快照传输到配对设备，即远程外科医生的系统。
   注意：确保第 2 节和第 3 节中提到的模块以时间同步方式运行，一个用于每偶数秒，另一个用于每个奇数秒。

4. 开发客户端模块以接收和处理监控图像

1. 打开 server 模块，它是一个图形用户界面。
2. 在文本字段 VVID 中输入 VVID 端口号，默认值为 94f39d29 7d6d 437d 973b fba39e49d4ee。
3. 单击 Create Socket 以创建并绑定套接字。单击 Connect 以建立与移动应用程序的连接。
4. 点击 Capture 以捕获现场监控图像并将其保存在本地文件夹中
5. 在字段 folder name 中输入本地文件夹名称（如果需要不是提到的默认文件夹名称）。

5. 操作机械臂

1. 让 client 模块也包括一个机械臂。将手臂设计为在其底部、肩部、肘部、手腕和手指处进行旋转运动。
2. 确保使用 MG 996R 舵机来控制底座、肩部和肘部的旋转运动。确保使用 SG 90 伺服电机来控制肘部和手指的旋转运动。
3. 在微控制器 IDE 中编译 https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR 中给出的代码，以根据从远程外科医生那里收到的命令驱动机械臂。

用于增强现实的 6. 3D 重建

1. 从本地文件夹中按顺序逐个读取两个图像，以获取它们之间可能的重叠（由于图像收集得很近，因此连续图像之间将存在重叠）。
2. 根据定向增强特征描述的要求，使用三级滤波²² （DITF） 算法设计三级滤波器，以获得梯度和方向。
3. 使用 DITF 方法²² 提取特征，如图 3 所示。
4. 使用 SFM²³ 从收集的特征中重建 3D 图像。

7. 外科医生位置的手势识别

1. 通过提供基于手势的旋转和放大/缩小重建特征，使外科医生能够从各个角度可视化环境，从而促进外科医生检查 3D 重建图像特征。
2. 将外科医生的拇指尖和右手食指之间的距离标准化并映射到相应的旋转角度。让归一化方式使裸露的最小距离对应于 0°，最大值对应于 180°。
3. 通过蓝牙将手势控制传输到远程手术环境，以及物体盘片的旋转，这使得当 3D 重建特征在外科医生端旋转时，它就会绕其轴旋转。
4. 找到外科医生左手的尖端和拇指之间的距离，以控制机器人手臂手指的运动。
5. 从外科医生左手的拇指尖和食指之间的空间距离相对于假想的 xy 接地平面测量仰角，以确定仰角。将此角度映射到机器人手臂可以使用 x-y 平面形成的仰角。
6. 求外科医生的手与虚拟 y-z 平面的方位角。通过基于手势的识别来识别这些角度。
7. 绘制距离、仰角和方位角，以控制机器人的手指移动和手臂旋转，这两者都对应于仰角和方位角。
8. 让外科医生通过缩放和旋转来检查重建的特征。让外科医生将命令传输到机械臂，以便从远程位置进行手术。
9. 确保手术命令作为序列的控制字符串传输，该序列以字符串 concurence 开头，后跟控制转盘旋转和机械臂控制器的值。设 [θ_b， θ_s， θ_e， θ_w， θ_f] 为向量的角度，该向量由值组成，每个值对应于机器人手臂的底座、肩部、肘部、手腕和手指对应的控制信号。
   注意：GitHub 链接提供了在手术领域启用手势控制的代码。https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR。

结果

该协议使用心脏模型进行了测试。 图 2 显示了在空间分布摄像机的帮助下对手术区域进行实时监控的预期设置。如图 2 所示，分布式相机有助于提高场的空间分辨率，以实现有效的 3D 重建。然而，实现这些相机在不同空间位置的物理放置涉及复杂性。因此，我们优化了设置设计，并提出了由 TB6600 驱动器驱动的 NEMA 电机旋转的空间自定向摄像机布置解...

讨论

在现有工作¹⁵ 中，检查 X 射线和 CT 扫描以定位心脏中的导管。然而，AR TAVR 置换通过使用 3D 重建实施自动化模型，在 TAVR¹⁸ 外科手术中建立了新的可能性。正如协议部分提到的，这项工作有五个阶段需要设计。我们在之前的工作²² 中提出的第 6 节中提到的 DITF²² 的第一阶段通过某种方式进行了增强，将模型嵌入到医疗应用中?...

材料

Name	Company	Catalog Number	Comments
android IDE	software	https://developer.android.com/studio	software can be downloaded from this link
Arduino Board	Ardunio Uno	Ardunio Uno	Microcontroller for processing
arduino software	software	https://www.arduino.cc/en/software.	software can be downloaded from this link
Human Heart phantom model	Biology Lab Equipment Manufacturer and Exporter	B071YBLX2V(8B-ZB2Q-H3MS-1)	light weight model with 3parts to the deep analysis of heart.
mobile holder	Humble universal monopoad holder	B07S9KNGVS	To carry the mobile in surgical field
pycharm IDE	software	https://www.jetbrains.com/pycharm/	software can be downloaded from this link
Robot arm	Printed-bots	B08R2JLKYM(P0-E2UT-JSOU)	arm can be controlled through control signal.it has 5 degree of freedom to access.
servo motor	Kollmorgen Co-Engineers Motors	MG-966R	high-torque servo motor,servo pulses ranging from 500 to 2500 microseconds (µs), with a frequency of 50Hz to 333Hz.
servomotor	Kollmorgen Co-Engineers Motors	SG-90R	1.8 kg-cm to 2.5 kg-cm load can be applied to SG-90R servo.
Stepper Motor	28BYJ-48	28BYJ-48	Steper motor, 5V DC, 100 Hz frequency, torque 1200 Gf.cm
Stepper Motor	Nema 23	Nema	Steper motor, 9V - 42 V DC, 100 Hz frequency