Sign In

A subscription to JoVE is required to view this content. Sign in or start your free trial.

In This Article

  • Summary
  • Abstract
  • Introduction
  • Protocol
  • Representative Results
  • Discussion
  • Acknowledgements
  • Materials
  • References
  • Reprints and Permissions

Summary

本文介绍了基于增强现实 (AR) 的 3D 重建的自动手术模块的设计和实现。该系统允许外科医生检查重建的特征并复制手术手部动作,就像他们在附近进行手术一样,从而实现远程手术。

Abstract

增强现实 (AR) 在医疗应用中的需求量很大。本文的目的是使用 AR 为经导管主动脉瓣置换术 (TAVR) 提供自动手术。TAVR 是心内直视手术的替代医疗程序。TAVR 使用导管用新瓣膜替换受伤的瓣膜。在现有模型中,给出了远程指导,而手术不是基于 AR 的自动化。在本文中,我们部署了一个连接到电机的空间对齐相机,用于在手术环境中自动捕获图像。摄像头跟踪患者心脏的 2D 高分辨率图像以及导管测试台。这些捕获的图像使用移动应用程序上传给作为心脏病学专家的远程外科医生。该图像用于从 2D 图像跟踪进行 3D 重建。这在 HoloLens 中查看,就像笔记本电脑中的仿真器一样。外科医生可以远程检查具有额外转换功能(如旋转和缩放)的 3D 重建图像。这些转换功能是通过手势启用的。外科医生的指导被传输到手术环境,以在实时场景中自动化该过程。手术区域的导管试验台由远程外科医生的手势引导控制。开发的原型模型展示了通过 AR 进行远程手术引导的有效性。

Introduction

AR 可以将 3D 模型叠加在真实环境中。AR 的技术发展在许多领域都发生了范式转变,即教育1、医疗2、制造3 和娱乐4。AR 技术以及超可靠的低延迟通信证明了它在医疗领域不可避免的作用。从人体解剖学的学习阶段到手术指导,学习阶段都可以通过 AR 驱动的软件 5,6 和硬件进行可视化。AR 为手术环境中的医生提供了关键且可靠的解决方案 7,8

主动脉瓣狭窄是心脏瓣膜病,在人类中最常见9。这种疾病的根本原因是不良的饮食习惯和不规律的日常生活。这种疾病的症状和结果是心脏瓣膜变窄,然后是血流量减少。在对人类心脏造成任何损害之前,需要解决这个问题。因此,心脏负担过重,无法处理血流。因此,在发生任何损害之前,需要进行手术,由于最近几天的技术发展,这也可以使用 TAVR 手术来完成。该程序可以根据患者的心脏和其他身体部位的状况来采用。在这个 TAVR

Protocol

1. 手术环境

  1. 设计手术环境,如图 1 所示。确保环境中有一个承载物体的盘片、一个机械臂和两个侧挂臂,一个用于固定摄像头占位符,另一个具有一致的白色背景以及用于平衡的称重模块。
  2. 开发两个驱动程序,一个用于实时手术环境的快照,如步骤 2.1 至 2.10 所述,另一个用于控制支持 360° 监控的旋转机构,如步骤 3.1 至 3.4 所述。
  3. 在实?.......

Representative Results

该协议使用心脏模型进行了测试。 图 2 显示了在空间分布摄像机的帮助下对手术区域进行实时监控的预期设置。如图 2 所示,分布式相机有助于提高场的空间分辨率,以实现有效的 3D 重建。然而,实现这些相机在不同空间位置的物理放置涉及复杂性。因此,我们优化了设置设计,并提出了由 TB6600 驱动器驱动的 NEMA 电机旋转的空间自定向摄像机布置解.......

Discussion

在现有工作15 中,检查 X 射线和 CT 扫描以定位心脏中的导管。然而,AR TAVR 置换通过使用 3D 重建实施自动化模型,在 TAVR18 外科手术中建立了新的可能性。正如协议部分提到的,这项工作有五个阶段需要设计。我们在之前的工作22 中提出的第 6 节中提到的 DITF22 的第一阶段通过某种方式进行了增强,将模型嵌入到医疗应用中?.......

Acknowledgements

作者承认这项研究没有资金。

....

Materials

NameCompanyCatalog NumberComments
android IDEsoftwarehttps://developer.android.com/studiosoftware can be downloaded from this link
Arduino BoardArdunio UnoArdunio UnoMicrocontroller for processing
arduino softwaresoftwarehttps://www.arduino.cc/en/software.software can be downloaded from this link
Human Heart phantom modelBiology Lab Equipment Manufacturer and ExporterB071YBLX2V(8B-ZB2Q-H3MS-1)light weight model with 3parts to the deep analysis of heart.
mobile holderHumble universal monopoad holderB07S9KNGVSTo carry the mobile in surgical field
pycharm IDEsoftwarehttps://www.jetbrains.com/pycharm/software can be downloaded from this link
Robot armPrinted-botsB08R2JLKYM(P0-E2UT-JSOU)arm can be controlled through control signal.it has 5 degree of freedom to access.
servo motorKollmorgen Co-Engineers MotorsMG-966Rhigh-torque servo motor,servo pulses ranging from 500 to 2500 microseconds (µs), with a frequency of 50Hz to 333Hz. 
servomotorKollmorgen Co-Engineers MotorsSG-90R1.8 kg-cm to 2.5 kg-cm load can be applied to SG-90R servo.
Stepper Motor28BYJ-4828BYJ-48Steper motor, 5V DC, 100 Hz frequency, torque 1200 Gf.cm
Stepper MotorNema 23NemaSteper motor, 9V - 42 V DC, 100 Hz frequency

References

  1. Wang, L. J., Casto, B., Reyes-Molyneux, N., Chance, W. W., Wang, S. J. Smartphone-based augmented reality patient education in radiation oncology. Tech Innov Patient Supp Radiation Oncol. 29, 100229 (2024).
  2. Guerroudji, M. A., Amara, K., Lichouri, M., Zenati, N., Masmoudi, M.

Explore More Articles

JoVE 210 3D

This article has been published

Video Coming Soon

JoVE Logo

Privacy

Terms of Use

Policies

Research

Education

ABOUT JoVE

Copyright © 2025 MyJoVE Corporation. All rights reserved