Cirugía automática en reemplazo valvular aórtico transcatéter mediante realidad aumentada

Resumen

En este artículo se presenta el diseño e implementación de un módulo de cirugía automática basado en reconstrucción 3D basado en realidad aumentada (RA). El sistema permite la cirugía a distancia al permitir a los cirujanos inspeccionar las características reconstruidas y replicar los movimientos quirúrgicos de la mano como si estuvieran realizando la cirugía en estrecha proximidad.

Resumen

La Realidad Aumentada (RA) tiene una gran demanda en aplicaciones médicas. El objetivo del trabajo es proporcionar cirugía automática mediante RA para el reemplazo valvular aórtico transcatéter (TAVI). El TAVR es el procedimiento médico alternativo para la cirugía a corazón abierto. El TAVR reemplaza la válvula lesionada por la nueva mediante un catéter. En el modelo actual, se da orientación remota, mientras que la cirugía no está automatizada en base a la RA. En este artículo, implementamos una cámara alineada espacialmente que está conectada a un motor para la automatización de la captura de imágenes en el entorno quirúrgico. La cámara rastrea la imagen 2D de alta resolución del corazón del paciente junto con el banco de pruebas del catéter. Estas imágenes capturadas se cargan mediante la aplicación móvil a un cirujano remoto experto en cardiología. Esta imagen se utiliza para la reconstrucción 3D a partir del seguimiento de imágenes 2D. Esto se ve en un HoloLens como un emulador en una computadora portátil. El cirujano puede inspeccionar de forma remota las imágenes reconstruidas en 3D con funciones de transformación adicionales, como la rotación y el escalado. Estas características de transformación se habilitan a través de gestos con las manos. La orientación del cirujano se transmite al entorno quirúrgico para automatizar el proceso en escenarios en tiempo real. El banco de pruebas del catéter en el campo quirúrgico se controla mediante la guía de gestos de la mano del cirujano remoto. El modelo prototipo desarrollado demuestra la eficacia de la guía quirúrgica a distancia a través de la RA.

Introducción

La RA puede superponer el modelo 3D en un entorno real. El desarrollo tecnológico hacia la RA ha supuesto un cambio de paradigma en muchos campos, a saber, la educación¹, la medicina², la fabricación³ y el entretenimiento⁴. La tecnología de realidad aumentada, junto con una comunicación ultrafiable de baja latencia, demuestra su papel inevitable en el campo de la medicina. Desde la etapa de aprendizaje de la anatomía humana hasta la guía quirúrgica, las etapas de aprendizaje se pueden visualizar con software ^5,6 y hardware impulsados por AR. La RA proporciona una solución crucial y fiable para el médico en un entorno quirúrgico ^7,8.

La estenosis de la válvula aórtica es la enfermedad de las válvulas cardíacas, que es más común entre la humanidad⁹. La causa principal de la enfermedad son los malos hábitos alimenticios y las rutinas irregulares de la vida cotidiana. El síntoma y resultado de la enfermedad es el estrechamiento de la válvula cardíaca, seguido de una reducción del flujo sanguíneo. Este problema debe abordarse antes de que se produzca algún daño en el corazón humano. Por lo tanto, el corazón está sobrecargado para procesar el flujo sanguíneo. Por lo tanto, antes de que ocurra cualquier daño, es necesario realizar una cirugía, que, debido a los desarrollos tecnológicos en los últimos días, también se puede realizar mediante el procedimiento TAVR. El procedimiento se puede adoptar en función de la condición del corazón y otras partes del cuerpo de los pacientes. En este TAVI^10,11, se inserta el catéter para reemplazar la válvula dañada en el corazón. Sin embargo, colocar el catéter en la posición¹² para reemplazar la válvula es tedioso para el médico. Esta idea nos motivó a diseñar un modelo de cirugía automatizada basado en AR^13,14, que ayuda al cirujano a posicionar con precisión la válvula durante el proceso de reemplazo. Además, la cirugía se puede realizar mediante un algoritmo de mapeo de movimiento, que mapea el movimiento del cirujano capturado desde una ubicación remota hasta el brazo robótico.

En el trabajo existente 15,16,17, la visualización del procedimiento TAVI ¹⁸ es monitoreada a través de fluoroscopia. Por lo tanto, es difícil analizar la válvula cardíaca y tedioso encontrar la ubicación del reemplazo. Esto establece una barrera para colocar el catéter en el corazón humano. Además, el movimiento remoto se asigna al campo quirúrgico para automatizar el proceso. Sin embargo, para superar el vacío de investigación, proponemos una cirugía robótica automatizada para el reemplazo valvular utilizando tecnología asistida por RA.

El protocolo es un modelo genérico que se puede aplicar a todos los entornos quirúrgicos. En la etapa inicial del trabajo, se capturan imágenes 2D de todo el entorno quirúrgico con la resolución espacial más completa y el mayor grado de libertad. Esto significa que se capturan suficientes imágenes para la reconstrucción 3D¹⁹ , seguida de un mapeo de movimiento a través del seguimiento de gestos con la mano²⁰.

Protocolo

1. Entorno quirúrgico

1. Diseñe un entorno quirúrgico como se muestra en la Figura 1. Asegúrese de que el entorno tenga un plato para transportar objetos, un brazo robótico y dos brazos para colgar lateralmente, uno para sostener un marcador de posición de la cámara y el otro para tener un fondo blanco consistente junto con el módulo de pesaje para el equilibrio.
2. Desarrolle dos controladores, uno para la instantánea del entorno quirúrgico en vivo, como se menciona en los pasos 2.1 a 2.10, y el otro para controlar el mecanismo giratorio que admite la vigilancia de 360°, como se mencionó en los pasos 3.1 a 3.4.
3. Antes de implementar los dos módulos anteriores, habilite Bluetooth del dispositivo móvil y la computadora portátil, que sirven como emulador de HoloLens del cirujano.
4. Empareje los dispositivos para una transmisión de imágenes ininterrumpida.

2. Configurar el controlador para controlar los dos brazos colgantes

1. Asegúrese de que los brazos colgantes estén controlados por un motor paso a paso con la disposición que se muestra en la Figura 2 para una revolución impecable de 360°.
2. Conecte el motor a la placa del microcontrolador mediante el controlador TB 6600. Para hacer funcionar el motor, instale el IDE del microcontrolador desde el navegador.
3. Haga clic en el botón Descargar para descargar el software. A continuación, en el IDE del microcontrolador, vaya a Archivo > Abrir un nuevo boceto para escribir el código.
4. Asegúrese de conectar la placa del microcontrolador para interactuar con el nuevo boceto a través de un puerto de conexión dedicado, por ejemplo, COM 4. Verifique el puerto Com y verifique que muestre la placa del microcontrolador.
5. Compruebe la configuración del interruptor de hardware del controlador del motor paso a paso TB 6600. Asegúrese de que los ajustes sean tales que el flujo de corriente sea de 2 A, lo que se puede lograr configurando SW4 ON y SW5 y SW6 OFF.
6. Asegúrese de que las posiciones de los interruptores SW1, SW2 y SW3 estén configuradas de modo que el micropaso sea de 1/8 de paso para alcanzar los pasos de revolución según el requisito. Asegúrese de que la configuración sea SW1 OFF, SW2 ON y SW3 OFF en TB6600.
7. Conecte el RTC 3231 con el microcontrolador para tener una sincronización en tiempo global real. Asegúrese de que el tamaño del paso de revolución sea de 12° y que el incremento del paso del motor se active solo cuando la unidad en tiempo real, es decir, los segundos leídos del módulo RTC, sea impar.
8. Conecte el pin de 5 V de la placa del microcontrolador al RTC VCC y el GND del microcontrolador al GND del RTC.
9. Conecte el pin SCL del RTC al pin A0 y el SDA al pin A1 del microcontrolador. Este módulo puede garantizar un tamaño de paso de 12 °, haciendo 30 pasos en una revolución. Asegúrese de que el incremento de pasos se produzca cada segundo impar. Deje que este módulo de software accione el motor paso a paso²¹.
10. Compruebe que la instalación funciona correctamente ejecutando el código, que está disponible en la página de GitHub: https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR.
11. Descarga Android Studio para desarrollar la app de cámara automática. Asegúrese de que se cumplan los requisitos del sistema y, a continuación, descargue el software del sitio web.

3. Desarrollo de un controlador para la vigilancia de escenas y la transmisión de imágenes basadas en dispositivos móviles como módulo cliente

1. Desarrollar una aplicación de cámara en el sistema operativo Android que pueda tomar instantáneas cada 2 s, especialmente cuando los segundos son números impares.
2. Conecte el teléfono móvil con el sistema. En Android Studio, haz clic en Nuevo > Nuevo proyecto y elige Empty Views Activity. Haga clic en Siguiente para desarrollar un código de Android, que está disponible en https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR.
3. Asegúrese de que la aplicación capture las imágenes automáticamente y las envíe a un dispositivo remoto de forma coherente.
4. Transmita instantáneas desde la aplicación móvil inmediatamente después de tomar la instantánea al dispositivo emparejado, es decir, al sistema del cirujano remoto, a través de Bluetooth.
   NOTA: Asegúrese de que los módulos mencionados en las secciones 2 y 3 se ejecuten en sincronización de tiempo, uno para cada número par de segundos y el otro para cada número impar de segundos.

4. Desarrollo de un módulo cliente para recibir y manejar imágenes de vigilancia

1. Abra el módulo servidor, que es una interfaz gráfica de usuario.
2. Introduzca el número de puerto VVID en el campo de texto VVID, cuyo valor predeterminado es 94f39d29 7d6d 437d 973b fba39e49d4ee.
3. Haga clic en Crear socket para crear y vincular el socket. Haga clic en Conectar para establecer una conexión con la aplicación móvil.
4. Haga clic en Capturar para capturar y guardar las imágenes de vigilancia de la escena en la carpeta local
5. Introduzca el nombre de la carpeta local en el campo nombre de la carpeta si debe ser diferente del predeterminado mencionado.

5. Manejo del brazo robótico

1. Deje que el módulo cliente incluya también un brazo robótico. Diseñe el brazo para que tenga un movimiento de rotación en su base, hombro, codo, muñeca y dedos.
2. Asegúrese de que los servos MG 996R se utilizan para gobernar el movimiento de rotación en la base, el hombro y el codo. Asegúrese de que el servomotor SG 90 se utilice para controlar el movimiento de rotación en el codo y los dedos.
3. Compile el código dado en https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR en el IDE del microcontrolador para impulsar el brazo robótico en función de los comandos recibidos del cirujano remoto.

Reconstrucción 6. 3D para realidad aumentada

1. Leer dos imágenes a la vez en una secuencia, una a una, de la carpeta local para obtener la posible superposición (al estar las imágenes recogidas muy cerca, habrá una superposición entre las imágenes consecutivas) entre ellas.
2. Diseñe un filtro terciario según los requisitos de la Descripción de características intensificadas direccionales utilizando el algoritmo de filtrado terciario²² (DITF) para obtener el gradiente y la orientación.
3. Extraiga las entidades utilizando el método DITF²², como se muestra en la Figura 3.
4. Reconstruya imágenes 3D a partir de las entidades recopiladas utilizando SFM²³.

7. Reconocimiento de gestos con la mano en la ubicación del cirujano

1. Facilitar al cirujano la inspección de las características de la imagen reconstruida en 3D permitiéndole visualizar el entorno desde todas las perspectivas al proporcionar rotación basada en gestos de la mano y acercar/alejar las características reconstruidas.
2. Normalice y mapee la distancia entre la punta del pulgar del cirujano y el dedo índice de la mano derecha en un ángulo de rotación correspondiente. Que la normalización sea de tal manera que la distancia mínima mínima corresponda a 0° y la máxima a 180°.
3. Transmita el control de gestos de la mano, a través de Bluetooth, al entorno de cirugía remota, así como para la rotación del plato de objetos, lo que lo hace girar sobre su eje mientras las características reconstruidas en 3D giran en el extremo del cirujano.
4. Encuentre la distancia entre la punta y el pulgar de la mano izquierda del cirujano para controlar el movimiento de los dedos del brazo del robot.
5. Mida el ángulo de elevación a partir de la distancia espacial entre la punta del pulgar y los dedos índices de la mano izquierda del cirujano con respecto a un plano de tierra x-y imaginario para determinar el ángulo de elevación. Asigne este ángulo a un ángulo de elevación que el brazo del robot pueda hacer con el plano x-y.
6. Halla el ángulo de acimut que forma la mano del cirujano con la del plano virtual y-z. Identifique estos ángulos a través del reconocimiento basado en gestos con las manos.
7. Asigne la distancia, la elevación y los ángulos de acimut para controlar el movimiento de los dedos y la rotación del brazo del robot, que corresponden a los ángulos de elevación y acimut.
8. Deje que el cirujano inspeccione las características reconstruidas haciendo zoom y girando. Deje que el cirujano transmita comandos al brazo robótico para realizar la cirugía desde una ubicación remota.
9. Asegúrese de que los comandos de cirugía se transmitan como una cadena de control de secuencia, comenzando con una cadena concurrente seguida de los valores para controlar la rotación del plato y el controlador del brazo robótico. Sea [θ_b, θ_s, θ_e, θ_w, θ_f] el ángulo del vector que consta de valores, cada uno correspondiente a la señal de control correspondiente a la base, el hombro, el codo, la muñeca y el dedo del brazo del robot.
   NOTA: El enlace de GitHub proporciona el código para habilitar el control de gestos con la mano en el campo quirúrgico. https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR.

Resultados

El protocolo se probó con el modelo de corazón fantasma. La Figura 2 muestra la configuración esperada para la vigilancia en vivo del campo quirúrgico con la ayuda de cámaras distribuidas espacialmente. Las cámaras distribuidas, como se muestra en la Figura 2, ayudan a aumentar la resolución espacial del campo para una reconstrucción 3D efectiva. Sin embargo, darse cuenta de la ubicación física de esas cámaras en varias ubicaciones espaciales implica ...

Discusión

En un trabajo existente¹⁵, se examinan las radiografías y las tomografías computarizadas para localizar el catéter en el corazón. Sin embargo, el reemplazo del AR TAVR establece una nueva posibilidad en el procedimiento quirúrgico TAVR¹⁸ mediante la implementación de un modelo automatizado mediante reconstrucción 3D. Como se mencionó en la sección de protocolo, este trabajo tiene cinco etapas para diseñar. La primera etapa del DITF²², menci...

Materiales

Name	Company	Catalog Number	Comments
android IDE	software	https://developer.android.com/studio	software can be downloaded from this link
Arduino Board	Ardunio Uno	Ardunio Uno	Microcontroller for processing
arduino software	software	https://www.arduino.cc/en/software.	software can be downloaded from this link
Human Heart phantom model	Biology Lab Equipment Manufacturer and Exporter	B071YBLX2V(8B-ZB2Q-H3MS-1)	light weight model with 3parts to the deep analysis of heart.
mobile holder	Humble universal monopoad holder	B07S9KNGVS	To carry the mobile in surgical field
pycharm IDE	software	https://www.jetbrains.com/pycharm/	software can be downloaded from this link
Robot arm	Printed-bots	B08R2JLKYM(P0-E2UT-JSOU)	arm can be controlled through control signal.it has 5 degree of freedom to access.
servo motor	Kollmorgen Co-Engineers Motors	MG-966R	high-torque servo motor,servo pulses ranging from 500 to 2500 microseconds (µs), with a frequency of 50Hz to 333Hz.
servomotor	Kollmorgen Co-Engineers Motors	SG-90R	1.8 kg-cm to 2.5 kg-cm load can be applied to SG-90R servo.
Stepper Motor	28BYJ-48	28BYJ-48	Steper motor, 5V DC, 100 Hz frequency, torque 1200 Gf.cm
Stepper Motor	Nema 23	Nema	Steper motor, 9V - 42 V DC, 100 Hz frequency