Cirurgia Automática no Implante Percutâneo da Valva Aórtica com Realidade Aumentada

Resumo

Este artigo apresenta o projeto e a implementação de um módulo de cirurgia automática baseado em reconstrução 3D baseada em realidade aumentada (AR). O sistema permite a cirurgia remota, permitindo que os cirurgiões inspecionem características reconstruídas e repliquem os movimentos cirúrgicos da mão como se estivessem realizando a cirurgia nas proximidades.

Resumo

A Realidade Aumentada (AR) está em alta demanda em aplicações médicas. O objetivo do artigo é fornecer cirurgia automática usando RA para o implante percutâneo da valva aórtica (TAVI). O TAVI é o procedimento médico alternativo para cirurgia de coração aberto. O TAVI substitui a válvula lesada por uma nova usando um cateter. No modelo existente, a orientação remota é fornecida, enquanto a cirurgia não é automatizada com base na RA. Neste artigo, implantamos uma câmera alinhada espacialmente que é conectada a um motor para a automação da captura de imagens no ambiente cirúrgico. A câmera rastreia a imagem 2D de alta resolução do coração do paciente junto com o banco de testes do cateter. Essas imagens capturadas são carregadas usando o aplicativo móvel para um cirurgião remoto especialista em cardiologia. Esta imagem é utilizada para a reconstrução 3D a partir do rastreamento de imagens 2D. Isso é exibido em um HoloLens como um emulador em um laptop. O cirurgião pode inspecionar remotamente as imagens reconstruídas em 3D com recursos adicionais de transformação, como rotação e dimensionamento. Esses recursos de transformação são ativados por meio de gestos com as mãos. A orientação do cirurgião é transmitida ao ambiente cirúrgico para automatizar o processo em cenários em tempo real. O banco de testes do cateter no campo cirúrgico é controlado pela orientação do cirurgião remoto por gestos manuais. O modelo de protótipo desenvolvido demonstra a eficácia da orientação cirúrgica remota por meio de RA.

Introdução

A RA pode sobrepor o modelo 3D em um ambiente do mundo real. O desenvolvimento tecnológico em direção à RA fez uma mudança de paradigma em muitos campos, ou seja, educação¹, medicina², manufatura³ e entretenimento⁴. A tecnologia AR, juntamente com a comunicação ultraconfiável de baixa latência, prova seu papel inevitável na área médica. Desde o estágio de aprendizado da anatomia humana até a orientação cirúrgica, os estágios de aprendizado podem ser visualizados com software ^5,6 e hardware com tecnologia AR. A RA fornece uma solução crucial e confiável para o médico em um ambiente cirúrgico ^7,8.

A estenose valvar aórtica é a doença valvar cardíaca, mais comum na humanidade⁹. A causa raiz da doença são os maus hábitos alimentares e as rotinas irregulares do dia-a-dia. O sintoma e o resultado da doença é o estreitamento da válvula cardíaca, seguido de uma redução no fluxo sanguíneo. Este problema precisa ser resolvido antes que qualquer dano ocorra ao coração humano. Assim, o coração fica sobrecarregado para processar o fluxo sanguíneo. Portanto, antes que qualquer dano aconteça, é necessário fazer uma cirurgia, que, devido aos desenvolvimentos tecnológicos dos últimos dias, também pode ser feita com o procedimento TAVI. O procedimento pode ser adotado com base na condição do coração e de outras partes do corpo dos pacientes. Neste TAVI^10,11, o cateter é inserido para substituir a válvula danificada no coração. No entanto, colocar a posição¹² do cateter para substituir a válvula é tedioso para o médico. Essa ideia nos motivou a projetar um modelo de cirurgia automatizada baseado no AR^13,14, que ajuda o cirurgião a posicionar com precisão a válvula durante o processo de substituição. Além disso, a cirurgia pode ser realizada por um algoritmo de mapeamento de movimento, que mapeia o movimento do cirurgião capturado de um local remoto para o braço robótico.

No trabalho existente 15,16,17, a visualização do procedimento TAVI¹⁸ é monitorada por meio de fluoroscopia. Portanto, é difícil analisar a válvula cardíaca e tedioso encontrar o local de substituição. Isso cria uma barreira para posicionar o cateter no coração humano. Além disso, o movimento remoto é mapeado para o campo cirúrgico para automatizar o processo. No entanto, para superar a lacuna de pesquisa, propomos uma cirurgia robótica automatizada para substituição valvar usando tecnologia assistida por AR.

O protocolo é um modelo genérico que pode ser aplicado a todos os ambientes cirúrgicos. Na fase inicial do trabalho, imagens 2D são capturadas em todo o ambiente cirúrgico com a resolução espacial máxima do maior grau de liberdade. Isso significa que imagens suficientes são capturadas para fins de reconstrução 3D¹⁹ , seguidas de mapeamento de movimento por meio do rastreamento de gestos manuais²⁰.

Protocolo

1. Ambiente cirúrgico

1. Projete um ambiente cirúrgico conforme mostrado na Figura 1. Certifique-se de que o ambiente tenha um prato de transporte de objetos, um braço robótico e dois braços pendurados lateralmente, um para segurar um espaço reservado para câmera e o outro para ter um fundo branco consistente junto com o módulo de pesagem para balança.
2. Desenvolva dois drivers, um para o instantâneo do ambiente cirúrgico ao vivo, conforme mencionado nas etapas 2.1 a 2.10, e outro para controlar o mecanismo giratório que suporta a vigilância 360°, conforme mencionado nas etapas 3.1 a 3.4.
3. Antes de implementar os dois módulos acima, habilite o Bluetooth do dispositivo móvel e do laptop, que servem como emulador do HoloLens do cirurgião.
4. Emparelhe os dispositivos para transmissão ininterrupta de imagens.

2. Configurando o driver para controlar os dois braços suspensos

1. Certifique-se de que os braços suspensos sejam controlados por um motor de passo com o arranjo mostrado na Figura 2 para uma rotação perfeita de 360°.
2. Conecte o motor à placa do microcontrolador usando o driver TB 6600. Para operar o motor, instale o IDE do microcontrolador a partir do navegador.
3. Clique no botão Download para baixar o software. Em seguida, no IDE do microcontrolador, vá para Arquivo > Abrir um novo esboço para escrever o código.
4. Certifique-se de conectar a placa do microcontrolador para fazer interface com o novo esboço por meio de uma porta de conexão dedicada, digamos COM 4. Verifique a porta Com e verifique se ela mostra a placa do microcontrolador.
5. Verifique as configurações do interruptor de hardware do driver do motor de passo TB 6600. Certifique-se de que as configurações sejam tais que o fluxo de corrente seja de 2 A, o que pode ser obtido definindo SW4 ON e SW5 e SW6 OFF.
6. Certifique-se de que as posições dos interruptores de SW1, SW2 e SW3 estejam definidas de forma que o micro-passo seja de 1/8 de passos para atingir os passos de revolução de acordo com o requisito. Certifique-se de que as configurações sejam SW1 OFF, SW2 ON e SW3 OFF no TB6600.
7. Conecte o RTC 3231 ao microcontrolador para ter sincronização em tempo global real. Certifique-se de que o tamanho do passo de rotação seja de 12° e que o incremento do passo do motor seja acionado apenas quando a unidade em tempo real, ou seja, os segundos lidos do módulo RTC, for ímpar.
8. Conecte o pino de 5 V da placa do microcontrolador ao RTC VCC e o GND do microcontrolador ao GND do RTC.
9. Conecte o pino SCL do RTC ao pino A0 e o SDA ao pino A1 do microcontrolador. Este módulo pode garantir um tamanho de passo de 12°, fazendo 30 passos em uma revolução. Certifique-se de que o incremento da etapa ocorra a cada segundo ímpar. Deixe este módulo de software acionar o motor de passo²¹.
10. Verifique se a configuração está funcionando corretamente executando o código, que está disponível na página do GitHub: https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR.
11. Baixe o Android Studio para desenvolver o aplicativo de câmera automática. Certifique-se de que os requisitos do sistema sejam atendidos e baixe o software do site.

3. Desenvolvimento de um driver para vigilância de cena baseada em dispositivos móveis e transmissão de imagem como um módulo cliente

1. Desenvolva um aplicativo de câmera no sistema operacional Android que possa tirar fotos a cada 2 s, especialmente quando os segundos são números ímpares.
2. Conecte o celular ao sistema. No Android Studio, clique em Novo > Novo projeto e escolha Empty Views Activity (Atividade de visualizações vazias). Clique em Avançar para desenvolver um código Android, que está disponível em https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR.
3. Certifique-se de que o aplicativo capture as imagens automaticamente e as envie para um dispositivo remoto de forma consistente.
4. Transmita instantâneos do aplicativo móvel imediatamente após tirar o instantâneo para o dispositivo emparelhado, ou seja, para o sistema do cirurgião remoto, por meio de Bluetooth.
   NOTA: Certifique-se de que os módulos mencionados nas seções 2 e 3 sejam executados na sincronização de tempo, um para cada número par de segundos e o outro para cada número ímpar de segundos.

4. Desenvolvimento de um módulo cliente para receber e lidar com imagens de vigilância

1. Abra o módulo do servidor, que é uma interface gráfica do usuário.
2. Digite o número da porta VVID no campo de texto VVID, cujo valor padrão é 94f39d29 7d6d 437d 973b fba39e49d4ee.
3. Clique em Criar soquete para criar e vincular o soquete. Clique em Conectar para estabelecer uma conexão com o aplicativo móvel.
4. Clique em Capturar para capturar e salvar as imagens de vigilância da cena na pasta local
5. Insira o nome da pasta local no nome da pasta de campo se precisar ser diferente do padrão mencionado.

5. Operando o braço robótico

1. Deixe o módulo cliente incluir um braço robótico também. Projete o braço para ter um movimento rotacional em sua base, ombro, cotovelo, pulso e dedos.
2. Certifique-se de que os servos MG 996R sejam usados para controlar o movimento rotacional na base, ombro e cotovelo. Certifique-se de que o servo motor SG 90 seja usado para controlar o movimento rotacional no cotovelo e nos dedos.
3. Compile o código fornecido em https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR no IDE do microcontrolador para acionar o braço robótico com base nos comandos recebidos do cirurgião remoto.

6. 3D reconstrução para realidade aumentada

1. Leia duas imagens de cada vez em sequência, uma a uma, da pasta local para obter a possível sobreposição (como as imagens são coletadas nas proximidades, haverá uma sobreposição entre as imagens consecutivas) entre elas.
2. Projete um filtro terciário de acordo com o requisito da Descrição de Recursos Intensificados Direcionais usando o algoritmo Terciary Filtering²² (DITF) para obter o gradiente e a orientação.
3. Extraia os recursos usando o método DITF²², conforme mostrado na Figura 3.
4. Reconstrua imagens 3D dos recursos coletados usando o SFM²³.

7. Reconhecimento de gestos manuais no local do cirurgião

1. Facilitar o cirurgião a inspecionar os recursos da imagem reconstruída em 3D, permitindo que ele visualize o ambiente de todas as perspectivas, fornecendo rotação baseada em gestos com as mãos e zoom in/out dos recursos reconstruídos.
2. Normalize e mapeie a distância entre a ponta do polegar do cirurgião e o dedo indicador da mão direita em um ângulo de rotação correspondente. Seja a normalização de tal forma que a distância mínima corresponda a 0° e a máxima a 180°.
3. Transmita o controle de gestos manuais, através de Bluetooth, para o ambiente de cirurgia remota, bem como para a rotação do prato de objetos, o que o faz girar em seu eixo à medida que os recursos reconstruídos em 3D giram na extremidade do cirurgião.
4. Encontre a distância entre a ponta e o polegar da mão esquerda do cirurgião para controlar o movimento dos dedos do braço robótico.
5. Meça o ângulo de elevação a partir da distância espacial entre a ponta do polegar e os dedos indicador da mão esquerda do cirurgião em relação a um plano de solo xy imaginário para determinar o ângulo de elevação. Mapeie esse ângulo em um ângulo de elevação que o braço do robô possa fazer com o plano x-y.
6. Encontre o ângulo de azimute que a mão do cirurgião faz com a do plano y-z virtual. Identifique esses ângulos por meio do reconhecimento baseado em gestos com as mãos.
7. Mapeie os ângulos de distância, elevação e azimute para controlar o movimento do dedo e a rotação do braço do robô, que correspondem aos ângulos de elevação e azimute.
8. Deixe o cirurgião inspecionar as características reconstruídas ampliando e girando. Deixe o cirurgião transmitir comandos ao braço do robô para realizar a cirurgia de um local remoto.
9. Certifique-se de que os comandos de cirurgia sejam transmitidos como uma sequência de controle de sequência, começando com uma concordância de cadeia de caracteres seguida pelos valores para controlar a rotação do prato e o controlador do braço robótico. Seja [θ_b, θ_s, θ_e, θ_w, θ_f] o ângulo do vetor que consiste em valores, cada um correspondendo ao sinal de controle correspondente à base, ombro, cotovelo, pulso e dedo do braço do robô.
   NOTA: O link do GitHub fornece o código para habilitar o controle de gestos com as mãos no campo cirúrgico. https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR.

Resultados

O protocolo foi testado com o modelo de simulador de coração. A Figura 2 mostra a configuração esperada para a vigilância ao vivo do campo cirúrgico com a ajuda de câmeras distribuídas espacialmente. As câmeras distribuídas, conforme mostrado na Figura 2, ajudam a aumentar a resolução espacial do campo para uma reconstrução 3D eficaz. No entanto, realizar o posicionamento físico dessas câmeras em vários locais espaciais envolve complexidade. Por...

Discussão

Em um trabalho existente¹⁵, raios-X e tomografias computadorizadas são examinados para localizar o cateter no coração. No entanto, a substituição do TAVI AR estabelece uma nova possibilidade no procedimento cirúrgico do TAVI¹⁸ pela implementação de um modelo automatizado usando reconstrução 3D. Como mencionado na seção de protocolo, este trabalho tem cinco etapas para projetar. O primeiro estágio do DITF²², mencionado na seção 6, que p...

Materiais

Name	Company	Catalog Number	Comments
android IDE	software	https://developer.android.com/studio	software can be downloaded from this link
Arduino Board	Ardunio Uno	Ardunio Uno	Microcontroller for processing
arduino software	software	https://www.arduino.cc/en/software.	software can be downloaded from this link
Human Heart phantom model	Biology Lab Equipment Manufacturer and Exporter	B071YBLX2V(8B-ZB2Q-H3MS-1)	light weight model with 3parts to the deep analysis of heart.
mobile holder	Humble universal monopoad holder	B07S9KNGVS	To carry the mobile in surgical field
pycharm IDE	software	https://www.jetbrains.com/pycharm/	software can be downloaded from this link
Robot arm	Printed-bots	B08R2JLKYM(P0-E2UT-JSOU)	arm can be controlled through control signal.it has 5 degree of freedom to access.
servo motor	Kollmorgen Co-Engineers Motors	MG-966R	high-torque servo motor,servo pulses ranging from 500 to 2500 microseconds (µs), with a frequency of 50Hz to 333Hz.
servomotor	Kollmorgen Co-Engineers Motors	SG-90R	1.8 kg-cm to 2.5 kg-cm load can be applied to SG-90R servo.
Stepper Motor	28BYJ-48	28BYJ-48	Steper motor, 5V DC, 100 Hz frequency, torque 1200 Gf.cm
Stepper Motor	Nema 23	Nema	Steper motor, 9V - 42 V DC, 100 Hz frequency