Teste robotizado de posições da câmera para determinar configuração ideal para visualização estéreo 3D de cirurgia de coração aberto

Resumo

A percepção de profundidade humana dos vídeos estéreo 3D depende da separação da câmera, ponto de convergência, distância e familiaridade do objeto. Este artigo apresenta um método robotizado para coleta rápida e confiável de dados de teste durante a cirurgia de coração aberto ao vivo para determinar a configuração ideal da câmera.

Resumo

O vídeo estéreo 3D de procedimentos cirúrgicos pode ser altamente valioso para a educação médica e melhorar a comunicação clínica. Mas o acesso à sala de cirurgia e ao campo cirúrgico é restrito. É um ambiente estéril, e o espaço físico está lotado de equipe cirúrgica e equipamentos técnicos. Neste cenário, a captura não obscurecido e a reprodução realista dos procedimentos cirúrgicos são difíceis. Este artigo apresenta um método para coleta rápida e confiável de dados de vídeos 3D estereoscópicos a diferentes distâncias de linha de base da câmera e distâncias de convergência. Para coletar dados de teste com interferência mínima durante a cirurgia, com alta precisão e repetibilidade, as câmeras foram anexadas a cada mão de um robô de braço duplo. O robô estava montado no teto da sala de cirurgia. Foi programado para realizar uma sequência cronometrada de movimentos sincronizados da câmera passando por uma gama de posições de teste com distância de linha de base entre 50-240 mm em etapas incrementais de 10 mm, e a duas distâncias de convergência de 1100 mm e 1400 mm. A cirurgia foi pausada para permitir 40 amostras de vídeo 5 s consecutivas. Foram registrados 10 cenários cirúrgicos.

Introdução

Na cirurgia, a visualização 3D pode ser usada para educação, diagnósticos, planejamento pré-operatório e avaliação pós-operatória1,2. A percepção de profundidade realista pode melhorar a compreensão3,4,5,6 de anatomias normais e anormais. Gravações simples de vídeo 2D de procedimentos cirúrgicos são um bom começo. No entanto, a falta de percepção de profundidade pode dificultar que os colegas não cirúrgicos compreendam plenamente as relações antero-posteriores entre diferentes estruturas anatômicas e, portanto, também introduzem um risco de má interpretação da anatomia7,8,9,10.

A experiência de visualização 3D é afetada por cinco fatores: (1) A configuração da câmera pode ser paralela ou toed-in como mostrado na Figura 1, (2) Distância da linha de base (a separação entre as câmeras). (3) Distância até o objeto de interesse e outras características da cena, como o fundo. (4) Características de dispositivos de visualização, como tamanho da tela e posição de visualização1,11,12,13. (5) Preferências individuais dos ^{telespectadores14,15}.

A concepção de uma configuração de câmera 3D começa com a captura de vídeos de teste gravados em várias distâncias e configurações da linha de base da câmera para serem usados para avaliação subjetiva ou automática16,17,18,19,20. A distância da câmera deve ser constante ao campo cirúrgico para capturar imagens nítidas. O foco fixo é preferido porque o foco automático se ajustará para focar em mãos, instrumentos ou cabeças que possam vir à vista. No entanto, isso não é facilmente alcançável quando a cena de interesse é o campo cirúrgico. As salas de cirurgia são áreas de acesso restrito porque essas instalações devem ser mantidas limpas e estéreis. Equipamentos técnicos, cirurgiões e enfermeiros de limpeza são frequentemente agrupados ao redor do paciente para garantir uma boa visão visual e um fluxo de trabalho eficiente. Para comparar e avaliar o efeito das posições da câmera na experiência de visualização 3D, uma faixa completa de teste de posições da câmera deve estar registrando a mesma cena porque as características do objeto, como forma, tamanho e cor, podem afetar a experiência de visualização ^3D21.

Pelo mesmo motivo, as faixas completas de teste de posições da câmera devem ser repetidas em diferentes procedimentos cirúrgicos. Toda a sequência de posições deve ser repetida com alta precisão. Em um ambiente cirúrgico, os métodos existentes que requerem ajuste manual da distância da linha de ^base22 ou diferentes pares de câmeras com distâncias fixas da linha de ^base23 não são viáveis devido a restrições de espaço e tempo. Para enfrentar esse desafio, esta solução robotizada foi projetada.

Os dados foram coletados com um robô industrial colaborativo de braço duplo montado no teto da sala de cirurgia. As câmeras foram anexadas aos pulsos do robô e moveram-se ao longo de uma trajetória em forma de arco com crescente distância de linha de base, como mostrado na Figura 2.

Para demonstrar a abordagem, foram registradas 10 séries de testes de 4 pacientes diferentes com 4 defeitos cardíacos congênitos diferentes. As cenas foram escolhidas quando uma pausa na cirurgia era viável: com os corações batendo pouco antes e depois do reparo cirúrgico. Séries também foram feitas quando os corações foram presos. As cirurgias foram pausadas por 3 minutos e 20 s para coletar quarenta 5-ssequences com diferentes distâncias de convergência de câmera e distâncias de linha de base para capturar a cena. Os vídeos foram posteriormente pós-processados, exibidos em 3D para a equipe clínica, que classificou o quão realista o vídeo 3D foi ao longo de uma escala de 0-5.

O ponto de convergência para câmeras estéreo toed-in é onde os pontos centrais de ambas as imagens se encontram. O ponto de convergência pode, por princípio, ser colocado na frente, dentro ou atrás do objeto, ver a Figura 1A-C. Quando o ponto de convergência estiver na frente do objeto, o objeto será capturado e exibido à esquerda da linha média para a imagem da câmera esquerda e à direita da linha média para a imagem da câmera direita (Figura 1A). O oposto se aplica quando o ponto de convergência está atrás do objeto (Figura 1B). Quando o ponto de convergência estiver no objeto, o objeto também aparecerá na linha média das imagens da câmera (Figura 1C), o que, presumivelmente, deve render a visualização mais confortável, já que nenhum squinting é necessário para mesclar as imagens. Para obter um vídeo estéreo 3D confortável, o ponto de convergência deve estar localizado sobre, ou ligeiramente atrás, do objeto de interesse, senão o espectador é obrigado a olhar voluntariamente para fora (exotropia).

Os dados foram coletados utilizando um robô industrial colaborativo de braço duplo para posicionar as câmeras (Figura 2A-B). O robô pesa 38 kg sem equipamento. O robô é intrinsecamente seguro; quando detecta um impacto inesperado, ele pára de se mover. O robô foi programado para posicionar as câmeras de 5 Megapixels com lentes de montagem C ao longo de uma trajetória em forma de arco parando em distâncias de linha de base predeterminadas (Figura 2C). As câmeras foram anexadas às mãos do robô usando placas adaptadoras, como mostrado na Figura 3. Cada câmera gravada a 25 quadros por segundo. As lentes foram definidas em f-stop 1/8 com foco fixo no objeto de interesse (centro geométrico aproximado do coração). Cada quadro de imagem tinha um cronô de tempo que era usado para sincronizar as duas transmissões de vídeo.

Os deslocamentos entre o pulso do robô e a câmera foram calibrados. Isso pode ser alcançado alinhando a mira das imagens da câmera, como mostrado na Figura 4. Nesta configuração, o deslocamento translacional total do ponto de montagem no pulso do robô e o centro do sensor de imagem da câmera foi de 55,3 mm na direção X e 21,2 mm na direção Z, exibido na Figura 5. Os deslocamentos rotacionais foram calibrados a uma distância de convergência de 1100 mm e uma distância de linha de base de 50 mm e ajustado manualmente com o joystick no painel de controle do robô. O robô neste estudo teve uma precisão especificada de 0,02 mm no espaço cartesiano e 0,01 graus de resolução ^rotacional24. Num raio de 1100 m, uma diferença de ângulo de 0,01 graus compensa o ponto central de 0,2 mm. Durante o movimento completo do robô de 50-240 mm de separação, a mira de cada câmera estava dentro de 2 mm do centro ideal de convergência.

A distância da linha de base foi aumentada passo a passo pela separação simétrica das câmeras ao redor do centro do campo de visão em incrementos de 10 mm que variam de 50-240 mm (Figura 2). As câmeras foram mantidas paradas por 5 s em cada posição e movidas entre as posições a uma velocidade de 50 mm/s. O ponto de convergência pode ser ajustado nas direções X e Z usando uma interface gráfica de usuário (Figura 6). O robô seguiu de acordo dentro de seu alcance de trabalho.

A precisão do ponto de convergência foi estimada utilizando-se os triângulos uniformes e os nomes variáveis nas Figuras 7A e B. A altura 'z' foi calculada a partir da distância de convergência 'R' com o teorema pitagórico como

Quando o ponto de convergência real estava mais próximo do ponto desejado, como mostrado na Figura 7A, a distância de erro '_f1' foi calculada como

Da mesma forma, quando o ponto de convergência foi distal ao ponto desejado, a distância de erro '_f2' foi calculada como

Aqui, 'e' foi a separação máxima entre as miras, no máximo 2 mm na separação máxima da linha de base durante a calibração (D = 240 mm). Para R = 1100 mm (z = 1093 mm), o erro foi inferior a ± 9,2 mm. Para R = 1400 mm (z = 1395 mm), o erro foi ± 11,7 mm. Ou seja, o erro da colocação do ponto de convergência foi dentro de 1% do desejado. As duas distâncias de teste de 1100 mm e 1400 mm foram, portanto, bem separadas.

Protocolo

Os experimentos foram aprovados pelo Comitê de Ética local em Lund, Suécia. A participação foi voluntária, e os responsáveis legais dos pacientes forneceram consentimento por escrito informado.

1. Configuração e configuração do robô

NOTA: Este experimento usou um robô industrial colaborativo de dois braços e o painel de controle padrão com um display sensível ao toque. O robô é controlado com software de controlador RobotWare 6.10.01 e robot integrated development environment (IDE) RobotStudio 2019.525. Software desenvolvido pelos autores, incluindo o aplicativo robô, aplicativo de gravação e scripts pós-processamento, estão disponíveis no repositório ^GitHub26.

ATENÇÃO: Use óculos protetores e velocidade reduzida durante a configuração e teste do programa robô.

1. Monte o robô no teto ou em uma mesa usando parafusos dimensionados por 100 kg conforme descrito na página 25 na especificação do ^produto24, seguindo as especificações do fabricante. Certifique-se de que os braços podem se mover livremente e a linha de visão para o campo de visão não é obscurecido.
   ATENÇÃO: Levante ou as cordas de segurança ao montar o robô em uma posição elevada.
2. Inicie o robô girando o interruptor de partida localizado na base do robô. Calibrar o robô seguindo o procedimento descrito no manual de operação nas páginas 47-5625.
3. Inicie o IDE robô em um computador Windows.
4. Conecte-se ao sistema robô físico (página manual de funcionamento ¹⁴⁰²⁷).
5. Carregue o código para o programa de robôs e bibliotecas de aplicativos para a interface do usuário para o robô:
   1. O código robô para um robô montado no teto está na pasta Robot/InvertedCode e para um robô montado em mesa em Robot/TableMountedCode. Para cada um dos arquivos esquerda/Data.mod, esquerda/MainModule.mod, right/Data.mod e right/MainModule.mod:
   2. Crie um novo módulo de programa (consulte a página manual de operação ³¹⁸²⁷) com o mesmo nome do arquivo (Data ou MainModule) e copie o conteúdo do arquivo para o novo módulo.
   3. Pressione o Aplicar no IDE robô para salvar os arquivos do robô.
6. Use a Transferência de Arquivos (página manual de operação ³⁴⁶²⁷) para transferir os arquivos do aplicativo robô TpSViewStereo2.dll, TpsViewStereo2.gtpu.dll e TpsViewStereo2.pdb localizados na pasta FPApp para o robô. Após esta etapa, o IDE robô não será mais utilizado.
7. Pressione o botão Redefinir na parte de trás do display de toque do robô (FlexPendant) para recarregar a interface gráfica. O aplicativo robô Stereo2 agora será visível sob o menu de exibição de toque.
8. Instale o aplicativo de gravação (Liveview) e o aplicativo de pós-processamento em um computador Ubuntu 20.04 executando o script install_all_linux.sh, localizado na pasta raiz no repositório do Github.
9. Monte cada câmera para o robô. Os componentes necessários para a montagem são exibidos na Figura 3A.
   1. Monte a lente para a câmera.
   2. Monte a câmera na placa adaptadora da câmera com três parafusos M2.
   3. Monte a placa de montagem circular na placa adaptadora da câmera com quatro parafusos M6 no lado oposto da câmera.
10. Repita as etapas 1.9.1-1.9.3 para a outra câmera. Os conjuntos resultantes são espelhados, como mostrado na Figura 3B e Figura 3C.
11. Monte a placa adaptadora ao pulso do robô com quatro parafusos M2.5, como mostrado na Figura 3D.
    1. Para um robô montado no teto: conecte a câmera esquerda na Figura 3C ao braço do robô esquerdo, como mostrado na Figura 2A.
    2. Para um robô montado na mesa: conecte a câmera esquerda na Figura 3C ao braço do robô direito.
12. Conecte os cabos USB às câmeras, como mostrado na Figura 3E, e ao computador Ubuntu.

2. Verifique a calibração da câmera

1. No visor de toque do robô, pressione o botão Menu e selecione Stereo2 para iniciar a aplicação do robô. Isso abrirá a tela principal, como mostrado na Figura 6A.
   1. Na tela principal, pressione em Ir para iniciar por 1100 mm no aplicativo do robô e esperar que o robô se mova para a posição inicial.
   2. Remova as tampas das lentes protetoras das câmeras e conecte os cabos USB ao computador Ubuntu.
   3. Coloque uma grade de calibração impressa (CalibrationGrid.png no repositório) 1100 mm dos sensores da câmera. Para facilitar a identificação correta dos quadrados correspondentes, coloque uma pequena porca ou marque em algum lugar no centro da grade.
2. Inicie o aplicativo de gravação no computador do Ubuntu (execute o script start.sh localizado na pasta liveview dentro do repositório do Github). Isso inicia a interface, como mostrado na Figura 4.
   1. Ajuste a abertura e foque na lente com a abertura e os anéis de foco.
   2. No aplicativo de gravação, verifique a Mira para visualizar a mira.
3. No aplicativo de gravação, certifique-se de que a mira esteja alinhada com a grade de calibração na mesma posição em ambas as imagens da câmera, como mostrado na Figura 4. Provavelmente, algum ajuste será necessário da seguinte forma:
   1. Se as cruzes não se sobreporem, pressione o ícone Engrenagem (inferior esquerdo Figura 6A) no aplicativo robô no display de toque do robô para abrir a tela de configuração, como mostrado na Figura 6B.
   2. Pressione 1. Vá para Start Pos, como mostrado na Figura 6B.
   3. Corra o robô com o joystick para ajustar a posição da câmera (página manual de funcionamento ³¹²³).
   4. Atualize a posição da ferramenta para cada braço robô. Pressione 3. Atualizar ferramenta esquerda e 4. Atualize a ferramenta direita para salvar a calibração para o braço esquerdo e direito, respectivamente.
   5. Pressione o ícone Back Arrow (superior direito, Figura 6B) para retornar à tela principal.
4. Pressione o Experimento de Execução (Figura 6A) no aplicativo do robô e verifique se a mira se alinha. Caso contrário, repita as etapas 2.3-2.3.5.
5. Adicione e teste quaisquer alterações nas distâncias e/ou tempo neste momento. Isso requer mudanças no código do programa robô e habilidades avançadas de programação de robôs. Alterar as seguintes variáveis no módulo Data na tarefa esquerda (braço): as distâncias de separação desejadas na variável de matriz inteiro Distâncias, as distâncias de convergência no array inteiro ConvergênciaPospos e editar o tempo em cada passo editando a variável Nwaittime (valor em segundos).
   ATENÇÃO: Nunca execute um programa robô não testado durante a cirurgia ao vivo.
6. Quando a calibração estiver completa, pressione 'Levantar para elevar os braços do robô à posição de espera.
7. Opcionalmente desligue o robô.
   NOTA: O procedimento pode ser pausado entre qualquer uma das etapas acima.

3. Preparação no início da cirurgia

1. Espasça o robô.
   1. Se o robô foi desligado, inicie-o ligando o interruptor Iniciar localizado na base do robô.
2. Inicie o aplicativo robô no display de toque e aplicativo de gravação descrito nas etapas 2.1 e 2.2.
3. No aplicativo de gravação, crie e selecione a pasta onde salvar o vídeo ( pressione a pasta de alteração).
4. Na aplicação do robô: pressione o ícone da engrenagem, posicione as câmeras em relação ao paciente. Altere a direção X e Z pressionando +/- para Distância manual do Robô e Altura, respectivamente, para que a imagem capture o campo cirúrgico. Realize o posicionamento na direção Y movendo manualmente o robô ou o paciente.
   NOTA: Os preparativos podem ser pausados entre as etapas de preparação 3.1-3.4.

4. Experimento

ATENÇÃO: Todo o pessoal deve ser informado sobre o experimento com antecedência.

1. Pausar a cirurgia.
   1. Informe o pessoal da OR que o experimento foi iniciado.
2. Pressione a Gravação no aplicativo de gravação.
3. Testeça o experimento do Press Run na aplicação do robô.
4. Espere enquanto o programa estiver em execução; o robô exibe "Feito" no aplicativo robô no display de toque quando terminado.
5. Pare de gravar no aplicativo de gravação pressionando Quit.
   1. Informe o pessoal da OR que o experimento terminou.
6. Retome a cirurgia.
   NOTA: O experimento não pode ser pausado durante as etapas 4.1-4.6.

5. Repita

1. Repita os passos 4.1-4.6 para capturar outra sequência e passos 3.1-3.4 e passos 4.1-4.6 para capturar sequências de diferentes cirurgias. Capture em torno de dez sequências completas.

6. Pós-processamento

NOTA: As seguintes etapas podem ser realizadas usando a maioria dos softwares de edição de vídeo ou os scripts fornecidos na pasta de pós-processamento.

1. Neste caso, desbayer o vídeo como ele é salvo no formato RAW:
   1. Execute o script postprocessando/debayer/run.sh para abrir o aplicativo debayer mostrado na Figura 8A.
   2. Pressione procurar diretório de entrada e selecione a pasta com o vídeo RAW.
   3. Pressione o Diretório de Saída de Navegação e selecione uma pasta para os arquivos de vídeo resultantes desbayered e coloridos.
   4. Pressione Debayer! e esperar até que o processo seja concluído - ambas as barras de progresso estão cheias, como mostrado na Figura 8B.
2. Mescle os vídeos sincronizados à direita e à esquerda ao formato estéreo ^3D28:
   1. Executar o pósprocessamento/merge_tb/execução do script.sh para iniciar o aplicativo de fusão; ele abre a interface gráfica do usuário mostrada na Figura 8C.
   2. Pressione o Diretório de Entrada de Navegação e selecione a pasta com os arquivos de vídeo desbayerados.
   3. Pressione o Diretório de saída de navegação e selecione uma pasta para o arquivo estéreo 3D fundido resultante.
   4. Pressione Mesclagem! e esperar até que a tela de acabamento na Figura 8D seja mostrada.
3. Use software de edição de vídeo off-the-shelf, como o Premiere Pro, para adicionar etiquetas de texto a cada distância da câmera no vídeo.
   NOTA: No vídeo, há um aperto visível toda vez que o robô se moveu, e a distância da câmera aumentou. Neste experimento, os rótulos A-T foram usados para as distâncias da câmera.

7. Avaliação

1. Exibir o vídeo em formato 3D inferior superior com um projetor 3D ativo.
2. A experiência de visualização depende do ângulo de visão e da distância para a tela; avaliar o vídeo usando o público e a configuração pretendidos.

Resultados

Um vídeo de avaliação aceitável com a imagem certa colocada na parte superior do 3D estereoscópico é mostrado no Video1. Uma sequência bem sucedida deve ser afiada, focada e sem molduras de imagem não sincronizadas. Fluxos de vídeo não sincronizados causarão desfoque, como mostrado no arquivo Vídeo 2. O ponto de convergência deve ser centrado horizontalmente, independente da separação da câmera, como visto na Figura 9A,B. Qua...

Discussão

Durante a cirurgia ao vivo, o tempo total do experimento utilizado para coleta de dados de vídeo 3D limitou-se a ser seguro para o paciente. Se o objeto não estiver desconcentrado ou superexposto, os dados não poderão ser usados. As etapas críticas são durante a calibração e configuração da ferramenta da câmera (etapa 2). A abertura e o foco da câmera não podem ser alterados quando a cirurgia começou; as mesmas condições de iluminação e distância devem ser utilizadas durante a configuração e cirurgia...

Materiais

Name	Company	Catalog Number	Comments
2 C-mount lenses (35 mm F2.1, 5 M pixel)	Tamron	M112FM35	Rated for 5 Mpixel
3D glasses (DLP-link active shutter)	Celexon	G1000	Any compatible 3D glasses can be used
3D Projector	Viewsonic	X10-4K	Displays 3D in 1080, can be exchanged for other 3D projectors
6 M2 x 8 screws			To attach the cXimea cameras to the camera adaptor plates
8 M2.5 x 8 screws			To attach the circular mounting plates to the robot wrist
8 M5 x 40 screws			To mount the robot
8 M6 x 10 screws with flat heads			For attaching the circular mounting plate and the camera adaptor plates
Calibration checker board plate (25 by 25 mm)			Any standard checkerboard can be used, including printed, as long as the grid is clearly visible in the cameras
Camera adaptor plates, x2			Designed by the authors in robot_camera_adaptor_plates.dwg, milled in aluminium.
Circular mounting plates, x2			Distributed with the permission of the designer Julius Klein and printed with ABS plastic on an FDM 3D printer. License Tecnalia Research & Innovation 2017. Attached as Mountingplate_ROBOT_SIDE_ NewDesign_4.stl
Fix focus usb cameras, x2 (5 Mpixel)	Ximea	MC050CG-SY-UB	With Sony IMX250LQR sensor
Flexpendant	ABB	3HAC028357-001	robot touch display
Liveview			recording application
RobotStudio			robot integrated development environment (IDE)
USB3 active cables (10.0 m), x2			Thumbscrew lock connector, water proofed.
YuMi dual-arm robot	ABB	IRB14000