Name: robotized testing of camera positions to determine ideal configuration for stereo 3d visualization of open-heart surgery
Uploaded: 2021-08-12T14:45:00
Description: Watch this Scientific Journal Video about Robotized Testing of Camera Positions to Determine Ideal Configuration for Stereo 3D Visualization of Open-Heart Surgery at JoVE.com

A pesquisa foi realizada com financiamento da Vinnova (2017-03728, 2018-05302 e 2018-03651), Fundação Coração-Pulmão (20180390), Fundação Família Kamprad (20190194) e Fundação Anna-Lisa e Sven Eric Lundgren (2017 e 2018).

Os experimentos foram aprovados pelo Comitê de Ética local em Lund, Suécia. A participação foi voluntária, e os responsáveis legais dos pacientes forneceram consentimento por escrito informado.
1. Configuração e configuração do robô
NOTA: Este experimento usou um robô industrial colaborativo de dois braços e o painel de controle padrão com um display sensível ao toque. O robô é controlado com software de controlador RobotWare 6.10.01 e robot integrat...

<ol>
	<li>Held, R. T., Hui, T. T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+guide+to+stereoscopic+3D+displays+in+medicine.">A guide to stereoscopic 3D displays in medicine.</a> Academic Radiology. 18 (8), 1035-1048 (2011).</li><li>van Beurden, M. H. P. H., IJsselsteijn, W. A., Juola, J. F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Effectiveness+of+stereoscopic+displays+in+medicine:+A+review.">Effectiveness of stereoscopic displays in medicine: A review.</a> 3D Research. 3 (1), 1-13 (2012).</li><li>Luursema, J. M., Verwey, W. B., Kommers, P. A. M., Geelkerken, R. H., Vos, H. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Optimizing+conditions+for+computer-assisted+anatomical+learning.">Optimizing conditions for computer-assisted anatomical learning.</a> Interacting with Computers. 18 (5), 1123-1138 (2006).</li><li>Takano, M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Usefulness+and+capability+of+three-dimensional,+full+high-definition+movies+for+surgical+education.">Usefulness and capability of three-dimensional, full high-definition movies for surgical education.</a> Maxillofacial Plastic and Reconstructive Surgery. 39 (1), 10 (2017).</li><li>Triepels, C. P. R., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Does+three-dimensional+anatomy+improve+student+understanding.">Does three-dimensional anatomy improve student understanding.</a> Clinical Anatomy. 33 (1), 25-33 (2020).</li><li>Beermann, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Three-dimensional+visualisation+improves+understanding+of+surgical+liver+anatomy.">Three-dimensional visualisation improves understanding of surgical liver anatomy.</a> Medical Education. 44 (9), 936-940 (2010).</li><li>Battulga, B., Konishi, T., Tamura, Y., Moriguchi, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=The+Effectiveness+of+an+interactive+3-dimensional+computer+graphics+model+for+medical+education.">The Effectiveness of an interactive 3-dimensional computer graphics model for medical education.</a> Interactive Journal of Medical Research. 1 (2), (2012).</li><li>Yammine, K., Violato, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+meta-analysis+of+the+educational+effectiveness+of+three-dimensional+visualization+technologies+in+teaching+anatomy.">A meta-analysis of the educational effectiveness of three-dimensional visualization technologies in teaching anatomy.</a> Anatomical Sciences Education. 8 (6), 525-538 (2015).</li><li>Fitzgerald, J. E. F., White, M. J., Tang, S. W., Maxwell-Armstrong, C. A., James, D. K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Are+we+teaching+sufficient+anatomy+at+medical+school?+The+opinions+of+newly+qualified+doctors.">Are we teaching sufficient anatomy at medical school? The opinions of newly qualified doctors.</a> Clinical Anatomy. 21 (7), 718-724 (2008).</li><li>Bergman, E. M., Van Der Vleuten, C. P. M., Scherpbier, A. J. J. A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Why+don't+they+know+enough+about+anatomy?+A+narrative+review.">Why don't they know enough about anatomy? A narrative review.</a> Medical Teacher. 33 (5), 403-409 (2011).</li><li>Terzi&#263;, K., Hansard, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Methods+for+reducing+visual+discomfort+in+stereoscopic+3D:+A+review.">Methods for reducing visual discomfort in stereoscopic 3D: A review.</a> Signal Processing: Image Communication. 47, 402-416 (2016).</li><li>Fan, Z., Weng, Y., Chen, G., Liao, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=3D+interactive+surgical+visualization+system+using+mobile+spatial+information+acquisition+and+autostereoscopic+display.">3D interactive surgical visualization system using mobile spatial information acquisition and autostereoscopic display.</a> Journal of Biomedical Informatics. 71, 154-164 (2017).</li><li>Fan, Z., Zhang, S., Weng, Y., Chen, G., Liao, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=3D+quantitative+evaluation+system+for+autostereoscopic+display.">3D quantitative evaluation system for autostereoscopic display.</a> Journal of Display Technology. 12 (10), 1185-1196 (2016).</li><li>McIntire, J. P., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Binocular+fusion+ranges+and+stereoacuity+predict+positional+and+rotational+spatial+task+performance+on+a+stereoscopic+3D+display.">Binocular fusion ranges and stereoacuity predict positional and rotational spatial task performance on a stereoscopic 3D display.</a> Journal of Display Technology. 11 (11), 959-966 (2015).</li><li>Kalia, M., Navab, N., Fels, S. S., Salcudean, T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+method+to+introduce+&amp;+evaluate+motion+parallax+with+stereo+for+medical+AR/MR.">A method to introduce &amp; evaluate motion parallax with stereo for medical AR/MR.</a> IEEE Conference on Virtual Reality and 3D User Interfaces. , 1755-1759 (2019).</li><li>Kyt&#246;, M., Hakala, J., Oittinen, P., H&#228;kkinen, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Effect+of+camera+separation+on+the+viewing+experience+of+stereoscopic+photographs.">Effect of camera separation on the viewing experience of stereoscopic photographs.</a> Journal of Electronic Imaging. 21 (1), 1-9 (2012).</li><li>Moorthy, A. K., Su, C. C., Mittal, A., Bovik, A. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Subjective+evaluation+of+stereoscopic+image+quality.">Subjective evaluation of stereoscopic image quality.</a> Signal Processing: Image Communication. 28 (8), 870-883 (2013).</li><li>Yilmaz, G. N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+depth+perception+evaluation+metric+for+immersive+3D+video+services.">A depth perception evaluation metric for immersive 3D video services.</a> 3DTV Conference: The True Vision - Capture, Transmission and Display of 3D Video. , 1-4 (2017).</li><li>Lebreton, P., Raake, A., Barkowsky, M., Le Callet, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Evaluating+depth+perception+of+3D+stereoscopic+videos.">Evaluating depth perception of 3D stereoscopic videos.</a> IEEE Journal on Selected Topics in Signal Processing. 6, 710-720 (2012).</li><li>L&#243;pez, J. P., Rodrigo, J. A., Jim&#233;nez, D., Men&#233;ndez, J. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Stereoscopic+3D+video+quality+assessment+based+on+depth+maps+and+video+motion.">Stereoscopic 3D video quality assessment based on depth maps and video motion.</a> EURASIP Journal on Image and Video Processing. 2013 (1), 62 (2013).</li><li>Banks, M. S., Read, J. C., Allison, R. S., Watt, S. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Stereoscopy+and+the+human+visual+system.">Stereoscopy and the human visual system.</a> SMPTE Motion Imaging Journal. 121 (4), 24-43 (2012).</li><li>Kyt&#246;, M., Nuutinen, M., Oittinen, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Method+for+measuring+stereo+camera+depth+accuracy+based+on+stereoscopic+vision.">Method for measuring stereo camera depth accuracy based on stereoscopic vision.</a> Three-Dimensional Imaging, Interaction, and Measurement. 7864, 168-176 (2011).</li><li>Kang, Y. S., Ho, Y. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Geometrical+compensation+algorithm+of+multiview+image+for+arc+multi-camera+arrays.">Geometrical compensation algorithm of multiview image for arc multi-camera arrays.</a> Advances in Multimedia Information Processing. 2008, 543-552 (2008).</li><li>Product Specification IRB 14000. DocumentID: 3HAC052982-001 Revision J. ABB Robotics Available from: <a target="_blank" href="https://library.abb.com/en/results">https://library.abb.com/en/results</a> (2018)</li><li>Operating Manual IRB 14000. Document ID: 3HAC052986-001 Revision F. ABB Robotics Available from: <a target="_blank" href="https://library.abb.com/en/results">https://library.abb.com/en/results</a> (2019)</li><li>. Github repository Available from: <a target="_blank" href="https://github.com/majstenmark/stereo2">https://github.com/majstenmark/stereo2</a> (2021)</li><li>Operating manual RobotStudio. Document ID: 3HAC032104-001 Revision Y. ABB Robotics Available from: <a target="_blank" href="https://library.abb.com/en/results">https://library.abb.com/en/results</a> (2019)</li><li>Won, C. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Adaptive+interpolation+for+3D+stereoscopic+video+in+frame-compatible+top-bottom+packing.">Adaptive interpolation for 3D stereoscopic video in frame-compatible top-bottom packing.</a> IEEE International Conference on Consumer Electronics. 2011, 179-180 (2011).</li><li>Kim, S. K., Lee, C., Kim, K. T., Javidi, B., Okano, F., Son, J. Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Multi-view+image+acquisition+and+display.">Multi-view image acquisition and display.</a> Three-Dimensional Imaging, Visualization, and Display. , 227-249 (2009).</li><li>Liu, F., Niu, Y., Jin, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Keystone+correction+for+stereoscopic+cinematography.">Keystone correction for stereoscopic cinematography.</a> IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops. 2012, 1-7 (2012).</li><li>Kang, W., Lee, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Horizontal+parallax+distortion+correction+method+in+toed-in+camera+with+wide-angle+lens.">Horizontal parallax distortion correction method in toed-in camera with wide-angle lens.</a> 3DTV Conference: The True Vision - Capture, Transmission and Display of 3D Video. 2009, 1-4 (2009).</li></ol>

Durante a cirurgia ao vivo, o tempo total do experimento utilizado para coleta de dados de vídeo 3D limitou-se a ser seguro para o paciente. Se o objeto não estiver desconcentrado ou superexposto, os dados não poderão ser usados. As etapas críticas são durante a calibração e configuração da ferramenta da câmera (etapa 2). A abertura e o foco da câmera não podem ser alterados quando a cirurgia começou; as mesmas condições de iluminação e distância devem ser utilizadas durante a configuração e cirurgia...

Na cirurgia, a visualização 3D pode ser usada para educação, diagnósticos, planejamento pré-operatório e avaliação pós-operatória1,2. A percepção de profundidade realista pode melhorar a compreensão3,4,5,6 de anatomias normais e anormais. Gravações simples de vídeo 2D de procedimentos cirúrgicos são um bom começo. No entanto, a falta de percepção de profundidade pode dificultar que os colegas não cirúrgicos compreendam plenamente as relações antero-posteriores entre diferentes estruturas anatômicas e, portanto, também introduzem um risco de má interpretação da anatomia7,8,9,10.
A experiência de visualização 3D é afetada por cinco fatores: (1) A configuração da câmera pode ser paralela ou toed-in como mostrado na Figura 1, (2) Distância da linha de base (a separação entre as câmeras). (3) Distância até o objeto de interesse e outras características da cena, como o fundo. (4) Características de dispositivos de visualização, como tamanho da tela e posição de visualização1,11,12,13. (5) Preferências individuais dos telespectadores14,15.
A concepção de uma configuração de câmera 3D começa com a captura de vídeos de teste gravados em várias distâncias e configurações da linha de base da câmera para serem usados para avaliação subjetiva ou automática16,17,18,19,20. A distância da câmera deve ser constante ao campo cirúrgico para capturar imagens nítidas. O foco fixo é preferido porque o foco automático se ajustará para focar em mãos, instrumentos ou cabeças que possam vir à vista. No entanto, isso não é facilmente alcançável quando a cena de interesse é o campo cirúrgico. As salas de cirurgia são áreas de acesso restrito porque essas instalações devem ser mantidas limpas e estéreis. Equipamentos técnicos, cirurgiões e enfermeiros de limpeza são frequentemente agrupados ao redor do paciente para garantir uma boa visão visual e um fluxo de trabalho eficiente. Para comparar e avaliar o efeito das posições da câmera na experiência de visualização 3D, uma faixa completa de teste de posições da câmera deve estar registrando a mesma cena porque as características do objeto, como forma, tamanho e cor, podem afetar a experiência de visualização 3D21.
Pelo mesmo motivo, as faixas completas de teste de posições da câmera devem ser repetidas em diferentes procedimentos cirúrgicos. Toda a sequência de posições deve ser repetida com alta precisão. Em um ambiente cirúrgico, os métodos existentes que requerem ajuste manual da distância da linha de base22 ou diferentes pares de câmeras com distâncias fixas da linha de base23 não são viáveis devido a restrições de espaço e tempo. Para enfrentar esse desafio, esta solução robotizada foi projetada.
Os dados foram coletados com um robô industrial colaborativo de braço duplo montado no teto da sala de cirurgia. As câmeras foram anexadas aos pulsos do robô e moveram-se ao longo de uma trajetória em forma de arco com crescente distância de linha de base, como mostrado na Figura 2.
Para demonstrar a abordagem, foram registradas 10 séries de testes de 4 pacientes diferentes com 4 defeitos cardíacos congênitos diferentes. As cenas foram escolhidas quando uma pausa na cirurgia era viável: com os corações batendo pouco antes e depois do reparo cirúrgico. Séries também foram feitas quando os corações foram presos. As cirurgias foram pausadas por 3 minutos e 20 s para coletar quarenta 5-ssequences com diferentes distâncias de convergência de câmera e distâncias de linha de base para capturar a cena. Os vídeos foram posteriormente pós-processados, exibidos em 3D para a equipe clínica, que classificou o quão realista o vídeo 3D foi ao longo de uma escala de 0-5.
O ponto de convergência para câmeras estéreo toed-in é onde os pontos centrais de ambas as imagens se encontram. O ponto de convergência pode, por princípio, ser colocado na frente, dentro ou atrás do objeto, ver a Figura 1A-C. Quando o ponto de convergência estiver na frente do objeto, o objeto será capturado e exibido à esquerda da linha média para a imagem da câmera esquerda e à direita da linha média para a imagem da câmera direita (Figura 1A). O oposto se aplica quando o ponto de convergência está atrás do objeto (Figura 1B). Quando o ponto de convergência estiver no objeto, o objeto também aparecerá na linha média das imagens da câmera (Figura 1C), o que, presumivelmente, deve render a visualização mais confortável, já que nenhum squinting é necessário para mesclar as imagens. Para obter um vídeo estéreo 3D confortável, o ponto de convergência deve estar localizado sobre, ou ligeiramente atrás, do objeto de interesse, senão o espectador é obrigado a olhar voluntariamente para fora (exotropia).
Os dados foram coletados utilizando um robô industrial colaborativo de braço duplo para posicionar as câmeras (Figura 2A-B). O robô pesa 38 kg sem equipamento. O robô é intrinsecamente seguro; quando detecta um impacto inesperado, ele pára de se mover. O robô foi programado para posicionar as câmeras de 5 Megapixels com lentes de montagem C ao longo de uma trajetória em forma de arco parando em distâncias de linha de base predeterminadas (Figura 2C). As câmeras foram anexadas às mãos do robô usando placas adaptadoras, como mostrado na Figura 3. Cada câmera gravada a 25 quadros por segundo. As lentes foram definidas em f-stop 1/8 com foco fixo no objeto de interesse (centro geométrico aproximado do coração). Cada quadro de imagem tinha um cronô de tempo que era usado para sincronizar as duas transmissões de vídeo.
Os deslocamentos entre o pulso do robô e a câmera foram calibrados. Isso pode ser alcançado alinhando a mira das imagens da câmera, como mostrado na Figura 4. Nesta configuração, o deslocamento translacional total do ponto de montagem no pulso do robô e o centro do sensor de imagem da câmera foi de 55,3 mm na direção X e 21,2 mm na direção Z, exibido na Figura 5. Os deslocamentos rotacionais foram calibrados a uma distância de convergência de 1100 mm e uma distância de linha de base de 50 mm e ajustado manualmente com o joystick no painel de controle do robô. O robô neste estudo teve uma precisão especificada de 0,02 mm no espaço cartesiano e 0,01 graus de resolução rotacional24. Num raio de 1100 m, uma diferença de ângulo de 0,01 graus compensa o ponto central de 0,2 mm. Durante o movimento completo do robô de 50-240 mm de separação, a mira de cada câmera estava dentro de 2 mm do centro ideal de convergência.
A distância da linha de base foi aumentada passo a passo pela separação simétrica das câmeras ao redor do centro do campo de visão em incrementos de 10 mm que variam de 50-240 mm (Figura 2). As câmeras foram mantidas paradas por 5 s em cada posição e movidas entre as posições a uma velocidade de 50 mm/s. O ponto de convergência pode ser ajustado nas direções X e Z usando uma interface gráfica de usuário (Figura 6). O robô seguiu de acordo dentro de seu alcance de trabalho.
A precisão do ponto de convergência foi estimada utilizando-se os triângulos uniformes e os nomes variáveis nas Figuras 7A e B. A altura 'z' foi calculada a partir da distância de convergência 'R' com o teorema pitagórico como
<img alt="Equation 1" src="/files/ftp_upload/62786/62786eq01.jpg">
Quando o ponto de convergência real estava mais próximo do ponto desejado, como mostrado na Figura 7A, a distância de erro 'f1' foi calculada como
<img alt="Equation 2" src="/files/ftp_upload/62786/62786eq02.jpg">
Da mesma forma, quando o ponto de convergência foi distal ao ponto desejado, a distância de erro 'f2' foi calculada como
<img alt="Equation 3" src="/files/ftp_upload/62786/62786eq03.jpg">
Aqui, 'e' foi a separação máxima entre as miras, no máximo 2 mm na separação máxima da linha de base durante a calibração (D = 240 mm). Para R = 1100 mm (z = 1093 mm), o erro foi inferior a ± 9,2 mm. Para R = 1400 mm (z = 1395 mm), o erro foi ± 11,7 mm. Ou seja, o erro da colocação do ponto de convergência foi dentro de 1% do desejado. As duas distâncias de teste de 1100 mm e 1400 mm foram, portanto, bem separadas.

<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td>2 C-mount lenses (35 mm F2.1, 5 M pixel)</td>
			<td>Tamron</td>
			<td>M112FM35</td>
			<td>Rated for 5 Mpixel</td>
		</tr>
		<tr>
			<td>3D glasses (DLP-link active shutter)</td>
			<td>Celexon</td>
			<td>G1000</td>
			<td>Any compatible 3D glasses can be used</td>
		</tr>
		<tr>
			<td>3D Projector</td>
			<td>Viewsonic</td>
			<td>X10-4K</td>
			<td>Displays 3D in 1080, can be exchanged for other 3D projectors</td>
		</tr>
		<tr>
			<td>6 M2 x 8 screws</td>
			<td></td>
			<td></td>
			<td>To attach the cXimea cameras to the camera adaptor plates</td>
		</tr>
		<tr>
			<td>8 M2.5 x 8 screws</td>
			<td></td>
			<td></td>
			<td>To attach the circular mounting plates to the robot wrist</td>
		</tr>
		<tr>
			<td>8 M5 x 40 screws</td>
			<td></td>
			<td></td>
			<td>To mount the robot</td>
		</tr>
		<tr>
			<td>8 M6 x 10 screws with flat heads</td>
			<td></td>
			<td></td>
			<td>For attaching the circular mounting plate and the camera adaptor plates</td>
		</tr>
		<tr>
			<td>Calibration checker board plate (25 by 25 mm)</td>
			<td></td>
			<td></td>
			<td>Any standard checkerboard can be used, including printed, as long as the grid is clearly visible in the cameras</td>
		</tr>
		<tr>
			<td>Camera adaptor plates, x2</td>
			<td></td>
			<td></td>
			<td>Designed by the authors in robot_camera_adaptor_plates.dwg, milled in aluminium.</td>
		</tr>
		<tr>
			<td>Circular mounting plates, x2</td>
			<td></td>
			<td></td>
			<td>Distributed with the permission of the designer Julius Klein and printed with ABS plastic on an FDM 3D printer. License Tecnalia Research &#38; Innovation 2017. Attached as Mountingplate_ROBOT_SIDE_ 
			NewDesign_4.stl</td>
		</tr>
		<tr>
			<td>Fix focus usb cameras, x2 (5 Mpixel)</td>
			<td>Ximea</td>
			<td>MC050CG-SY-UB</td>
			<td>With Sony IMX250LQR sensor</td>
		</tr>
		<tr>
			<td>Flexpendant</td>
			<td>ABB</td>
			<td>3HAC028357-001</td>
			<td>robot touch display</td>
		</tr>
		<tr>
			<td>Liveview</td>
			<td></td>
			<td></td>
			<td>recording application</td>
		</tr>
		<tr>
			<td>RobotStudio</td>
			<td></td>
			<td></td>
			<td>&#160;robot integrated development environment (IDE)</td>
		</tr>
		<tr>
			<td>USB3 active cables (10.0 m), x2</td>
			<td></td>
			<td></td>
			<td>Thumbscrew lock connector, water proofed.</td>
		</tr>
		<tr>
			<td>YuMi dual-arm robot</td>
			<td>ABB</td>
			<td>IRB14000</td>
			<td></td>
		</tr>
	</tbody>
</table>

robotized testing of camera positions to determine ideal configuration for stereo 3d visualization of open-heart surgery

O vídeo estéreo 3D de procedimentos cirúrgicos pode ser altamente valioso para a educação médica e melhorar a comunicação clínica. Mas o acesso à sala de cirurgia e ao campo cirúrgico é restrito. É um ambiente estéril, e o espaço físico está lotado de equipe cirúrgica e equipamentos técnicos. Neste cenário, a captura não obscurecido e a reprodução realista dos procedimentos cirúrgicos são difíceis. Este artigo apresenta um método para coleta rápida e confiável de dados de vídeos 3D estereoscópicos a diferentes distâncias de linha de base da câmera e distâncias de convergência. Para coletar dados de teste com interferência mínima durante a cirurgia, com alta precisão e repetibilidade, as câmeras foram anexadas a cada mão de um robô de braço duplo. O robô estava montado no teto da sala de cirurgia. Foi programado para realizar uma sequência cronometrada de movimentos sincronizados da câmera passando por uma gama de posições de teste com distância de linha de base entre 50-240 mm em etapas incrementais de 10 mm, e a duas distâncias de convergência de 1100 mm e 1400 mm. A cirurgia foi pausada para permitir 40 amostras de vídeo 5 s consecutivas. Foram registrados 10 cenários cirúrgicos.

Um vídeo de avaliação aceitável com a imagem certa colocada na parte superior do 3D estereoscópico é mostrado no Video1. Uma sequência bem sucedida deve ser afiada, focada e sem molduras de imagem não sincronizadas. Fluxos de vídeo não sincronizados causarão desfoque, como mostrado no arquivo Vídeo 2. O ponto de convergência deve ser centrado horizontalmente, independente da separação da câmera, como visto na Figura 9A,B. Qua...

Watch this Scientific Journal Video about Robotized Testing of Camera Positions to Determine Ideal Configuration for Stereo 3D Visualization of Open-Heart Surgery at JoVE.com

Robotized Testing of Camera Positions to Determine Ideal Configuration for Stereo 3D Visualization of Open-Heart Surgery

A percepção de profundidade humana dos vídeos estéreo 3D depende da separação da câmera, ponto de convergência, distância e familiaridade do objeto. Este artigo apresenta um método robotizado para coleta rápida e confiável de dados de teste durante a cirurgia de coração aberto ao vivo para determinar a configuração ideal da câmera.

Teste robotizado de posições da câmera para determinar configuração ideal para visualização estéreo 3D de cirurgia de coração aberto

Stereo 3D video from surgical procedures can be highly valuable for medical education and improve clinical communication. But access to the operating room ...

Permite a captura de vídeos 3D de alta qualidade para treinamento e educação. Pode ser aplicado na maioria das configurações da sala de cirurgia com cirurgia aberta. Com uma abordagem robotizada, podemos coletar os dados de forma rápida e precisa para avaliar as posições da câmera.Este método é usado para testar rapidamente a configuração da câmera para aplicações de visões 3D. Também pode ser usado para investigar como diferentes sujeitos percebem a profundidade. Para começar a montar a câmera para o robô, primeiro, monte a lente para a câmera, e depois a câmera para a placa adaptadora com três parafusos M2.Em seguida, monte a placa de montagem circular na placa do adaptador da câmera com quatro parafusos M4 para o lado oposto da câmera. Uma vez que todas as câmeras são montadas para o robô, observe o espelhamento dos conjuntos resultantes. Monte a placa adaptadora no pulso do robô com quatro parafusos M2.5.Para um robô montado na mesa, conecte a câmera esquerda ao braço robô direito. Conecte os cabos USB às câmeras e ao computador Ubuntu. No visor de toque do robô, pressione o botão Menu e selecione Stereo 2 para iniciar a aplicação do robô.Na tela principal, pressione Vá para iniciar por 1,100 milímetros na aplicação do robô, e aguarde que o robô se mova para a posição inicial. Remova a tampa da lente protetora das câmeras. Coloque uma grade de calibração impressa a 1.100 milímetros dos sensores da câmera.Para identificar corretamente os quadrados correspondentes, coloque uma porca de parafuso pequena ou marque em algum lugar na grade. Inicie o aplicativo de gravação no computador do Ubuntu para iniciar a interface. E então, ajuste a abertura e foque na lente com a abertura e os anéis de foco.No aplicativo de gravação, verifique a Mira para visualizar a mira. No aplicativo de gravação, certifique-se de que a mira esteja alinhada com a grade de calibração na mesma posição em ambas as imagens da câmera. Depois de pressionar o ícone de engrenagem na aplicação do robô, posicione as câmeras em relação ao paciente.Altere a direção X pressionando a distância de mão ou mais para a distância manual do robô, e a direção Z pressionando o mais ou menos para altura para capturar o campo cirúrgico nas imagens. Mude a direção Y movendo manualmente o robô ou o paciente. Depois de pausar a cirurgia e informar o pessoal do OR sobre o início do experimento, pressione a Record no aplicativo de gravação e, em seguida, pressione Run Experiment no aplicativo do robô.Depois de um tempo, quando o experimento estiver concluído, Done aparecerá no visor de toque. Em seguida, pressione Stop Recording no aplicativo de gravação para parar de gravar. Informe o pessoal do BO que o experimento terminou e retome a cirurgia.Para avaliação, exiba o vídeo em formato 3D inferior superior com um projetor 3D ativo. O vídeo de avaliação correto com uma imagem direita colocada na parte superior em 3D estereoscópico superior é mostrado. Uma sequência bem sucedida deve ser afiada, focada e sem molduras de imagem não sincronizadas.As transmissões de vídeo não sincronizadas criam desfoque. O ponto de convergência deve ser centrado horizontalmente, independente da separação da câmera. Com uma separação muito grande entre as imagens direita e esquerda, o cérebro não pode fundir as imagens em uma imagem 3D.Várias razões podem causar falha no posicionamento central do coração, como a distância do ponto de convergência para o coração. Para a configuração correta do sistema de coordenadas da ferramenta da câmera, certifique-se de que a mira no ponto de aplicação de gravação no mesmo objeto, o objeto de calibração esteja na posição central e o formato correto de desemarbramento das cores. Vídeos 3D com mudanças nas distâncias da linha de base nos permitem estudar como a informação de profundidade afeta a compreensão anatômica entre a equipe médica.

Research

JoVE Journal

Medicine

Rat Heterotopic Abdominal Heart/Single-lung Transplantation in a Volume-loaded Configuration

Rat heterotópico abdominal coração / pulmão Transplante Single-carregado em uma configuração-Volume

Herein, we describe a novel technique for heterotopic abdominal heart-lung transplantation (HAHLT) in rats. The configuration of the transplant graft ...

Medicina

A Pipeline for 3D Multimodality Image Integration and Computer-assisted Planning in Epilepsy Surgery

A Pipeline para 3D Multimodality Integração imagem e Planejamento assistida por computador em Cirurgia de Epilepsia

Epilepsy surgery is challenging and the use of 3D multimodality image integration (3DMMI) to aid presurgical planning is well-established. Multimodality ...

A Quantitative Sensory Testing Paradigm to Obtain Measures of Pain Processing in Patients Undergoing Breast Cancer Surgery

Um paradigma de teste sensorial quantitativo para obter medidas de dor em pacientes submetidos à cirurgia de câncer de mama de processamento

Chronic pain following surgery, persistent postsurgical pain, is an important highly prevalent condition contributing to significant symptom burden and ...

A Clinical Trial Assessing the Safety, Efficacy, and Delivery of Olive-Oil-Based Three-Chamber Bags for Parenteral Nutrition

Um ensaio clínico avaliando a segurança, eficácia e entrega de sacos de três câmaras à base de azeite para nutrição parenteral

Limited evidence exists to precisely estimate efficacy and safety differences between parenteral nutrition (PN) prepared using olive-oil-based ...

A Training and Testing System for Performing Vascular Reconstruction In Vitro

Um sistema de treinamento e teste para a realização de reconstrução vascular in vitro

Manual vascular reconstruction training is essential for a beginner surgeon. However, an optimal training system for vascular reconstruction in vitro has ...

A Postoperative Evaluation Guideline for Computer-Assisted Reconstruction of the Mandible

Uma diretriz de avaliação pós-operatória para a reconstrução assistida por computador da Mandíbula

Valid comparisons of postoperative accuracy results in computer-assisted reconstruction of the mandible are difficult due to heterogeneity in imaging ...

3D Planning and Printing of Patient Specific Implants for Reconstruction of Bony Defects

Planejamento e impressão 3D de implantes específicos do paciente para reconstrução de defeitos ósseos

We are in the midst of the 3D era in most aspects of life, and especially in medicine. The surgical discipline is one of the major players in the medical ...

Implantation of Combined Telemetric ECG and Blood Pressure Transmitters to Determine Spontaneous Baroreflex Sensitivity in Conscious Mice

Implantação de ECG Telemétrico Combinado e Transmissores de Pressão Arterial para Determinação da Sensibilidade Barorreflexa Espontânea em Camundongos Conscientes

Blood pressure (BP) and heart rate (HR) are both controlled by the autonomic nervous system (ANS) and are closely intertwined due to reflex mechanisms. ...

Use of 3D Robotic Ultrasound for In Vivo Analysis of Mouse Kidneys

Use of 3D Robotic Ultrasound for In Vivo Analysis of Mouse Kidneys

Uso de ultrassom robótico 3D para análise in vivo de rins de rato

Common modalities for in vivo imaging of rodents include positron emission tomography (PET), computed tomography (CT), magnetic resonance imaging (MRI), ...

Combining 3D-Printing and Electrospinning to Manufacture Biomimetic Heart Valve Leaflets

Combinando impressão 3D e eletropinning para fabricar folhetos biomiméticos da válvula cardíaca

Electrospinning has become a widely used technique in cardiovascular tissue engineering as it offers the possibility to create (micro-)fibrous scaffolds ...