Name: robotized testing of camera positions to determine ideal configuration for stereo 3d visualization of open-heart surgery
Uploaded: 2021-08-12T14:45:00
Description: Watch this Scientific Journal Video about Robotized Testing of Camera Positions to Determine Ideal Configuration for Stereo 3D Visualization of Open-Heart Surgery at JoVE.com

La investigación se llevó a cabo con fondos de Vinnova (2017-03728, 2018-05302 y 2018-03651), Heart-Lung Foundation (20180390), Family Kamprad Foundation (20190194) y Anna-Lisa y Sven Eric Lundgren Foundation (2017 y 2018).

Los experimentos fueron aprobados por el Comité de Ética local en Lund, Suecia. La participación fue voluntaria y los tutores legales de los pacientes dieron su consentimiento informado por escrito.
1. Instalación y configuración del robot
NOTA: Este experimento utilizó un robot industrial colaborativo de doble brazo y el panel de control estándar con una pantalla táctil. El robot se controla con el software de controlador RobotWare 6.10.01 y el entorno de des...

<ol>
	<li>Held, R. T., Hui, T. T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+guide+to+stereoscopic+3D+displays+in+medicine.">A guide to stereoscopic 3D displays in medicine.</a> Academic Radiology. 18 (8), 1035-1048 (2011).</li><li>van Beurden, M. H. P. H., IJsselsteijn, W. A., Juola, J. F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Effectiveness+of+stereoscopic+displays+in+medicine:+A+review.">Effectiveness of stereoscopic displays in medicine: A review.</a> 3D Research. 3 (1), 1-13 (2012).</li><li>Luursema, J. M., Verwey, W. B., Kommers, P. A. M., Geelkerken, R. H., Vos, H. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Optimizing+conditions+for+computer-assisted+anatomical+learning.">Optimizing conditions for computer-assisted anatomical learning.</a> Interacting with Computers. 18 (5), 1123-1138 (2006).</li><li>Takano, M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Usefulness+and+capability+of+three-dimensional,+full+high-definition+movies+for+surgical+education.">Usefulness and capability of three-dimensional, full high-definition movies for surgical education.</a> Maxillofacial Plastic and Reconstructive Surgery. 39 (1), 10 (2017).</li><li>Triepels, C. P. R., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Does+three-dimensional+anatomy+improve+student+understanding.">Does three-dimensional anatomy improve student understanding.</a> Clinical Anatomy. 33 (1), 25-33 (2020).</li><li>Beermann, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Three-dimensional+visualisation+improves+understanding+of+surgical+liver+anatomy.">Three-dimensional visualisation improves understanding of surgical liver anatomy.</a> Medical Education. 44 (9), 936-940 (2010).</li><li>Battulga, B., Konishi, T., Tamura, Y., Moriguchi, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=The+Effectiveness+of+an+interactive+3-dimensional+computer+graphics+model+for+medical+education.">The Effectiveness of an interactive 3-dimensional computer graphics model for medical education.</a> Interactive Journal of Medical Research. 1 (2), (2012).</li><li>Yammine, K., Violato, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+meta-analysis+of+the+educational+effectiveness+of+three-dimensional+visualization+technologies+in+teaching+anatomy.">A meta-analysis of the educational effectiveness of three-dimensional visualization technologies in teaching anatomy.</a> Anatomical Sciences Education. 8 (6), 525-538 (2015).</li><li>Fitzgerald, J. E. F., White, M. J., Tang, S. W., Maxwell-Armstrong, C. A., James, D. K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Are+we+teaching+sufficient+anatomy+at+medical+school?+The+opinions+of+newly+qualified+doctors.">Are we teaching sufficient anatomy at medical school? The opinions of newly qualified doctors.</a> Clinical Anatomy. 21 (7), 718-724 (2008).</li><li>Bergman, E. M., Van Der Vleuten, C. P. M., Scherpbier, A. J. J. A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Why+don't+they+know+enough+about+anatomy?+A+narrative+review.">Why don't they know enough about anatomy? A narrative review.</a> Medical Teacher. 33 (5), 403-409 (2011).</li><li>Terzi&#263;, K., Hansard, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Methods+for+reducing+visual+discomfort+in+stereoscopic+3D:+A+review.">Methods for reducing visual discomfort in stereoscopic 3D: A review.</a> Signal Processing: Image Communication. 47, 402-416 (2016).</li><li>Fan, Z., Weng, Y., Chen, G., Liao, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=3D+interactive+surgical+visualization+system+using+mobile+spatial+information+acquisition+and+autostereoscopic+display.">3D interactive surgical visualization system using mobile spatial information acquisition and autostereoscopic display.</a> Journal of Biomedical Informatics. 71, 154-164 (2017).</li><li>Fan, Z., Zhang, S., Weng, Y., Chen, G., Liao, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=3D+quantitative+evaluation+system+for+autostereoscopic+display.">3D quantitative evaluation system for autostereoscopic display.</a> Journal of Display Technology. 12 (10), 1185-1196 (2016).</li><li>McIntire, J. P., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Binocular+fusion+ranges+and+stereoacuity+predict+positional+and+rotational+spatial+task+performance+on+a+stereoscopic+3D+display.">Binocular fusion ranges and stereoacuity predict positional and rotational spatial task performance on a stereoscopic 3D display.</a> Journal of Display Technology. 11 (11), 959-966 (2015).</li><li>Kalia, M., Navab, N., Fels, S. S., Salcudean, T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+method+to+introduce+&amp;+evaluate+motion+parallax+with+stereo+for+medical+AR/MR.">A method to introduce &amp; evaluate motion parallax with stereo for medical AR/MR.</a> IEEE Conference on Virtual Reality and 3D User Interfaces. , 1755-1759 (2019).</li><li>Kyt&#246;, M., Hakala, J., Oittinen, P., H&#228;kkinen, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Effect+of+camera+separation+on+the+viewing+experience+of+stereoscopic+photographs.">Effect of camera separation on the viewing experience of stereoscopic photographs.</a> Journal of Electronic Imaging. 21 (1), 1-9 (2012).</li><li>Moorthy, A. K., Su, C. C., Mittal, A., Bovik, A. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Subjective+evaluation+of+stereoscopic+image+quality.">Subjective evaluation of stereoscopic image quality.</a> Signal Processing: Image Communication. 28 (8), 870-883 (2013).</li><li>Yilmaz, G. N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+depth+perception+evaluation+metric+for+immersive+3D+video+services.">A depth perception evaluation metric for immersive 3D video services.</a> 3DTV Conference: The True Vision - Capture, Transmission and Display of 3D Video. , 1-4 (2017).</li><li>Lebreton, P., Raake, A., Barkowsky, M., Le Callet, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Evaluating+depth+perception+of+3D+stereoscopic+videos.">Evaluating depth perception of 3D stereoscopic videos.</a> IEEE Journal on Selected Topics in Signal Processing. 6, 710-720 (2012).</li><li>L&#243;pez, J. P., Rodrigo, J. A., Jim&#233;nez, D., Men&#233;ndez, J. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Stereoscopic+3D+video+quality+assessment+based+on+depth+maps+and+video+motion.">Stereoscopic 3D video quality assessment based on depth maps and video motion.</a> EURASIP Journal on Image and Video Processing. 2013 (1), 62 (2013).</li><li>Banks, M. S., Read, J. C., Allison, R. S., Watt, S. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Stereoscopy+and+the+human+visual+system.">Stereoscopy and the human visual system.</a> SMPTE Motion Imaging Journal. 121 (4), 24-43 (2012).</li><li>Kyt&#246;, M., Nuutinen, M., Oittinen, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Method+for+measuring+stereo+camera+depth+accuracy+based+on+stereoscopic+vision.">Method for measuring stereo camera depth accuracy based on stereoscopic vision.</a> Three-Dimensional Imaging, Interaction, and Measurement. 7864, 168-176 (2011).</li><li>Kang, Y. S., Ho, Y. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Geometrical+compensation+algorithm+of+multiview+image+for+arc+multi-camera+arrays.">Geometrical compensation algorithm of multiview image for arc multi-camera arrays.</a> Advances in Multimedia Information Processing. 2008, 543-552 (2008).</li><li>Product Specification IRB 14000. DocumentID: 3HAC052982-001 Revision J. ABB Robotics Available from: <a target="_blank" href="https://library.abb.com/en/results">https://library.abb.com/en/results</a> (2018)</li><li>Operating Manual IRB 14000. Document ID: 3HAC052986-001 Revision F. ABB Robotics Available from: <a target="_blank" href="https://library.abb.com/en/results">https://library.abb.com/en/results</a> (2019)</li><li>. Github repository Available from: <a target="_blank" href="https://github.com/majstenmark/stereo2">https://github.com/majstenmark/stereo2</a> (2021)</li><li>Operating manual RobotStudio. Document ID: 3HAC032104-001 Revision Y. ABB Robotics Available from: <a target="_blank" href="https://library.abb.com/en/results">https://library.abb.com/en/results</a> (2019)</li><li>Won, C. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Adaptive+interpolation+for+3D+stereoscopic+video+in+frame-compatible+top-bottom+packing.">Adaptive interpolation for 3D stereoscopic video in frame-compatible top-bottom packing.</a> IEEE International Conference on Consumer Electronics. 2011, 179-180 (2011).</li><li>Kim, S. K., Lee, C., Kim, K. T., Javidi, B., Okano, F., Son, J. Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Multi-view+image+acquisition+and+display.">Multi-view image acquisition and display.</a> Three-Dimensional Imaging, Visualization, and Display. , 227-249 (2009).</li><li>Liu, F., Niu, Y., Jin, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Keystone+correction+for+stereoscopic+cinematography.">Keystone correction for stereoscopic cinematography.</a> IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops. 2012, 1-7 (2012).</li><li>Kang, W., Lee, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Horizontal+parallax+distortion+correction+method+in+toed-in+camera+with+wide-angle+lens.">Horizontal parallax distortion correction method in toed-in camera with wide-angle lens.</a> 3DTV Conference: The True Vision - Capture, Transmission and Display of 3D Video. 2009, 1-4 (2009).</li></ol>

Durante la cirugía en vivo, el tiempo total del experimento utilizado para la recopilación de datos de video en 3D se limitó para ser seguro para el paciente. Si el objeto está desenfocado o sobreexpuesto, los datos no se pueden utilizar. Los pasos críticos son durante la calibración y configuración de la herramienta de la cámara (paso 2). La apertura y el enfoque de la cámara no se pueden cambiar cuando la cirugía ha comenzado; se deben utilizar las mismas condiciones de iluminación y distancia durante la con...

En cirugía, la visualización 3D se puede utilizar para la educación, el diagnóstico, la planificación preoperatoria y la evaluación postoperatoria1,2. La percepción realista de la profundidad puede mejorar la comprensión3,4,5,6 de las anatomías normales y anormales. Las grabaciones de video 2D simples de procedimientos quirúrgicos son un buen comienzo. Sin embargo, la falta de percepción de profundidad puede dificultar que los colegas no quirúrgicos comprendan completamente las relaciones antero-posteriores entre diferentes estructuras anatómicas y, por lo tanto, también introducir un riesgo de mala interpretación de la anatomía7,8,9,10.
La experiencia de visualización en 3D se ve afectada por cinco factores: (1) La configuración de la cámara puede ser paralela o toed-in como se muestra en la Figura 1, (2) Distancia de referencia (la separación entre las cámaras). (3) Distancia al objeto de interés y otras características de la escena, como el fondo. (4) Características de los dispositivos de visualización, como el tamaño de la pantalla y la posición de visualización1,11,12,13. (5) Preferencias individuales de los espectadores14,15.
El diseño de una configuración de cámara 3D comienza con la captura de videos de prueba grabados a varias distancias de referencia de la cámara y configuraciones que se utilizarán para la evaluación subjetiva o automática16,17,18,19,20. La distancia de la cámara debe ser constante al campo quirúrgico para capturar imágenes nítidas. Se prefiere el enfoque fijo porque el enfoque automático se ajustará para enfocar las manos, los instrumentos o las cabezas que puedan aparecer a la vista. Sin embargo, esto no es fácilmente alcanzable cuando la escena de interés es el campo quirúrgico. Los quirófanos son áreas de acceso restringido porque estas instalaciones deben mantenerse limpias y estériles. El equipo técnico, los cirujanos y las enfermeras de fregado a menudo se agrupan estrechamente alrededor del paciente para garantizar una buena visión general visual y un flujo de trabajo eficiente. Para comparar y evaluar el efecto de las posiciones de la cámara en la experiencia de visualización 3D, un rango de prueba completo de posiciones de cámara debe ser la grabación de la misma escena, ya que las características del objeto, como la forma, el tamaño y el color, pueden afectar la experiencia de visualización 3D21.
Por la misma razón, los rangos de prueba completos de las posiciones de la cámara deben repetirse en diferentes procedimientos quirúrgicos. Toda la secuencia de posiciones debe repetirse con alta precisión. En un entorno quirúrgico, los métodos existentes que requieren el ajuste manual de la distancia basal22 o diferentes pares de cámaras con distancias basales fijas23 no son factibles debido a limitaciones de espacio y tiempo. Para hacer frente a este desafío, se diseñó esta solución robotizada.
Los datos se recogieron con un robot industrial colaborativo de doble brazo montado en el techo del quirófano. Las cámaras se conectaron a las muñecas del robot y se movieron a lo largo de una trayectoria en forma de arco con una distancia de referencia creciente, como se muestra en la Figura 2.
Para demostrar el enfoque, se registraron 10 series de pruebas de 4 pacientes diferentes con 4 defectos cardíacos congénitos diferentes. Se eligieron escenas cuando era factible una pausa en la cirugía: con los corazones latiendo justo antes y después de la reparación quirúrgica. También se hicieron series cuando los corazones fueron arrestados. Las cirugías se detuvieron durante 3 minutos y 20 s para recolectar cuarenta secuencias de 5 con diferentes distancias de convergencia de la cámara y distancias de referencia para capturar la escena. Los videos fueron posteriormente postprocesados, mostrados en 3D para el equipo clínico, que calificó cuán realista era el video 3D a lo largo de una escala de 0 a 5.
El punto de convergencia para las cámaras estéreo es donde se encuentran los puntos centrales de ambas imágenes. El punto de convergencia puede, por principio, colocarse delante, dentro o detrás del objeto, véase la Figura 1A-C. Cuando el punto de convergencia está frente al objeto, el objeto se capturará y se mostrará a la izquierda de la línea media para la imagen de la cámara izquierda y a la derecha de la línea media para la imagen de la cámara derecha (Figura 1A). Lo contrario se aplica cuando el punto de convergencia está detrás del objeto (Figura 1B). Cuando el punto de convergencia está en el objeto, el objeto también aparecerá en la línea media de las imágenes de la cámara (Figura 1C), lo que presumiblemente debería producir la visualización más cómoda ya que no se requiere entrecerrar los ojos para fusionar las imágenes. Para lograr un video 3D estéreo cómodo, el punto de convergencia debe ubicarse en, o ligeramente detrás, del objeto de interés, de lo contrario se requiere que el espectador entrecierre voluntariamente los ojos hacia afuera (exotropía).
Los datos se recopilaron utilizando un robot industrial colaborativo de doble brazo para posicionar las cámaras (Figura 2A-B). El robot pesa 38 kg sin equipo. El robot es intrínsecamente seguro; cuando detecta un impacto inesperado, deja de moverse. El robot fue programado para posicionar las cámaras de 5 megapíxeles con lentes de montura C a lo largo de una trayectoria en forma de arco que se detiene a distancias de referencia predeterminadas (Figura 2C). Las cámaras se conectaron a las manos del robot utilizando placas adaptadoras, como se muestra en la Figura 3. Cada cámara grabó a 25 fotogramas por segundo. Las lentes se ajustaron en f-stop 1/8 con el enfoque fijo en el objeto de interés (centro geométrico aproximado del corazón). Cada fotograma de imagen tenía una marca de tiempo que se usaba para sincronizar las dos secuencias de vídeo.
Se calibraron los desplazamientos entre la muñeca del robot y la cámara. Esto se puede lograr alineando el punto de mira de las imágenes de la cámara, como se muestra en la Figura 4. En esta configuración, el desplazamiento traslacional total desde el punto de montaje en la muñeca del robot y el centro del sensor de imagen de la cámara fue de 55,3 mm en la dirección X y 21,2 mm en la dirección Z, que se muestra en la Figura 5. Los desplazamientos rotacionales se calibraron a una distancia de convergencia de 1100 mm y una distancia de referencia de 50 mm y se ajustaron manualmente con el joystick en el panel de control del robot. El robot en este estudio tenía una precisión especificada de 0,02 mm en el espacio cartesiano y una resolución rotacional de 0,01 grados24. En un radio de 1100 m, una diferencia de ángulo de 0,01 grados compensa el punto central 0,2 mm. Durante el movimiento completo del robot de separación de 50-240 mm, la cruz de cada cámara estaba a 2 mm del centro ideal de convergencia.
La distancia de referencia se incrementó paso a paso mediante la separación simétrica de las cámaras alrededor del centro del campo de visión en incrementos de 10 mm que oscilan entre 50 y 240 mm (Figura 2). Las cámaras se mantuvieron detenidas durante 5 s en cada posición y se movieron entre las posiciones a una velocidad de 50 mm/s. El punto de convergencia podría ajustarse en direcciones X y Z utilizando una interfaz gráfica de usuario (Figura 6). El robot siguió en consecuencia dentro de su rango de trabajo.
La precisión del punto de convergencia se estimó utilizando los triángulos uniformes y los nombres de las variables de las figuras 7A y B. La altura 'z' se calculó a partir de la distancia de convergencia 'R' con el teorema de Pitágoras como
<img alt="Equation 1" src="/files/ftp_upload/62786/62786eq01.jpg">
Cuando el punto de convergencia real estaba más cerca que el punto deseado, como se muestra en la Figura 7A, la distancia de error 'f1' se calculó como
<img alt="Equation 2" src="/files/ftp_upload/62786/62786eq02.jpg">
Del mismo modo, cuando el punto de convergencia era distal al punto deseado, la distancia de error 'f2' se calculó como
<img alt="Equation 3" src="/files/ftp_upload/62786/62786eq03.jpg">
Aquí, 'e' fue la separación máxima entre los puntos de mira, como máximo 2 mm en la separación basal máxima durante la calibración (D = 240 mm). Para R = 1100 mm (z = 1093 mm), el error fue menor que ± 9,2 mm. Para R = 1400 mm (z = 1395 mm), el error fue ± 11,7 mm. Es decir, el error de la colocación del punto de convergencia estuvo dentro del 1% del deseado. Por lo tanto, las dos distancias de prueba de 1100 mm y 1400 mm estaban bien separadas.

<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td>2 C-mount lenses (35 mm F2.1, 5 M pixel)</td>
			<td>Tamron</td>
			<td>M112FM35</td>
			<td>Rated for 5 Mpixel</td>
		</tr>
		<tr>
			<td>3D glasses (DLP-link active shutter)</td>
			<td>Celexon</td>
			<td>G1000</td>
			<td>Any compatible 3D glasses can be used</td>
		</tr>
		<tr>
			<td>3D Projector</td>
			<td>Viewsonic</td>
			<td>X10-4K</td>
			<td>Displays 3D in 1080, can be exchanged for other 3D projectors</td>
		</tr>
		<tr>
			<td>6 M2 x 8 screws</td>
			<td></td>
			<td></td>
			<td>To attach the cXimea cameras to the camera adaptor plates</td>
		</tr>
		<tr>
			<td>8 M2.5 x 8 screws</td>
			<td></td>
			<td></td>
			<td>To attach the circular mounting plates to the robot wrist</td>
		</tr>
		<tr>
			<td>8 M5 x 40 screws</td>
			<td></td>
			<td></td>
			<td>To mount the robot</td>
		</tr>
		<tr>
			<td>8 M6 x 10 screws with flat heads</td>
			<td></td>
			<td></td>
			<td>For attaching the circular mounting plate and the camera adaptor plates</td>
		</tr>
		<tr>
			<td>Calibration checker board plate (25 by 25 mm)</td>
			<td></td>
			<td></td>
			<td>Any standard checkerboard can be used, including printed, as long as the grid is clearly visible in the cameras</td>
		</tr>
		<tr>
			<td>Camera adaptor plates, x2</td>
			<td></td>
			<td></td>
			<td>Designed by the authors in robot_camera_adaptor_plates.dwg, milled in aluminium.</td>
		</tr>
		<tr>
			<td>Circular mounting plates, x2</td>
			<td></td>
			<td></td>
			<td>Distributed with the permission of the designer Julius Klein and printed with ABS plastic on an FDM 3D printer. License Tecnalia Research &#38; Innovation 2017. Attached as Mountingplate_ROBOT_SIDE_ 
			NewDesign_4.stl</td>
		</tr>
		<tr>
			<td>Fix focus usb cameras, x2 (5 Mpixel)</td>
			<td>Ximea</td>
			<td>MC050CG-SY-UB</td>
			<td>With Sony IMX250LQR sensor</td>
		</tr>
		<tr>
			<td>Flexpendant</td>
			<td>ABB</td>
			<td>3HAC028357-001</td>
			<td>robot touch display</td>
		</tr>
		<tr>
			<td>Liveview</td>
			<td></td>
			<td></td>
			<td>recording application</td>
		</tr>
		<tr>
			<td>RobotStudio</td>
			<td></td>
			<td></td>
			<td>&#160;robot integrated development environment (IDE)</td>
		</tr>
		<tr>
			<td>USB3 active cables (10.0 m), x2</td>
			<td></td>
			<td></td>
			<td>Thumbscrew lock connector, water proofed.</td>
		</tr>
		<tr>
			<td>YuMi dual-arm robot</td>
			<td>ABB</td>
			<td>IRB14000</td>
			<td></td>
		</tr>
	</tbody>
</table>

robotized testing of camera positions to determine ideal configuration for stereo 3d visualization of open-heart surgery

El video estéreo 3D de procedimientos quirúrgicos puede ser muy valioso para la educación médica y mejorar la comunicación clínica. Pero el acceso al quirófano y al campo quirúrgico está restringido. Es un ambiente estéril, y el espacio físico está lleno de personal quirúrgico y equipo técnico. En este contexto, la captura no oscurecida y la reproducción realista de los procedimientos quirúrgicos son difíciles. Este artículo presenta un método para la recopilación rápida y confiable de datos de videos 3D estereoscópicos a diferentes distancias de referencia de la cámara y distancias de convergencia. Para recopilar datos de prueba con la mínima interferencia durante la cirugía, con alta precisión y repetibilidad, las cámaras se conectaron a cada mano de un robot de doble brazo. El robot estaba montado en el techo en la sala de operaciones. Fue programado para realizar una secuencia cronometrada de movimientos sincronizados de la cámara que atraviesan una gama de posiciones de prueba con una distancia de referencia entre 50-240 mm en pasos incrementales de 10 mm, y a dos distancias de convergencia de 1100 mm y 1400 mm. La cirugía se detuvo para permitir 40 muestras de video consecutivas de 5 s. Se registraron un total de 10 escenarios quirúrgicos.

En video1 se muestra un video de evaluación aceptable con la imagen correcta colocada en la parte superior en 3D estereoscópico superior-inferior. Una secuencia exitosa debe ser nítida, enfocada y sin marcos de imagen no sincronizados. Las transmisiones de video no sincronizadas causarán desenfoque, como se muestra en el archivo Video 2. El punto de convergencia debe estar centrado horizontalmente, independientemente de la separación de la cámara, como se ve en <strong class="xfig"...

Watch this Scientific Journal Video about Robotized Testing of Camera Positions to Determine Ideal Configuration for Stereo 3D Visualization of Open-Heart Surgery at JoVE.com

Robotized Testing of Camera Positions to Determine Ideal Configuration for Stereo 3D Visualization of Open-Heart Surgery

La percepción de profundidad humana de los videos estéreo 3D depende de la separación de la cámara, el punto de convergencia, la distancia y la familiaridad del objeto. Este artículo presenta un método robotizado para la recopilación rápida y confiable de datos de prueba durante la cirugía a corazón abierto en vivo para determinar la configuración ideal de la cámara.

Pruebas robotizadas de las posiciones de la cámara para determinar la configuración ideal para la visualización estéreo en 3D de la cirugía a corazón abierto

Stereo 3D video from surgical procedures can be highly valuable for medical education and improve clinical communication. But access to the operating room ...

Permite la captura de videos 3D de alta calidad para capacitación y educación. Se puede aplicar a la mayoría de los entornos de quirófano con cirugía abierta. Con un enfoque robotizado, podemos recopilar los datos de forma rápida y precisa para evaluar las posiciones de la cámara.Este método se utiliza para probar rápidamente la configuración de la cámara para aplicaciones de visiones 3D. También se puede utilizar para investigar cómo los diferentes sujetos perciben la profundidad. Para comenzar a montar la cámara en el robot, primero, monte la lente en la cámara y luego la cámara en la placa adaptadora con tres tornillos M2.A continuación, monte la placa de montaje circular en la placa adaptadora de la cámara con cuatro tornillos M4 en el lado opuesto de la cámara. Una vez que todas las cámaras estén montadas en el robot, observe el reflejo de los ensamblajes resultantes. Monte la placa adaptadora en la muñeca del robot con cuatro tornillos M2.5.Para un robot montado en la mesa, conecte la cámara izquierda al brazo robótico derecho. Conecte los cables USB a las cámaras y a la computadora Ubuntu. En la pantalla táctil del robot, pulse el botón Menú y seleccione Stereo 2 para iniciar la aplicación del robot.En la pantalla principal, presione Ir para comenzar durante 1, 100 milímetros en la aplicación del robot y espere a que el robot se mueva a la posición de inicio. Retire la tapa protectora de la lente de las cámaras. Coloque una rejilla de calibración impresa a 1, 100 milímetros de los sensores de la cámara.Para identificar correctamente los cuadrados correspondientes, coloque una pequeña tuerca de tornillo o una marca en algún lugar de la cuadrícula. Inicie la aplicación de grabación en la computadora Ubuntu para iniciar la interfaz. Y luego, ajuste la apertura y enfoque en la lente con los anillos de apertura y enfoque.En la aplicación de grabación, marque Crosshair para visualizar el punto de mira. En la aplicación de grabación, asegúrese de que el punto de mira se alinee con la rejilla de calibración en la misma posición en ambas imágenes de la cámara. Después de presionar el ícono de engranaje en la aplicación del robot, coloque las cámaras en relación con el paciente.Cambie la dirección X presionando el más o el menos para la distancia de la mano desde el robot, y la dirección Z presionando el más o el menos para Altura para capturar el campo quirúrgico en las imágenes. Cambie la dirección Y moviendo manualmente el robot o el paciente. Después de pausar la cirugía e informar al personal de quirófano sobre el inicio del experimento, presione Grabar en la aplicación de grabación y, a continuación, presione Ejecutar experimento en la aplicación del robot.Después de un tiempo, cuando finalice el experimento, Listo aparecerá en la pantalla táctil. Luego, presione Detener grabación en la aplicación de grabación para detener la grabación. Informe al personal de quirófano que el experimento ha terminado y reanude la cirugía.Para la evaluación, muestre el video en formato 3D superior e inferior con un proyector 3D activo. Se muestra el video de evaluación correcto con una imagen correcta colocada en la parte superior en 3D estereoscópico superior-inferior. Una secuencia exitosa debe ser nítida, enfocada y sin marcos de imagen no sincronizados.Las secuencias de vídeo no sincronizadas crean desenfoque. El punto de convergencia debe estar centrado horizontalmente, independientemente de la separación de la cámara. Con una separación muy grande entre las imágenes derecha e izquierda, el cerebro no puede fusionar las imágenes en una imagen 3D.Varias razones pueden causar insuficiencia en la posición central del corazón, como la distancia desde el punto de convergencia hasta el corazón. Para una configuración correcta del sistema de coordenadas de la herramienta de la cámara, asegúrese de que la mira en la aplicación de grabación apunte al mismo objeto, el objeto de calibración esté en la posición central y el formato correcto de debayering de colores. Los videos 3D con distancias de referencia cambiantes nos permiten estudiar cómo la información de profundidad afecta la comprensión anatómica entre el personal médico.

Research

JoVE Journal

Medicine

Rat Heterotopic Abdominal Heart/Single-lung Transplantation in a Volume-loaded Configuration

Rata heterotópico abdominal Corazón / Trasplante de un solo pulmón en una configuración de volumen cargado

Herein, we describe a novel technique for heterotopic abdominal heart-lung transplantation (HAHLT) in rats. The configuration of the transplant graft ...

Investigación

Medicina

A Pipeline for 3D Multimodality Image Integration and Computer-assisted Planning in Epilepsy Surgery

Una tubería de multimodalidad 3D Image Integración y Planificación asistida por ordenador en la cirugía de la epilepsia

Epilepsy surgery is challenging and the use of 3D multimodality image integration (3DMMI) to aid presurgical planning is well-established. Multimodality ...

A Quantitative Sensory Testing Paradigm to Obtain Measures of Pain Processing in Patients Undergoing Breast Cancer Surgery

Un paradigma de prueba sensorial cuantitativo para obtener medidas del dolor en pacientes sometidos a cirugía de cáncer de mama

Chronic pain following surgery, persistent postsurgical pain, is an important highly prevalent condition contributing to significant symptom burden and ...

A Clinical Trial Assessing the Safety, Efficacy, and Delivery of Olive-Oil-Based Three-Chamber Bags for Parenteral Nutrition

Un ensayo clínico que evalúa la seguridad, eficacia y entrega de bolsas de tres cámaras basadas en aceite de oliva para la nutrición parenteral

Limited evidence exists to precisely estimate efficacy and safety differences between parenteral nutrition (PN) prepared using olive-oil-based ...

A Training and Testing System for Performing Vascular Reconstruction In Vitro

Un sistema de entrenamiento y pruebas para la realización de reconstrucción vascular en Vitro

Manual vascular reconstruction training is essential for a beginner surgeon. However, an optimal training system for vascular reconstruction in vitro has ...

A Postoperative Evaluation Guideline for Computer-Assisted Reconstruction of the Mandible

Una Guía de Evaluación Postoperatoria para la Reconstrucción Asistida por Computadora de la Mandíbula

Valid comparisons of postoperative accuracy results in computer-assisted reconstruction of the mandible are difficult due to heterogeneity in imaging ...

3D Planning and Printing of Patient Specific Implants for Reconstruction of Bony Defects

Planificación e impresión 3D de implantes específicos para el paciente para la reconstrucción de defectos óseos

We are in the midst of the 3D era in most aspects of life, and especially in medicine. The surgical discipline is one of the major players in the medical ...

Implantation of Combined Telemetric ECG and Blood Pressure Transmitters to Determine Spontaneous Baroreflex Sensitivity in Conscious Mice

Implantación de ECG telemétrico combinado y transmisores de presión arterial para determinar la sensibilidad barorrefleja espontánea en ratones conscientes

Blood pressure (BP) and heart rate (HR) are both controlled by the autonomic nervous system (ANS) and are closely intertwined due to reflex mechanisms. ...

Use of 3D Robotic Ultrasound for In Vivo Analysis of Mouse Kidneys

Use of 3D Robotic Ultrasound for In Vivo Analysis of Mouse Kidneys

Uso de ultrasonido robótico 3D para el análisis in vivo de riñones de ratón

Common modalities for in vivo imaging of rodents include positron emission tomography (PET), computed tomography (CT), magnetic resonance imaging (MRI), ...

Combining 3D-Printing and Electrospinning to Manufacture Biomimetic Heart Valve Leaflets

Combinación de impresión 3D y electrohilado para fabricar folletos biomiméticos de válvulas cardíacas

Electrospinning has become a widely used technique in cardiovascular tissue engineering as it offers the possibility to create (micro-)fibrous scaffolds ...