Name: robotized testing of camera positions to determine ideal configuration for stereo 3d visualization of open-heart surgery
Uploaded: 2021-08-12T14:45:00
Description: Watch this Scientific Journal Video about Robotized Testing of Camera Positions to Determine Ideal Configuration for Stereo 3D Visualization of Open-Heart Surgery at JoVE.com

La ricerca è stata condotta con finanziamenti da Vinnova (2017-03728, 2018-05302 e 2018-03651), Heart-Lung Foundation (20180390), Family Kamprad Foundation (20190194) e Anna-Lisa e Sven Eric Lundgren Foundation (2017 e 2018).

Gli esperimenti sono stati approvati dal Comitato Etico locale di Lund, in Svezia. La partecipazione è stata volontaria e i tutori legali dei pazienti hanno fornito un consenso scritto informato.
1. Configurazione e configurazione del robot
NOTA: questo esperimento ha utilizzato un robot industriale collaborativo a doppio braccio e il pannello di controllo standard con display touch. Il robot è controllato con il software di controllo RobotWare 6.10.01 e l'ambiente ...

<ol>
	<li>Held, R. T., Hui, T. T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+guide+to+stereoscopic+3D+displays+in+medicine.">A guide to stereoscopic 3D displays in medicine.</a> Academic Radiology. 18 (8), 1035-1048 (2011).</li><li>van Beurden, M. H. P. H., IJsselsteijn, W. A., Juola, J. F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Effectiveness+of+stereoscopic+displays+in+medicine:+A+review.">Effectiveness of stereoscopic displays in medicine: A review.</a> 3D Research. 3 (1), 1-13 (2012).</li><li>Luursema, J. M., Verwey, W. B., Kommers, P. A. M., Geelkerken, R. H., Vos, H. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Optimizing+conditions+for+computer-assisted+anatomical+learning.">Optimizing conditions for computer-assisted anatomical learning.</a> Interacting with Computers. 18 (5), 1123-1138 (2006).</li><li>Takano, M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Usefulness+and+capability+of+three-dimensional,+full+high-definition+movies+for+surgical+education.">Usefulness and capability of three-dimensional, full high-definition movies for surgical education.</a> Maxillofacial Plastic and Reconstructive Surgery. 39 (1), 10 (2017).</li><li>Triepels, C. P. R., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Does+three-dimensional+anatomy+improve+student+understanding.">Does three-dimensional anatomy improve student understanding.</a> Clinical Anatomy. 33 (1), 25-33 (2020).</li><li>Beermann, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Three-dimensional+visualisation+improves+understanding+of+surgical+liver+anatomy.">Three-dimensional visualisation improves understanding of surgical liver anatomy.</a> Medical Education. 44 (9), 936-940 (2010).</li><li>Battulga, B., Konishi, T., Tamura, Y., Moriguchi, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=The+Effectiveness+of+an+interactive+3-dimensional+computer+graphics+model+for+medical+education.">The Effectiveness of an interactive 3-dimensional computer graphics model for medical education.</a> Interactive Journal of Medical Research. 1 (2), (2012).</li><li>Yammine, K., Violato, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+meta-analysis+of+the+educational+effectiveness+of+three-dimensional+visualization+technologies+in+teaching+anatomy.">A meta-analysis of the educational effectiveness of three-dimensional visualization technologies in teaching anatomy.</a> Anatomical Sciences Education. 8 (6), 525-538 (2015).</li><li>Fitzgerald, J. E. F., White, M. J., Tang, S. W., Maxwell-Armstrong, C. A., James, D. K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Are+we+teaching+sufficient+anatomy+at+medical+school?+The+opinions+of+newly+qualified+doctors.">Are we teaching sufficient anatomy at medical school? The opinions of newly qualified doctors.</a> Clinical Anatomy. 21 (7), 718-724 (2008).</li><li>Bergman, E. M., Van Der Vleuten, C. P. M., Scherpbier, A. J. J. A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Why+don't+they+know+enough+about+anatomy?+A+narrative+review.">Why don't they know enough about anatomy? A narrative review.</a> Medical Teacher. 33 (5), 403-409 (2011).</li><li>Terzi&#263;, K., Hansard, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Methods+for+reducing+visual+discomfort+in+stereoscopic+3D:+A+review.">Methods for reducing visual discomfort in stereoscopic 3D: A review.</a> Signal Processing: Image Communication. 47, 402-416 (2016).</li><li>Fan, Z., Weng, Y., Chen, G., Liao, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=3D+interactive+surgical+visualization+system+using+mobile+spatial+information+acquisition+and+autostereoscopic+display.">3D interactive surgical visualization system using mobile spatial information acquisition and autostereoscopic display.</a> Journal of Biomedical Informatics. 71, 154-164 (2017).</li><li>Fan, Z., Zhang, S., Weng, Y., Chen, G., Liao, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=3D+quantitative+evaluation+system+for+autostereoscopic+display.">3D quantitative evaluation system for autostereoscopic display.</a> Journal of Display Technology. 12 (10), 1185-1196 (2016).</li><li>McIntire, J. P., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Binocular+fusion+ranges+and+stereoacuity+predict+positional+and+rotational+spatial+task+performance+on+a+stereoscopic+3D+display.">Binocular fusion ranges and stereoacuity predict positional and rotational spatial task performance on a stereoscopic 3D display.</a> Journal of Display Technology. 11 (11), 959-966 (2015).</li><li>Kalia, M., Navab, N., Fels, S. S., Salcudean, T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+method+to+introduce+&amp;+evaluate+motion+parallax+with+stereo+for+medical+AR/MR.">A method to introduce &amp; evaluate motion parallax with stereo for medical AR/MR.</a> IEEE Conference on Virtual Reality and 3D User Interfaces. , 1755-1759 (2019).</li><li>Kyt&#246;, M., Hakala, J., Oittinen, P., H&#228;kkinen, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Effect+of+camera+separation+on+the+viewing+experience+of+stereoscopic+photographs.">Effect of camera separation on the viewing experience of stereoscopic photographs.</a> Journal of Electronic Imaging. 21 (1), 1-9 (2012).</li><li>Moorthy, A. K., Su, C. C., Mittal, A., Bovik, A. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Subjective+evaluation+of+stereoscopic+image+quality.">Subjective evaluation of stereoscopic image quality.</a> Signal Processing: Image Communication. 28 (8), 870-883 (2013).</li><li>Yilmaz, G. N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+depth+perception+evaluation+metric+for+immersive+3D+video+services.">A depth perception evaluation metric for immersive 3D video services.</a> 3DTV Conference: The True Vision - Capture, Transmission and Display of 3D Video. , 1-4 (2017).</li><li>Lebreton, P., Raake, A., Barkowsky, M., Le Callet, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Evaluating+depth+perception+of+3D+stereoscopic+videos.">Evaluating depth perception of 3D stereoscopic videos.</a> IEEE Journal on Selected Topics in Signal Processing. 6, 710-720 (2012).</li><li>L&#243;pez, J. P., Rodrigo, J. A., Jim&#233;nez, D., Men&#233;ndez, J. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Stereoscopic+3D+video+quality+assessment+based+on+depth+maps+and+video+motion.">Stereoscopic 3D video quality assessment based on depth maps and video motion.</a> EURASIP Journal on Image and Video Processing. 2013 (1), 62 (2013).</li><li>Banks, M. S., Read, J. C., Allison, R. S., Watt, S. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Stereoscopy+and+the+human+visual+system.">Stereoscopy and the human visual system.</a> SMPTE Motion Imaging Journal. 121 (4), 24-43 (2012).</li><li>Kyt&#246;, M., Nuutinen, M., Oittinen, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Method+for+measuring+stereo+camera+depth+accuracy+based+on+stereoscopic+vision.">Method for measuring stereo camera depth accuracy based on stereoscopic vision.</a> Three-Dimensional Imaging, Interaction, and Measurement. 7864, 168-176 (2011).</li><li>Kang, Y. S., Ho, Y. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Geometrical+compensation+algorithm+of+multiview+image+for+arc+multi-camera+arrays.">Geometrical compensation algorithm of multiview image for arc multi-camera arrays.</a> Advances in Multimedia Information Processing. 2008, 543-552 (2008).</li><li>Product Specification IRB 14000. DocumentID: 3HAC052982-001 Revision J. ABB Robotics Available from: <a target="_blank" href="https://library.abb.com/en/results">https://library.abb.com/en/results</a> (2018)</li><li>Operating Manual IRB 14000. Document ID: 3HAC052986-001 Revision F. ABB Robotics Available from: <a target="_blank" href="https://library.abb.com/en/results">https://library.abb.com/en/results</a> (2019)</li><li>. Github repository Available from: <a target="_blank" href="https://github.com/majstenmark/stereo2">https://github.com/majstenmark/stereo2</a> (2021)</li><li>Operating manual RobotStudio. Document ID: 3HAC032104-001 Revision Y. ABB Robotics Available from: <a target="_blank" href="https://library.abb.com/en/results">https://library.abb.com/en/results</a> (2019)</li><li>Won, C. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Adaptive+interpolation+for+3D+stereoscopic+video+in+frame-compatible+top-bottom+packing.">Adaptive interpolation for 3D stereoscopic video in frame-compatible top-bottom packing.</a> IEEE International Conference on Consumer Electronics. 2011, 179-180 (2011).</li><li>Kim, S. K., Lee, C., Kim, K. T., Javidi, B., Okano, F., Son, J. Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Multi-view+image+acquisition+and+display.">Multi-view image acquisition and display.</a> Three-Dimensional Imaging, Visualization, and Display. , 227-249 (2009).</li><li>Liu, F., Niu, Y., Jin, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Keystone+correction+for+stereoscopic+cinematography.">Keystone correction for stereoscopic cinematography.</a> IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops. 2012, 1-7 (2012).</li><li>Kang, W., Lee, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Horizontal+parallax+distortion+correction+method+in+toed-in+camera+with+wide-angle+lens.">Horizontal parallax distortion correction method in toed-in camera with wide-angle lens.</a> 3DTV Conference: The True Vision - Capture, Transmission and Display of 3D Video. 2009, 1-4 (2009).</li></ol>

Durante la chirurgia dal vivo, il tempo totale dell'esperimento utilizzato per la raccolta di dati video 3D è stato limitato per essere sicuro per il paziente. Se l'oggetto non è focalizzato o sovraesposto, i dati non possono essere utilizzati. I passaggi critici sono durante la calibrazione e la configurazione dello strumento della fotocamera (passaggio 2). L'apertura e la messa a fuoco della fotocamera non possono essere modificate quando l'intervento chirurgico è iniziato; le stesse condizioni di illuminazione e di...

In chirurgia, la visualizzazione 3D può essere utilizzata per l'istruzione, le diagnosi, la pianificazione pre-operatoria e la valutazione post-operatoria1,2. La percezione realistica della profondità può migliorare la comprensione3,4,5,6 di anatomie normali e anormali. Semplici registrazioni video 2D di procedure chirurgiche sono un buon inizio. Tuttavia, la mancanza di percezione della profondità può rendere difficile per i colleghi non chirurgici comprendere appieno le relazioni antero-posteriori tra diverse strutture anatomiche e quindi introdurre anche un rischio di interpretazione errata dell'anatomia7,8,9,10.
L'esperienza di visualizzazione 3D è influenzata da cinque fattori: (1) La configurazione della telecamera può essere parallela o integrata come mostrato nella Figura 1, (2) Distanza di base (la separazione tra le telecamere). (3) Distanza dall'oggetto di interesse e altre caratteristiche della scena come lo sfondo. (4) Caratteristiche dei dispositivi di visualizzazione come le dimensioni dello schermo e la posizione di visualizzazione1,11,12,13. (5) Preferenze individuali degli spettatori14,15.
La progettazione di una configurazione della fotocamera 3D inizia con l'acquisizione di video di prova registrati a varie distanze e configurazioni di base della telecamera da utilizzare per la valutazione soggettiva o automatica16,17,18,19,20. La distanza della fotocamera deve essere costante rispetto al campo chirurgico per acquisire immagini nitide. La messa a fuoco fissa è preferita perché l'autofocus si regola per mettere a fuoco mani, strumenti o teste che potrebbero entrare in vista. Tuttavia, questo non è facilmente realizzabile quando la scena di interesse è il campo chirurgico. Le sale operatorie sono aree ad accesso limitato perché queste strutture devono essere mantenute pulite e sterili. Attrezzature tecniche, chirurghi e infermieri di scrub sono spesso raggruppati strettamente attorno al paziente per garantire una buona panoramica visiva e un flusso di lavoro efficiente. Per confrontare e valutare l'effetto delle posizioni della telecamera sull'esperienza di visualizzazione 3D, una gamma di test completa delle posizioni della telecamera deve registrare la stessa scena perché le caratteristiche dell'oggetto come forma, dimensioni e colore possono influire sull'esperienza di visione 3D21.
Per lo stesso motivo, le gamme di test complete delle posizioni della telecamera devono essere ripetute su diverse procedure chirurgiche. L'intera sequenza di posizioni deve essere ripetuta con elevata precisione. In un ambiente chirurgico, i metodi esistenti che richiedono la regolazione manuale della distanza di base22 o diverse coppie di telecamere con distanze fisse di base23 non sono fattibili a causa di vincoli di spazio e tempo. Per affrontare questa sfida, è stata progettata questa soluzione robotizzata.
I dati sono stati raccolti con un robot industriale collaborativo a doppio braccio montato nel soffitto della sala operatoria. Le telecamere sono state attaccate ai polsi del robot e spostate lungo una traiettoria a forma di arco con una distanza di base crescente, come mostrato nella Figura 2.
Per dimostrare l'approccio, sono state registrate 10 serie di test da 4 diversi pazienti con 4 diversi difetti cardiaci congeniti. Le scene sono state scelte quando una pausa in chirurgia era fattibile: con i cuori che battono appena prima e dopo la riparazione chirurgica. Le serie sono state fatte anche quando i cuori sono stati arrestati. Gli interventi chirurgici sono stati sospesi per 3 minuti e 20 secondi per raccogliere quaranta 5-ssequence con diverse distanze di convergenza della fotocamera e distanze di base per catturare la scena. I video sono stati successivamente post-elaborati, visualizzati in 3D per il team clinico, che ha valutato quanto fosse realistico il video 3D su una scala da 0 a 5.
Il punto di convergenza per le telecamere stereo toed-in è dove si incontrano i punti centrali di entrambe le immagini. Il punto di convergenza può, in linea di principio, essere posizionato davanti, all'interno o dietro l'oggetto, vedi Figura 1A-C. Quando il punto di convergenza si trova di fronte all'oggetto, l'oggetto verrà catturato e visualizzato a sinistra della linea mediana per l'immagine della fotocamera sinistra e a destra della linea mediana per l'immagine della fotocamera destra (Figura 1A). Il contrario si applica quando il punto di convergenza è dietro l'oggetto (Figura 1B). Quando il punto di convergenza è sull'oggetto, l'oggetto apparirà anche nella linea mediana delle immagini della fotocamera (Figura 1C), che presumibilmente dovrebbe produrre la visione più comoda poiché non è necessario strizzare gli occhi per unire le immagini. Per ottenere un comodo video 3D stereo, il punto di convergenza deve essere posizionato sopra, o leggermente dietro, l'oggetto di interesse, altrimenti lo spettatore è tenuto a strizzare volontariamente gli occhi verso l'esterno (esotropia).
I dati sono stati raccolti utilizzando un robot industriale collaborativo a doppio braccio per posizionare le telecamere (Figura 2A-B). Il robot pesa 38 kg senza attrezzatura. Il robot è intrinsecamente sicuro; quando rileva un impatto imprevisto, smette di muoversi. Il robot è stato programmato per posizionare le telecamere da 5 Megapixel con obiettivi con innesto C lungo una traiettoria a forma di arco fermandosi a distanze di base predeterminate (Figura 2C). Le telecamere sono state attaccate alle mani del robot utilizzando piastre adattatori, come mostrato nella Figura 3. Ogni telecamera ha registrato a 25 fotogrammi al secondo. Le lenti sono state impostate a f-stop 1/8 con messa a fuoco fissa sull'oggetto di interesse (centro geometrico approssimativo del cuore). Ogni fotogramma dell'immagine aveva un timestamp che veniva utilizzato per sincronizzare i due flussi video.
Gli offset tra il polso del robot e la fotocamera sono stati calibrati. Ciò può essere ottenuto allineando il mirino delle immagini della fotocamera, come mostrato nella Figura 4. In questa configurazione, l'offset traslazionale totale dal punto di montaggio sul polso del robot e dal centro del sensore di immagine della telecamera era di 55,3 mm nella direzione X e 21,2 mm nella direzione Z, visualizzati nella Figura 5. Gli offset rotazionali sono stati calibrati a una distanza di convergenza di 1100 mm e una distanza di base di 50 mm e regolati manualmente con il joystick sul pannello di controllo del robot. Il robot in questo studio aveva una precisione specificata di 0,02 mm nello spazio cartesiano e una risoluzione rotazionale di 0,01 gradi24. Con un raggio di 1100 m, una differenza d'angolo di 0,01 gradi compensa il punto centrale di 0,2 mm. Durante il movimento completo del robot da 50-240 mm di separazione, il mirino di ogni telecamera era entro 2 mm dal centro ideale di convergenza.
La distanza di base è stata aumentata gradualmente dalla separazione simmetrica delle telecamere attorno al centro del campo visivo con incrementi di 10 mm compresi tra 50 e 240 mm (Figura 2). Le telecamere sono state tenute ferme per 5 s in ogni posizione e spostate tra le posizioni ad una velocità di 50 mm/s. Il punto di convergenza può essere regolato nelle direzioni X e Z utilizzando un'interfaccia utente grafica (Figura 6). Il robot ha seguito di conseguenza all'interno del suo raggio di lavoro.
L'accuratezza del punto di convergenza è stata stimata utilizzando i triangoli uniformi e i nomi delle variabili nella Figura 7A e B. L'altezza 'z' è stata calcolata dalla distanza di convergenza 'R' con il teorema di Pitagora come
<img alt="Equation 1" src="/files/ftp_upload/62786/62786eq01.jpg">
Quando il punto di convergenza reale era più vicino del punto desiderato, come mostrato nella Figura 7A, la distanza di errore 'f1' è stata calcolata come
<img alt="Equation 2" src="/files/ftp_upload/62786/62786eq02.jpg">
Allo stesso modo, quando il punto di convergenza era distale al punto desiderato, la distanza di errore 'f2' veniva calcolata come
<img alt="Equation 3" src="/files/ftp_upload/62786/62786eq03.jpg">
Qui, 'e' era la massima separazione tra il mirino, al massimo 2 mm alla massima separazione della linea di base durante la calibrazione (D = 240 mm). Per R = 1100 mm (z = 1093 mm), l'errore era inferiore a ± 9,2 mm. Per R = 1400 mm (z = 1395 mm), l'errore è stato ± 11,7 mm. Cioè, l'errore del posizionamento del punto di convergenza era entro l'1% del desiderato. Le due distanze di prova di 1100 mm e 1400 mm erano quindi ben separate.

<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td>2 C-mount lenses (35 mm F2.1, 5 M pixel)</td>
			<td>Tamron</td>
			<td>M112FM35</td>
			<td>Rated for 5 Mpixel</td>
		</tr>
		<tr>
			<td>3D glasses (DLP-link active shutter)</td>
			<td>Celexon</td>
			<td>G1000</td>
			<td>Any compatible 3D glasses can be used</td>
		</tr>
		<tr>
			<td>3D Projector</td>
			<td>Viewsonic</td>
			<td>X10-4K</td>
			<td>Displays 3D in 1080, can be exchanged for other 3D projectors</td>
		</tr>
		<tr>
			<td>6 M2 x 8 screws</td>
			<td></td>
			<td></td>
			<td>To attach the cXimea cameras to the camera adaptor plates</td>
		</tr>
		<tr>
			<td>8 M2.5 x 8 screws</td>
			<td></td>
			<td></td>
			<td>To attach the circular mounting plates to the robot wrist</td>
		</tr>
		<tr>
			<td>8 M5 x 40 screws</td>
			<td></td>
			<td></td>
			<td>To mount the robot</td>
		</tr>
		<tr>
			<td>8 M6 x 10 screws with flat heads</td>
			<td></td>
			<td></td>
			<td>For attaching the circular mounting plate and the camera adaptor plates</td>
		</tr>
		<tr>
			<td>Calibration checker board plate (25 by 25 mm)</td>
			<td></td>
			<td></td>
			<td>Any standard checkerboard can be used, including printed, as long as the grid is clearly visible in the cameras</td>
		</tr>
		<tr>
			<td>Camera adaptor plates, x2</td>
			<td></td>
			<td></td>
			<td>Designed by the authors in robot_camera_adaptor_plates.dwg, milled in aluminium.</td>
		</tr>
		<tr>
			<td>Circular mounting plates, x2</td>
			<td></td>
			<td></td>
			<td>Distributed with the permission of the designer Julius Klein and printed with ABS plastic on an FDM 3D printer. License Tecnalia Research &#38; Innovation 2017. Attached as Mountingplate_ROBOT_SIDE_ 
			NewDesign_4.stl</td>
		</tr>
		<tr>
			<td>Fix focus usb cameras, x2 (5 Mpixel)</td>
			<td>Ximea</td>
			<td>MC050CG-SY-UB</td>
			<td>With Sony IMX250LQR sensor</td>
		</tr>
		<tr>
			<td>Flexpendant</td>
			<td>ABB</td>
			<td>3HAC028357-001</td>
			<td>robot touch display</td>
		</tr>
		<tr>
			<td>Liveview</td>
			<td></td>
			<td></td>
			<td>recording application</td>
		</tr>
		<tr>
			<td>RobotStudio</td>
			<td></td>
			<td></td>
			<td>&#160;robot integrated development environment (IDE)</td>
		</tr>
		<tr>
			<td>USB3 active cables (10.0 m), x2</td>
			<td></td>
			<td></td>
			<td>Thumbscrew lock connector, water proofed.</td>
		</tr>
		<tr>
			<td>YuMi dual-arm robot</td>
			<td>ABB</td>
			<td>IRB14000</td>
			<td></td>
		</tr>
	</tbody>
</table>

robotized testing of camera positions to determine ideal configuration for stereo 3d visualization of open-heart surgery

Il video 3D stereo delle procedure chirurgiche può essere molto prezioso per l'educazione medica e migliorare la comunicazione clinica. Ma l'accesso alla sala operatoria e al campo chirurgico è limitato. È un ambiente sterile e lo spazio fisico è affollato di personale chirurgico e attrezzature tecniche. In questo contesto, la cattura non oscurata e la riproduzione realistica delle procedure chirurgiche sono difficili. Questo documento presenta un metodo per la raccolta rapida e affidabile di dati di video 3D stereoscopici a diverse distanze di base della telecamera e distanze di convergenza. Per raccogliere i dati dei test con interferenze minime durante l'intervento chirurgico, con alta precisione e ripetibilità, le telecamere sono state collegate a ciascuna mano di un robot a doppio braccio. Il robot era montato a soffitto in sala operatoria. È stato programmato per eseguire una sequenza temporizzata di movimenti sincronizzati della telecamera che attraversano una serie di posizioni di prova con distanza di base compresa tra 50-240 mm a passi incrementali di 10 mm e a due distanze di convergenza di 1100 mm e 1400 mm. L'intervento chirurgico è stato sospeso per consentire 40 campioni video consecutivi da 5 s. Sono stati registrati un totale di 10 scenari chirurgici.

Un video di valutazione accettabile con l'immagine giusta posizionata in alto nel 3D stereoscopico superiore-inferiore viene mostrato in Video1. Una sequenza riuscita deve essere nitida, focalizzata e senza fotogrammi di immagine non sincronizzati. I flussi video non sincronizzati causeranno sfocature, come mostrato nel file Video 2. Il punto di convergenza deve essere centrato orizzontalmente, indipendentemente dalla separazione della telecamera, come mostrato nella <st...

Watch this Scientific Journal Video about Robotized Testing of Camera Positions to Determine Ideal Configuration for Stereo 3D Visualization of Open-Heart Surgery at JoVE.com

Robotized Testing of Camera Positions to Determine Ideal Configuration for Stereo 3D Visualization of Open-Heart Surgery

La percezione della profondità umana dei video stereo 3D dipende dalla separazione della telecamera, dal punto di convergenza, dalla distanza e dalla familiarità dell'oggetto. Questo documento presenta un metodo robotizzato per la raccolta rapida e affidabile dei dati di test durante la chirurgia a cuore aperto dal vivo per determinare la configurazione ideale della telecamera.

Test robotizzati delle posizioni della telecamera per determinare la configurazione ideale per la visualizzazione 3D stereo della chirurgia a cuore aperto

Stereo 3D video from surgical procedures can be highly valuable for medical education and improve clinical communication. But access to the operating room ...

Consente l'acquisizione di video 3D di alta qualità per la formazione e l'istruzione. Può essere applicato alla maggior parte delle impostazioni della sala operatoria con chirurgia a cielo aperto. Con un approccio robotizzato, possiamo raccogliere rapidamente e con precisione i dati per valutare le posizioni della telecamera.Questo metodo viene utilizzato per testare rapidamente la configurazione della telecamera per applicazioni di visione 3D. Può anche essere usato per indagare su come soggetti diversi percepiscono la profondità. Per iniziare a montare la fotocamera sul robot, prima, montare l'obiettivo sulla fotocamera e quindi la fotocamera sulla piastra dell'adattatore con tre viti M2.Quindi, montare la piastra di montaggio circolare sulla piastra dell'adattatore della fotocamera con quattro viti M4 sul lato opposto della telecamera. Una volta che tutte le telecamere sono montate sul robot, osservare il mirroring degli assiemi risultanti. Montare la piastra dell'adattatore al polso del robot con quattro viti M2.5.Per un robot montato su tavolo, collegare la telecamera sinistra al braccio destro del robot. Collegare i cavi USB alle fotocamere e al computer Ubuntu. Sul display touch del robot, premere il pulsante Menu e selezionare Stereo 2 per avviare l'applicazione robot.Nella schermata principale, premere Vai per avviare per 1.100 millimetri nell'applicazione robot e attendere che il robot si sposti nella posizione iniziale. Rimuovere il cappuccio protettivo dell'obiettivo dalle fotocamere. Posizionare una griglia di calibrazione stampata a 1.100 millimetri dai sensori della fotocamera.Per identificare correttamente i quadrati corrispondenti, posizionare un piccolo dado a vite o segnare da qualche parte all'interno della griglia. Avviare l'applicazione di registrazione sul computer Ubuntu per avviare l'interfaccia. E poi, regola l'apertura e metti a fuoco l'obiettivo con le ghiere di apertura e messa a fuoco.Nell'applicazione di registrazione, selezionare Mirino per visualizzare il mirino. Nell'applicazione di registrazione, assicurarsi che il mirino sia allineato con la griglia di calibrazione nella stessa posizione in entrambe le immagini della telecamera. Dopo aver premuto l'icona a forma di ingranaggio nell'applicazione robot, posizionare le telecamere rispetto al paziente.Modificare la direzione X premendo il segno più o meno per la distanza della mano dal robot e la direzione Z premendo il segno più o meno per Altezza per acquisire il campo chirurgico nelle immagini. Modificare la direzione Y spostando manualmente il robot o il paziente. Dopo aver sospeso l'intervento chirurgico e aver informato il personale di sala operatoria sull'avvio dell'esperimento, premere Registra nell'applicazione di registrazione, quindi premere Esegui esperimento nell'applicazione robot.Dopo un po ', al termine dell'esperimento, Done apparirà sul display touch. Quindi, premere Interrompi registrazione nell'applicazione di registrazione per interrompere la registrazione. Informare il personale di sala operatoria che l'esperimento è terminato e riprendere l'intervento chirurgico.Per la valutazione, visualizzare il video in formato 3D superiore-inferiore con un proiettore 3D attivo. Viene mostrato il video di valutazione corretto con un'immagine giusta posizionata in alto nel 3D stereoscopico in alto-in basso. Una sequenza riuscita deve essere nitida, focalizzata e senza fotogrammi di immagine non sincronizzati.I flussi video non sincronizzati creano sfocatura. Il punto di convergenza deve essere centrato orizzontalmente, indipendentemente dalla separazione della telecamera. Con una separazione molto ampia tra le immagini destra e sinistra, il cervello non può fondere le immagini in un'unica immagine 3D.Diversi motivi possono causare il fallimento nel posizionamento centrale del cuore, come la distanza dal punto di convergenza al cuore. Per una corretta configurazione del sistema di coordinate dello strumento della fotocamera, assicurarsi che il mirino nell'applicazione di registrazione punti sullo stesso oggetto, che l'oggetto di calibrazione sia in posizione centrale e che il formato di debayering corretto dei colori sia corretto. I video 3D con le mutevoli distanze di base ci consentono di studiare come le informazioni sulla profondità influenzano la comprensione anatomica tra il personale medico.

Research

JoVE Journal

Medicine

Rat Heterotopic Abdominal Heart/Single-lung Transplantation in a Volume-loaded Configuration

Rat eterotopico addominale Cuore / Trapianti Single-polmone in una configurazione del volume-caricato

Herein, we describe a novel technique for heterotopic abdominal heart-lung transplantation (HAHLT) in rats. The configuration of the transplant graft ...

Ricerca

Medicina

A Pipeline for 3D Multimodality Image Integration and Computer-assisted Planning in Epilepsy Surgery

Una pipeline per il 3D multimodalità integrazione di immagini e progettazione assistita da computer in chirurgia dell&#39;epilessia

Epilepsy surgery is challenging and the use of 3D multimodality image integration (3DMMI) to aid presurgical planning is well-established. Multimodality ...

A Quantitative Sensory Testing Paradigm to Obtain Measures of Pain Processing in Patients Undergoing Breast Cancer Surgery

Un paradigma di test sensoriale quantitativo per ottenere misure di elaborazione nei pazienti sottoposti a chirurgia del cancro al seno dolore

Chronic pain following surgery, persistent postsurgical pain, is an important highly prevalent condition contributing to significant symptom burden and ...

A Clinical Trial Assessing the Safety, Efficacy, and Delivery of Olive-Oil-Based Three-Chamber Bags for Parenteral Nutrition

Uno studio clinico che valuta la sicurezza, l'efficacia e la consegna di sacchetti a tre camere a base di olio d'oliva per la nutrizione parenterale

Limited evidence exists to precisely estimate efficacy and safety differences between parenteral nutrition (PN) prepared using olive-oil-based ...

A Training and Testing System for Performing Vascular Reconstruction In Vitro

Un sistema di formazione e test per l'esecuzione della ricostruzione vascolare in vitro

Manual vascular reconstruction training is essential for a beginner surgeon. However, an optimal training system for vascular reconstruction in vitro has ...

A Postoperative Evaluation Guideline for Computer-Assisted Reconstruction of the Mandible

Una linea guida di valutazione postoperatoria per la ricostruzione assistita dal computer della mandibola

Valid comparisons of postoperative accuracy results in computer-assisted reconstruction of the mandible are difficult due to heterogeneity in imaging ...

3D Planning and Printing of Patient Specific Implants for Reconstruction of Bony Defects

Pianificazione 3D e stampa di impianti specifici per il paziente per la ricostruzione di difetti di bony

We are in the midst of the 3D era in most aspects of life, and especially in medicine. The surgical discipline is one of the major players in the medical ...

Implantation of Combined Telemetric ECG and Blood Pressure Transmitters to Determine Spontaneous Baroreflex Sensitivity in Conscious Mice

Impianto combinato di ECG telemetrico e trasmettitori di pressione sanguigna per determinare la sensibilità baroriflessa spontanea in topi coscienti

Blood pressure (BP) and heart rate (HR) are both controlled by the autonomic nervous system (ANS) and are closely intertwined due to reflex mechanisms. ...

Use of 3D Robotic Ultrasound for In Vivo Analysis of Mouse Kidneys

Use of 3D Robotic Ultrasound for In Vivo Analysis of Mouse Kidneys

Uso di ultrasuoni robotici 3D per l'analisi in vivo dei reni di topo

Common modalities for in vivo imaging of rodents include positron emission tomography (PET), computed tomography (CT), magnetic resonance imaging (MRI), ...

Combining 3D-Printing and Electrospinning to Manufacture Biomimetic Heart Valve Leaflets

Combinazione di stampa 3D ed elettrofilatura per la produzione di volantini biomimetici per valvole cardiache

Electrospinning has become a widely used technique in cardiovascular tissue engineering as it offers the possibility to create (micro-)fibrous scaffolds ...