Name: robotized testing of camera positions to determine ideal configuration for stereo 3d visualization of open-heart surgery
Uploaded: 2021-08-12T14:45:00
Description: Watch this Scientific Journal Video about Robotized Testing of Camera Positions to Determine Ideal Configuration for Stereo 3D Visualization of Open-Heart Surgery at JoVE.com

Die Forschung wurde mit Mitteln von Vinnova (2017-03728, 2018-05302 und 2018-03651), der Herz-Lungen-Stiftung (20180390), der Familien-Kamprad-Stiftung (20190194) und der Anna-Lisa und Sven Eric Lundgren-Stiftung (2017 und 2018) durchgeführt.

Die Experimente wurden von der örtlichen Ethikkommission in Lund, Schweden, genehmigt. Die Teilnahme war freiwillig, und die Erziehungsberechtigten der Patienten gaben eine schriftliche Einwilligung.
1. Einrichtung und Konfiguration des Roboters
HINWEIS: Bei diesem Experiment wurden ein zweiarmiger kollaborativer Industrieroboter und das Standard-Bedienfeld mit einem Touch-Display verwendet. Gesteuert wird der Roboter mit der Steuerungssoftware RobotWare 6.10.01 und ...

<ol>
	<li>Held, R. T., Hui, T. T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+guide+to+stereoscopic+3D+displays+in+medicine.">A guide to stereoscopic 3D displays in medicine.</a> Academic Radiology. 18 (8), 1035-1048 (2011).</li><li>van Beurden, M. H. P. H., IJsselsteijn, W. A., Juola, J. F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Effectiveness+of+stereoscopic+displays+in+medicine:+A+review.">Effectiveness of stereoscopic displays in medicine: A review.</a> 3D Research. 3 (1), 1-13 (2012).</li><li>Luursema, J. M., Verwey, W. B., Kommers, P. A. M., Geelkerken, R. H., Vos, H. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Optimizing+conditions+for+computer-assisted+anatomical+learning.">Optimizing conditions for computer-assisted anatomical learning.</a> Interacting with Computers. 18 (5), 1123-1138 (2006).</li><li>Takano, M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Usefulness+and+capability+of+three-dimensional,+full+high-definition+movies+for+surgical+education.">Usefulness and capability of three-dimensional, full high-definition movies for surgical education.</a> Maxillofacial Plastic and Reconstructive Surgery. 39 (1), 10 (2017).</li><li>Triepels, C. P. R., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Does+three-dimensional+anatomy+improve+student+understanding.">Does three-dimensional anatomy improve student understanding.</a> Clinical Anatomy. 33 (1), 25-33 (2020).</li><li>Beermann, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Three-dimensional+visualisation+improves+understanding+of+surgical+liver+anatomy.">Three-dimensional visualisation improves understanding of surgical liver anatomy.</a> Medical Education. 44 (9), 936-940 (2010).</li><li>Battulga, B., Konishi, T., Tamura, Y., Moriguchi, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=The+Effectiveness+of+an+interactive+3-dimensional+computer+graphics+model+for+medical+education.">The Effectiveness of an interactive 3-dimensional computer graphics model for medical education.</a> Interactive Journal of Medical Research. 1 (2), (2012).</li><li>Yammine, K., Violato, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+meta-analysis+of+the+educational+effectiveness+of+three-dimensional+visualization+technologies+in+teaching+anatomy.">A meta-analysis of the educational effectiveness of three-dimensional visualization technologies in teaching anatomy.</a> Anatomical Sciences Education. 8 (6), 525-538 (2015).</li><li>Fitzgerald, J. E. F., White, M. J., Tang, S. W., Maxwell-Armstrong, C. A., James, D. K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Are+we+teaching+sufficient+anatomy+at+medical+school?+The+opinions+of+newly+qualified+doctors.">Are we teaching sufficient anatomy at medical school? The opinions of newly qualified doctors.</a> Clinical Anatomy. 21 (7), 718-724 (2008).</li><li>Bergman, E. M., Van Der Vleuten, C. P. M., Scherpbier, A. J. J. A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Why+don't+they+know+enough+about+anatomy?+A+narrative+review.">Why don't they know enough about anatomy? A narrative review.</a> Medical Teacher. 33 (5), 403-409 (2011).</li><li>Terzi&#263;, K., Hansard, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Methods+for+reducing+visual+discomfort+in+stereoscopic+3D:+A+review.">Methods for reducing visual discomfort in stereoscopic 3D: A review.</a> Signal Processing: Image Communication. 47, 402-416 (2016).</li><li>Fan, Z., Weng, Y., Chen, G., Liao, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=3D+interactive+surgical+visualization+system+using+mobile+spatial+information+acquisition+and+autostereoscopic+display.">3D interactive surgical visualization system using mobile spatial information acquisition and autostereoscopic display.</a> Journal of Biomedical Informatics. 71, 154-164 (2017).</li><li>Fan, Z., Zhang, S., Weng, Y., Chen, G., Liao, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=3D+quantitative+evaluation+system+for+autostereoscopic+display.">3D quantitative evaluation system for autostereoscopic display.</a> Journal of Display Technology. 12 (10), 1185-1196 (2016).</li><li>McIntire, J. P., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Binocular+fusion+ranges+and+stereoacuity+predict+positional+and+rotational+spatial+task+performance+on+a+stereoscopic+3D+display.">Binocular fusion ranges and stereoacuity predict positional and rotational spatial task performance on a stereoscopic 3D display.</a> Journal of Display Technology. 11 (11), 959-966 (2015).</li><li>Kalia, M., Navab, N., Fels, S. S., Salcudean, T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+method+to+introduce+&amp;+evaluate+motion+parallax+with+stereo+for+medical+AR/MR.">A method to introduce &amp; evaluate motion parallax with stereo for medical AR/MR.</a> IEEE Conference on Virtual Reality and 3D User Interfaces. , 1755-1759 (2019).</li><li>Kyt&#246;, M., Hakala, J., Oittinen, P., H&#228;kkinen, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Effect+of+camera+separation+on+the+viewing+experience+of+stereoscopic+photographs.">Effect of camera separation on the viewing experience of stereoscopic photographs.</a> Journal of Electronic Imaging. 21 (1), 1-9 (2012).</li><li>Moorthy, A. K., Su, C. C., Mittal, A., Bovik, A. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Subjective+evaluation+of+stereoscopic+image+quality.">Subjective evaluation of stereoscopic image quality.</a> Signal Processing: Image Communication. 28 (8), 870-883 (2013).</li><li>Yilmaz, G. N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+depth+perception+evaluation+metric+for+immersive+3D+video+services.">A depth perception evaluation metric for immersive 3D video services.</a> 3DTV Conference: The True Vision - Capture, Transmission and Display of 3D Video. , 1-4 (2017).</li><li>Lebreton, P., Raake, A., Barkowsky, M., Le Callet, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Evaluating+depth+perception+of+3D+stereoscopic+videos.">Evaluating depth perception of 3D stereoscopic videos.</a> IEEE Journal on Selected Topics in Signal Processing. 6, 710-720 (2012).</li><li>L&#243;pez, J. P., Rodrigo, J. A., Jim&#233;nez, D., Men&#233;ndez, J. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Stereoscopic+3D+video+quality+assessment+based+on+depth+maps+and+video+motion.">Stereoscopic 3D video quality assessment based on depth maps and video motion.</a> EURASIP Journal on Image and Video Processing. 2013 (1), 62 (2013).</li><li>Banks, M. S., Read, J. C., Allison, R. S., Watt, S. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Stereoscopy+and+the+human+visual+system.">Stereoscopy and the human visual system.</a> SMPTE Motion Imaging Journal. 121 (4), 24-43 (2012).</li><li>Kyt&#246;, M., Nuutinen, M., Oittinen, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Method+for+measuring+stereo+camera+depth+accuracy+based+on+stereoscopic+vision.">Method for measuring stereo camera depth accuracy based on stereoscopic vision.</a> Three-Dimensional Imaging, Interaction, and Measurement. 7864, 168-176 (2011).</li><li>Kang, Y. S., Ho, Y. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Geometrical+compensation+algorithm+of+multiview+image+for+arc+multi-camera+arrays.">Geometrical compensation algorithm of multiview image for arc multi-camera arrays.</a> Advances in Multimedia Information Processing. 2008, 543-552 (2008).</li><li>Product Specification IRB 14000. DocumentID: 3HAC052982-001 Revision J. ABB Robotics Available from: <a target="_blank" href="https://library.abb.com/en/results">https://library.abb.com/en/results</a> (2018)</li><li>Operating Manual IRB 14000. Document ID: 3HAC052986-001 Revision F. ABB Robotics Available from: <a target="_blank" href="https://library.abb.com/en/results">https://library.abb.com/en/results</a> (2019)</li><li>. Github repository Available from: <a target="_blank" href="https://github.com/majstenmark/stereo2">https://github.com/majstenmark/stereo2</a> (2021)</li><li>Operating manual RobotStudio. Document ID: 3HAC032104-001 Revision Y. ABB Robotics Available from: <a target="_blank" href="https://library.abb.com/en/results">https://library.abb.com/en/results</a> (2019)</li><li>Won, C. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Adaptive+interpolation+for+3D+stereoscopic+video+in+frame-compatible+top-bottom+packing.">Adaptive interpolation for 3D stereoscopic video in frame-compatible top-bottom packing.</a> IEEE International Conference on Consumer Electronics. 2011, 179-180 (2011).</li><li>Kim, S. K., Lee, C., Kim, K. T., Javidi, B., Okano, F., Son, J. Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Multi-view+image+acquisition+and+display.">Multi-view image acquisition and display.</a> Three-Dimensional Imaging, Visualization, and Display. , 227-249 (2009).</li><li>Liu, F., Niu, Y., Jin, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Keystone+correction+for+stereoscopic+cinematography.">Keystone correction for stereoscopic cinematography.</a> IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops. 2012, 1-7 (2012).</li><li>Kang, W., Lee, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Horizontal+parallax+distortion+correction+method+in+toed-in+camera+with+wide-angle+lens.">Horizontal parallax distortion correction method in toed-in camera with wide-angle lens.</a> 3DTV Conference: The True Vision - Capture, Transmission and Display of 3D Video. 2009, 1-4 (2009).</li></ol>

Während der Live-Operation war die Gesamtzeit des Experiments, das für die 3D-Videodatenerfassung verwendet wurde, begrenzt, um für den Patienten sicher zu sein. Wenn das Objekt nicht fokussiert oder überbelichtet ist, können die Daten nicht verwendet werden. Die kritischen Schritte sind während der Kalibrierung und Einrichtung des Kamerawerkzeugs (Schritt 2). Die Kamerablende und der Fokus können nicht geändert werden, wenn die Operation begonnen hat. Die gleichen Lichtverhältnisse und Abstände sollten währen...

In der Chirurgie kann die 3D-Visualisierung für Bildung, Diagnosen, präoperative Planung und postoperative Bewertung verwendet werden1,2. Realistische Tiefenwahrnehmung kann das Verständnis von normalen und abnormalen Anatomien verbessern3,4,5,6. Einfache 2D-Videoaufnahmen von chirurgischen Eingriffen sind ein guter Anfang. Die fehlende Tiefenwahrnehmung kann es den nicht-chirurgischen Kollegen jedoch erschweren, die antero-posterioren Beziehungen zwischen verschiedenen anatomischen Strukturen vollständig zu verstehen und daher auch das Risiko einer Fehlinterpretation der Anatomie mit sich bringen7,8,9,10.
Das 3D-Betrachtungserlebnis wird von fünf Faktoren beeinflusst: (1) Die Kamerakonfiguration kann entweder parallel oder eingebunden erfolgen, wie in Abbildung 1 dargestellt, (2) Der Basislinienabstand (der Abstand zwischen den Kameras). (3) Abstand zum Objekt von Interesse und anderen Szenenmerkmalen wie dem Hintergrund. (4) Merkmale von Anzeigegeräten wie Bildschirmgröße und Betrachtungsposition1,11,12,13. (5) Individuelle Präferenzen der Zuschauer14,15.
Die Entwicklung eines 3D-Kamera-Setups beginnt mit der Aufnahme von Testvideos, die mit verschiedenen Kamera-Baseline-Entfernungen und -Konfigurationen aufgenommen wurden, um für die subjektive oder automatische Auswertung verwendet zu werden16,17,18,19,20. Der Kameraabstand zum Operationsfeld muss konstant sein, um scharfe Bilder aufzunehmen. Ein fester Fokus wird bevorzugt, da sich der Autofokus anpasst, um sich auf Hände, Instrumente oder Köpfe zu konzentrieren, die möglicherweise sichtbar werden. Dies ist jedoch nicht leicht zu erreichen, wenn der Ort von Interesse das chirurgische Feld ist. Operationssäle sind Bereiche mit eingeschränktem Zugang, da diese Einrichtungen sauber und steril gehalten werden müssen. Technische Geräte, Chirurgen und Scrub Nurses sind oft eng um den Patienten gruppiert, um einen guten visuellen Überblick und einen effizienten Workflow zu gewährleisten. Um die Auswirkungen von Kamerapositionen auf das 3D-Seherlebnis vergleichen und bewerten zu können, sollte ein vollständiger Testbereich von Kamerapositionen die gleiche Szene aufzeichnen, da die Objekteigenschaften wie Form, Größe und Farbe das 3D-Seherlebnis beeinflussen können21.
Aus dem gleichen Grund sollten komplette Testbereiche von Kamerapositionen bei verschiedenen chirurgischen Eingriffen wiederholt werden. Die gesamte Reihenfolge der Positionen muss mit hoher Genauigkeit wiederholt werden. In einem chirurgischen Umfeld sind bestehende Methoden, die entweder eine manuelle Anpassung des Basislinienabstands22 oder verschiedene Kamerapaare mit festen Basislinienabständen23 erfordern, aus Platz- und Zeitgründen nicht durchführbar. Um dieser Herausforderung zu begegnen, wurde diese robotisierte Lösung entwickelt.
Die Daten wurden mit einem zweiarmigen kollaborativen Industrieroboter gesammelt, der in der Decke im Operationssaal montiert war. Kameras wurden an den Handgelenken des Roboters befestigt und bewegten sich entlang einer bogenförmigen Flugbahn mit zunehmendem Basislinienabstand, wie in Abbildung 2 dargestellt.
Um den Ansatz zu demonstrieren, wurden 10 Testreihen von 4 verschiedenen Patienten mit 4 verschiedenen angeborenen Herzfehlern aufgezeichnet. Es wurden Szenen gewählt, in denen eine Pause in der Operation möglich war: mit den schlagenden Herzen kurz vor und nach der chirurgischen Reparatur. Serien wurden auch gemacht, als die Herzen verhaftet wurden. Die Operationen wurden für 3 Minuten und 20 s unterbrochen, um vierzig 5-ssequenzen mit unterschiedlichen Kamerakonvergenzabständen und Basislinienabständen zu sammeln, um die Szene zu erfassen. Die Videos wurden später nachbearbeitet und in 3D für das klinische Team angezeigt, das bewertete, wie realistisch das 3D-Video auf einer Skala von 0-5 war.
Der Konvergenzpunkt für stereo eingebaute Stereokameras ist der Punkt, an dem sich die Mittelpunkte beider Bilder treffen. Der Konvergenzpunkt kann prinzipiell entweder vor, innerhalb oder hinter dem Objekt platziert werden, siehe Abbildung 1A-C. Wenn sich der Konvergenzpunkt vor dem Objekt befindet, wird das Objekt erfasst und links von der Mittellinie für das linke Kamerabild und rechts von der Mittellinie für das rechte Kamerabild angezeigt (Abbildung 1A). Das Gegenteil ist der Fall, wenn sich der Konvergenzpunkt hinter dem Objekt befindet (Abbildung 1B). Wenn sich der Konvergenzpunkt auf dem Objekt befindet, erscheint das Objekt auch in der Mittellinie der Kamerabilder (Abbildung 1C), was vermutlich die angenehmste Betrachtung ergeben sollte, da kein Schielen erforderlich ist, um die Bilder zusammenzuführen. Um ein komfortables Stereo-3D-Video zu erzielen, muss sich der Konvergenzpunkt auf oder leicht hinter dem Objekt von Interesse befinden, andernfalls muss der Betrachter freiwillig nach außen blinzeln (Exotropie).
Die Daten wurden mit einem zweiarmigen kollaborativen Industrieroboter zur Positionierung der Kameras gesammelt (Abbildung 2A-B). Der Roboter wiegt ohne Ausrüstung 38 kg. Der Roboter ist eigensicher; Wenn es einen unerwarteten Aufprall erkennt, hört es auf, sich zu bewegen. Der Roboter wurde so programmiert, dass er die 5-Megapixel-Kameras mit C-Mount-Objektiven entlang einer bogenförmigen Flugbahn positioniert, die bei vorgegebenen Basislinienabständen anhält (Abbildung 2C). Die Kameras wurden mit Adapterplatten an den Roboterhänden befestigt, wie in Abbildung 3 dargestellt. Jede Kamera zeichnete mit 25 Bildern pro Sekunde auf. Die Linsen wurden auf Blendenzahl 1/8 eingestellt, wobei der Fokus auf das Objekt von Interesse (angenäherte geometrische Mitte des Herzens) gerichtet war. Jeder Bildrahmen hatte einen Zeitstempel, der zum Synchronisieren der beiden Videostreams verwendet wurde.
Offsets zwischen dem Roboterhandgelenk und der Kamera wurden kalibriert. Dies kann erreicht werden, indem das Fadenkreuz der Kamerabilder ausgerichtet wird, wie in Abbildung 4 dargestellt. In diesem Setup betrug der gesamte translationale Offset vom Montagepunkt am Roboterhandgelenk und der Mitte des Kamerabildsensors 55,3 mm in X-Richtung und 21,2 mm in Z-Richtung,5, dargestellt in Abbildung 5. Die Rotationsversätze wurden bei einem Konvergenzabstand von 1100 mm und einem Basislinienabstand von 50 mm kalibriert und manuell mit dem Joystick am Roboterbedienfeld eingestellt. Der Roboter in dieser Studie hatte eine spezifizierte Genauigkeit von 0,02 mm im kartesischen Raum und eine Rotationsauflösung von 0,01 Grad24. Bei einem Radius von 1100 m versetzt eine Winkeldifferenz von 0,01 Grad den Mittelpunkt um 0,2 mm. Während der vollständigen Roboterbewegung von 50-240 mm Abstand war das Fadenkreuz für jede Kamera innerhalb von 2 mm vom idealen Konvergenzzentrum entfernt.
Der Basislinienabstand wurde schrittweise durch symmetrische Trennung der Kameras um den Mittelpunkt des Sichtfeldes in Schritten von 10 mm im Bereich von 50-240 mm erhöht (Abbildung 2). Die Kameras wurden in jeder Position für 5 s im Stillstand gehalten und mit einer Geschwindigkeit von 50 mm/s zwischen den Positionen bewegt. Der Konvergenzpunkt konnte über eine grafische Benutzeroberfläche in X- und Z-Richtung eingestellt werden (Abbildung 6). Entsprechend folgte der Roboter in seinem Arbeitsbereich.
Die Genauigkeit des Konvergenzpunkts wurde anhand der einheitlichen Dreiecke und der Variablennamen in Den Abbildungen 7A und B geschätzt. Die Höhe 'z' wurde aus dem Konvergenzabstand 'R' mit dem Satz des Pythagoras berechnet als
<img alt="Equation 1" src="/files/ftp_upload/62786/62786eq01.jpg">
Wenn der reale Konvergenzpunkt näher als der gewünschte Punkt war, wie in Abbildung 7A dargestellt, wurde der Fehlerabstand "f1" wie folgt berechnet:
<img alt="Equation 2" src="/files/ftp_upload/62786/62786eq02.jpg">
Wenn der Konvergenzpunkt distal zum gewünschten Punkt war, wurde der Fehlerabstand "f2" wie folgt berechnet:
<img alt="Equation 3" src="/files/ftp_upload/62786/62786eq03.jpg">
Hier war "e" der maximale Abstand zwischen dem Fadenkreuz, höchstens 2 mm bei maximaler Baseline-Trennung während der Kalibrierung (D = 240 mm). Bei R = 1100 mm (z = 1093 mm) betrug der Fehler weniger als ± 9,2 mm. Bei R = 1400 mm (z = 1395 mm) betrug der Fehler ± 11,7 mm. Das heißt, der Fehler bei der Platzierung des Konvergenzpunkts lag innerhalb von 1% des gewünschten Punktes. Die beiden Testabstände von 1100 mm und 1400 mm waren daher gut voneinander getrennt.

<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td>2 C-mount lenses (35 mm F2.1, 5 M pixel)</td>
			<td>Tamron</td>
			<td>M112FM35</td>
			<td>Rated for 5 Mpixel</td>
		</tr>
		<tr>
			<td>3D glasses (DLP-link active shutter)</td>
			<td>Celexon</td>
			<td>G1000</td>
			<td>Any compatible 3D glasses can be used</td>
		</tr>
		<tr>
			<td>3D Projector</td>
			<td>Viewsonic</td>
			<td>X10-4K</td>
			<td>Displays 3D in 1080, can be exchanged for other 3D projectors</td>
		</tr>
		<tr>
			<td>6 M2 x 8 screws</td>
			<td></td>
			<td></td>
			<td>To attach the cXimea cameras to the camera adaptor plates</td>
		</tr>
		<tr>
			<td>8 M2.5 x 8 screws</td>
			<td></td>
			<td></td>
			<td>To attach the circular mounting plates to the robot wrist</td>
		</tr>
		<tr>
			<td>8 M5 x 40 screws</td>
			<td></td>
			<td></td>
			<td>To mount the robot</td>
		</tr>
		<tr>
			<td>8 M6 x 10 screws with flat heads</td>
			<td></td>
			<td></td>
			<td>For attaching the circular mounting plate and the camera adaptor plates</td>
		</tr>
		<tr>
			<td>Calibration checker board plate (25 by 25 mm)</td>
			<td></td>
			<td></td>
			<td>Any standard checkerboard can be used, including printed, as long as the grid is clearly visible in the cameras</td>
		</tr>
		<tr>
			<td>Camera adaptor plates, x2</td>
			<td></td>
			<td></td>
			<td>Designed by the authors in robot_camera_adaptor_plates.dwg, milled in aluminium.</td>
		</tr>
		<tr>
			<td>Circular mounting plates, x2</td>
			<td></td>
			<td></td>
			<td>Distributed with the permission of the designer Julius Klein and printed with ABS plastic on an FDM 3D printer. License Tecnalia Research &#38; Innovation 2017. Attached as Mountingplate_ROBOT_SIDE_ 
			NewDesign_4.stl</td>
		</tr>
		<tr>
			<td>Fix focus usb cameras, x2 (5 Mpixel)</td>
			<td>Ximea</td>
			<td>MC050CG-SY-UB</td>
			<td>With Sony IMX250LQR sensor</td>
		</tr>
		<tr>
			<td>Flexpendant</td>
			<td>ABB</td>
			<td>3HAC028357-001</td>
			<td>robot touch display</td>
		</tr>
		<tr>
			<td>Liveview</td>
			<td></td>
			<td></td>
			<td>recording application</td>
		</tr>
		<tr>
			<td>RobotStudio</td>
			<td></td>
			<td></td>
			<td>&#160;robot integrated development environment (IDE)</td>
		</tr>
		<tr>
			<td>USB3 active cables (10.0 m), x2</td>
			<td></td>
			<td></td>
			<td>Thumbscrew lock connector, water proofed.</td>
		</tr>
		<tr>
			<td>YuMi dual-arm robot</td>
			<td>ABB</td>
			<td>IRB14000</td>
			<td></td>
		</tr>
	</tbody>
</table>

robotized testing of camera positions to determine ideal configuration for stereo 3d visualization of open-heart surgery

Stereo-3D-Video von chirurgischen Eingriffen kann für die medizinische Ausbildung sehr wertvoll sein und die klinische Kommunikation verbessern. Aber der Zugang zum Operationssaal und zum Operationsfeld ist eingeschränkt. Es ist eine sterile Umgebung, und der physische Raum ist mit chirurgischem Personal und technischer Ausrüstung überfüllt. In diesem Setting sind eine ungesicherte Erfassung und realistische Reproduktion der chirurgischen Eingriffe schwierig. Dieser Artikel stellt eine Methode zur schnellen und zuverlässigen Datenerfassung von stereoskopischen 3D-Videos bei verschiedenen Kamera-Baseline-Entfernungen und Konvergenzabständen vor. Um Testdaten mit minimalen Störungen während der Operation, mit hoher Präzision und Wiederholbarkeit zu sammeln, wurden die Kameras an jeder Hand eines zweiarmigen Roboters befestigt. Der Roboter wurde im Operationssaal an der Decke montiert. Es wurde programmiert, um eine zeitgesteuerte Sequenz synchronisierter Kamerabewegungen durchzuführen, die durch einen Bereich von Testpositionen mit einem Basislinienabstand zwischen 50-240 mm bei inkrementellen Schritten von 10 mm und bei zwei Konvergenzabständen von 1100 mm und 1400 mm schritten. Die Operation wurde angehalten, um 40 aufeinanderfolgende 5-s-Videoproben zu ermöglichen. Insgesamt wurden 10 Operationsszenarien erfasst.

Ein akzeptables Auswertungsvideo mit dem rechten Bild oben in stereoskopischem 3D oben und unten wird in Video1 gezeigt. Eine erfolgreiche Sequenz sollte scharf, fokussiert und ohne unsynchronisierte Bildrahmen sein. Nicht synchronisierte Videostreams verursachen Unschärfe, wie in der Datei Video 2 gezeigt. Der Konvergenzpunkt sollte horizontal zentriert sein, unabhängig von der Kameratrennung, wie in Abbildung 9A,B dargestellt. Wenn der R...

Watch this Scientific Journal Video about Robotized Testing of Camera Positions to Determine Ideal Configuration for Stereo 3D Visualization of Open-Heart Surgery at JoVE.com

Robotized Testing of Camera Positions to Determine Ideal Configuration for Stereo 3D Visualization of Open-Heart Surgery

Die menschliche Tiefenwahrnehmung von 3D-Stereovideos hängt von der Kameratrennung, dem Konvergenzpunkt, der Entfernung und der Vertrautheit des Objekts ab. Dieses Papier stellt eine robotisierte Methode zur schnellen und zuverlässigen Testdatenerfassung während einer Live-Operation am offenen Herzen vor, um die ideale Kamerakonfiguration zu bestimmen.

Robotisiertes Testen von Kamerapositionen zur Bestimmung der idealen Konfiguration für die Stereo-3D-Visualisierung von Operationen am offenen Herzen

Stereo 3D video from surgical procedures can be highly valuable for medical education and improve clinical communication. But access to the operating room ...

Es ermöglicht die Aufnahme von hochwertigen 3D-Videos für die Aus- und Weiterbildung. Es kann auf die meisten Operationssaaleinstellungen mit offener Operation angewendet werden. Mit einem robotisierten Ansatz können wir die Daten schnell und genau sammeln, um die Kamerapositionen auszuwerten.Diese Methode wird verwendet, um die Kamerakonfiguration für 3D-Visionsanwendungen schnell zu testen. Es kann auch verwendet werden, um zu untersuchen, wie verschiedene Probanden Tiefe wahrnehmen. Um mit der Montage der Kamera am Roboter zu beginnen, befestigen Sie zuerst das Objektiv an der Kamera und dann die Kamera mit drei M2-Schrauben an der Adapterplatte.Als nächstes befestigen Sie die kreisförmige Montageplatte an der Kameraadapterplatte mit vier M4-Schrauben auf der gegenüberliegenden Seite der Kamera. Sobald alle Kameras am Roboter montiert sind, beobachten Sie die Spiegelung der resultierenden Baugruppen. Befestigen Sie die Adapterplatte mit vier M2,5-Schrauben am Roboterhandgelenk.Für einen am Tisch montierten Roboter befestigen Sie die linke Kamera am rechten Roboterarm. Schließen Sie die USB-Kabel an die Kameras und den Ubuntu-Computer an. Drücken Sie auf dem Roboter-Touch-Display die Menü-Taste und wählen Sie Stereo 2, um die Roboteranwendung zu starten.Drücken Sie auf dem Hauptbildschirm für 1.100 Millimeter in der Roboteranwendung auf Gehe zu Starten, und warten Sie, bis sich der Roboter in die Startposition bewegt hat. Entfernen Sie den Objektivschutzdeckel von den Kameras. Platzieren Sie ein gedrucktes Kalibrierungsraster 1.100 Millimeter von den Kamerasensoren entfernt.Um die entsprechenden Quadrate korrekt zu identifizieren, platzieren Sie eine kleine Schraubenmutter oder markieren Sie irgendwo im Eingang des Gitters. Starten Sie die Aufnahmeanwendung auf dem Ubuntu-Computer, um die Schnittstelle zu starten. Und dann passen Sie die Blende an und fokussieren Sie auf das Objektiv mit der Blende und den Fokusringen.Aktivieren Sie in der Aufzeichnungsanwendung das Kontrollkästchen Fadenkreuz, um das Fadenkreuz zu visualisieren. Stellen Sie in der Aufzeichnungsanwendung sicher, dass das Fadenkreuz in beiden Kamerabildern an der gleichen Position mit dem Kalibrierungsraster ausgerichtet ist. Positionieren Sie nach dem Drücken des Zahnradsymbols in der Roboteranwendung die Kameras relativ zum Patienten.Ändern Sie die X-Richtung, indem Sie das Plus oder Minus für den Handabstand vom Roboter drücken, und die Z-Richtung, indem Sie das Plus oder Minus für Höhe drücken, um das Operationsfeld in den Bildern zu erfassen. Ändern Sie die Y-Richtung, indem Sie den Roboter oder Patienten manuell bewegen. Nachdem Sie die Operation unterbrochen und das OP-Personal über den Start des Experiments informiert haben, drücken Sie in der Aufzeichnungsanwendung auf Aufnahme und dann in der Roboteranwendung auf Experiment ausführen.Nach einer Weile, wenn der Test abgeschlossen ist, wird Fertig auf dem Touch-Display angezeigt. Drücken Sie dann in der Aufnahmeanwendung auf Aufnahme beenden, um die Aufnahme zu beenden. Informieren Sie das OP-Personal, dass das Experiment beendet ist, und setzen Sie die Operation fort.Zeigen Sie zur Auswertung das Video im 3D-Format oben-unten mit einem aktiven 3D-Projektor an. Das richtige Auswertungsvideo mit einem rechten Bild oben in stereoskopischem 3D oben-unten wird gezeigt. Eine erfolgreiche Sequenz sollte scharf, fokussiert und ohne unsynchronisierte Bildrahmen sein.Die nicht synchronisierten Videostreams erzeugen Unschärfe. Der Konvergenzpunkt sollte horizontal zentriert sein, unabhängig von der Kameratrennung. Mit einem sehr großen Abstand zwischen dem rechten und dem linken Bild kann das Gehirn die Bilder nicht zu einem 3D-Bild verschmelzen.Mehrere Gründe können zu einem Versagen in der Zentrumspositionierung des Herzens führen, z. B. der Abstand vom Konvergenzpunkt zum Herzen. Stellen Sie für die korrekte Konfiguration des Koordinatensystems des Kamerawerkzeugs sicher, dass das Fadenkreuz in der Aufnahmeanwendung auf dasselbe Objekt, das Kalibrierungsobjekt in der Mittleren Position und das richtige Debayering-Format der Farben zeigt. 3D-Videos mit sich ändernden Basislinienabständen ermöglichen es uns zu untersuchen, wie tiefeninformationen das anatomische Verständnis des medizinischen Personals beeinflussen.

Research

JoVE Journal

Medicine

Rat Heterotopic Abdominal Heart/Single-lung Transplantation in a Volume-loaded Configuration

Rat Heterotope Abdominal Herz / Einzel-Lungen-Transplantation in einer Volume-Konfiguration geladen

Herein, we describe a novel technique for heterotopic abdominal heart-lung transplantation (HAHLT) in rats. The configuration of the transplant graft ...

Forschung

Medizin

A Pipeline for 3D Multimodality Image Integration and Computer-assisted Planning in Epilepsy Surgery

Eine Pipeline für 3D Multimodalität Bildintegration und Computergestützte Planung in der Epilepsie-Chirurgie

Epilepsy surgery is challenging and the use of 3D multimodality image integration (3DMMI) to aid presurgical planning is well-established. Multimodality ...

A Quantitative Sensory Testing Paradigm to Obtain Measures of Pain Processing in Patients Undergoing Breast Cancer Surgery

Eine Quantitative sensorische Tests Paradigma zu Maßnahmen der Schmerzen bei Patienten mit Brustkrebschirurgie Verarbeitung

Chronic pain following surgery, persistent postsurgical pain, is an important highly prevalent condition contributing to significant symptom burden and ...

A Clinical Trial Assessing the Safety, Efficacy, and Delivery of Olive-Oil-Based Three-Chamber Bags for Parenteral Nutrition

Eine klinische Studie zur Bewertung der Sicherheit, Wirksamkeit und Lieferung von Dreikammerbeuteln auf Olivenölbasis für die parenterale Ernährung

Limited evidence exists to precisely estimate efficacy and safety differences between parenteral nutrition (PN) prepared using olive-oil-based ...

A Training and Testing System for Performing Vascular Reconstruction In Vitro

Ein Trainings- und Testsystem zur Durchführung der Gefäßrekonstruktion in vitro

Manual vascular reconstruction training is essential for a beginner surgeon. However, an optimal training system for vascular reconstruction in vitro has ...

A Postoperative Evaluation Guideline for Computer-Assisted Reconstruction of the Mandible

Eine postoperative Evaluierungsleitlinie für die computergestützte Rekonstruktion des Mandibles

Valid comparisons of postoperative accuracy results in computer-assisted reconstruction of the mandible are difficult due to heterogeneity in imaging ...

3D Planning and Printing of Patient Specific Implants for Reconstruction of Bony Defects

3D-Planung und Druck von patientenspezifischen Implantaten zur Rekonstruktion von Knochendefekten

We are in the midst of the 3D era in most aspects of life, and especially in medicine. The surgical discipline is one of the major players in the medical ...

Implantation of Combined Telemetric ECG and Blood Pressure Transmitters to Determine Spontaneous Baroreflex Sensitivity in Conscious Mice

Implantation von kombinierten telemetrischen EKG- und Blutdrucktransmittern zur Bestimmung der spontanen Baroreflexsensitivität bei bewussten Mäusen

Blood pressure (BP) and heart rate (HR) are both controlled by the autonomic nervous system (ANS) and are closely intertwined due to reflex mechanisms. ...

Use of 3D Robotic Ultrasound for In Vivo Analysis of Mouse Kidneys

Use of 3D Robotic Ultrasound for In Vivo Analysis of Mouse Kidneys

Verwendung von 3D-Roboterultraschall für die In-vivo-Analyse von Mausnieren

Common modalities for in vivo imaging of rodents include positron emission tomography (PET), computed tomography (CT), magnetic resonance imaging (MRI), ...

Combining 3D-Printing and Electrospinning to Manufacture Biomimetic Heart Valve Leaflets

Kombination von 3D-Druck und Elektrospinnen zur Herstellung biomimetischer Herzklappenbroschüren

Electrospinning has become a widely used technique in cardiovascular tissue engineering as it offers the possibility to create (micro-)fibrous scaffolds ...