Name: robotized testing of camera positions to determine ideal configuration for stereo 3d visualization of open-heart surgery
Uploaded: 2021-08-12T14:45:00
Description: Watch this Scientific Journal Video about Robotized Testing of Camera Positions to Determine Ideal Configuration for Stereo 3D Visualization of Open-Heart Surgery at JoVE.com

Het onderzoek is uitgevoerd met financiering van Vinnova (2017-03728, 2018-05302 en 2018-03651), Heart-Lung Foundation (20180390), Family Kamprad Foundation (20190194) en Anna-Lisa en Sven Eric Lundgren Foundation (2017 en 2018).

De experimenten werden goedgekeurd door de lokale ethische commissie in Lund, Zweden. De deelname was vrijwillig en de wettelijke voogden van de patiënten gaven geïnformeerde schriftelijke toestemming.
1. Robot setup en configuratie
OPMERKING: Dit experiment gebruikte een industriële robot met twee armen en het standaard bedieningspaneel met een aanraakscherm. De robot wordt bestuurd met RobotWare 6.10.01 controller software en robot integrated development environm...

<ol>
	<li>Held, R. T., Hui, T. T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+guide+to+stereoscopic+3D+displays+in+medicine.">A guide to stereoscopic 3D displays in medicine.</a> Academic Radiology. 18 (8), 1035-1048 (2011).</li><li>van Beurden, M. H. P. H., IJsselsteijn, W. A., Juola, J. F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Effectiveness+of+stereoscopic+displays+in+medicine:+A+review.">Effectiveness of stereoscopic displays in medicine: A review.</a> 3D Research. 3 (1), 1-13 (2012).</li><li>Luursema, J. M., Verwey, W. B., Kommers, P. A. M., Geelkerken, R. H., Vos, H. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Optimizing+conditions+for+computer-assisted+anatomical+learning.">Optimizing conditions for computer-assisted anatomical learning.</a> Interacting with Computers. 18 (5), 1123-1138 (2006).</li><li>Takano, M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Usefulness+and+capability+of+three-dimensional,+full+high-definition+movies+for+surgical+education.">Usefulness and capability of three-dimensional, full high-definition movies for surgical education.</a> Maxillofacial Plastic and Reconstructive Surgery. 39 (1), 10 (2017).</li><li>Triepels, C. P. R., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Does+three-dimensional+anatomy+improve+student+understanding.">Does three-dimensional anatomy improve student understanding.</a> Clinical Anatomy. 33 (1), 25-33 (2020).</li><li>Beermann, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Three-dimensional+visualisation+improves+understanding+of+surgical+liver+anatomy.">Three-dimensional visualisation improves understanding of surgical liver anatomy.</a> Medical Education. 44 (9), 936-940 (2010).</li><li>Battulga, B., Konishi, T., Tamura, Y., Moriguchi, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=The+Effectiveness+of+an+interactive+3-dimensional+computer+graphics+model+for+medical+education.">The Effectiveness of an interactive 3-dimensional computer graphics model for medical education.</a> Interactive Journal of Medical Research. 1 (2), (2012).</li><li>Yammine, K., Violato, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+meta-analysis+of+the+educational+effectiveness+of+three-dimensional+visualization+technologies+in+teaching+anatomy.">A meta-analysis of the educational effectiveness of three-dimensional visualization technologies in teaching anatomy.</a> Anatomical Sciences Education. 8 (6), 525-538 (2015).</li><li>Fitzgerald, J. E. F., White, M. J., Tang, S. W., Maxwell-Armstrong, C. A., James, D. K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Are+we+teaching+sufficient+anatomy+at+medical+school?+The+opinions+of+newly+qualified+doctors.">Are we teaching sufficient anatomy at medical school? The opinions of newly qualified doctors.</a> Clinical Anatomy. 21 (7), 718-724 (2008).</li><li>Bergman, E. M., Van Der Vleuten, C. P. M., Scherpbier, A. J. J. A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Why+don't+they+know+enough+about+anatomy?+A+narrative+review.">Why don't they know enough about anatomy? A narrative review.</a> Medical Teacher. 33 (5), 403-409 (2011).</li><li>Terzi&#263;, K., Hansard, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Methods+for+reducing+visual+discomfort+in+stereoscopic+3D:+A+review.">Methods for reducing visual discomfort in stereoscopic 3D: A review.</a> Signal Processing: Image Communication. 47, 402-416 (2016).</li><li>Fan, Z., Weng, Y., Chen, G., Liao, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=3D+interactive+surgical+visualization+system+using+mobile+spatial+information+acquisition+and+autostereoscopic+display.">3D interactive surgical visualization system using mobile spatial information acquisition and autostereoscopic display.</a> Journal of Biomedical Informatics. 71, 154-164 (2017).</li><li>Fan, Z., Zhang, S., Weng, Y., Chen, G., Liao, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=3D+quantitative+evaluation+system+for+autostereoscopic+display.">3D quantitative evaluation system for autostereoscopic display.</a> Journal of Display Technology. 12 (10), 1185-1196 (2016).</li><li>McIntire, J. P., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Binocular+fusion+ranges+and+stereoacuity+predict+positional+and+rotational+spatial+task+performance+on+a+stereoscopic+3D+display.">Binocular fusion ranges and stereoacuity predict positional and rotational spatial task performance on a stereoscopic 3D display.</a> Journal of Display Technology. 11 (11), 959-966 (2015).</li><li>Kalia, M., Navab, N., Fels, S. S., Salcudean, T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+method+to+introduce+&amp;+evaluate+motion+parallax+with+stereo+for+medical+AR/MR.">A method to introduce &amp; evaluate motion parallax with stereo for medical AR/MR.</a> IEEE Conference on Virtual Reality and 3D User Interfaces. , 1755-1759 (2019).</li><li>Kyt&#246;, M., Hakala, J., Oittinen, P., H&#228;kkinen, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Effect+of+camera+separation+on+the+viewing+experience+of+stereoscopic+photographs.">Effect of camera separation on the viewing experience of stereoscopic photographs.</a> Journal of Electronic Imaging. 21 (1), 1-9 (2012).</li><li>Moorthy, A. K., Su, C. C., Mittal, A., Bovik, A. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Subjective+evaluation+of+stereoscopic+image+quality.">Subjective evaluation of stereoscopic image quality.</a> Signal Processing: Image Communication. 28 (8), 870-883 (2013).</li><li>Yilmaz, G. N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+depth+perception+evaluation+metric+for+immersive+3D+video+services.">A depth perception evaluation metric for immersive 3D video services.</a> 3DTV Conference: The True Vision - Capture, Transmission and Display of 3D Video. , 1-4 (2017).</li><li>Lebreton, P., Raake, A., Barkowsky, M., Le Callet, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Evaluating+depth+perception+of+3D+stereoscopic+videos.">Evaluating depth perception of 3D stereoscopic videos.</a> IEEE Journal on Selected Topics in Signal Processing. 6, 710-720 (2012).</li><li>L&#243;pez, J. P., Rodrigo, J. A., Jim&#233;nez, D., Men&#233;ndez, J. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Stereoscopic+3D+video+quality+assessment+based+on+depth+maps+and+video+motion.">Stereoscopic 3D video quality assessment based on depth maps and video motion.</a> EURASIP Journal on Image and Video Processing. 2013 (1), 62 (2013).</li><li>Banks, M. S., Read, J. C., Allison, R. S., Watt, S. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Stereoscopy+and+the+human+visual+system.">Stereoscopy and the human visual system.</a> SMPTE Motion Imaging Journal. 121 (4), 24-43 (2012).</li><li>Kyt&#246;, M., Nuutinen, M., Oittinen, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Method+for+measuring+stereo+camera+depth+accuracy+based+on+stereoscopic+vision.">Method for measuring stereo camera depth accuracy based on stereoscopic vision.</a> Three-Dimensional Imaging, Interaction, and Measurement. 7864, 168-176 (2011).</li><li>Kang, Y. S., Ho, Y. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Geometrical+compensation+algorithm+of+multiview+image+for+arc+multi-camera+arrays.">Geometrical compensation algorithm of multiview image for arc multi-camera arrays.</a> Advances in Multimedia Information Processing. 2008, 543-552 (2008).</li><li>Product Specification IRB 14000. DocumentID: 3HAC052982-001 Revision J. ABB Robotics Available from: <a target="_blank" href="https://library.abb.com/en/results">https://library.abb.com/en/results</a> (2018)</li><li>Operating Manual IRB 14000. Document ID: 3HAC052986-001 Revision F. ABB Robotics Available from: <a target="_blank" href="https://library.abb.com/en/results">https://library.abb.com/en/results</a> (2019)</li><li>. Github repository Available from: <a target="_blank" href="https://github.com/majstenmark/stereo2">https://github.com/majstenmark/stereo2</a> (2021)</li><li>Operating manual RobotStudio. Document ID: 3HAC032104-001 Revision Y. ABB Robotics Available from: <a target="_blank" href="https://library.abb.com/en/results">https://library.abb.com/en/results</a> (2019)</li><li>Won, C. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Adaptive+interpolation+for+3D+stereoscopic+video+in+frame-compatible+top-bottom+packing.">Adaptive interpolation for 3D stereoscopic video in frame-compatible top-bottom packing.</a> IEEE International Conference on Consumer Electronics. 2011, 179-180 (2011).</li><li>Kim, S. K., Lee, C., Kim, K. T., Javidi, B., Okano, F., Son, J. Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Multi-view+image+acquisition+and+display.">Multi-view image acquisition and display.</a> Three-Dimensional Imaging, Visualization, and Display. , 227-249 (2009).</li><li>Liu, F., Niu, Y., Jin, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Keystone+correction+for+stereoscopic+cinematography.">Keystone correction for stereoscopic cinematography.</a> IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops. 2012, 1-7 (2012).</li><li>Kang, W., Lee, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Horizontal+parallax+distortion+correction+method+in+toed-in+camera+with+wide-angle+lens.">Horizontal parallax distortion correction method in toed-in camera with wide-angle lens.</a> 3DTV Conference: The True Vision - Capture, Transmission and Display of 3D Video. 2009, 1-4 (2009).</li></ol>

Tijdens live chirurgie was de totale tijd van het experiment dat werd gebruikt voor het verzamelen van 3D-videogegevens beperkt om veilig te zijn voor de patiënt. Als het object onscherp of overbelicht is, kunnen de gegevens niet worden gebruikt. De kritieke stappen zijn tijdens de kalibratie en installatie van het cameragereedschap (stap 2). Het diafragma en de focus van de camera kunnen niet worden gewijzigd wanneer de operatie is begonnen; dezelfde lichtomstandigheden en afstand moeten worden gebruikt tijdens de inst...

In de chirurgie kan 3D-visualisatie worden gebruikt voor onderwijs, diagnoses, pre-operatieve planning en postoperatieve evaluatie1,2. Realistische dieptewaarneming kan het begrip3,4,5,6 van normale en abnormale anatomieën verbeteren. Eenvoudige 2D-video-opnames van chirurgische ingrepen zijn een goed begin. Het gebrek aan diepteperceptie kan het echter moeilijk maken voor de niet-chirurgische collega's om de antero-posterieure relaties tussen verschillende anatomische structuren volledig te begrijpen en daarom ook een risico op verkeerde interpretatie van de anatomie te introduceren7,8,9,10.
De 3D-kijkervaring wordt beïnvloed door vijf factoren: (1) Cameraconfiguratie kan parallel of ingesneden zijn zoals weergegeven in figuur 1, (2) Basislijnafstand (de scheiding tussen de camera's). (3) Afstand tot het object van belang en andere scènekenmerken zoals de achtergrond. (4) Kenmerken van weergaveapparaten zoals schermgrootte en kijkpositie1,11,12,13. (5) Individuele voorkeuren van de kijkers14,15.
Het ontwerpen van een 3D-camera-opstelling begint met het vastleggen van testvideo's die zijn opgenomen op verschillende basisafstanden en configuraties van de camera om te worden gebruikt voor subjectieve of automatische evaluatie16,17,18,19,20. De afstand van de camera moet constant zijn tot het operatieveld om scherpe beelden vast te leggen. Vaste scherpstelling heeft de voorkeur omdat autofocus zich aanpast aan de scherpstelling op handen, instrumenten of hoofden die in beeld kunnen komen. Dit is echter niet gemakkelijk haalbaar wanneer de plaats van interesse het chirurgische veld is. Operatiekamers zijn beperkt toegankelijke ruimtes omdat deze faciliteiten schoon en steriel moeten worden gehouden. Technische apparatuur, chirurgen en scrubverpleegkundigen zijn vaak dicht bij de patiënt geclusterd om een goed visueel overzicht en een efficiënte workflow te garanderen. Om het effect van cameraposities op de 3D-kijkervaring te vergelijken en te evalueren, moet één volledig testbereik van cameraposities dezelfde scène opnemen, omdat de objectkenmerken zoals vorm, grootte en kleur de 3D-kijkervaring kunnen beïnvloeden21.
Om dezelfde reden moeten volledige testbereiken van cameraposities worden herhaald op verschillende chirurgische ingrepen. De hele reeks posities moet met hoge nauwkeurigheid worden herhaald. In een chirurgische setting zijn bestaande methoden die handmatige aanpassing van de basislijnafstand22 of verschillende cameraparen met vaste basislijnafstanden23 vereisen, niet haalbaar vanwege zowel ruimte- als tijdsbeperkingen. Om deze uitdaging aan te gaan, werd deze gerobotiseerde oplossing ontworpen.
De gegevens werden verzameld met een collaboratieve industriële robot met twee armen die in het plafond in de operatiekamer was gemonteerd. Camera's werden aan de polsen van de robot bevestigd en bewogen langs een boogvormig traject met toenemende basisafstand, zoals te zien is in figuur 2.
Om de aanpak aan te tonen, werden 10 testreeksen geregistreerd van 4 verschillende patiënten met 4 verschillende aangeboren hartafwijkingen. Er werd gekozen voor scènes wanneer een pauze in de operatie haalbaar was: met de kloppende harten vlak voor en na de chirurgische reparatie. Er werden ook series gemaakt toen de harten werden gearresteerd. De operaties werden gedurende 3 minuten en 20 s gepauzeerd om veertig 5-sequenties te verzamelen met verschillende cameraconvergentieafstanden en basisafstanden om de scène vast te leggen. De video's werden later nabewerkt, weergegeven in 3D voor het klinische team, dat beoordeelde hoe realistisch de 3D-video was langs een schaal van 0-5.
Het convergentiepunt voor ingesleten stereocamera's is waar de middelpunten van beide beelden elkaar ontmoeten. Het convergentiepunt kan principieel voor, binnen of achter het object worden geplaatst, zie figuur 1A-C. Wanneer het convergentiepunt zich voor het object bevindt, wordt het object vastgelegd en weergegeven links van de middellijn voor het linkercamerabeeld en rechts van de middellijn voor het rechtercamerabeeld (figuur 1A). Het tegenovergestelde geldt wanneer het convergentiepunt zich achter het object bevindt (figuur 1B). Wanneer het convergentiepunt zich op het object bevindt, verschijnt het object ook in de middellijn van de camerabeelden (figuur 1C), wat vermoedelijk de meest comfortabele weergave zou moeten opleveren, omdat er geen scheel kijken nodig is om de beelden samen te voegen. Om comfortabele stereo 3D-video te bereiken, moet het convergentiepunt zich op of iets achter het object van belang bevinden, anders moet de kijker vrijwillig naar buiten turen (exotropie).
De gegevens werden verzameld met behulp van een industriële robot met twee armen om de camera's te positioneren (figuur 2A-B). De robot weegt 38 kg zonder apparatuur. De robot is intrinsiek veilig; wanneer het een onverwachte impact detecteert, stopt het met bewegen. De robot was geprogrammeerd om de 5 Megapixel camera's met C-mount lenzen te positioneren langs een boogvormig traject dat stopt op vooraf bepaalde basisafstanden (figuur 2C). De camera's werden met behulp van adapterplaten aan de robothanden bevestigd, zoals te zien is in figuur 3. Elke camera nam op met 25 beelden per seconde. Lenzen werden ingesteld op f-stop 1/8 met focus gericht op het object van belang (benaderd geometrisch centrum van het hart). Elk beeldframe had een tijdstempel die werd gebruikt om de twee videostreams te synchroniseren.
Verschuivingen tussen de robotpols en de camera werden gekalibreerd. Dit kan worden bereikt door het vizier van de camerabeelden uit te lijnen, zoals te zien is in figuur 4. In deze opstelling was de totale translationele offset van het montagepunt op de robotpols en het midden van de camerabeeldsensor 55,3 mm in de X-richting en 21,2 mm in de Z-richting, weergegeven in figuur 5. De rotatie-offsets werden gekalibreerd op een convergentieafstand van 1100 mm en een basisafstand van 50 mm en handmatig aangepast met de joystick op het robotbedieningspaneel. De robot in deze studie had een gespecificeerde nauwkeurigheid van 0,02 mm in de Cartesische ruimte en een rotatieresolutie van 0,01 graden24. Bij een straal van 1100 m compenseert een hoekverschil van 0,01 graden het middelpunt 0,2 mm. Tijdens de volledige robotbeweging van 50-240 mm afstand bevond het vizier voor elke camera zich binnen 2 mm van het ideale convergentiecentrum.
De basisafstand werd stapsgewijs vergroot door symmetrische scheiding van de camera's rond het midden van het gezichtsveld in stappen van 10 mm, variërend van 50-240 mm (figuur 2). De camera's werden in elke positie 5 s stilgehouden en bewogen tussen de posities met een snelheid van 50 mm/s. Het convergentiepunt kon in X- en Z-richting worden aangepast met behulp van een grafische gebruikersinterface (figuur 6). De robot volgde dienovereenkomstig binnen zijn werkbereik.
De nauwkeurigheid van het convergentiepunt werd geschat aan de hand van de uniforme driehoeken en de variabelenamen in figuur 7A en B. De hoogte 'z' werd berekend uit de convergentieafstand 'R' met de stelling van Pythagoras als
<img alt="Equation 1" src="/files/ftp_upload/62786/62786eq01.jpg">
Wanneer het reële convergentiepunt dichterbij was dan het gewenste punt, zoals weergegeven in figuur 7A, werd de foutafstand 'f1' berekend als
<img alt="Equation 2" src="/files/ftp_upload/62786/62786eq02.jpg">
Evenzo, wanneer het convergentiepunt distaal was van het gewenste punt, werd de foutafstand 'f2' berekend als
<img alt="Equation 3" src="/files/ftp_upload/62786/62786eq03.jpg">
Hier was 'e' de maximale scheiding tussen het vizier, maximaal 2 mm bij maximale basislijnscheiding tijdens kalibratie (D = 240 mm). Voor R = 1100 mm (z = 1093 mm) was de fout minder dan ± 9,2 mm. Voor R = 1400 mm (z = 1395 mm) was de fout ± 11,7 mm. Dat wil zeggen dat de fout van de plaatsing van het convergentiepunt binnen 1% van het gewenste lag. De twee testafstanden van 1100 mm en 1400 mm waren daardoor goed gescheiden.

<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td>2 C-mount lenses (35 mm F2.1, 5 M pixel)</td>
			<td>Tamron</td>
			<td>M112FM35</td>
			<td>Rated for 5 Mpixel</td>
		</tr>
		<tr>
			<td>3D glasses (DLP-link active shutter)</td>
			<td>Celexon</td>
			<td>G1000</td>
			<td>Any compatible 3D glasses can be used</td>
		</tr>
		<tr>
			<td>3D Projector</td>
			<td>Viewsonic</td>
			<td>X10-4K</td>
			<td>Displays 3D in 1080, can be exchanged for other 3D projectors</td>
		</tr>
		<tr>
			<td>6 M2 x 8 screws</td>
			<td></td>
			<td></td>
			<td>To attach the cXimea cameras to the camera adaptor plates</td>
		</tr>
		<tr>
			<td>8 M2.5 x 8 screws</td>
			<td></td>
			<td></td>
			<td>To attach the circular mounting plates to the robot wrist</td>
		</tr>
		<tr>
			<td>8 M5 x 40 screws</td>
			<td></td>
			<td></td>
			<td>To mount the robot</td>
		</tr>
		<tr>
			<td>8 M6 x 10 screws with flat heads</td>
			<td></td>
			<td></td>
			<td>For attaching the circular mounting plate and the camera adaptor plates</td>
		</tr>
		<tr>
			<td>Calibration checker board plate (25 by 25 mm)</td>
			<td></td>
			<td></td>
			<td>Any standard checkerboard can be used, including printed, as long as the grid is clearly visible in the cameras</td>
		</tr>
		<tr>
			<td>Camera adaptor plates, x2</td>
			<td></td>
			<td></td>
			<td>Designed by the authors in robot_camera_adaptor_plates.dwg, milled in aluminium.</td>
		</tr>
		<tr>
			<td>Circular mounting plates, x2</td>
			<td></td>
			<td></td>
			<td>Distributed with the permission of the designer Julius Klein and printed with ABS plastic on an FDM 3D printer. License Tecnalia Research &#38; Innovation 2017. Attached as Mountingplate_ROBOT_SIDE_ 
			NewDesign_4.stl</td>
		</tr>
		<tr>
			<td>Fix focus usb cameras, x2 (5 Mpixel)</td>
			<td>Ximea</td>
			<td>MC050CG-SY-UB</td>
			<td>With Sony IMX250LQR sensor</td>
		</tr>
		<tr>
			<td>Flexpendant</td>
			<td>ABB</td>
			<td>3HAC028357-001</td>
			<td>robot touch display</td>
		</tr>
		<tr>
			<td>Liveview</td>
			<td></td>
			<td></td>
			<td>recording application</td>
		</tr>
		<tr>
			<td>RobotStudio</td>
			<td></td>
			<td></td>
			<td>&#160;robot integrated development environment (IDE)</td>
		</tr>
		<tr>
			<td>USB3 active cables (10.0 m), x2</td>
			<td></td>
			<td></td>
			<td>Thumbscrew lock connector, water proofed.</td>
		</tr>
		<tr>
			<td>YuMi dual-arm robot</td>
			<td>ABB</td>
			<td>IRB14000</td>
			<td></td>
		</tr>
	</tbody>
</table>

robotized testing of camera positions to determine ideal configuration for stereo 3d visualization of open-heart surgery

Stereo 3D-video van chirurgische ingrepen kan zeer waardevol zijn voor medisch onderwijs en de klinische communicatie verbeteren. Maar de toegang tot de operatiekamer en het operatieveld is beperkt. Het is een steriele omgeving en de fysieke ruimte is vol met chirurgisch personeel en technische apparatuur. In deze setting zijn ongemerkte opname en realistische reproductie van de chirurgische ingrepen moeilijk. Dit artikel presenteert een methode voor snelle en betrouwbare gegevensverzameling van stereoscopische 3D-video's op verschillende basisafstanden en convergentieafstanden van de camera. Om testgegevens te verzamelen met minimale interferentie tijdens de operatie, met hoge precisie en herhaalbaarheid, werden de camera's bevestigd aan elke hand van een robot met twee armen. De robot was aan het plafond gemonteerd in de operatiekamer. Het was geprogrammeerd om een getimede reeks gesynchroniseerde camerabewegingen uit te voeren die door een reeks testposities stappen met een basisafstand tussen 50-240 mm bij incrementele stappen van 10 mm en bij twee convergentieafstanden van 1100 mm en 1400 mm. De operatie werd gepauzeerd om 40 opeenvolgende 5-s videomonsters mogelijk te maken. In totaal werden 10 chirurgische scenario's geregistreerd.

Een acceptabele evaluatievideo met het juiste beeld bovenaan geplaatst in stereoscopisch 3D van boven naar beneden wordt getoond in Video1. Een succesvolle reeks moet scherp, scherp en zonder niet-gesynchroniseerde afbeeldingskaders zijn. Niet-gesynchroniseerde videostreams veroorzaken onscherpte, zoals weergegeven in het bestand Video 2. Het convergentiepunt moet horizontaal worden gecentreerd, onafhankelijk van de camerascheiding, zoals te zien is in figuur 9A,B</s...

Watch this Scientific Journal Video about Robotized Testing of Camera Positions to Determine Ideal Configuration for Stereo 3D Visualization of Open-Heart Surgery at JoVE.com

Robotized Testing of Camera Positions to Determine Ideal Configuration for Stereo 3D Visualization of Open-Heart Surgery

De menselijke diepteperceptie van 3D-stereovideo's hangt af van de camerascheiding, het convergentiepunt, de afstand tot en de vertrouwdheid van het object. Dit artikel presenteert een gerobotiseerde methode voor snelle en betrouwbare verzameling van testgegevens tijdens live openhartchirurgie om de ideale cameraconfiguratie te bepalen.

Gerobotiseerd testen van cameraposities om de ideale configuratie te bepalen voor stereo 3D-visualisatie van openhartchirurgie

Stereo 3D video from surgical procedures can be highly valuable for medical education and improve clinical communication. But access to the operating room ...

Het maakt het vastleggen van hoogwaardige 3D-video's voor training en opleiding mogelijk. Het kan worden toegepast op de meeste operatiekamers met open chirurgie. Met een gerobotiseerde aanpak kunnen we snel en nauwkeurig de gegevens verzamelen om de cameraposities te evalueren.Deze methode wordt gebruikt om de cameraconfiguratie voor 3D-visionstoepassingen snel te testen. Het kan ook worden gebruikt om te onderzoeken hoe verschillende onderwerpen diepte waarnemen. Om te beginnen met het monteren van de camera op de robot, monteer je eerst de lens op de camera en vervolgens de camera op de adapterplaat met drie M2-schroeven.Monteer vervolgens de ronde montageplaat op de camera-adapterplaat met vier M4-schroeven aan de andere kant van de camera. Zodra alle camera's op de robot zijn gemonteerd, observeert u de spiegeling van de resulterende assemblages. Monteer de adapterplaat aan de robotpols met vier M2.5-schroeven.Voor een op een tafel gemonteerde robot bevestigt u de linkercamera aan de rechter robotarm. Sluit de USB-kabels aan op de camera's en de Ubuntu-computer. Druk op het aanraakscherm van de robot op de menuknop en selecteer Stereo 2 om de robottoepassing te starten.Druk op het hoofdscherm op Go om te starten gedurende 1,100 millimeter in de robottoepassing en wacht tot de robot naar de startpositie gaat. Verwijder de beschermende lensdop van de camera's. Plaats een geprint kalibratierooster op 1.100 millimeter van de camerasensoren.Om de bijbehorende vierkanten correct te identificeren, plaatst u een kleine schroefmoer of markering ergens in het invoeren van het raster. Start de opnametoepassing op de Ubuntu-computer om de interface te starten. En pas vervolgens het diafragma aan en stel scherp op de lens met het diafragma en de scherpstelringen.Controleer in de opnametoepassing Crosshair om het vizier te visualiseren. Zorg er in de opnametoepassing voor dat het vizier in beide camerabeelden op dezelfde positie wordt uitgelijnd met het kalibratieraster. Nadat u op het tandwielpictogram in de robottoepassing hebt gedrukt, plaatst u de camera's ten opzichte van de patiënt.Verander de X-richting door op de plus of min te drukken voor handafstand van robot en Z-richting door op de plus of min voor Hoogte te drukken om het chirurgische veld in de afbeeldingen vast te leggen. Verander de Y-richting door de robot of patiënt handmatig te bewegen. Nadat u de operatie hebt onderbroken en het OK-personeel hebt geïnformeerd over het starten van het experiment, drukt u op Opnemen in de opnametoepassing en drukt u vervolgens op Experiment uitvoeren in de robottoepassing.Na een tijdje, wanneer het experiment is voltooid, verschijnt Gereed op het aanraakscherm. Druk vervolgens op Opname stoppen in de opnametoepassing om de opname te stoppen. Informeer het OK-personeel dat het experiment is voltooid en hervat de operatie.Voor evaluatie geeft u de video weer in 3D-indeling van boven naar beneden met een actieve 3D-projector. De juiste evaluatievideo met een rechts beeld bovenaan in stereoscopisch 3D van boven naar beneden wordt getoond. Een succesvolle reeks moet scherp, scherp en zonder niet-gesynchroniseerde afbeeldingskaders zijn.De niet-gesynchroniseerde videostreams zorgen voor onscherpte. Het convergentiepunt moet horizontaal worden gecentreerd, onafhankelijk van de camerascheiding. Met een zeer grote scheiding tussen de rechter- en linkerbeelden kunnen de hersenen de beelden niet samenvoegen tot één 3D-beeld.Verschillende redenen kunnen falen in de centrale positionering van het hart veroorzaken, zoals de afstand van het convergentiepunt tot het hart. Voor de juiste configuratie van het coördinatensysteem van het cameragereedschap moet u ervoor zorgen dat het vizier in de opnametoepassing op hetzelfde object wijst, het kalibratieobject zich in de middelste positie bevindt en de juiste debayeringsindeling van kleuren heeft. 3D-video's met veranderende basisafstanden stellen ons in staat om te bestuderen hoe diepte-informatie het anatomisch begrip onder medisch personeel beïnvloedt.

Research

JoVE Journal

Medicine

Rat Heterotopic Abdominal Heart/Single-lung Transplantation in a Volume-loaded Configuration

Rat Heterotope Abdominale Hart / Single-longtransplantatie in een Volume geladen configuratie

Herein, we describe a novel technique for heterotopic abdominal heart-lung transplantation (HAHLT) in rats. The configuration of the transplant graft ...

A Pipeline for 3D Multimodality Image Integration and Computer-assisted Planning in Epilepsy Surgery

Een pijpleiding voor 3D Multimodaliteit Image Integratie en computer-aided planning in epilepsiechirurgie

Epilepsy surgery is challenging and the use of 3D multimodality image integration (3DMMI) to aid presurgical planning is well-established. Multimodality ...

A Quantitative Sensory Testing Paradigm to Obtain Measures of Pain Processing in Patients Undergoing Breast Cancer Surgery

Een kwantitatieve zintuiglijke testen paradigma te verkrijgen van de maatregelen van pijn verwerking in patiënten die een borstoperatie kanker

Chronic pain following surgery, persistent postsurgical pain, is an important highly prevalent condition contributing to significant symptom burden and ...

A Clinical Trial Assessing the Safety, Efficacy, and Delivery of Olive-Oil-Based Three-Chamber Bags for Parenteral Nutrition

Een klinisch onderzoek waarin de veiligheid, werkzaamheid en levering van op olijfolie gebaseerde drie kamer zakken voor parenterale voeding worden geëvalueerd

Limited evidence exists to precisely estimate efficacy and safety differences between parenteral nutrition (PN) prepared using olive-oil-based ...

A Training and Testing System for Performing Vascular Reconstruction In Vitro

Een trainings-en testsysteem voor het uitvoeren van vasculaire wederopbouw in vitro

Manual vascular reconstruction training is essential for a beginner surgeon. However, an optimal training system for vascular reconstruction in vitro has ...

A Postoperative Evaluation Guideline for Computer-Assisted Reconstruction of the Mandible

Een postoperatieve evaluatierichtlijn voor computerondersteunde wederopbouw van de onderkaak

Valid comparisons of postoperative accuracy results in computer-assisted reconstruction of the mandible are difficult due to heterogeneity in imaging ...

3D Planning and Printing of Patient Specific Implants for Reconstruction of Bony Defects

3D-planning en -print van patiëntspecifieke implantaten voor de reconstructie van bony-defecten

We are in the midst of the 3D era in most aspects of life, and especially in medicine. The surgical discipline is one of the major players in the medical ...

Implantation of Combined Telemetric ECG and Blood Pressure Transmitters to Determine Spontaneous Baroreflex Sensitivity in Conscious Mice

Implantatie van gecombineerde telemetrische ECG- en bloeddruktransmitters om spontane baroreflexgevoeligheid bij bewuste muizen te bepalen

Blood pressure (BP) and heart rate (HR) are both controlled by the autonomic nervous system (ANS) and are closely intertwined due to reflex mechanisms. ...

Use of 3D Robotic Ultrasound for In Vivo Analysis of Mouse Kidneys

Use of 3D Robotic Ultrasound for In Vivo Analysis of Mouse Kidneys

Gebruik van 3D-robotechografie voor in vivo analyse van muizennieren

Common modalities for in vivo imaging of rodents include positron emission tomography (PET), computed tomography (CT), magnetic resonance imaging (MRI), ...

Combining 3D-Printing and Electrospinning to Manufacture Biomimetic Heart Valve Leaflets

3D-printen en elektrospinning combineren om biomimetische hartklepfolders te produceren

Electrospinning has become a widely used technique in cardiovascular tissue engineering as it offers the possibility to create (micro-)fibrous scaffolds ...