Name: robotized testing of camera positions to determine ideal configuration for stereo 3d visualization of open-heart surgery
Uploaded: 2021-08-12T14:45:00
Description: Watch this Scientific Journal Video about Robotized Testing of Camera Positions to Determine Ideal Configuration for Stereo 3D Visualization of Open-Heart Surgery at JoVE.com

Forskningen genomfördes med medel från Vinnova (2017-03728, 2018-05302 och 2018-03651), Heart-Lung Foundation (20180390), Family Kamprad Foundation (20190194) och Anna-Lisa och Sven Eric Lundgren Foundation (2017 och 2018).

Försöken godkändes av den lokala etikkommittén i Lund. Deltagandet var frivilligt och patienternas vårdnadshavare gav informerat skriftligt samtycke.
1. Robotinställning och konfiguration
OBS: Detta experiment använde en dubbelarmig industriell robot och standardkontrollpanelen med en pekskärm. Roboten styrs med RobotWare 6.10.01 controllerprogramvara och robotintegrerad utvecklingsmiljö (IDE) RobotStudio 2019.525. Programvara som utve...

<ol>
	<li>Held, R. T., Hui, T. T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+guide+to+stereoscopic+3D+displays+in+medicine.">A guide to stereoscopic 3D displays in medicine.</a> Academic Radiology. 18 (8), 1035-1048 (2011).</li><li>van Beurden, M. H. P. H., IJsselsteijn, W. A., Juola, J. F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Effectiveness+of+stereoscopic+displays+in+medicine:+A+review.">Effectiveness of stereoscopic displays in medicine: A review.</a> 3D Research. 3 (1), 1-13 (2012).</li><li>Luursema, J. M., Verwey, W. B., Kommers, P. A. M., Geelkerken, R. H., Vos, H. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Optimizing+conditions+for+computer-assisted+anatomical+learning.">Optimizing conditions for computer-assisted anatomical learning.</a> Interacting with Computers. 18 (5), 1123-1138 (2006).</li><li>Takano, M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Usefulness+and+capability+of+three-dimensional,+full+high-definition+movies+for+surgical+education.">Usefulness and capability of three-dimensional, full high-definition movies for surgical education.</a> Maxillofacial Plastic and Reconstructive Surgery. 39 (1), 10 (2017).</li><li>Triepels, C. P. R., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Does+three-dimensional+anatomy+improve+student+understanding.">Does three-dimensional anatomy improve student understanding.</a> Clinical Anatomy. 33 (1), 25-33 (2020).</li><li>Beermann, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Three-dimensional+visualisation+improves+understanding+of+surgical+liver+anatomy.">Three-dimensional visualisation improves understanding of surgical liver anatomy.</a> Medical Education. 44 (9), 936-940 (2010).</li><li>Battulga, B., Konishi, T., Tamura, Y., Moriguchi, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=The+Effectiveness+of+an+interactive+3-dimensional+computer+graphics+model+for+medical+education.">The Effectiveness of an interactive 3-dimensional computer graphics model for medical education.</a> Interactive Journal of Medical Research. 1 (2), (2012).</li><li>Yammine, K., Violato, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+meta-analysis+of+the+educational+effectiveness+of+three-dimensional+visualization+technologies+in+teaching+anatomy.">A meta-analysis of the educational effectiveness of three-dimensional visualization technologies in teaching anatomy.</a> Anatomical Sciences Education. 8 (6), 525-538 (2015).</li><li>Fitzgerald, J. E. F., White, M. J., Tang, S. W., Maxwell-Armstrong, C. A., James, D. K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Are+we+teaching+sufficient+anatomy+at+medical+school?+The+opinions+of+newly+qualified+doctors.">Are we teaching sufficient anatomy at medical school? The opinions of newly qualified doctors.</a> Clinical Anatomy. 21 (7), 718-724 (2008).</li><li>Bergman, E. M., Van Der Vleuten, C. P. M., Scherpbier, A. J. J. A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Why+don't+they+know+enough+about+anatomy?+A+narrative+review.">Why don't they know enough about anatomy? A narrative review.</a> Medical Teacher. 33 (5), 403-409 (2011).</li><li>Terzi&#263;, K., Hansard, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Methods+for+reducing+visual+discomfort+in+stereoscopic+3D:+A+review.">Methods for reducing visual discomfort in stereoscopic 3D: A review.</a> Signal Processing: Image Communication. 47, 402-416 (2016).</li><li>Fan, Z., Weng, Y., Chen, G., Liao, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=3D+interactive+surgical+visualization+system+using+mobile+spatial+information+acquisition+and+autostereoscopic+display.">3D interactive surgical visualization system using mobile spatial information acquisition and autostereoscopic display.</a> Journal of Biomedical Informatics. 71, 154-164 (2017).</li><li>Fan, Z., Zhang, S., Weng, Y., Chen, G., Liao, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=3D+quantitative+evaluation+system+for+autostereoscopic+display.">3D quantitative evaluation system for autostereoscopic display.</a> Journal of Display Technology. 12 (10), 1185-1196 (2016).</li><li>McIntire, J. P., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Binocular+fusion+ranges+and+stereoacuity+predict+positional+and+rotational+spatial+task+performance+on+a+stereoscopic+3D+display.">Binocular fusion ranges and stereoacuity predict positional and rotational spatial task performance on a stereoscopic 3D display.</a> Journal of Display Technology. 11 (11), 959-966 (2015).</li><li>Kalia, M., Navab, N., Fels, S. S., Salcudean, T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+method+to+introduce+&amp;+evaluate+motion+parallax+with+stereo+for+medical+AR/MR.">A method to introduce &amp; evaluate motion parallax with stereo for medical AR/MR.</a> IEEE Conference on Virtual Reality and 3D User Interfaces. , 1755-1759 (2019).</li><li>Kyt&#246;, M., Hakala, J., Oittinen, P., H&#228;kkinen, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Effect+of+camera+separation+on+the+viewing+experience+of+stereoscopic+photographs.">Effect of camera separation on the viewing experience of stereoscopic photographs.</a> Journal of Electronic Imaging. 21 (1), 1-9 (2012).</li><li>Moorthy, A. K., Su, C. C., Mittal, A., Bovik, A. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Subjective+evaluation+of+stereoscopic+image+quality.">Subjective evaluation of stereoscopic image quality.</a> Signal Processing: Image Communication. 28 (8), 870-883 (2013).</li><li>Yilmaz, G. N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+depth+perception+evaluation+metric+for+immersive+3D+video+services.">A depth perception evaluation metric for immersive 3D video services.</a> 3DTV Conference: The True Vision - Capture, Transmission and Display of 3D Video. , 1-4 (2017).</li><li>Lebreton, P., Raake, A., Barkowsky, M., Le Callet, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Evaluating+depth+perception+of+3D+stereoscopic+videos.">Evaluating depth perception of 3D stereoscopic videos.</a> IEEE Journal on Selected Topics in Signal Processing. 6, 710-720 (2012).</li><li>L&#243;pez, J. P., Rodrigo, J. A., Jim&#233;nez, D., Men&#233;ndez, J. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Stereoscopic+3D+video+quality+assessment+based+on+depth+maps+and+video+motion.">Stereoscopic 3D video quality assessment based on depth maps and video motion.</a> EURASIP Journal on Image and Video Processing. 2013 (1), 62 (2013).</li><li>Banks, M. S., Read, J. C., Allison, R. S., Watt, S. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Stereoscopy+and+the+human+visual+system.">Stereoscopy and the human visual system.</a> SMPTE Motion Imaging Journal. 121 (4), 24-43 (2012).</li><li>Kyt&#246;, M., Nuutinen, M., Oittinen, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Method+for+measuring+stereo+camera+depth+accuracy+based+on+stereoscopic+vision.">Method for measuring stereo camera depth accuracy based on stereoscopic vision.</a> Three-Dimensional Imaging, Interaction, and Measurement. 7864, 168-176 (2011).</li><li>Kang, Y. S., Ho, Y. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Geometrical+compensation+algorithm+of+multiview+image+for+arc+multi-camera+arrays.">Geometrical compensation algorithm of multiview image for arc multi-camera arrays.</a> Advances in Multimedia Information Processing. 2008, 543-552 (2008).</li><li>Product Specification IRB 14000. DocumentID: 3HAC052982-001 Revision J. ABB Robotics Available from: <a target="_blank" href="https://library.abb.com/en/results">https://library.abb.com/en/results</a> (2018)</li><li>Operating Manual IRB 14000. Document ID: 3HAC052986-001 Revision F. ABB Robotics Available from: <a target="_blank" href="https://library.abb.com/en/results">https://library.abb.com/en/results</a> (2019)</li><li>. Github repository Available from: <a target="_blank" href="https://github.com/majstenmark/stereo2">https://github.com/majstenmark/stereo2</a> (2021)</li><li>Operating manual RobotStudio. Document ID: 3HAC032104-001 Revision Y. ABB Robotics Available from: <a target="_blank" href="https://library.abb.com/en/results">https://library.abb.com/en/results</a> (2019)</li><li>Won, C. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Adaptive+interpolation+for+3D+stereoscopic+video+in+frame-compatible+top-bottom+packing.">Adaptive interpolation for 3D stereoscopic video in frame-compatible top-bottom packing.</a> IEEE International Conference on Consumer Electronics. 2011, 179-180 (2011).</li><li>Kim, S. K., Lee, C., Kim, K. T., Javidi, B., Okano, F., Son, J. Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Multi-view+image+acquisition+and+display.">Multi-view image acquisition and display.</a> Three-Dimensional Imaging, Visualization, and Display. , 227-249 (2009).</li><li>Liu, F., Niu, Y., Jin, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Keystone+correction+for+stereoscopic+cinematography.">Keystone correction for stereoscopic cinematography.</a> IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops. 2012, 1-7 (2012).</li><li>Kang, W., Lee, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Horizontal+parallax+distortion+correction+method+in+toed-in+camera+with+wide-angle+lens.">Horizontal parallax distortion correction method in toed-in camera with wide-angle lens.</a> 3DTV Conference: The True Vision - Capture, Transmission and Display of 3D Video. 2009, 1-4 (2009).</li></ol>

Under live kirurgi var den totala tiden för experimentet som används för insamling av 3D-videodata begränsad för att vara säker för patienten. Om objektet är ofokuserat eller överexponerat kan data inte användas. De kritiska stegen är under kameraverktygskalibrering och installation (steg 2). Kamerans bländare och fokus kan inte ändras när operationen har påbörjats; samma ljusförhållanden och avstånd ska användas under installation och operation. Kamerakalibreringen i steg 2.1-2.4 måste utföras nogg...

Inom kirurgi kan 3D-visualisering användas för utbildning, diagnoser, preoperativ planering och postoperativ utvärdering1,2. Realistisk djup uppfattning kan förbättra förståelsen3,4,5,6 av normala och onormala anatomier. Enkla 2D-videoinspelningar av kirurgiska ingrepp är en bra början. Bristen på djup uppfattning kan dock göra det svårt för de icke-kirurgiska kollegorna att fullt ut förstå antero-bakre relationer mellan olika anatomiska strukturer och därför också införa en risk för feltolkning av anatomin7,8,9,10.
3D-visningsupplevelsen påverkas av fem faktorer: (1) Kamerakonfigurationen kan antingen vara parallell eller toed-in som visas i figur 1, (2) Baslinjeavstånd (separationen mellan kamerorna). (3) Avstånd till föremålet för intresse och andra scenegenskaper såsom bakgrunden. (4) Egenskaper hos visningsenheter som skärmstorlek och visningsposition1,11,12,13. (5) Tittarnas individuella preferenser14,15.
Att designa en 3D-kamerainställning börjar med att testvideor som spelats in på olika kamerabaslinjeavstånd och konfigurationer som ska användas för subjektiv eller automatisk utvärdering16,17,18,19,20 tas. Kameraavståndet måste vara konstant till operationsfältet för att fånga skarpa bilder. Fast fokus är att föredra eftersom autofokus justeras för att fokusera på händer, instrument eller huvuden som kan komma i sikte. Detta är dock inte lätt att uppnå när scenen av intresse är det kirurgiska fältet. Operationssalar är områden med begränsad tillgång eftersom dessa faciliteter måste hållas rena och sterila. Teknisk utrustning, kirurger och skrubbsjuksköterskor grupperas ofta nära patienten för att säkerställa en bra visuell överblick och ett effektivt arbetsflöde. För att jämföra och utvärdera effekten av kamerapositioner på 3D-visningsupplevelsen bör ett komplett testområde med kamerapositioner spela in samma scen eftersom objektegenskaper som form, storlek och färg kan påverka 3D-visningsupplevelsen21.
Av samma anledning bör kompletta testområden av kamerapositioner upprepas vid olika kirurgiska ingrepp. Hela positionssekvensen måste upprepas med hög noggrannhet. I en kirurgisk inställning är befintliga metoder som kräver antingen manuell justering av baslinjeavståndet22 eller olika kamerapar med fasta baslinjeavstånd23 inte genomförbara på grund av både utrymmes- och tidsbegränsningar. För att möta denna utmaning utformades denna robotiserade lösning.
Uppgifterna samlades in med en industrirobot med dubbla vapen monterad i taket i operationssalen. Kameror fästes på robotens handleder och rördes längs en bågformad bana med ökande baslinjeavstånd, vilket visas i figur 2.
För att demonstrera tillvägagångssättet registrerades 10 testserier från 4 olika patienter med 4 olika medfödda hjärtfel. Scener valdes när en paus i operationen var möjlig: med de bultande hjärtan strax före och efter kirurgisk reparation. Serien gjordes också när hjärtana arresterades. Operationerna pausades i 3 minuter och 20 s för att samla fyrtio 5-ssequences med olika kamerakonvergensavstånd och baslinjeavstånd för att fånga scenen. Videorna postbehandlades senare, visades i 3D för det kliniska teamet, som betygsatte hur realistisk 3D-videon var längs en skala från 0-5.
Konvergenspunkten för intrad stereokameror är där mittpunkterna i båda bilderna möts. Konvergenspunkten kan av princip placeras antingen framför, inom eller bakom objektet, se figur 1A-C. När konvergenspunkten är framför objektet kommer objektet att fångas och visas till vänster om mittlinjen för den vänstra kamerabilden och höger om mittlinjen för den högra kamerabilden (bild 1A). Motsatsen gäller när konvergenspunkten ligger bakom objektet (bild 1B). När konvergenspunkten är på objektet visas objektet också i mittlinjen på kamerabilderna (bild 1C), vilket förmodligen bör ge den mest bekväma visningen eftersom ingen kisning krävs för att sammanfoga bilderna. För att uppnå bekväm stereo 3D-video måste konvergenspunkten placeras på, eller något bakom, föremålet av intresse, annars måste tittaren frivilligt kisa utåt (exotropia).
Data samlades in med hjälp av en industrirobot med dubbla vapen för att placera kamerorna (figur 2A-B). Roboten väger 38 kg utan utrustning. Roboten är i sig säker; När den upptäcker en oväntad kollision slutar den röra sig. Roboten programmerades för att placera de 5 Megapixel-kamerorna med C-monteringslinser längs en bågformad bana som stannar vid förutbestämda baslinjeavstånd (figur 2C). Kamerorna fästes på robotens händer med hjälp av adapterplattor, som visas i figur 3. Varje kamera spelades in med 25 bilder per sekund. Linser sattes vid f-stop 1/8 med fokus på objektet av intresse (approximerat geometriskt centrum av hjärtat). Varje bildram hade en tidsstämpel som användes för att synkronisera de två videoströmmarna.
Förskjutningarna mellan robot handleden och kameran kalibrerades. Detta kan uppnås genom att justera kamerabildernas hårkors, som visas i figur 4. I den här inställningen var den totala translationella förskjutningen från monteringspunkten på robotens handled och kamerans bildsensors mitt 55,3 mm i X-riktningen och 21,2 mm i Z-riktningen, som visas i figur 5. Rotationsförskjutningarna kalibrerades på ett konvergensavstånd på 1100 mm och ett baslinjeavstånd på 50 mm och justerades manuellt med joysticken på robotens kontrollpanel. Roboten i denna studie hade en angiven noggrannhet på 0,02 mm i kartesiskt utrymme och 0,01 graders rotationsupplösning24. Vid en radie av 1100 m förskjuter en vinkelskillnad på 0,01 grader mittpunkten 0,2 mm. Under den fulla robotrörelsen från 50-240 mm separation var hårkorset för varje kamera inom 2 mm från det ideala konvergenscentret.
Baslinjeavståndet ökades stegvis genom symmetrisk separation av kamerorna runt mitten av synfältet i steg om 10 mm från 50-240 mm (figur 2). Kamerorna hölls stillastående i 5 s i varje position och flyttades mellan positionerna med en hastighet av 50 mm/s. Konvergenspunkten kan justeras i X- och Z-riktningar med hjälp av ett grafiskt användargränssnitt (bild 6). Roboten följde därefter inom sitt arbetsområde.
Konvergenspunktens noggrannhet uppskattades med hjälp av de enhetliga trianglar och variabelnamnen i figur 7A och B. Höjden "z" beräknades från konvergensavståndet "R" med pythagoraset som
<img alt="Equation 1" src="/files/ftp_upload/62786/62786eq01.jpg">
När den verkliga konvergenspunkten var närmare än den önskade punkten, som visas i figur 7A, beräknades felavståndet "f1" som
<img alt="Equation 2" src="/files/ftp_upload/62786/62786eq02.jpg">
På samma sätt beräknades felavståndet "f2" som
<img alt="Equation 3" src="/files/ftp_upload/62786/62786eq03.jpg">
Här var "e" den maximala separationen mellan hårkorset, högst 2 mm vid maximal baslinjeseparation under kalibrering (D = 240 mm). För R = 1100 mm (z = 1093 mm) var felet mindre än ± 9,2 mm. För R = 1400 mm (z = 1395 mm) var felet ± 11,7 mm. Det vill säga felet med placeringen av konvergenspunkten låg inom 1 procent av den önskade. De två provningsavstånden på 1100 mm och 1400 mm var därför väl åtskilda.

<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td>2 C-mount lenses (35 mm F2.1, 5 M pixel)</td>
			<td>Tamron</td>
			<td>M112FM35</td>
			<td>Rated for 5 Mpixel</td>
		</tr>
		<tr>
			<td>3D glasses (DLP-link active shutter)</td>
			<td>Celexon</td>
			<td>G1000</td>
			<td>Any compatible 3D glasses can be used</td>
		</tr>
		<tr>
			<td>3D Projector</td>
			<td>Viewsonic</td>
			<td>X10-4K</td>
			<td>Displays 3D in 1080, can be exchanged for other 3D projectors</td>
		</tr>
		<tr>
			<td>6 M2 x 8 screws</td>
			<td></td>
			<td></td>
			<td>To attach the cXimea cameras to the camera adaptor plates</td>
		</tr>
		<tr>
			<td>8 M2.5 x 8 screws</td>
			<td></td>
			<td></td>
			<td>To attach the circular mounting plates to the robot wrist</td>
		</tr>
		<tr>
			<td>8 M5 x 40 screws</td>
			<td></td>
			<td></td>
			<td>To mount the robot</td>
		</tr>
		<tr>
			<td>8 M6 x 10 screws with flat heads</td>
			<td></td>
			<td></td>
			<td>For attaching the circular mounting plate and the camera adaptor plates</td>
		</tr>
		<tr>
			<td>Calibration checker board plate (25 by 25 mm)</td>
			<td></td>
			<td></td>
			<td>Any standard checkerboard can be used, including printed, as long as the grid is clearly visible in the cameras</td>
		</tr>
		<tr>
			<td>Camera adaptor plates, x2</td>
			<td></td>
			<td></td>
			<td>Designed by the authors in robot_camera_adaptor_plates.dwg, milled in aluminium.</td>
		</tr>
		<tr>
			<td>Circular mounting plates, x2</td>
			<td></td>
			<td></td>
			<td>Distributed with the permission of the designer Julius Klein and printed with ABS plastic on an FDM 3D printer. License Tecnalia Research &#38; Innovation 2017. Attached as Mountingplate_ROBOT_SIDE_ 
			NewDesign_4.stl</td>
		</tr>
		<tr>
			<td>Fix focus usb cameras, x2 (5 Mpixel)</td>
			<td>Ximea</td>
			<td>MC050CG-SY-UB</td>
			<td>With Sony IMX250LQR sensor</td>
		</tr>
		<tr>
			<td>Flexpendant</td>
			<td>ABB</td>
			<td>3HAC028357-001</td>
			<td>robot touch display</td>
		</tr>
		<tr>
			<td>Liveview</td>
			<td></td>
			<td></td>
			<td>recording application</td>
		</tr>
		<tr>
			<td>RobotStudio</td>
			<td></td>
			<td></td>
			<td>&#160;robot integrated development environment (IDE)</td>
		</tr>
		<tr>
			<td>USB3 active cables (10.0 m), x2</td>
			<td></td>
			<td></td>
			<td>Thumbscrew lock connector, water proofed.</td>
		</tr>
		<tr>
			<td>YuMi dual-arm robot</td>
			<td>ABB</td>
			<td>IRB14000</td>
			<td></td>
		</tr>
	</tbody>
</table>

robotized testing of camera positions to determine ideal configuration for stereo 3d visualization of open-heart surgery

Stereo 3D-video från kirurgiska ingrepp kan vara mycket värdefull för medicinsk utbildning och förbättra klinisk kommunikation. Men tillgången till operationssalen och operationsfältet är begränsad. Det är en steril miljö, och det fysiska utrymmet är trångt med kirurgisk personal och teknisk utrustning. I denna inställning är unobscured fånga och realistisk reproduktion av kirurgiska ingrepp svårt. Detta dokument presenterar en metod för snabb och tillförlitlig datainsamling av stereoskopiska 3D-videor på olika kamerabaslinjeavstånd och konvergensavstånd. För att samla in testdata med minimal störning under operationen, med hög precision och repeterbarhet, fästes kamerorna på varje hand i en dubbelarmsrobot. Roboten var takmonterad i operationssalen. Den programmerades för att utföra en tidsbem tidsbegränsad sekvens av synkroniserade kamerarörelser som steg genom en rad testpositioner med baslinjeavstånd mellan 50-240 mm vid stegvisa steg på 10 mm och vid två konvergensavstånd på 1100 mm och 1400 mm. Kirurgi pausades för att tillåta 40 på varandra följande 5-s videoprover. Totalt 10 kirurgiska scenarier registrerades.

En acceptabel utvärderingsvideo med rätt bild placerad högst upp i stereoskopisk 3D uppifrån visas i Video1. En lyckad sekvens ska vara skarp, fokuserad och utan osynkroniserade bildramar. Osynkroniserade videoströmmar kommer att orsaka oskärpa, vilket visas i filen Video 2. Konvergenspunkten bör centreras horisontellt, oberoende av kameraseparationen, som visas i figur 9A,B. När roboten övergår mellan positionerna finns det en lit...

Watch this Scientific Journal Video about Robotized Testing of Camera Positions to Determine Ideal Configuration for Stereo 3D Visualization of Open-Heart Surgery at JoVE.com

Robotized Testing of Camera Positions to Determine Ideal Configuration for Stereo 3D Visualization of Open-Heart Surgery

Den mänskliga djupuppfattningen av 3D-stereovideor beror på kamerans separation, konvergenspunkt, avstånd till och förtrogenhet med objektet. Detta dokument presenterar en robotiserad metod för snabb och tillförlitlig insamling av testdata under levande öppen hjärtkirurgi för att bestämma den perfekta kamerakonfigurationen.

Robotiserad testning av kamerapositioner för att bestämma idealisk konfiguration för stereo 3D-visualisering av öppen hjärtkirurgi

Stereo 3D video from surgical procedures can be highly valuable for medical education and improve clinical communication. But access to the operating room ...

Det gör det möjligt att fånga högkvalitativa 3D-videor för utbildning och utbildning. Det kan tillämpas på de flesta operationssalar med öppen kirurgi. Med ett robotiserat tillvägagångssätt kan vi snabbt och exakt samla in data för att utvärdera kamerapositionerna.Den här metoden används för att snabbt testa kamerakonfiguration för 3D-visionsprogram. Det kan också användas för att undersöka hur olika ämnen uppfattar djup. För att börja montera kameran på roboten monterar du först objektivet på kameran och sedan kameran på adapterplattan med tre M2-skruvar.Montera sedan den cirkulära monteringsplattan på kamerans adapterplatta med fyra M4-skruvar på motsatt sida av kameran. När alla kameror är monterade på roboten, observera speglingen av de resulterande aggregaten. Montera adapterplattan på robotens handled med fyra M2.5-skruvar.För en bordsmonterad robot, fäst den vänstra kameran på höger robotarm. Anslut USB-kablarna till kamerorna och Ubuntu-datorn. På robotpekdisplayen trycker du på menyknappen och väljer Stereo 2 för att starta robotapplikationen.Tryck på Gå för att starta i 1 100 millimeter i robotapplikationen på huvudskärmen och vänta på att roboten ska flytta till startpositionen. Ta bort skyddslinsskyddet från kamerorna. Placera ett tryckt kalibreringsgaller på 1 100 millimeter från kamerasensorerna.För att korrekt identifiera motsvarande rutor, placera en liten skruvmutter eller markera någonstans i rutnätet. Starta inspelningsprogrammet på Ubuntu-datorn för att starta gränssnittet. Och justera sedan bländaren och fokusera på linsen med bländaren och fokusringarna.I inspelningsprogrammet kontrollerar du Hårkorset för att visualisera hårkorset. I inspelningsapplikationen, se till att hårkorset ligger i linje med kalibreringsrutnätet i samma läge i båda kamerabilderna. Efter att ha tryckt på växelikonen i robotapplikationen placerar du kamerorna i förhållande till patienten.Ändra X-riktningen genom att trycka på plus eller minus för handavstånd från roboten och Z-riktningen genom att trycka på plus eller minus för Höjd för att fånga det kirurgiska fältet i bilderna. Ändra Y-riktningen genom att manuellt flytta roboten eller patienten. När du har pausat operationen och informerat OR-personalen om att starta experimentet trycker du på Spela in i inspelningsapplikationen och trycker sedan på Kör experiment i robotapplikationen.Efter ett tag, när experimentet är klart, visas Done på pekskärmen. Tryck sedan på Stoppa inspelning i inspelningsprogrammet för att stoppa inspelningen. Informera OR-personalen om att experimentet är avslutat och återuppta operationen.För utvärdering, visa videon i topp-botten 3D-format med en aktiv 3D-projektor. Rätt utvärderingsvideo med en höger bild placerad högst upp i stereoskopisk 3D upptill visas. En lyckad sekvens ska vara skarp, fokuserad och utan osynkroniserade bildramar.De osynkroniserade videoströmmarna skapar oskärpa. Konvergenspunkten ska centreras horisontellt, oberoende av kameraseparationen. Med en mycket stor separation mellan höger och vänster bilder kan hjärnan inte smälta bilderna till en 3D-bild.Flera orsaker kan orsaka misslyckande i hjärtats mittpositionering, till exempel avståndet från konvergenspunkten till hjärtat. För korrekt konfiguration av kameraverktygets koordinatsystem, se till att hårkorset i inspelningsapplikationen pekar på samma objekt, kalibreringsobjektet är i mittläge och rätt debayeringformat av färger. 3D-videor med förändrade baslinjeavstånd gör det möjligt för oss att studera hur djupinformation påverkar anatomisk förståelse bland medicinsk personal.

Research

JoVE Journal

Medicine

Rat Heterotopic Abdominal Heart/Single-lung Transplantation in a Volume-loaded Configuration

Rat Heterotopisk buken hjärta / Single-lungtransplantation i en volym belastad konfiguration

Herein, we describe a novel technique for heterotopic abdominal heart-lung transplantation (HAHLT) in rats. The configuration of the transplant graft ...

A Pipeline for 3D Multimodality Image Integration and Computer-assisted Planning in Epilepsy Surgery

En rörledning för 3D Multimodalitet Image Integration och Datorstödd planering i epilepsikirurgi

Epilepsy surgery is challenging and the use of 3D multimodality image integration (3DMMI) to aid presurgical planning is well-established. Multimodality ...

A Quantitative Sensory Testing Paradigm to Obtain Measures of Pain Processing in Patients Undergoing Breast Cancer Surgery

En kvantitativ sensorisk testning Paradigm att få åtgärder av smärta behandling hos patienter som genomgår operation för bröstcancer

Chronic pain following surgery, persistent postsurgical pain, is an important highly prevalent condition contributing to significant symptom burden and ...

A Clinical Trial Assessing the Safety, Efficacy, and Delivery of Olive-Oil-Based Three-Chamber Bags for Parenteral Nutrition

En klinisk prövning som bedömer säkerhet, effekt och leverans av Olivoljebaserade tre kammar påsar för parenteral nutrition

Limited evidence exists to precisely estimate efficacy and safety differences between parenteral nutrition (PN) prepared using olive-oil-based ...

A Training and Testing System for Performing Vascular Reconstruction In Vitro

Ett utbildnings-och test system för att utföra vaskulär rekonstruktion in vitro

Manual vascular reconstruction training is essential for a beginner surgeon. However, an optimal training system for vascular reconstruction in vitro has ...

A Postoperative Evaluation Guideline for Computer-Assisted Reconstruction of the Mandible

En postoperativ utvärderingsriktlinje för datorstödd återuppbyggnad av mandible

Valid comparisons of postoperative accuracy results in computer-assisted reconstruction of the mandible are difficult due to heterogeneity in imaging ...

3D Planning and Printing of Patient Specific Implants for Reconstruction of Bony Defects

3D Planering och utskrift av patientspecifika implantat för rekonstruktion av beniga defekter

We are in the midst of the 3D era in most aspects of life, and especially in medicine. The surgical discipline is one of the major players in the medical ...

Implantation of Combined Telemetric ECG and Blood Pressure Transmitters to Determine Spontaneous Baroreflex Sensitivity in Conscious Mice

Implantation av kombinerade telemetriska EKG och blodtryckssändare för att bestämma spontan baroreflexkänslighet hos medvetna möss

Blood pressure (BP) and heart rate (HR) are both controlled by the autonomic nervous system (ANS) and are closely intertwined due to reflex mechanisms. ...

Use of 3D Robotic Ultrasound for In Vivo Analysis of Mouse Kidneys

Use of 3D Robotic Ultrasound for In Vivo Analysis of Mouse Kidneys

Användning av 3D robot ultraljud för In Vivo analys av mus njurar

Common modalities for in vivo imaging of rodents include positron emission tomography (PET), computed tomography (CT), magnetic resonance imaging (MRI), ...

Combining 3D-Printing and Electrospinning to Manufacture Biomimetic Heart Valve Leaflets

Kombinera 3D-utskrift och elektrospinning för att tillverka biomimetiska hjärtklaffbroschyrer

Electrospinning has become a widely used technique in cardiovascular tissue engineering as it offers the possibility to create (micro-)fibrous scaffolds ...