Name: robotized testing of camera positions to determine ideal configuration for stereo 3d visualization of open-heart surgery
Uploaded: 2021-08-12T14:45:00
Description: Watch this Scientific Journal Video about Robotized Testing of Camera Positions to Determine Ideal Configuration for Stereo 3D Visualization of Open-Heart Surgery at JoVE.com

Forskningen blev udført med støtte fra Vinnova (2017-03728, 2018-05302 og 2018-03651), Heart-Lung Foundation (20180390), Family Kamprad Foundation (20190194) og Anna-Lisa og Sven Eric Lundgren Foundation (2017 og 2018).

Forsøgene blev godkendt af den lokale etiske komité i Lund, Sverige. Deltagelsen var frivillig, og patienternes værger gav informeret skriftligt samtykke.
1. Robotopsætning og -konfiguration
BEMÆRK: Dette eksperiment brugte en industriel robot med to arme og standard kontrolpanelet med touch-display. Robotten styres med RobotWare 6.10.01 controllersoftware og robotintegreret udviklingsmiljø (IDE) RobotStudio 2019.525. Software udviklet af...

<ol>
	<li>Held, R. T., Hui, T. T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+guide+to+stereoscopic+3D+displays+in+medicine.">A guide to stereoscopic 3D displays in medicine.</a> Academic Radiology. 18 (8), 1035-1048 (2011).</li><li>van Beurden, M. H. P. H., IJsselsteijn, W. A., Juola, J. F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Effectiveness+of+stereoscopic+displays+in+medicine:+A+review.">Effectiveness of stereoscopic displays in medicine: A review.</a> 3D Research. 3 (1), 1-13 (2012).</li><li>Luursema, J. M., Verwey, W. B., Kommers, P. A. M., Geelkerken, R. H., Vos, H. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Optimizing+conditions+for+computer-assisted+anatomical+learning.">Optimizing conditions for computer-assisted anatomical learning.</a> Interacting with Computers. 18 (5), 1123-1138 (2006).</li><li>Takano, M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Usefulness+and+capability+of+three-dimensional,+full+high-definition+movies+for+surgical+education.">Usefulness and capability of three-dimensional, full high-definition movies for surgical education.</a> Maxillofacial Plastic and Reconstructive Surgery. 39 (1), 10 (2017).</li><li>Triepels, C. P. R., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Does+three-dimensional+anatomy+improve+student+understanding.">Does three-dimensional anatomy improve student understanding.</a> Clinical Anatomy. 33 (1), 25-33 (2020).</li><li>Beermann, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Three-dimensional+visualisation+improves+understanding+of+surgical+liver+anatomy.">Three-dimensional visualisation improves understanding of surgical liver anatomy.</a> Medical Education. 44 (9), 936-940 (2010).</li><li>Battulga, B., Konishi, T., Tamura, Y., Moriguchi, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=The+Effectiveness+of+an+interactive+3-dimensional+computer+graphics+model+for+medical+education.">The Effectiveness of an interactive 3-dimensional computer graphics model for medical education.</a> Interactive Journal of Medical Research. 1 (2), (2012).</li><li>Yammine, K., Violato, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+meta-analysis+of+the+educational+effectiveness+of+three-dimensional+visualization+technologies+in+teaching+anatomy.">A meta-analysis of the educational effectiveness of three-dimensional visualization technologies in teaching anatomy.</a> Anatomical Sciences Education. 8 (6), 525-538 (2015).</li><li>Fitzgerald, J. E. F., White, M. J., Tang, S. W., Maxwell-Armstrong, C. A., James, D. K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Are+we+teaching+sufficient+anatomy+at+medical+school?+The+opinions+of+newly+qualified+doctors.">Are we teaching sufficient anatomy at medical school? The opinions of newly qualified doctors.</a> Clinical Anatomy. 21 (7), 718-724 (2008).</li><li>Bergman, E. M., Van Der Vleuten, C. P. M., Scherpbier, A. J. J. A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Why+don't+they+know+enough+about+anatomy?+A+narrative+review.">Why don't they know enough about anatomy? A narrative review.</a> Medical Teacher. 33 (5), 403-409 (2011).</li><li>Terzi&#263;, K., Hansard, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Methods+for+reducing+visual+discomfort+in+stereoscopic+3D:+A+review.">Methods for reducing visual discomfort in stereoscopic 3D: A review.</a> Signal Processing: Image Communication. 47, 402-416 (2016).</li><li>Fan, Z., Weng, Y., Chen, G., Liao, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=3D+interactive+surgical+visualization+system+using+mobile+spatial+information+acquisition+and+autostereoscopic+display.">3D interactive surgical visualization system using mobile spatial information acquisition and autostereoscopic display.</a> Journal of Biomedical Informatics. 71, 154-164 (2017).</li><li>Fan, Z., Zhang, S., Weng, Y., Chen, G., Liao, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=3D+quantitative+evaluation+system+for+autostereoscopic+display.">3D quantitative evaluation system for autostereoscopic display.</a> Journal of Display Technology. 12 (10), 1185-1196 (2016).</li><li>McIntire, J. P., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Binocular+fusion+ranges+and+stereoacuity+predict+positional+and+rotational+spatial+task+performance+on+a+stereoscopic+3D+display.">Binocular fusion ranges and stereoacuity predict positional and rotational spatial task performance on a stereoscopic 3D display.</a> Journal of Display Technology. 11 (11), 959-966 (2015).</li><li>Kalia, M., Navab, N., Fels, S. S., Salcudean, T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+method+to+introduce+&amp;+evaluate+motion+parallax+with+stereo+for+medical+AR/MR.">A method to introduce &amp; evaluate motion parallax with stereo for medical AR/MR.</a> IEEE Conference on Virtual Reality and 3D User Interfaces. , 1755-1759 (2019).</li><li>Kyt&#246;, M., Hakala, J., Oittinen, P., H&#228;kkinen, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Effect+of+camera+separation+on+the+viewing+experience+of+stereoscopic+photographs.">Effect of camera separation on the viewing experience of stereoscopic photographs.</a> Journal of Electronic Imaging. 21 (1), 1-9 (2012).</li><li>Moorthy, A. K., Su, C. C., Mittal, A., Bovik, A. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Subjective+evaluation+of+stereoscopic+image+quality.">Subjective evaluation of stereoscopic image quality.</a> Signal Processing: Image Communication. 28 (8), 870-883 (2013).</li><li>Yilmaz, G. N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+depth+perception+evaluation+metric+for+immersive+3D+video+services.">A depth perception evaluation metric for immersive 3D video services.</a> 3DTV Conference: The True Vision - Capture, Transmission and Display of 3D Video. , 1-4 (2017).</li><li>Lebreton, P., Raake, A., Barkowsky, M., Le Callet, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Evaluating+depth+perception+of+3D+stereoscopic+videos.">Evaluating depth perception of 3D stereoscopic videos.</a> IEEE Journal on Selected Topics in Signal Processing. 6, 710-720 (2012).</li><li>L&#243;pez, J. P., Rodrigo, J. A., Jim&#233;nez, D., Men&#233;ndez, J. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Stereoscopic+3D+video+quality+assessment+based+on+depth+maps+and+video+motion.">Stereoscopic 3D video quality assessment based on depth maps and video motion.</a> EURASIP Journal on Image and Video Processing. 2013 (1), 62 (2013).</li><li>Banks, M. S., Read, J. C., Allison, R. S., Watt, S. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Stereoscopy+and+the+human+visual+system.">Stereoscopy and the human visual system.</a> SMPTE Motion Imaging Journal. 121 (4), 24-43 (2012).</li><li>Kyt&#246;, M., Nuutinen, M., Oittinen, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Method+for+measuring+stereo+camera+depth+accuracy+based+on+stereoscopic+vision.">Method for measuring stereo camera depth accuracy based on stereoscopic vision.</a> Three-Dimensional Imaging, Interaction, and Measurement. 7864, 168-176 (2011).</li><li>Kang, Y. S., Ho, Y. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Geometrical+compensation+algorithm+of+multiview+image+for+arc+multi-camera+arrays.">Geometrical compensation algorithm of multiview image for arc multi-camera arrays.</a> Advances in Multimedia Information Processing. 2008, 543-552 (2008).</li><li>Product Specification IRB 14000. DocumentID: 3HAC052982-001 Revision J. ABB Robotics Available from: <a target="_blank" href="https://library.abb.com/en/results">https://library.abb.com/en/results</a> (2018)</li><li>Operating Manual IRB 14000. Document ID: 3HAC052986-001 Revision F. ABB Robotics Available from: <a target="_blank" href="https://library.abb.com/en/results">https://library.abb.com/en/results</a> (2019)</li><li>. Github repository Available from: <a target="_blank" href="https://github.com/majstenmark/stereo2">https://github.com/majstenmark/stereo2</a> (2021)</li><li>Operating manual RobotStudio. Document ID: 3HAC032104-001 Revision Y. ABB Robotics Available from: <a target="_blank" href="https://library.abb.com/en/results">https://library.abb.com/en/results</a> (2019)</li><li>Won, C. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Adaptive+interpolation+for+3D+stereoscopic+video+in+frame-compatible+top-bottom+packing.">Adaptive interpolation for 3D stereoscopic video in frame-compatible top-bottom packing.</a> IEEE International Conference on Consumer Electronics. 2011, 179-180 (2011).</li><li>Kim, S. K., Lee, C., Kim, K. T., Javidi, B., Okano, F., Son, J. Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Multi-view+image+acquisition+and+display.">Multi-view image acquisition and display.</a> Three-Dimensional Imaging, Visualization, and Display. , 227-249 (2009).</li><li>Liu, F., Niu, Y., Jin, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Keystone+correction+for+stereoscopic+cinematography.">Keystone correction for stereoscopic cinematography.</a> IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops. 2012, 1-7 (2012).</li><li>Kang, W., Lee, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Horizontal+parallax+distortion+correction+method+in+toed-in+camera+with+wide-angle+lens.">Horizontal parallax distortion correction method in toed-in camera with wide-angle lens.</a> 3DTV Conference: The True Vision - Capture, Transmission and Display of 3D Video. 2009, 1-4 (2009).</li></ol>

Under live-kirurgi, den samlede tid for eksperimentet anvendes til 3D video dataindsamling var begrænset til at være sikker for patienten. Hvis objektet er ufokuseret eller overeksponeret, kan dataene ikke bruges. De kritiske trin er under kalibrering og opsætning af kameraværktøj (trin 2). Kameraet blænde og fokus kan ikke ændres, når operationen er startet; de samme lysforhold og afstand bør anvendes under opsætning og kirurgi. Kamerakalibreringen i trin 2.1-2.4 skal udføres omhyggeligt for at sikre, at hjer...

I kirurgi, 3D visualisering kan bruges til uddannelse, diagnoser, præoperativ planlægning, og postoperativ evaluering1,2. Realistisk dybdeopfattelse kan forbedre forståelsen3,4,5,6 af normale og unormale anatomier. Simple 2D-videooptagelser af kirurgiske procedurer er en god start. Men manglen på dybdeopfattelse kan gøre det svært for de ikke-kirurgiske kolleger fuldt ud at forstå antero-posterior forholdet mellem forskellige anatomiske strukturer og derfor også indføre en risiko for fejlfortolkning af anatomi7,8,9,10.
3D-visningsoplevelsen påvirkes af fem faktorer: (1) Kamerakonfigurationen kan enten være parallel eller toed-in som vist i figur 1, (2) Baseline afstand (adskillelsen mellem kameraerne). (3) Afstand til genstand for interesse og andre scene egenskaber såsom baggrunden. (4) Egenskaber ved visning af enheder som skærmstørrelse og visningsposition1,11,12,13. (5) Seernes individuelle præferencer14,15.
Design af en 3D-kameraopsætning begynder med optagelse af testvideoer optaget på forskellige kameraafstande og konfigurationer, der skal bruges til subjektiv eller automatisk evaluering16,17,18,19,20. Kameraafstanden skal være konstant til det kirurgiske felt for at tage skarpe billeder. Fast fokus foretrækkes, fordi autofokus vil tilpasse sig til at fokusere på hænder, instrumenter eller hoveder, der kan komme til syne. Dette er dog ikke let opnåeligt, når interessestedet er det kirurgiske felt. Operationsstuer er områder med begrænset adgang, fordi disse faciliteter skal holdes rene og sterile. Teknisk udstyr, kirurger og skrubbesygeplejersker er ofte grupperet tæt omkring patienten for at sikre et godt visuelt overblik og en effektiv arbejdsgang. For at sammenligne og evaluere effekten af kamerapositioner på 3D-visningsoplevelsen skal et komplet testområde af kamerapositioner optage den samme scene, fordi objektegenskaberne som form, størrelse og farve kan påvirke 3D-visningsoplevelsen21.
Af samme grund bør komplette testområder af kamerapositioner gentages på forskellige kirurgiske procedurer. Hele rækkefølgen af positioner skal gentages med høj nøjagtighed. I en kirurgisk indstilling er eksisterende metoder, der kræver enten manuel justering af den oprindelige afstand22 eller forskellige kamerapar med faste baselineafstande23 , ikke mulige på grund af både plads- og tidsbegrænsninger. For at løse denne udfordring blev denne robotiserede løsning designet.
Dataene blev indsamlet med en dobbeltarms kollaborativ industrirobot monteret i loftet på operationsstuen. Kameraer var fastgjort til robottens håndled og bevægede sig langs en bueformet bane med stigende baseline afstand, som vist i figur 2.
For at demonstrere tilgangen blev der registreret 10 testserier fra 4 forskellige patienter med 4 forskellige medfødte hjertefejl. Scener blev valgt, da en pause i kirurgi var muligt: med de bankende hjerter lige før og efter kirurgisk reparation. Serien blev også lavet, da hjerterne blev anholdt. Operationerne blev sat på pause i 3 min og 20 s til at indsamle fyrre 5-ssequences med forskellige kamera konvergens afstande og baseline afstande til at fange scenen. Videoerne blev senere efterbehandlet, vist i 3D for det kliniske team, der vurderede, hvor realistisk 3D-videoen var langs en skala fra 0-5.
Konvergenspunktet for ind tåede stereokameraer er der, hvor midtpunkterne i begge billeder mødes. Konvergenspunktet kan efter princip placeres enten foran, inden for eller bag objektet, se figur 1A-C. Når konvergenspunktet er foran objektet, vil objektet blive fanget og vist til venstre for midterlinjen for billedet til venstre kamera og højre for midterlinjen for det højre kamerabillede (Figur 1A). Det modsatte gælder, når konvergenspunktet er bag objektet (figur 1B). Når konvergenspunktet er på objektet, vises objektet også i midterlinjen af kamerabillederne (Figur 1C), som formodentlig bør give den mest behagelige visning, da der ikke kræves nogen skele for at flette billederne. For at opnå komfortabel stereo 3D-video skal konvergenspunktet være placeret på eller lidt bagved genstanden for interesse, ellers er seeren forpligtet til frivilligt at knibe udad (exotropi).
Dataene blev indsamlet ved hjælp af en industriel robot med to arme til at placere kameraerne (Figur 2A-B). Robotten vejer 38 kg uden udstyr. Robotten er i sig selv sikker; når den registrerer en uventet påvirkning, holder den op med at bevæge sig. Robotten blev programmeret til at placere 5 Megapixel kameraer med C-mount linser langs en bueformet bane stopper ved forudbestemte baseline afstande (Figur 2C). Kameraerne var fastgjort til robottens hænder ved hjælp af adapterplader, som vist i figur 3. Hvert kamera optaget med 25 billeder i sekundet. Linser blev sat på f-stop 1 /8 med fokus fast på genstanden af interesse (tilnærmet geometriske centrum af hjertet). Hver billedramme havde et tidsstempel, som blev brugt til at synkronisere de to videostreams.
Forskydninger mellem robotarmleddet og kameraet blev kalibreret. Dette kan opnås ved at justere sigtekornet på kamerabillederne, som vist i figur 4. I denne opsætning var den samlede translationelle offset fra monteringspunktet på robotarmleddet og midten af kamerabilledsensoren 55,3 mm i X-retningen og 21,2 mm i Z-retningen, der vises i figur 5. Rotationsforskydningerne blev kalibreret med en konvergensafstand på 1100 mm og en baselineafstand på 50 mm og justeret manuelt med joysticket på robotens kontrolpanel. Robotten i denne undersøgelse havde en bestemt nøjagtighed på 0,02 mm i kartesisk rum og 0,01 graders rotationsopløsning24. Ved en radius på 1100 m udligner en vinkelforskel på 0,01 grader midtpunktet 0,2 mm. Under den fulde robotbevægelse fra 50-240 mm adskillelse var sigtekornet for hvert kamera inden for 2 mm fra det ideelle konvergenscentrum.
Den oprindelige afstand blev øget trinvist ved symmetrisk adskillelse af kameraerne omkring midten af synsfeltet i intervaller på 10 mm fra 50-240 mm (figur 2). Kameraerne blev holdt i stilstand i 5 s i hver position og flyttet mellem positionerne med en hastighed på 50 mm / s. Konvergenspunktet kunne justeres i X- og Z-retninger ved hjælp af en grafisk brugergrænseflade (figur 6). Robotten fulgte i overensstemmelse hermed inden for sit arbejdsområde.
Konvergenspunktets nøjagtighed blev anslået ved hjælp af de ensartede trekanter og variabelnavnene i figur 7A og B. Højden »z« blev beregnet ud fra konvergensafstanden »R« med den pythagoræiske sætning som
<img alt="Equation 1" src="/files/ftp_upload/62786/62786eq01.jpg">
Da det reelle konvergenspunkt var tættere end det ønskede punkt, som det fremgår af figur 7A, blev fejlafstanden »f1« beregnet som
<img alt="Equation 2" src="/files/ftp_upload/62786/62786eq02.jpg">
Da konvergenspunktet var distalt til det ønskede punkt, blev fejlafstanden »f2« beregnet som
<img alt="Equation 3" src="/files/ftp_upload/62786/62786eq03.jpg">
Her var 'e' den maksimale adskillelse mellem sigtekornet, højst 2 mm ved maksimal baseline separation under kalibrering (D = 240 mm). For R = 1100 mm (z = 1093 mm) var fejlen mindre end ± 9,2 mm. For R = 1400 mm (z = 1395 mm) var fejlen ± 11,7 mm. Det vil sige, at fejlen i placeringen af konvergenspunktet lå inden for 1 % af det ønskede. De to prøveafstande på 1100 mm og 1400 mm var derfor godt adskilt.

<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td>2 C-mount lenses (35 mm F2.1, 5 M pixel)</td>
			<td>Tamron</td>
			<td>M112FM35</td>
			<td>Rated for 5 Mpixel</td>
		</tr>
		<tr>
			<td>3D glasses (DLP-link active shutter)</td>
			<td>Celexon</td>
			<td>G1000</td>
			<td>Any compatible 3D glasses can be used</td>
		</tr>
		<tr>
			<td>3D Projector</td>
			<td>Viewsonic</td>
			<td>X10-4K</td>
			<td>Displays 3D in 1080, can be exchanged for other 3D projectors</td>
		</tr>
		<tr>
			<td>6 M2 x 8 screws</td>
			<td></td>
			<td></td>
			<td>To attach the cXimea cameras to the camera adaptor plates</td>
		</tr>
		<tr>
			<td>8 M2.5 x 8 screws</td>
			<td></td>
			<td></td>
			<td>To attach the circular mounting plates to the robot wrist</td>
		</tr>
		<tr>
			<td>8 M5 x 40 screws</td>
			<td></td>
			<td></td>
			<td>To mount the robot</td>
		</tr>
		<tr>
			<td>8 M6 x 10 screws with flat heads</td>
			<td></td>
			<td></td>
			<td>For attaching the circular mounting plate and the camera adaptor plates</td>
		</tr>
		<tr>
			<td>Calibration checker board plate (25 by 25 mm)</td>
			<td></td>
			<td></td>
			<td>Any standard checkerboard can be used, including printed, as long as the grid is clearly visible in the cameras</td>
		</tr>
		<tr>
			<td>Camera adaptor plates, x2</td>
			<td></td>
			<td></td>
			<td>Designed by the authors in robot_camera_adaptor_plates.dwg, milled in aluminium.</td>
		</tr>
		<tr>
			<td>Circular mounting plates, x2</td>
			<td></td>
			<td></td>
			<td>Distributed with the permission of the designer Julius Klein and printed with ABS plastic on an FDM 3D printer. License Tecnalia Research &#38; Innovation 2017. Attached as Mountingplate_ROBOT_SIDE_ 
			NewDesign_4.stl</td>
		</tr>
		<tr>
			<td>Fix focus usb cameras, x2 (5 Mpixel)</td>
			<td>Ximea</td>
			<td>MC050CG-SY-UB</td>
			<td>With Sony IMX250LQR sensor</td>
		</tr>
		<tr>
			<td>Flexpendant</td>
			<td>ABB</td>
			<td>3HAC028357-001</td>
			<td>robot touch display</td>
		</tr>
		<tr>
			<td>Liveview</td>
			<td></td>
			<td></td>
			<td>recording application</td>
		</tr>
		<tr>
			<td>RobotStudio</td>
			<td></td>
			<td></td>
			<td>&#160;robot integrated development environment (IDE)</td>
		</tr>
		<tr>
			<td>USB3 active cables (10.0 m), x2</td>
			<td></td>
			<td></td>
			<td>Thumbscrew lock connector, water proofed.</td>
		</tr>
		<tr>
			<td>YuMi dual-arm robot</td>
			<td>ABB</td>
			<td>IRB14000</td>
			<td></td>
		</tr>
	</tbody>
</table>

robotized testing of camera positions to determine ideal configuration for stereo 3d visualization of open-heart surgery

Stereo 3D-video fra kirurgiske procedurer kan være meget værdifuldt for medicinsk uddannelse og forbedre klinisk kommunikation. Men adgangen til operationsstuen og operationsområdet er begrænset. Det er et sterilt miljø, og det fysiske rum er overfyldt med kirurgisk personale og teknisk udstyr. I denne indstilling er uhindret fangst og realistisk reproduktion af de kirurgiske procedurer vanskelige. Dette papir præsenterer en metode til hurtig og pålidelig dataindsamling af stereoskopiske 3D-videoer på forskellige kamera baseline afstande og afstande af konvergens. For at indsamle testdata med minimal interferens under operationen, med høj præcision og repeterbarhed, blev kameraerne fastgjort til hver hånd af en dobbeltarmsrobot. Robotten var loftmonteret på operationsstuen. Det var programmeret til at udføre en tidet sekvens af synkroniserede kamerabevægelser, der trådte gennem en række testpositioner med baselineafstand mellem 50-240 mm ved trinvise trin på 10 mm og ved to konvergensafstande på 1100 mm og 1400 mm. Kirurgi blev sat på pause for at tillade 40 på hinanden følgende 5-s video prøver. I alt 10 kirurgiske scenarier blev registreret.

En acceptabel evalueringsvideo med det rigtige billede placeret øverst i top-bottom stereoskopisk 3D vises i Video1. En vellykket sekvens skal være skarp, fokuseret og uden ikke-synkroniserede billedrammer. Ikkesynkroniserede videostreams vil forårsage sløring, som vist i filen Video 2. Konvergenspunktet skal centreres vandret, uafhængigt af kameraadskillelsen, som det ses i figur 9A,B. Når robotten skifter mellem positionerne, er der ...

Watch this Scientific Journal Video about Robotized Testing of Camera Positions to Determine Ideal Configuration for Stereo 3D Visualization of Open-Heart Surgery at JoVE.com

Robotized Testing of Camera Positions to Determine Ideal Configuration for Stereo 3D Visualization of Open-Heart Surgery

Den menneskelige dybde opfattelse af 3D stereo videoer afhænger af kameraet adskillelse, punkt af konvergens, afstand til, og kendskab til objektet. Dette papir præsenterer en robotiseret metode til hurtig og pålidelig test dataindsamling under levende åbent hjerte kirurgi for at bestemme den ideelle kamera konfiguration.

Robotiseret test af kamerapositioner for at bestemme ideel konfiguration til stereo 3D-visualisering af åben hjertekirurgi

Stereo 3D video from surgical procedures can be highly valuable for medical education and improve clinical communication. But access to the operating room ...

Det gør det muligt at optage 3D-videoer af høj kvalitet til træning og uddannelse. Det kan anvendes på de fleste operationsstue indstillinger med åben kirurgi. Med en robotiseret tilgang kan vi hurtigt og præcist indsamle dataene for at evaluere kameraets positioner.Denne metode bruges til hurtigt at teste kamerakonfiguration til 3D-visioner applikationer. Det kan også bruges til at undersøge, hvordan forskellige emner opfatter dybde. For at begynde at montere kameraet til robotten skal du først montere objektivet til kameraet og derefter kameraet til adapterpladen med tre M2-skruer.Monter derefter den cirkulære monteringsplade på kameraadapterpladen med fire M4-skruer på den modsatte side af kameraet. Når alle kameraer er monteret på robotten, skal du observere spejlingen af de resulterende samlinger. Monter adapterpladen på robotarmleddet med fire M2.5 skruer.For en bordmonteret robot skal du fastgøre venstre kamera til højre robotarm. Tilslut USB-kablerne til kameraerne og Ubuntu-computeren. Tryk på menuknappen på robotberøringsskærmen, og vælg Stereo 2 for at starte robotapplikationen.Tryk på Gå for at starte i 1.100 millimeter i robotapplikationen på hovedskærmen, og vent på, at robotten flytter til startpositionen. Fjern beskyttelseslinsehætten fra kameraerne. Placer et trykt kalibreringsgitter på 1.100 millimeter fra kamerasensorerne.For korrekt at identificere de tilsvarende firkanter skal du placere en lille skruemøtrik eller markere et sted i gitterets ind. Start optagelsesprogrammet på Ubuntu-computeren for at starte grænsefladen. Og derefter justere blænden og fokusere på linsen med blænden og fokus ringe.I optagelsesapplikationen skal du kontrollere Trådkors for at visualisere sigtekornet. I optagelsesapplikationen skal du sikre dig, at sigtekornet flugter med kalibreringsgitteret i samme position i begge kamerabilleder. Når du har trykket på gearikonet i robotapplikationen, skal du placere kameraerne i forhold til patienten.Skift X-retningen ved at trykke på plus eller minus for Håndafstand fra robot og Z-retning ved at trykke på plus eller minus for Højde for at fange det kirurgiske felt på billederne. Skift Y-retningen ved manuelt at flytte robotten eller patienten. Når operationen er sat på pause og informeret OR-personalet om at starte eksperimentet, skal du trykke på Record i optagelsesprogrammet og derefter trykke på Kør eksperiment i robotapplikationen.Når eksperimentet er færdigt, vises Udført efter et stykke tid på berøringsskærmen. Tryk derefter på Stop optagelse i optagelsesprogrammet for at stoppe optagelsen. Informer OR-personalet om, at eksperimentet er afsluttet, og genoptag operationen.Vis videoen i øverste 3D-format med en aktiv 3D-projektor til evaluering. Den korrekte evalueringsvideo med et højre billede placeret øverst i top-bund stereoskopisk 3D vises. En vellykket sekvens skal være skarp, fokuseret og uden ikke-synkroniserede billedrammer.De ikke-synkroniserede videostreams skaber sløring. Konvergenspunktet skal centrere vandret, uafhængigt af kameraets adskillelse. Med en meget stor adskillelse mellem højre og venstre billeder kan hjernen ikke smelte billederne sammen til ét 3D-billede.Flere grunde kan forårsage svigt i midten positionering af hjertet, såsom afstanden fra konvergens punkt til hjertet. For korrekt konfiguration af kameraværktøjets koordinatsystem skal du sikre dig, at sigtekornet i optagelsesapplikationen peger på det samme objekt, kalibreringsobjektet er i midterposition og det korrekte debayeringsformat af farver. 3D-videoer med skiftende baseline afstande gør det muligt for os at studere, hvordan dybdeinformation påvirker anatomisk forståelse blandt medicinsk personale.

Research

JoVE Journal

Medicine

Rat Heterotopic Abdominal Heart/Single-lung Transplantation in a Volume-loaded Configuration

Rotte Heterotop Abdominal Heart / Single-lunge transplantation i en Volume-loaded konfiguration

Herein, we describe a novel technique for heterotopic abdominal heart-lung transplantation (HAHLT) in rats. The configuration of the transplant graft ...

A Pipeline for 3D Multimodality Image Integration and Computer-assisted Planning in Epilepsy Surgery

En rørledning til 3D Multimodalitet billede Integration og Computerstøttet planlægning i Epilepsi Surgery

Epilepsy surgery is challenging and the use of 3D multimodality image integration (3DMMI) to aid presurgical planning is well-established. Multimodality ...

A Quantitative Sensory Testing Paradigm to Obtain Measures of Pain Processing in Patients Undergoing Breast Cancer Surgery

En kvantitativ sensoriske test paradigme at få foranstaltninger af smerte behandling i patienter, der gennemgår bryst kræft kirurgi

Chronic pain following surgery, persistent postsurgical pain, is an important highly prevalent condition contributing to significant symptom burden and ...

A Clinical Trial Assessing the Safety, Efficacy, and Delivery of Olive-Oil-Based Three-Chamber Bags for Parenteral Nutrition

Et klinisk forsøg, der vurderer sikkerhed, virkning og levering af olivenolie baserede Trekammer poser til parenteral ernæring

Limited evidence exists to precisely estimate efficacy and safety differences between parenteral nutrition (PN) prepared using olive-oil-based ...

A Training and Testing System for Performing Vascular Reconstruction In Vitro

Et trænings-og test system til udførelse af vaskulær rekonstruktion in vitro

Manual vascular reconstruction training is essential for a beginner surgeon. However, an optimal training system for vascular reconstruction in vitro has ...

A Postoperative Evaluation Guideline for Computer-Assisted Reconstruction of the Mandible

En postoperativ evalueringsretningslinje for computerstøttet rekonstruktion af mandible

Valid comparisons of postoperative accuracy results in computer-assisted reconstruction of the mandible are difficult due to heterogeneity in imaging ...

3D Planning and Printing of Patient Specific Implants for Reconstruction of Bony Defects

3D planlægning og udskrivning af patientspecifikke implantater til rekonstruktion af knogledefekter

We are in the midst of the 3D era in most aspects of life, and especially in medicine. The surgical discipline is one of the major players in the medical ...

Implantation of Combined Telemetric ECG and Blood Pressure Transmitters to Determine Spontaneous Baroreflex Sensitivity in Conscious Mice

implantation af kombinerede telemetriske EKG- og blodtrykstransmittere til bestemmelse af spontan baroreflexfølsomhed hos bevidste mus

Blood pressure (BP) and heart rate (HR) are both controlled by the autonomic nervous system (ANS) and are closely intertwined due to reflex mechanisms. ...

Use of 3D Robotic Ultrasound for In Vivo Analysis of Mouse Kidneys

Use of 3D Robotic Ultrasound for In Vivo Analysis of Mouse Kidneys

Brug af 3D-robot ultralyd til In Vivo-analyse af musenyrer

Common modalities for in vivo imaging of rodents include positron emission tomography (PET), computed tomography (CT), magnetic resonance imaging (MRI), ...

Combining 3D-Printing and Electrospinning to Manufacture Biomimetic Heart Valve Leaflets

Kombination af 3D-udskrivning og elektrospinding til fremstilling af biomimetiske hjerteklapfoldere

Electrospinning has become a widely used technique in cardiovascular tissue engineering as it offers the possibility to create (micro-)fibrous scaffolds ...