Name: robotized testing of camera positions to determine ideal configuration for stereo 3d visualization of open-heart surgery
Uploaded: 2021-08-12T14:45:00
Description: Watch this Scientific Journal Video about Robotized Testing of Camera Positions to Determine Ideal Configuration for Stereo 3D Visualization of Open-Heart Surgery at JoVE.com

Forskningen ble utført med støtte fra Vinnova (2017-03728, 2018-05302 og 2018-03651), Heart-Lung Foundation (20180390), Family Kamprad Foundation (20190194) og Anna-Lisa og Sven Eric Lundgren Foundation (2017 og 2018).

Eksperimentene ble godkjent av den lokale etikkkomiteen i Lund i Sverige. Deltakelsen var frivillig, og pasientenes foresatte ga informert skriftlig samtykke.
1. Robotoppsett og konfigurasjon
MERK: Dette eksperimentet brukte en industriell robot med to armer og standard kontrollpanel med berøringsskjerm. Roboten styres med RobotWare 6.10.01 kontrollerprogramvare og robotintegrert utviklingsmiljø (IDE) RobotStudio 2019.525. Programvare utvikle...

<ol>
	<li>Held, R. T., Hui, T. T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+guide+to+stereoscopic+3D+displays+in+medicine.">A guide to stereoscopic 3D displays in medicine.</a> Academic Radiology. 18 (8), 1035-1048 (2011).</li><li>van Beurden, M. H. P. H., IJsselsteijn, W. A., Juola, J. F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Effectiveness+of+stereoscopic+displays+in+medicine:+A+review.">Effectiveness of stereoscopic displays in medicine: A review.</a> 3D Research. 3 (1), 1-13 (2012).</li><li>Luursema, J. M., Verwey, W. B., Kommers, P. A. M., Geelkerken, R. H., Vos, H. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Optimizing+conditions+for+computer-assisted+anatomical+learning.">Optimizing conditions for computer-assisted anatomical learning.</a> Interacting with Computers. 18 (5), 1123-1138 (2006).</li><li>Takano, M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Usefulness+and+capability+of+three-dimensional,+full+high-definition+movies+for+surgical+education.">Usefulness and capability of three-dimensional, full high-definition movies for surgical education.</a> Maxillofacial Plastic and Reconstructive Surgery. 39 (1), 10 (2017).</li><li>Triepels, C. P. R., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Does+three-dimensional+anatomy+improve+student+understanding.">Does three-dimensional anatomy improve student understanding.</a> Clinical Anatomy. 33 (1), 25-33 (2020).</li><li>Beermann, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Three-dimensional+visualisation+improves+understanding+of+surgical+liver+anatomy.">Three-dimensional visualisation improves understanding of surgical liver anatomy.</a> Medical Education. 44 (9), 936-940 (2010).</li><li>Battulga, B., Konishi, T., Tamura, Y., Moriguchi, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=The+Effectiveness+of+an+interactive+3-dimensional+computer+graphics+model+for+medical+education.">The Effectiveness of an interactive 3-dimensional computer graphics model for medical education.</a> Interactive Journal of Medical Research. 1 (2), (2012).</li><li>Yammine, K., Violato, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+meta-analysis+of+the+educational+effectiveness+of+three-dimensional+visualization+technologies+in+teaching+anatomy.">A meta-analysis of the educational effectiveness of three-dimensional visualization technologies in teaching anatomy.</a> Anatomical Sciences Education. 8 (6), 525-538 (2015).</li><li>Fitzgerald, J. E. F., White, M. J., Tang, S. W., Maxwell-Armstrong, C. A., James, D. K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Are+we+teaching+sufficient+anatomy+at+medical+school?+The+opinions+of+newly+qualified+doctors.">Are we teaching sufficient anatomy at medical school? The opinions of newly qualified doctors.</a> Clinical Anatomy. 21 (7), 718-724 (2008).</li><li>Bergman, E. M., Van Der Vleuten, C. P. M., Scherpbier, A. J. J. A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Why+don't+they+know+enough+about+anatomy?+A+narrative+review.">Why don't they know enough about anatomy? A narrative review.</a> Medical Teacher. 33 (5), 403-409 (2011).</li><li>Terzi&#263;, K., Hansard, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Methods+for+reducing+visual+discomfort+in+stereoscopic+3D:+A+review.">Methods for reducing visual discomfort in stereoscopic 3D: A review.</a> Signal Processing: Image Communication. 47, 402-416 (2016).</li><li>Fan, Z., Weng, Y., Chen, G., Liao, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=3D+interactive+surgical+visualization+system+using+mobile+spatial+information+acquisition+and+autostereoscopic+display.">3D interactive surgical visualization system using mobile spatial information acquisition and autostereoscopic display.</a> Journal of Biomedical Informatics. 71, 154-164 (2017).</li><li>Fan, Z., Zhang, S., Weng, Y., Chen, G., Liao, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=3D+quantitative+evaluation+system+for+autostereoscopic+display.">3D quantitative evaluation system for autostereoscopic display.</a> Journal of Display Technology. 12 (10), 1185-1196 (2016).</li><li>McIntire, J. P., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Binocular+fusion+ranges+and+stereoacuity+predict+positional+and+rotational+spatial+task+performance+on+a+stereoscopic+3D+display.">Binocular fusion ranges and stereoacuity predict positional and rotational spatial task performance on a stereoscopic 3D display.</a> Journal of Display Technology. 11 (11), 959-966 (2015).</li><li>Kalia, M., Navab, N., Fels, S. S., Salcudean, T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+method+to+introduce+&amp;+evaluate+motion+parallax+with+stereo+for+medical+AR/MR.">A method to introduce &amp; evaluate motion parallax with stereo for medical AR/MR.</a> IEEE Conference on Virtual Reality and 3D User Interfaces. , 1755-1759 (2019).</li><li>Kyt&#246;, M., Hakala, J., Oittinen, P., H&#228;kkinen, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Effect+of+camera+separation+on+the+viewing+experience+of+stereoscopic+photographs.">Effect of camera separation on the viewing experience of stereoscopic photographs.</a> Journal of Electronic Imaging. 21 (1), 1-9 (2012).</li><li>Moorthy, A. K., Su, C. C., Mittal, A., Bovik, A. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Subjective+evaluation+of+stereoscopic+image+quality.">Subjective evaluation of stereoscopic image quality.</a> Signal Processing: Image Communication. 28 (8), 870-883 (2013).</li><li>Yilmaz, G. N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+depth+perception+evaluation+metric+for+immersive+3D+video+services.">A depth perception evaluation metric for immersive 3D video services.</a> 3DTV Conference: The True Vision - Capture, Transmission and Display of 3D Video. , 1-4 (2017).</li><li>Lebreton, P., Raake, A., Barkowsky, M., Le Callet, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Evaluating+depth+perception+of+3D+stereoscopic+videos.">Evaluating depth perception of 3D stereoscopic videos.</a> IEEE Journal on Selected Topics in Signal Processing. 6, 710-720 (2012).</li><li>L&#243;pez, J. P., Rodrigo, J. A., Jim&#233;nez, D., Men&#233;ndez, J. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Stereoscopic+3D+video+quality+assessment+based+on+depth+maps+and+video+motion.">Stereoscopic 3D video quality assessment based on depth maps and video motion.</a> EURASIP Journal on Image and Video Processing. 2013 (1), 62 (2013).</li><li>Banks, M. S., Read, J. C., Allison, R. S., Watt, S. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Stereoscopy+and+the+human+visual+system.">Stereoscopy and the human visual system.</a> SMPTE Motion Imaging Journal. 121 (4), 24-43 (2012).</li><li>Kyt&#246;, M., Nuutinen, M., Oittinen, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Method+for+measuring+stereo+camera+depth+accuracy+based+on+stereoscopic+vision.">Method for measuring stereo camera depth accuracy based on stereoscopic vision.</a> Three-Dimensional Imaging, Interaction, and Measurement. 7864, 168-176 (2011).</li><li>Kang, Y. S., Ho, Y. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Geometrical+compensation+algorithm+of+multiview+image+for+arc+multi-camera+arrays.">Geometrical compensation algorithm of multiview image for arc multi-camera arrays.</a> Advances in Multimedia Information Processing. 2008, 543-552 (2008).</li><li>Product Specification IRB 14000. DocumentID: 3HAC052982-001 Revision J. ABB Robotics Available from: <a target="_blank" href="https://library.abb.com/en/results">https://library.abb.com/en/results</a> (2018)</li><li>Operating Manual IRB 14000. Document ID: 3HAC052986-001 Revision F. ABB Robotics Available from: <a target="_blank" href="https://library.abb.com/en/results">https://library.abb.com/en/results</a> (2019)</li><li>. Github repository Available from: <a target="_blank" href="https://github.com/majstenmark/stereo2">https://github.com/majstenmark/stereo2</a> (2021)</li><li>Operating manual RobotStudio. Document ID: 3HAC032104-001 Revision Y. ABB Robotics Available from: <a target="_blank" href="https://library.abb.com/en/results">https://library.abb.com/en/results</a> (2019)</li><li>Won, C. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Adaptive+interpolation+for+3D+stereoscopic+video+in+frame-compatible+top-bottom+packing.">Adaptive interpolation for 3D stereoscopic video in frame-compatible top-bottom packing.</a> IEEE International Conference on Consumer Electronics. 2011, 179-180 (2011).</li><li>Kim, S. K., Lee, C., Kim, K. T., Javidi, B., Okano, F., Son, J. Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Multi-view+image+acquisition+and+display.">Multi-view image acquisition and display.</a> Three-Dimensional Imaging, Visualization, and Display. , 227-249 (2009).</li><li>Liu, F., Niu, Y., Jin, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Keystone+correction+for+stereoscopic+cinematography.">Keystone correction for stereoscopic cinematography.</a> IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops. 2012, 1-7 (2012).</li><li>Kang, W., Lee, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Horizontal+parallax+distortion+correction+method+in+toed-in+camera+with+wide-angle+lens.">Horizontal parallax distortion correction method in toed-in camera with wide-angle lens.</a> 3DTV Conference: The True Vision - Capture, Transmission and Display of 3D Video. 2009, 1-4 (2009).</li></ol>

Under live kirurgi var den totale tiden for eksperimentet som ble brukt til innsamling av 3D-videodata begrenset til å være trygg for pasienten. Hvis objektet er ufokusert eller overeksponert, kan ikke dataene brukes. De kritiske trinnene er under kalibrering og oppsett av kameraverktøyet (trinn 2). Kameraets blenderåpning og fokus kan ikke endres når operasjonen har startet; de samme lysforholdene og avstanden bør brukes under oppsett og kirurgi. Kamerakalibreringen i trinn 2.1-2.4 må utføres nøye for å sikre ...

I kirurgi kan 3D-visualisering brukes til utdanning, diagnoser, preoperativ planlegging og postoperativ evaluering1,2. Realistisk dybdeoppfatning kan forbedre forståelsen av 3,4,5,6 av normale og unormale anatomier. Enkle 2D-videoopptak av kirurgiske prosedyrer er en god start. Mangelen på dybdeoppfatning kan imidlertid gjøre det vanskelig for de ikke-kirurgiske kollegene å forstå antero-posterior-relasjonene mellom ulike anatomiske strukturer og derfor også introdusere en risiko for feiltolkning av anatomien7,8,9,10.
3D-visningsopplevelsen påvirkes av fem faktorer: (1) Kamerakonfigurasjonen kan enten være parallell eller toed-in som vist i figur 1, (2) Grunnlinjeavstand (avstanden mellom kameraene). (3) Avstand til gjenstanden av interesse og andre sceneegenskaper som bakgrunnen. (4) Kjennetegn på visningsenheter som skjermstørrelse og visningsposisjon1,11,12,13. (5) Individuelle preferanser for seerne14,15.
Utforming av et 3D-kameraoppsett begynner med opptak av testvideoer som er tatt opp på forskjellige kameraavstander og konfigurasjoner som skal brukes til subjektiv eller automatisk evaluering16,17,18,19,20. Kameraavstanden må være konstant til operasjonsfeltet for å ta skarpe bilder. Fast fokus foretrekkes fordi autofokus vil justere seg for å fokusere på hender, instrumenter eller hoder som kan komme til syne. Dette er imidlertid ikke lett oppnåelig når scenen av interesse er det kirurgiske feltet. Operasjonsrom er avgrensede tilgangsområder fordi disse fasilitetene må holdes rene og sterile. Teknisk utstyr, kirurger og skrubbesykepleiere er ofte gruppert tett rundt pasienten for å sikre en god visuell oversikt og en effektiv arbeidsflyt. Hvis du vil sammenligne og evaluere effekten av kameraposisjoner på 3D-visningsopplevelsen, bør ett komplett testområde av kameraposisjoner registrere samme scene fordi objektegenskapene, for eksempel form, størrelse og farge, kan påvirke 3D-visningsopplevelsen21.
Av samme grunn bør komplette testområder av kameraposisjoner gjentas på forskjellige kirurgiske prosedyrer. Hele sekvensen av posisjoner må gjentas med høy nøyaktighet. I en kirurgisk innstilling er ikke eksisterende metoder som krever manuell justering av grunnlinjeavstanden22 eller forskjellige kamerapar med faste grunnlinjeavstander23, mulig på grunn av både plass- og tidsbegrensninger. For å løse denne utfordringen ble denne robotiserte løsningen designet.
Dataene ble samlet inn med en industriell robot med to armer montert i taket i operasjonsrommet. Kameraer ble festet til robotens håndledd og beveget seg langs en bueformet bane med økende grunnlinjeavstand, som vist i figur 2.
For å demonstrere tilnærmingen ble det registrert 10 testserier fra 4 forskjellige pasienter med 4 forskjellige medfødte hjertefeil. Scener ble valgt da en pause i operasjonen var mulig: med de bankende hjertene like før og etter kirurgisk reparasjon. Det ble også laget serier da hjertene ble arrestert. Operasjonene ble satt på pause i 3 minutter og 20 s for å samle 40 5-ssequences med forskjellige kamerakonvergensavstander og grunnlinjeavstander for å fange scenen. Videoene ble senere etterbehandlet, vist i 3D for det kliniske teamet, som vurderte hvor realistisk 3D-videoen var langs en skala fra 0-5.
Konvergenspunktet for innredede stereokameraer er der midtpunktene i begge bildene møtes. Konvergenspunktet kan etter prinsipp plasseres enten foran, innenfor eller bak objektet, se figur 1A-C. Når konvergenspunktet er foran objektet, vil objektet bli tatt opp og vist til venstre for midtlinjen for venstre kamerabilde og høyre for midtlinjen for høyre kamerabilde (figur 1A). Det motsatte gjelder når konvergenspunktet er bak objektet (figur 1B). Når konvergenspunktet er på objektet, vil objektet også vises midt på kamerabildene (figur 1C), som antagelig skal gi den mest komfortable visningen siden det ikke kreves mysing for å slå sammen bildene. For å oppnå komfortabel stereo 3D-video må konvergenspunktet være plassert på, eller litt bak, gjenstanden for interesse, ellers er betrakteren pålagt å frivillig myse utover (eksotropi).
Dataene ble samlet inn ved hjelp av en industriell robot med to armer for å plassere kameraene (figur 2A-B). Roboten veier 38 kg uten utstyr. Roboten er iboende trygg; Når den oppdager en uventet innvirkning, slutter den å bevege seg. Roboten ble programmert til å plassere kameraene på 5 megapiksler med C-objektiver langs en bueformet bane som stoppet ved forhåndsbestemte grunnlinjeavstander (figur 2C). Kameraene var festet til robothendene ved hjelp av adapterplater, som vist i figur 3. Hvert kamera tatt med 25 bilder per sekund. Linser ble satt til f-stop 1/8 med fokus festet på gjenstanden av interesse (omtrentlig geometrisk senter av hjertet). Hvert bilderamme hadde et tidsstempel som ble brukt til å synkronisere de to videostrømmene.
Forskyvninger mellom robotarmbåndet og kameraet ble kalibrert. Dette kan oppnås ved å justere trådkorset på kamerabildene, som vist i figur 4. I dette oppsettet var den totale translasjonsforskyvningen fra monteringspunktet på robotarmbåndet og midten av kamerabildesensoren 55,3 mm i X-retning og 21,2 mm i Z-retningen, vist i figur 5. Rotasjonsforskyvningene ble kalibrert med en konvergensavstand på 1100 mm og en grunnlinjeavstand på 50 mm og justert manuelt med styrespaken på robotens kontrollpanel. Roboten i denne studien hadde en spesifisert nøyaktighet på 0,02 mm i kartesisk rom og 0,01 grader rotasjonsoppløsning24. Ved en radius på 1100 m forskyver en vinkelforskjell på 0,01 grader midtpunktet 0,2 mm. Under hele robotbevegelsen fra 50-240 mm separasjon var trådkorset for hvert kamera innen 2 mm fra det ideelle konvergenssenteret.
Grunnlinjeavstanden ble økt trinnvis ved symmetrisk separasjon av kameraene rundt midten av synsfeltet i trinn på 10 mm fra 50-240 mm (figur 2). Kameraene ble holdt i stillstand i 5 s i hver posisjon og beveget seg mellom posisjonene med en hastighet på 50 mm / s. Konvergenspunktet kan justeres i X- og Z-retning ved hjelp av et grafisk brukergrensesnitt (figur 6). Roboten fulgte deretter innenfor sitt arbeidsområde.
Nøyaktigheten av konvergenspunktet ble estimert ved hjelp av de ensartede trekantene og variabelnavnene i figur 7A og B. Høyden 'z' ble beregnet fra konvergensavstanden 'R' med det pytagoreiskeoremet som
<img alt="Equation 1" src="/files/ftp_upload/62786/62786eq01.jpg">
Når det virkelige konvergenspunktet var nærmere enn ønsket punkt, som vist i figur 7A, ble feilavstanden 'f1' beregnet som
<img alt="Equation 2" src="/files/ftp_upload/62786/62786eq02.jpg">
På samme måte, når konvergenspunktet var distalt til ønsket punkt, ble feilavstanden 'f2' beregnet som
<img alt="Equation 3" src="/files/ftp_upload/62786/62786eq03.jpg">
Her var 'e' den maksimale separasjonen mellom trådkorsene, maksimalt 2 mm ved maksimal grunnlinjeseparasjon under kalibrering (D = 240 mm). For R = 1100 mm (z = 1093 mm) var feilen mindre enn ± 9,2 mm. For R = 1400 mm (z = 1395 mm) ble feilen ± 11,7 mm. Det vil det være feilen i plasseringen av konvergenspunktet var innenfor 1% av ønsket. De to testavstandene på 1100 mm og 1400 mm ble derfor godt separert.

<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td>2 C-mount lenses (35 mm F2.1, 5 M pixel)</td>
			<td>Tamron</td>
			<td>M112FM35</td>
			<td>Rated for 5 Mpixel</td>
		</tr>
		<tr>
			<td>3D glasses (DLP-link active shutter)</td>
			<td>Celexon</td>
			<td>G1000</td>
			<td>Any compatible 3D glasses can be used</td>
		</tr>
		<tr>
			<td>3D Projector</td>
			<td>Viewsonic</td>
			<td>X10-4K</td>
			<td>Displays 3D in 1080, can be exchanged for other 3D projectors</td>
		</tr>
		<tr>
			<td>6 M2 x 8 screws</td>
			<td></td>
			<td></td>
			<td>To attach the cXimea cameras to the camera adaptor plates</td>
		</tr>
		<tr>
			<td>8 M2.5 x 8 screws</td>
			<td></td>
			<td></td>
			<td>To attach the circular mounting plates to the robot wrist</td>
		</tr>
		<tr>
			<td>8 M5 x 40 screws</td>
			<td></td>
			<td></td>
			<td>To mount the robot</td>
		</tr>
		<tr>
			<td>8 M6 x 10 screws with flat heads</td>
			<td></td>
			<td></td>
			<td>For attaching the circular mounting plate and the camera adaptor plates</td>
		</tr>
		<tr>
			<td>Calibration checker board plate (25 by 25 mm)</td>
			<td></td>
			<td></td>
			<td>Any standard checkerboard can be used, including printed, as long as the grid is clearly visible in the cameras</td>
		</tr>
		<tr>
			<td>Camera adaptor plates, x2</td>
			<td></td>
			<td></td>
			<td>Designed by the authors in robot_camera_adaptor_plates.dwg, milled in aluminium.</td>
		</tr>
		<tr>
			<td>Circular mounting plates, x2</td>
			<td></td>
			<td></td>
			<td>Distributed with the permission of the designer Julius Klein and printed with ABS plastic on an FDM 3D printer. License Tecnalia Research &#38; Innovation 2017. Attached as Mountingplate_ROBOT_SIDE_ 
			NewDesign_4.stl</td>
		</tr>
		<tr>
			<td>Fix focus usb cameras, x2 (5 Mpixel)</td>
			<td>Ximea</td>
			<td>MC050CG-SY-UB</td>
			<td>With Sony IMX250LQR sensor</td>
		</tr>
		<tr>
			<td>Flexpendant</td>
			<td>ABB</td>
			<td>3HAC028357-001</td>
			<td>robot touch display</td>
		</tr>
		<tr>
			<td>Liveview</td>
			<td></td>
			<td></td>
			<td>recording application</td>
		</tr>
		<tr>
			<td>RobotStudio</td>
			<td></td>
			<td></td>
			<td>&#160;robot integrated development environment (IDE)</td>
		</tr>
		<tr>
			<td>USB3 active cables (10.0 m), x2</td>
			<td></td>
			<td></td>
			<td>Thumbscrew lock connector, water proofed.</td>
		</tr>
		<tr>
			<td>YuMi dual-arm robot</td>
			<td>ABB</td>
			<td>IRB14000</td>
			<td></td>
		</tr>
	</tbody>
</table>

robotized testing of camera positions to determine ideal configuration for stereo 3d visualization of open-heart surgery

Stereo 3D-video fra kirurgiske prosedyrer kan være svært verdifull for medisinsk utdanning og forbedre klinisk kommunikasjon. Men tilgangen til operasjonsstuen og operasjonsfeltet er begrenset. Det er et sterilt miljø, og det fysiske rommet er overfylt med kirurgisk personale og teknisk utstyr. I denne innstillingen er uhindret fangst og realistisk reproduksjon av kirurgiske prosedyrer vanskelig. Dette papiret presenterer en metode for rask og pålitelig datainnsamling av stereoskopiske 3D-videoer ved forskjellige kameraavstander og konvergensavstander. For å samle inn testdata med minimal interferens under operasjonen, med høy presisjon og repeterbarhet, ble kameraene festet til hver hånd på en robot med to armer. Roboten var takmontert i operasjonssalen. Den ble programmert til å utføre en tidsberegnet sekvens av synkroniserte kamerabevegelser som gikk gjennom en rekke testposisjoner med grunnlinjeavstand mellom 50-240 mm ved trinnvise trinn på 10 mm, og ved to konvergensavstander på 1100 mm og 1400 mm. Kirurgi ble satt på pause for å tillate 40 påfølgende 5-s videoprøver. Totalt ble det registrert 10 kirurgiske scenarier.

En akseptabel evalueringsvideo med riktig bilde plassert øverst i topp-bunn stereoskopisk 3D vises i Video1. En vellykket sekvens bør være skarp, fokusert og uten usynkroniserte bilderammer. Usynkroniserte videostrømmer vil føre til uskarphet, som vist i filen Video 2. Konvergenspunktet skal være sentrert horisontalt, uavhengig av kameraseparasjonen, som vist i figur 9A,B. Når roboten går over mellom posisjonene, er det en liten rist...

Watch this Scientific Journal Video about Robotized Testing of Camera Positions to Determine Ideal Configuration for Stereo 3D Visualization of Open-Heart Surgery at JoVE.com

Robotized Testing of Camera Positions to Determine Ideal Configuration for Stereo 3D Visualization of Open-Heart Surgery

Den menneskelige dybdeoppfatningen av 3D-stereovideoer avhenger av kameraseparasjonen, konvergenspunktet, avstanden til og kjennskapen til objektet. Dette papiret presenterer en robotisert metode for rask og pålitelig innsamling av testdata under live åpen hjertekirurgi for å bestemme den ideelle kamerakonfigurasjonen.

Robotisert testing av kameraposisjoner for å bestemme ideell konfigurasjon for stereo 3D-visualisering av åpen hjertekirurgi

Stereo 3D video from surgical procedures can be highly valuable for medical education and improve clinical communication. But access to the operating room ...

Det gjør det mulig å fange 3D-videoer av høy kvalitet for opplæring og utdanning. Den kan brukes på de fleste operasjonsrominnstillinger med åpen kirurgi. Med en robotisert tilnærming kan vi raskt og nøyaktig samle inn dataene for å evaluere kameraposisjonene.Denne metoden brukes til raskt å teste kamerakonfigurasjon for 3D-synsprogrammer. Det kan også brukes til å undersøke hvordan ulike oppfatter dybde. For å begynne å montere kameraet på roboten, må du først montere objektivet på kameraet og deretter kameraet til adapterplaten med tre M2-skruer.Monter deretter den sirkulære monteringsplaten på kameraets adapterplate med fire M4-skruer på motsatt side av kameraet. Når alle kameraene er montert på roboten, må du observere speilingen av de resulterende samlingene. Monter adapterplaten på robotarmbåndet med fire M2.5-skruer.For en bordmontert robot, fest venstre kamera til høyre robotarm. Koble USB-kablene til kameraene og Ubuntu-datamaskinen. Trykk på Meny-knappen på robotberøringsskjermen, og velg Stereo 2 for å starte robotprogrammet.På hovedskjermen trykker du på Gå for å starte i 100 millimeter i robotapplikasjonen, og vent til roboten går til startposisjonen. Fjern beskyttelseslinsehetten fra kameraene. Plasser et trykt kalibreringsrutenett på 100 millimeter fra kamerasensorene.For å identifisere de tilsvarende rutene riktig, plasser en liten skruemutter eller merk et sted i rutenettet. Start innspillingsprogrammet på Ubuntu-datamaskinen for å starte grensesnittet. Og juster deretter blenderåpningen og fokuser på linsen med blenderåpningen og fokusringene.I opptaksprogrammet, sjekk Trådkorset for å visualisere trådkorset. I opptaksprogrammet må du kontrollere at trådkorset er på linje med kalibreringsrutenettet i samme posisjon i begge kamerabildene. Når du har trykket på tannhjulikonet i robotapplikasjonen, plasserer du kameraene i forhold til pasienten.Endre X-retningen ved å trykke på pluss- eller minusverdien for håndavstand fra roboten, og Z-retningen ved å trykke på pluss- eller minusverdien for Høyde for å fange opp det kirurgiske feltet på bildene. Endre Y-retningen ved å flytte roboten eller pasienten manuelt. Etter å ha stanset operasjonen midlertidig og informert OR-personellet om å starte eksperimentet, trykker du record i opptaksprogrammet, og deretter trykker du Kjør eksperiment i robotprogrammet.Etter en stund, når eksperimentet er ferdig, vises Ferdig på berøringsskjermen. Trykk deretter på Stopp opptak i innspillingsprogrammet for å stoppe innspillingen. Informer OR-personellet om at eksperimentet er ferdig og gjenoppta operasjonen.For evaluering, vis videoen i topp-bunn 3D-format med en aktiv 3D-projektor. Den riktige evalueringsvideoen med et høyre bilde plassert øverst i topp-bunn stereoskopisk 3D vises. En vellykket sekvens bør være skarp, fokusert og uten usynkroniserte bilderammer.De usynkroniserte videostrømmene skaper uskarphet. Konvergenspunktet skal være sentrert horisontalt, uavhengig av kameraseparasjonen. Med en veldig stor separasjon mellom høyre og venstre bilde, kan hjernen ikke smelte bildene til ett 3D-bilde.Flere grunner kan forårsake svikt i hjertets senterposisjonering, for eksempel avstanden fra konvergenspunktet til hjertet. For riktig konfigurasjon av kameraverktøyets koordinatsystem, sørg for at trådkorset i opptaksprogrammet peker på samme objekt, kalibreringsobjektet er i midtposisjon og riktig debayeringsformat for farger. 3D-videoer med endrede basisavstander gjør det mulig for oss å studere hvordan dybdeinformasjon påvirker anatomisk forståelse blant medisinsk personell.

Research

JoVE Journal

Medicine

Rat Heterotopic Abdominal Heart/Single-lung Transplantation in a Volume-loaded Configuration

Rat Heterotop Abdominal Hjerte / Single-lungetransplantasjon i en volumbelastet Configuration

Herein, we describe a novel technique for heterotopic abdominal heart-lung transplantation (HAHLT) in rats. The configuration of the transplant graft ...

A Pipeline for 3D Multimodality Image Integration and Computer-assisted Planning in Epilepsy Surgery

En rørledning for 3D Multimodalitet Bilde Integrerings- og Datamaskinassistert planlegging i Epilepsi Surgery

Epilepsy surgery is challenging and the use of 3D multimodality image integration (3DMMI) to aid presurgical planning is well-established. Multimodality ...

A Quantitative Sensory Testing Paradigm to Obtain Measures of Pain Processing in Patients Undergoing Breast Cancer Surgery

En kvantitativ sensorisk Testing paradigme å få tiltak av smerte behandling i pasienter som gjennomgår brystkreft kirurgi

Chronic pain following surgery, persistent postsurgical pain, is an important highly prevalent condition contributing to significant symptom burden and ...

A Clinical Trial Assessing the Safety, Efficacy, and Delivery of Olive-Oil-Based Three-Chamber Bags for Parenteral Nutrition

En klinisk studie vurdere sikkerhet, effekt, og levering av olivenolje-baserte tre-kammer poser for parenteral ernæring

Limited evidence exists to precisely estimate efficacy and safety differences between parenteral nutrition (PN) prepared using olive-oil-based ...

A Training and Testing System for Performing Vascular Reconstruction In Vitro

En opplæring og testing system for Performing vaskulær rekonstruksjon in vitro

Manual vascular reconstruction training is essential for a beginner surgeon. However, an optimal training system for vascular reconstruction in vitro has ...

A Postoperative Evaluation Guideline for Computer-Assisted Reconstruction of the Mandible

En postoperativ evalueringsveiledning for dataassistert rekonstruksjon av mandible

Valid comparisons of postoperative accuracy results in computer-assisted reconstruction of the mandible are difficult due to heterogeneity in imaging ...

3D Planning and Printing of Patient Specific Implants for Reconstruction of Bony Defects

3D Planlegging og utskrift av pasientspesifikke implantater for rekonstruksjon av bendefekter

We are in the midst of the 3D era in most aspects of life, and especially in medicine. The surgical discipline is one of the major players in the medical ...

Implantation of Combined Telemetric ECG and Blood Pressure Transmitters to Determine Spontaneous Baroreflex Sensitivity in Conscious Mice

Implantasjon av kombinerte telemetriske EKG og blodtrykkssendere for å bestemme spontan Baroreflex-følsomhet hos bevisste mus

Blood pressure (BP) and heart rate (HR) are both controlled by the autonomic nervous system (ANS) and are closely intertwined due to reflex mechanisms. ...

Use of 3D Robotic Ultrasound for In Vivo Analysis of Mouse Kidneys

Use of 3D Robotic Ultrasound for In Vivo Analysis of Mouse Kidneys

Bruk av 3D robot ultralyd for in vivo analyse av mus nyrer

Common modalities for in vivo imaging of rodents include positron emission tomography (PET), computed tomography (CT), magnetic resonance imaging (MRI), ...

Combining 3D-Printing and Electrospinning to Manufacture Biomimetic Heart Valve Leaflets

Kombinere 3D-printing og elektrospinning for å produsere biomimetiske hjerteklaffbrosjyrer

Electrospinning has become a widely used technique in cardiovascular tissue engineering as it offers the possibility to create (micro-)fibrous scaffolds ...