Name: robotized testing of camera positions to determine ideal configuration for stereo 3d visualization of open-heart surgery
Uploaded: 2021-08-12T14:45:00
Description: Watch this Scientific Journal Video about Robotized Testing of Camera Positions to Determine Ideal Configuration for Stereo 3D Visualization of Open-Heart Surgery at JoVE.com

המחקר נערך במימון Vinnova (2017-03728, 2018-05302 ו-2018-03651), קרן לב-ריאה (20180390), קרן קמפרד המשפחתית (20190194) וקרן אנה-ליסה וסוון אריק לונדגרן (2017 ו-2018).

הניסויים אושרו על ידי ועדת האתיקה המקומית בלונד, שבדיה. ההשתתפות הייתה בהתנדבות, והאפוטרופוסים החוקיים של המטופלים סיפקו הסכמה בכתב מדעת.
1. התקנה ותצורה של רובוט
הערה: ניסוי זה השתמש ברובוט תעשייתי דו-זרועי שיתופי ולוח הבקרה הסטנדרטי עם צג מגע. הרובוט נשלט באמ...

<ol>
	<li>Held, R. T., Hui, T. T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+guide+to+stereoscopic+3D+displays+in+medicine.">A guide to stereoscopic 3D displays in medicine.</a> Academic Radiology. 18 (8), 1035-1048 (2011).</li><li>van Beurden, M. H. P. H., IJsselsteijn, W. A., Juola, J. F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Effectiveness+of+stereoscopic+displays+in+medicine:+A+review.">Effectiveness of stereoscopic displays in medicine: A review.</a> 3D Research. 3 (1), 1-13 (2012).</li><li>Luursema, J. M., Verwey, W. B., Kommers, P. A. M., Geelkerken, R. H., Vos, H. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Optimizing+conditions+for+computer-assisted+anatomical+learning.">Optimizing conditions for computer-assisted anatomical learning.</a> Interacting with Computers. 18 (5), 1123-1138 (2006).</li><li>Takano, M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Usefulness+and+capability+of+three-dimensional,+full+high-definition+movies+for+surgical+education.">Usefulness and capability of three-dimensional, full high-definition movies for surgical education.</a> Maxillofacial Plastic and Reconstructive Surgery. 39 (1), 10 (2017).</li><li>Triepels, C. P. R., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Does+three-dimensional+anatomy+improve+student+understanding.">Does three-dimensional anatomy improve student understanding.</a> Clinical Anatomy. 33 (1), 25-33 (2020).</li><li>Beermann, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Three-dimensional+visualisation+improves+understanding+of+surgical+liver+anatomy.">Three-dimensional visualisation improves understanding of surgical liver anatomy.</a> Medical Education. 44 (9), 936-940 (2010).</li><li>Battulga, B., Konishi, T., Tamura, Y., Moriguchi, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=The+Effectiveness+of+an+interactive+3-dimensional+computer+graphics+model+for+medical+education.">The Effectiveness of an interactive 3-dimensional computer graphics model for medical education.</a> Interactive Journal of Medical Research. 1 (2), (2012).</li><li>Yammine, K., Violato, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+meta-analysis+of+the+educational+effectiveness+of+three-dimensional+visualization+technologies+in+teaching+anatomy.">A meta-analysis of the educational effectiveness of three-dimensional visualization technologies in teaching anatomy.</a> Anatomical Sciences Education. 8 (6), 525-538 (2015).</li><li>Fitzgerald, J. E. F., White, M. J., Tang, S. W., Maxwell-Armstrong, C. A., James, D. K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Are+we+teaching+sufficient+anatomy+at+medical+school?+The+opinions+of+newly+qualified+doctors.">Are we teaching sufficient anatomy at medical school? The opinions of newly qualified doctors.</a> Clinical Anatomy. 21 (7), 718-724 (2008).</li><li>Bergman, E. M., Van Der Vleuten, C. P. M., Scherpbier, A. J. J. A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Why+don't+they+know+enough+about+anatomy?+A+narrative+review.">Why don't they know enough about anatomy? A narrative review.</a> Medical Teacher. 33 (5), 403-409 (2011).</li><li>Terzi&#263;, K., Hansard, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Methods+for+reducing+visual+discomfort+in+stereoscopic+3D:+A+review.">Methods for reducing visual discomfort in stereoscopic 3D: A review.</a> Signal Processing: Image Communication. 47, 402-416 (2016).</li><li>Fan, Z., Weng, Y., Chen, G., Liao, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=3D+interactive+surgical+visualization+system+using+mobile+spatial+information+acquisition+and+autostereoscopic+display.">3D interactive surgical visualization system using mobile spatial information acquisition and autostereoscopic display.</a> Journal of Biomedical Informatics. 71, 154-164 (2017).</li><li>Fan, Z., Zhang, S., Weng, Y., Chen, G., Liao, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=3D+quantitative+evaluation+system+for+autostereoscopic+display.">3D quantitative evaluation system for autostereoscopic display.</a> Journal of Display Technology. 12 (10), 1185-1196 (2016).</li><li>McIntire, J. P., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Binocular+fusion+ranges+and+stereoacuity+predict+positional+and+rotational+spatial+task+performance+on+a+stereoscopic+3D+display.">Binocular fusion ranges and stereoacuity predict positional and rotational spatial task performance on a stereoscopic 3D display.</a> Journal of Display Technology. 11 (11), 959-966 (2015).</li><li>Kalia, M., Navab, N., Fels, S. S., Salcudean, T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+method+to+introduce+&amp;+evaluate+motion+parallax+with+stereo+for+medical+AR/MR.">A method to introduce &amp; evaluate motion parallax with stereo for medical AR/MR.</a> IEEE Conference on Virtual Reality and 3D User Interfaces. , 1755-1759 (2019).</li><li>Kyt&#246;, M., Hakala, J., Oittinen, P., H&#228;kkinen, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Effect+of+camera+separation+on+the+viewing+experience+of+stereoscopic+photographs.">Effect of camera separation on the viewing experience of stereoscopic photographs.</a> Journal of Electronic Imaging. 21 (1), 1-9 (2012).</li><li>Moorthy, A. K., Su, C. C., Mittal, A., Bovik, A. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Subjective+evaluation+of+stereoscopic+image+quality.">Subjective evaluation of stereoscopic image quality.</a> Signal Processing: Image Communication. 28 (8), 870-883 (2013).</li><li>Yilmaz, G. N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+depth+perception+evaluation+metric+for+immersive+3D+video+services.">A depth perception evaluation metric for immersive 3D video services.</a> 3DTV Conference: The True Vision - Capture, Transmission and Display of 3D Video. , 1-4 (2017).</li><li>Lebreton, P., Raake, A., Barkowsky, M., Le Callet, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Evaluating+depth+perception+of+3D+stereoscopic+videos.">Evaluating depth perception of 3D stereoscopic videos.</a> IEEE Journal on Selected Topics in Signal Processing. 6, 710-720 (2012).</li><li>L&#243;pez, J. P., Rodrigo, J. A., Jim&#233;nez, D., Men&#233;ndez, J. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Stereoscopic+3D+video+quality+assessment+based+on+depth+maps+and+video+motion.">Stereoscopic 3D video quality assessment based on depth maps and video motion.</a> EURASIP Journal on Image and Video Processing. 2013 (1), 62 (2013).</li><li>Banks, M. S., Read, J. C., Allison, R. S., Watt, S. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Stereoscopy+and+the+human+visual+system.">Stereoscopy and the human visual system.</a> SMPTE Motion Imaging Journal. 121 (4), 24-43 (2012).</li><li>Kyt&#246;, M., Nuutinen, M., Oittinen, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Method+for+measuring+stereo+camera+depth+accuracy+based+on+stereoscopic+vision.">Method for measuring stereo camera depth accuracy based on stereoscopic vision.</a> Three-Dimensional Imaging, Interaction, and Measurement. 7864, 168-176 (2011).</li><li>Kang, Y. S., Ho, Y. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Geometrical+compensation+algorithm+of+multiview+image+for+arc+multi-camera+arrays.">Geometrical compensation algorithm of multiview image for arc multi-camera arrays.</a> Advances in Multimedia Information Processing. 2008, 543-552 (2008).</li><li>Product Specification IRB 14000. DocumentID: 3HAC052982-001 Revision J. ABB Robotics Available from: <a target="_blank" href="https://library.abb.com/en/results">https://library.abb.com/en/results</a> (2018)</li><li>Operating Manual IRB 14000. Document ID: 3HAC052986-001 Revision F. ABB Robotics Available from: <a target="_blank" href="https://library.abb.com/en/results">https://library.abb.com/en/results</a> (2019)</li><li>. Github repository Available from: <a target="_blank" href="https://github.com/majstenmark/stereo2">https://github.com/majstenmark/stereo2</a> (2021)</li><li>Operating manual RobotStudio. Document ID: 3HAC032104-001 Revision Y. ABB Robotics Available from: <a target="_blank" href="https://library.abb.com/en/results">https://library.abb.com/en/results</a> (2019)</li><li>Won, C. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Adaptive+interpolation+for+3D+stereoscopic+video+in+frame-compatible+top-bottom+packing.">Adaptive interpolation for 3D stereoscopic video in frame-compatible top-bottom packing.</a> IEEE International Conference on Consumer Electronics. 2011, 179-180 (2011).</li><li>Kim, S. K., Lee, C., Kim, K. T., Javidi, B., Okano, F., Son, J. Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Multi-view+image+acquisition+and+display.">Multi-view image acquisition and display.</a> Three-Dimensional Imaging, Visualization, and Display. , 227-249 (2009).</li><li>Liu, F., Niu, Y., Jin, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Keystone+correction+for+stereoscopic+cinematography.">Keystone correction for stereoscopic cinematography.</a> IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops. 2012, 1-7 (2012).</li><li>Kang, W., Lee, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Horizontal+parallax+distortion+correction+method+in+toed-in+camera+with+wide-angle+lens.">Horizontal parallax distortion correction method in toed-in camera with wide-angle lens.</a> 3DTV Conference: The True Vision - Capture, Transmission and Display of 3D Video. 2009, 1-4 (2009).</li></ol>

במהלך ניתוח חי, הזמן הכולל של הניסוי המשמש לאיסוף נתוני וידאו 3D הוגבל כדי להיות בטוח עבור המטופל. אם האובייקט אינו ממוקד או חשיפת יתר, אין אפשרות להשתמש בנתונים. השלבים הקריטיים הם במהלך כיול והגדרה של כלי מצלמה (שלב 2). לא ניתן לשנות את הצמצם והמיקוד של המצלמה כאשר הניתוח החל; יש להשתמש באותם...

בניתוח, הדמיה תלת-ממדית יכולה לשמש לחינוך, לאבחנות, לתכנון טרום ניתוחי ולהערכה שלאחר הניתוח1,2. תפיסת עומק מציאותית יכולה לשפר את ההבנה 3,4,5,6 של אנטומיה נורמלית ולא נורמלית. הקלטות וידאו דו-ממדיות פשוטות של הליכים כירורגיים הן התחלה טובה. עם זאת, חוסר תפיסת עומק יכול להקשות על עמיתים שאינם כירורגיים להבין באופן מלא את היחסים האנטרו-אחוריים בין מבנים אנטומיים שונים ולכן גם להציג סיכון של פרשנות שגויה של האנטומיה7,8,9,10.
חוויית הצפייה בתלת-ממד מושפעת מחמישה גורמים: (1) תצורת המצלמה יכולה להיות מקבילה או מוקלטת כפי שמוצג באיור 1, (2) מרחק בסיסי (ההפרדה בין המצלמות). (3) מרחק למושא העניין ומאפייני סצנה אחרים כגון הרקע. (4) מאפיינים של התקני צפייה כגון גודל מסך ומיקום צפייה1,11,12,13.13. (5) העדפות אישיות של הצופים14,15.
עיצוב מערך מצלמה תלת-ממדית מתחיל בלכידת סרטוני בדיקה המתועדים במרחקים ותצורות בסיסיות שונות של המצלמה שישמשו להערכה סובייקטיבית או אוטומטית16,17,18,19,20. מרחק המצלמה חייב להיות קבוע לשדה הניתוח כדי ללכוד תמונות חדות. המוקד הקבוע עדיף מכיוון שמיקוד אוטומטי יותאם את עצמו להתמקדות בידיים, במכשירים או בראשים שעשויים להופיע. עם זאת, זה לא ניתן להשגה בקלות כאשר זירת העניין היא התחום הכירורגי. חדרי הניתוח הם אזורי גישה מוגבלים מכיוון שיש לשמור על מתקנים אלה נקיים וסטרייליים. ציוד טכני, מנתחים ואחיות לשפשף מקובצים לעתים קרובות מקרוב סביב המטופל כדי להבטיח סקירה חזותית טובה וזרימת עבודה יעילה. כדי להשוות ולהעריך את ההשפעה של מיקומי מצלמה על חוויית הצפייה בתלת-ממד, טווח בדיקה שלם אחד של מיקומי המצלמה צריך לתעד את אותה סצנה מכיוון שמאפייני האובייקט כגון צורה, גודל וצבע יכולים להשפיע על חוויית הצפייה בתלת-ממד21.
מאותה סיבה, טווחי בדיקה מלאים של עמדות מצלמה יש לחזור על הליכים כירורגיים שונים. יש לחזור על רצף המיקומים כולו בדיוק רב. בסביבה כירורגית, שיטות קיימות הדורשות התאמה ידנית של המרחק הבסיסי22 או זוגות מצלמה שונים עם מרחקים בסיסיים קבועים23 אינם אפשריים הן בגלל אילוצי שטח וזמן. כדי להתמודד עם אתגר זה, פתרון רובוטי זה תוכנן.
הנתונים נאספו עם רובוט תעשייתי דו-זרועי משותף שהותקן בתקרה בחדר הניתוח. המצלמות היו מחוברות לפרקי כף היד של הרובוט ונעו לאורך מסלול בצורת קשת עם מרחק בסיסי הולך וגדל, כפי שמוצג באיור 2.
כדי להדגים את הגישה, 10 סדרות בדיקה נרשמו מ 4 חולים שונים עם 4 מומים מולדים שונים בלב. סצנות נבחרו כאשר הפסקה בניתוח הייתה אפשרית: עם הלבבות הפועמים ממש לפני ואחרי תיקון כירורגי. הסדרות נעשו גם כאשר הלבבות נעצרו. הניתוחים הושהו למשך 3 דקות ו -20 שניות כדי לאסוף ארבעים 5-ssequences עם מרחקי התכנסות מצלמה שונים ומרחקים בסיסיים כדי ללכוד את הסצנה. הסרטונים עוצבו מאוחר יותר לאחר עיבוד, הוצגו בתלת-ממד עבור הצוות הקליני, שדירג עד כמה הסרטון התלת-ממדי היה מציאותי לאורך סולם מ-0-5.
נקודת ההתכנסות של מצלמות סטריאו מושקעות היא המקום שבו נפגשות נקודות המרכז של שתי התמונות. נקודת ההתכנסות יכולה, לפי עיקרון, להיות ממוקמת מלפנים, בתוך או מאחורי האובייקט, ראה איור 1A.C. כאשר נקודת ההתכנסות נמצאת מול האובייקט, האובייקט יילכד ויוצג משמאל לקו האמצע לתמונת המצלמה השמאלית ומימין לקו האמצע לתמונת המצלמה הימנית (איור 1A). ההפך חל כאשר נקודת ההתכנסות נמצאת מאחורי האובייקט (איור 1B). כאשר נקודת ההתכנסות נמצאת על האובייקט, האובייקט יופיע גם בקו האמצע של תמונות המצלמה (איור 1C), מה שככל הנראה אמור להניב את הצפייה הנוחה ביותר מכיוון שאין צורך בפזילה כדי למזג את התמונות. כדי להשיג וידאו סטריאו 3D נוח, נקודת ההתכנסות חייבת להיות ממוקמת על, או מעט מאחור, את מושא העניין, אחרת הצופה נדרש לפזול מרצון כלפי חוץ (exotropia).
הנתונים נאספו באמצעות רובוט תעשייתי דו-זרועי שיתופי כדי למקם את המצלמות (איור 2A-B). הרובוט שוקל 38 ק"ג ללא ציוד. הרובוט בטוח באופן מהותי; כאשר הוא מזהה פגיעה בלתי צפויה, הוא מפסיק לנוע. הרובוט תוכנת למקם את מצלמות 5 מגה פיקסל עם עדשות C-mount לאורך מסלול בצורת קשת שעוצר במרחקים בסיסיים קבועים מראש (איור 2C). המצלמות היו מחוברות לידי הרובוט באמצעות לוחות מתאם, כפי שמוצג באיור 3. כל מצלמה מוקלטת ב-25 פריימים לשנייה. עדשות נקבעו ב f-stop 1/8 עם דגש קבוע על מושא העניין (מרכז גיאומטרי משוער של הלב). לכל מסגרת תמונה הייתה חותמת זמן ששימשה לסינכרון שני זרמי הווידאו.
היסט בין פרק כף היד של הרובוט למצלמה כויל. ניתן להשיג זאת על ידי יישור הכוונת של תמונות המצלמה, כפי שמוצג באיור 4. במערך זה, ההיסט התרגומי הכולל מנקודת ההרכבה על פרק כף היד של הרובוט ומרכז חיישן תמונת המצלמה היה 55.3 מ"מ בכוון X ו-21.2 מ"מ בכיוון Z, המוצג באיור 5. ההיסט הסיבובי כויל במרחק התכנסות של 1100 מ"מ ומרחק בסיסי של 50 מ"מ והותאם ידנית עם הג'ויסטיק בלוח הבקרה הרובוטי. הרובוט במחקר זה היה דיוק שצוין של 0.02 מ"מ בחלל קרטזי ו 0.01 מעלות סיבוב רזולוציה סיבובית24. ברדיוס של 1100 מ', הפרש זווית של 0.01 מעלות מקזז את נקודת המרכז 0.2 מ"מ. במהלך תנועת הרובוט המלאה מהפרדה של 50-240 מ"מ, הכוונת לכל מצלמה הייתה בטווח של 2 מ"מ ממרכז ההתכנסות האידיאלי.
המרחק הבסיסי הוגדל צעד אחד על ידי הפרדה סימטרית של המצלמות סביב מרכז שדה הראייה במרווחים של 10 מ"מ הנעים בין 50-240 מ"מ (איור 2). המצלמות הוחזקו בקיפאון במשך 5 שניות בכל תנוחה ועברו בין העמדות במהירות של 50 מ"מ/ש'. ניתן להתאים את נקודת ההתכנסות בכיווני X ו- Z באמצעות ממשק משתמש גרפי (איור 6). הרובוט פעל בהתאם בטווח העבודה שלו.
הדיוק של נקודת ההתכנסות הוערך באמצעות המשולשים האחידים ושמות המשתנים באיור 7A ו-B. הגובה 'z' חושב ממרחק ההתכנסות 'R' עם משפט פיתגורס כ
<img alt="Equation 1" src="/files/ftp_upload/62786/62786eq01.jpg">
כאשר נקודת ההתכנסות האמיתית הייתה קרובה יותר מהנקודה הרצויה, כפי שמוצג באיור 7A, מרחק השגיאה 'f1' חושב כ
<img alt="Equation 2" src="/files/ftp_upload/62786/62786eq02.jpg">
באופן דומה, כאשר נקודת ההתכנסות הייתה דיסטלית לנקודה הרצויה, מרחק השגיאה 'f2' חושב כ
<img alt="Equation 3" src="/files/ftp_upload/62786/62786eq03.jpg">
כאן, 'e' הייתה ההפרדה המרבית בין הכוונת, לכל היותר 2 מ"מ בהפרדה בסיסית מקסימלית במהלך הכיול (D = 240 מ"מ). עבור R = 1100 מ"מ (z = 1093 מ"מ), השגיאה הייתה פחות ± 9.2 מ"מ. עבור R = 1400 מ"מ (z = 1395 מ"מ), השגיאה הייתה ± 11.7 מ"מ. כלומר, השגיאה של המיקום של נקודת ההתכנסות הייתה בתוך 1% של הרצוי. שני מרחקי הבדיקה של 1100 מ"מ ו 1400 מ"מ היו ולכן מופרדים היטב.

<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td>2 C-mount lenses (35 mm F2.1, 5 M pixel)</td>
			<td>Tamron</td>
			<td>M112FM35</td>
			<td>Rated for 5 Mpixel</td>
		</tr>
		<tr>
			<td>3D glasses (DLP-link active shutter)</td>
			<td>Celexon</td>
			<td>G1000</td>
			<td>Any compatible 3D glasses can be used</td>
		</tr>
		<tr>
			<td>3D Projector</td>
			<td>Viewsonic</td>
			<td>X10-4K</td>
			<td>Displays 3D in 1080, can be exchanged for other 3D projectors</td>
		</tr>
		<tr>
			<td>6 M2 x 8 screws</td>
			<td></td>
			<td></td>
			<td>To attach the cXimea cameras to the camera adaptor plates</td>
		</tr>
		<tr>
			<td>8 M2.5 x 8 screws</td>
			<td></td>
			<td></td>
			<td>To attach the circular mounting plates to the robot wrist</td>
		</tr>
		<tr>
			<td>8 M5 x 40 screws</td>
			<td></td>
			<td></td>
			<td>To mount the robot</td>
		</tr>
		<tr>
			<td>8 M6 x 10 screws with flat heads</td>
			<td></td>
			<td></td>
			<td>For attaching the circular mounting plate and the camera adaptor plates</td>
		</tr>
		<tr>
			<td>Calibration checker board plate (25 by 25 mm)</td>
			<td></td>
			<td></td>
			<td>Any standard checkerboard can be used, including printed, as long as the grid is clearly visible in the cameras</td>
		</tr>
		<tr>
			<td>Camera adaptor plates, x2</td>
			<td></td>
			<td></td>
			<td>Designed by the authors in robot_camera_adaptor_plates.dwg, milled in aluminium.</td>
		</tr>
		<tr>
			<td>Circular mounting plates, x2</td>
			<td></td>
			<td></td>
			<td>Distributed with the permission of the designer Julius Klein and printed with ABS plastic on an FDM 3D printer. License Tecnalia Research &#38; Innovation 2017. Attached as Mountingplate_ROBOT_SIDE_ 
			NewDesign_4.stl</td>
		</tr>
		<tr>
			<td>Fix focus usb cameras, x2 (5 Mpixel)</td>
			<td>Ximea</td>
			<td>MC050CG-SY-UB</td>
			<td>With Sony IMX250LQR sensor</td>
		</tr>
		<tr>
			<td>Flexpendant</td>
			<td>ABB</td>
			<td>3HAC028357-001</td>
			<td>robot touch display</td>
		</tr>
		<tr>
			<td>Liveview</td>
			<td></td>
			<td></td>
			<td>recording application</td>
		</tr>
		<tr>
			<td>RobotStudio</td>
			<td></td>
			<td></td>
			<td>&#160;robot integrated development environment (IDE)</td>
		</tr>
		<tr>
			<td>USB3 active cables (10.0 m), x2</td>
			<td></td>
			<td></td>
			<td>Thumbscrew lock connector, water proofed.</td>
		</tr>
		<tr>
			<td>YuMi dual-arm robot</td>
			<td>ABB</td>
			<td>IRB14000</td>
			<td></td>
		</tr>
	</tbody>
</table>

robotized testing of camera positions to determine ideal configuration for stereo 3d visualization of open-heart surgery

סטריאו 3D וידאו מהליכים כירורגיים יכול להיות בעל ערך רב עבור חינוך רפואי ולשפר את התקשורת הקלינית. אבל הגישה לחדר הניתוח ולתחום הכירורגי מוגבלת. זוהי סביבה סטרילית, והמרחב הפיזי עמוס בצוות כירורגי וציוד טכני. בהגדרה זו, לכידה ללא הפרעה ורבייה מציאותית של ההליכים הכירורגיים קשה. מאמר זה מציג שיטה לאיסוף נתונים מהיר ואמין של סרטוני תלת-ממד סטריאוסקופיים במרחקים בסיסיים שונים של מצלמה ובמרחקים שונים של התכנסות. כדי לאסוף נתוני בדיקה עם הפרעה מינימלית במהלך הניתוח, עם דיוק גבוה ויכולת חזרה, המצלמות היו מחוברות לכל יד של רובוט בעל זרוע כפולה. הרובוט היה רכוב על התקרה בחדר הניתוח. זה היה מתוכנת לבצע רצף מתוזמן של תנועות מצלמה מסונכרנות צעד דרך מגוון של עמדות בדיקה עם מרחק בסיסי בין 50-240 מ"מ בשלבים מצטברים של 10 מ"מ, ובשני מרחקי התכנסות של 1100 מ"מ ו 1400 מ"מ. הניתוח הושהה כדי לאפשר 40 דגימות וידאו רצופות של 5 שניות. בסך הכל תועדו 10 תרחישים כירורגיים.

סרטון הערכה מקובל עם התמונה הנכונה הממוקמת בחלק העליון בתלת-ממד סטריאוסקופי מלמעלה למטה מוצג ב-Video1. רצף מוצלח צריך להיות חד, ממוקד וללא מסגרות תמונה לא מסונכרנות. זרמי וידאו לא מסונכרנים יגרמו לטשטוש, כפי שמוצג בקובץ וידאו 2. נקודת ההתכנסות צריכה להיות ממורכזת אופקית, ללא...

Watch this Scientific Journal Video about Robotized Testing of Camera Positions to Determine Ideal Configuration for Stereo 3D Visualization of Open-Heart Surgery at JoVE.com

Robotized Testing of Camera Positions to Determine Ideal Configuration for Stereo 3D Visualization of Open-Heart Surgery

תפיסת העומק האנושית של סרטוני סטריאו תלת-ממדיים תלויה בהפרדת המצלמה, בנקודת ההתכנסות, במרחק ובהיכרות עם האובייקט. מאמר זה מציג שיטה רובוטית לאיסוף נתוני בדיקה מהיר ואמין במהלך ניתוח לב פתוח חי כדי לקבוע את תצורת המצלמה האידיאלית.

בדיקה רובוטית של עמדות מצלמה כדי לקבוע תצורה אידיאלית עבור הדמיה סטריאו 3D של ניתוח לב פתוח

Stereo 3D video from surgical procedures can be highly valuable for medical education and improve clinical communication. But access to the operating room ...

זה מאפשר לכידה של קטעי וידאו 3D באיכות גבוהה להכשרה וחינוך. זה יכול להיות מיושם על רוב הגדרות חדר הניתוח עם ניתוח פתוח. עם גישה רובוטית, אנו יכולים לאסוף במהירות ובדייקנות את הנתונים כדי להעריך את עמדות המצלמה.שיטה זו משמשת לבדיקה מהירה של תצורת המצלמה עבור יישומי חזיונות תלת-ממדיים. זה יכול לשמש גם כדי לחקור כיצד נושאים שונים תופסים עומק. כדי להתחיל להרכיב את המצלמה לרובוט, תחילה, הרם את העדשה למצלמה ולאחר מכן את המצלמה ללוחית המתאם עם שלושה ברגי M2.לאחר מכן, התקן את לוח ההרכבה המעגלי ללוח מתאם המצלמה עם ארבעה ברגי M4 בצד הנגדי של המצלמה. לאחר שכל המצלמות מותקנות על הרובוט, התבונן בשיקוף של ההרכבות המתקבלות. התקן את לוחית המתאם לפרק כף היד של הרובוט עם ארבעה ברגי M2.5.עבור רובוט רכוב על שולחן, חבר את המצלמה השמאלית לזרוע הרובוט הימנית. חבר את כבלי ה- USB למצלמות ולמחשב אובונטו. בתצוגת המגע הרובוטית, לחץ על לחצן תפריט ובחר סטריאו 2 כדי להפעיל את יישום הרובוט.במסך הראשי, לחץ על Go כדי להתחיל עבור 1, 100 מילימטרים ביישום הרובוט, והמתן לרובוט לעבור למצב ההתחלה. הסר את מכסה עדשת המגן מהמצלמות. מקם רשת כיול מודפסת במרחק של 1, 100 מילימטרים מחיישני המצלמה.כדי לזהות נכון את הריבועים המתאימים, הנח אגוז בורג קטן או סמן איפשהו בכניסה לרשת. הפעל את יישום ההקלטה במחשב אובונטו כדי להפעיל את הממשק. ואז, להתאים את הצמצם ולהתמקד בעדשה עם הצמצם וטבעות המיקוד.ביישום ההקלטה, בדוק את Crosshair כדי לדמיין את הכוונת. ביישום ההקלטה, ודא שהכוונת מתיישרת עם רשת הכיול באותו מיקום בשתי תמונות המצלמה. לאחר לחיצה על סמל גלגל השיניים ביישום הרובוט, מקם את המצלמות ביחס למטופל.שנה את כיוון ה- X על-ידי הקשה על הפלוס או המינוס עבור מרחק היד מרובוט, וכיוון Z על-ידי הקשה על הפלוס או המינוס עבור Height כדי ללכוד את שדה הניתוח בתמונות. שנה את כיוון ה- Y על-ידי הזזה ידנית של הרובוט או המטופל. לאחר השהיית הניתוח והודעת אנשי OR על התחלת הניסוי, לחץ על הקלט ביישום ההקלטה ולאחר מכן לחץ על הפעל ניסוי ביישום הרובוט.לאחר זמן מה, כאשר הניסוי יסתיים, בוצע יופיע בתצוגת המגע. לאחר מכן, הקש על הפסק הקלטה ביישום ההקלטה כדי להפסיק את ההקלטה. הודע לאנשי OR שהניסוי הסתיים וחידש את הניתוח.להערכה, הציגו את הווידאו בתבנית תלת-ממדית עליונה עם מקרן תלת-ממדי פעיל. וידאו ההערכה הנכון עם תמונה ימנית הממוקמת בחלק העליון בתלת-ממד סטריאוסקופי מלמעלה למטה מוצג. רצף מוצלח צריך להיות חד, ממוקד וללא מסגרות תמונה לא מסונכרנות.זרמי הווידאו הלא מסונכרנים יוצרים טשטוש. נקודת ההתכנסות צריכה להיות ממורכזת אופקית, ללא תלות בהפרדת המצלמה. עם הפרדה גדולה מאוד בין התמונות הימניות והשמאליות, המוח אינו יכול למזג את התמונות לתמונה תלת-ממדית אחת.מספר סיבות יכולות לגרום לכישלון במיקום המרכזי של הלב, כגון המרחק מנקודת ההתכנסות ללב. לקבלת תצורה נכונה של מערכת קואורדינטות כלי המצלמה, ודא כי הכוונת ביישום ההקלטה מצביעה על אותו אובייקט, אובייקט הכיול נמצא במיקום המרכזי, ואת התבנית הנכונה של צבעים. סרטוני תלת-ממד עם מרחקים בסיסיים משתנים מאפשרים לנו ללמוד כיצד מידע מעמיק משפיע על ההבנה האנטומית בקרב הצוותים הרפואיים.

Research

JoVE Journal

Medicine

Rat Heterotopic Abdominal Heart/Single-lung Transplantation in a Volume-loaded Configuration

עכברוש Heterotopic בטן לב / השתלת ריאה בודדת בתצורה טעונה נפח

Herein, we describe a novel technique for heterotopic abdominal heart-lung transplantation (HAHLT) in rats. The configuration of the transplant graft ...

A Pipeline for 3D Multimodality Image Integration and Computer-assisted Planning in Epilepsy Surgery

צינור אינטגרצית תמונת 3D Multimodality ותכנון בסיוע מחשב בכירורגיה אפילפסיה

Epilepsy surgery is challenging and the use of 3D multimodality image integration (3DMMI) to aid presurgical planning is well-established. Multimodality ...

A Quantitative Sensory Testing Paradigm to Obtain Measures of Pain Processing in Patients Undergoing Breast Cancer Surgery

פרדיגמה כמותית בדיקות חושית להשיג באמצעים של כאב עיבוד בחולים שעברו ניתוח סרטן השד

Chronic pain following surgery, persistent postsurgical pain, is an important highly prevalent condition contributing to significant symptom burden and ...

A Clinical Trial Assessing the Safety, Efficacy, and Delivery of Olive-Oil-Based Three-Chamber Bags for Parenteral Nutrition

ניסוי קליני מעריך את הבטיחות, היעילות והאספקה של תיקים בעלי שמן זית בעלי שלושה חדרי מזון עבור הזנה פריבאל

Limited evidence exists to precisely estimate efficacy and safety differences between parenteral nutrition (PN) prepared using olive-oil-based ...

A Training and Testing System for Performing Vascular Reconstruction In Vitro

מערכת הדרכה ובדיקה לביצוע שחזור כלי דם במערכת החוץ

Manual vascular reconstruction training is essential for a beginner surgeon. However, an optimal training system for vascular reconstruction in vitro has ...

A Postoperative Evaluation Guideline for Computer-Assisted Reconstruction of the Mandible

הערכה פוסט-אופרטיבית מנחה לשחזור בסיוע ממוחשב של הלסת התחתונה

Valid comparisons of postoperative accuracy results in computer-assisted reconstruction of the mandible are difficult due to heterogeneity in imaging ...

3D Planning and Printing of Patient Specific Implants for Reconstruction of Bony Defects

תכנון והדפסה של שתלים ספציפיים לחולה לשיקום מומים גרמיות

We are in the midst of the 3D era in most aspects of life, and especially in medicine. The surgical discipline is one of the major players in the medical ...

Implantation of Combined Telemetric ECG and Blood Pressure Transmitters to Determine Spontaneous Baroreflex Sensitivity in Conscious Mice

השתלת משדרי אק"ג ולחץ דם טלמטריים משולבים לקביעת רגישות ספונטנית לברפלקס בעכברים מודעים

Blood pressure (BP) and heart rate (HR) are both controlled by the autonomic nervous system (ANS) and are closely intertwined due to reflex mechanisms. ...

Use of 3D Robotic Ultrasound for In Vivo Analysis of Mouse Kidneys

Use of 3D Robotic Ultrasound for In Vivo Analysis of Mouse Kidneys

שימוש באולטרסאונד רובוטי 3D לניתוח In Vivo של כליות עכבר

Common modalities for in vivo imaging of rodents include positron emission tomography (PET), computed tomography (CT), magnetic resonance imaging (MRI), ...

Combining 3D-Printing and Electrospinning to Manufacture Biomimetic Heart Valve Leaflets

שילוב של הדפסה תלת-ממדית ואלקטרוספינינג לייצור עלוני מסתם לב ביומימטיים

Electrospinning has become a widely used technique in cardiovascular tissue engineering as it offers the possibility to create (micro-)fibrous scaffolds ...