JoVE Logo
Authors
Contact Us

Sign In

A subscription to JoVE is required to view this content. Sign in or start your free trial.

In This Article

  • Summary
  • Abstract
  • Introduction
  • Protocol
  • תוצאות
  • Discussion
  • Disclosures
  • Acknowledgements
  • Materials
  • References
  • Reprints and Permissions

Summary

תפיסת העומק האנושית של סרטוני סטריאו תלת-ממדיים תלויה בהפרדת המצלמה, בנקודת ההתכנסות, במרחק ובהיכרות עם האובייקט. מאמר זה מציג שיטה רובוטית לאיסוף נתוני בדיקה מהיר ואמין במהלך ניתוח לב פתוח חי כדי לקבוע את תצורת המצלמה האידיאלית.

Abstract

סטריאו 3D וידאו מהליכים כירורגיים יכול להיות בעל ערך רב עבור חינוך רפואי ולשפר את התקשורת הקלינית. אבל הגישה לחדר הניתוח ולתחום הכירורגי מוגבלת. זוהי סביבה סטרילית, והמרחב הפיזי עמוס בצוות כירורגי וציוד טכני. בהגדרה זו, לכידה ללא הפרעה ורבייה מציאותית של ההליכים הכירורגיים קשה. מאמר זה מציג שיטה לאיסוף נתונים מהיר ואמין של סרטוני תלת-ממד סטריאוסקופיים במרחקים בסיסיים שונים של מצלמה ובמרחקים שונים של התכנסות. כדי לאסוף נתוני בדיקה עם הפרעה מינימלית במהלך הניתוח, עם דיוק גבוה ויכולת חזרה, המצלמות היו מחוברות לכל יד של רובוט בעל זרוע כפולה. הרובוט היה רכוב על התקרה בחדר הניתוח. זה היה מתוכנת לבצע רצף מתוזמן של תנועות מצלמה מסונכרנות צעד דרך מגוון של עמדות בדיקה עם מרחק בסיסי בין 50-240 מ"מ בשלבים מצטברים של 10 מ"מ, ובשני מרחקי התכנסות של 1100 מ"מ ו 1400 מ"מ. הניתוח הושהה כדי לאפשר 40 דגימות וידאו רצופות של 5 שניות. בסך הכל תועדו 10 תרחישים כירורגיים.

Introduction

בניתוח, הדמיה תלת-ממדית יכולה לשמש לחינוך, לאבחנות, לתכנון טרום ניתוחי ולהערכה שלאחר הניתוח1,2. תפיסת עומק מציאותית יכולה לשפר את ההבנה 3,4,5,6 של אנטומיה נורמלית ולא נורמלית. הקלטות וידאו דו-ממדיות פשוטות של הליכים כירורגיים הן התחלה טובה. עם זאת, חוסר תפיסת עומק יכול להקשות על עמיתים שאינם כירורגיים להבין באופן מלא את היחסים האנטרו-אחוריים בין מבנים אנטומיים שונים ולכן גם להציג סיכון של פרשנות שגויה של האנטומיה7,8,9,10.

חוויית הצפייה בתלת-ממד מושפעת מחמישה גורמים: (1) תצורת המצלמה יכולה להיות מקבילה או מוקלטת כפי שמוצג באיור 1, (2) מרחק בסיסי (ההפרדה בין המצלמות). (3) מרחק למושא העניין ומאפייני סצנה אחרים כגון הרקע. (4) מאפיינים של התקני צפייה כגון גודל מסך ומיקום צפייה1,11,12,13.13. (5) העדפות אישיות של הצופים14,15.

עיצוב מערך מצלמה תלת-ממדית מתחיל בלכידת סרטוני בדיקה המתועדים במרחקים ותצורות בסיסיות שונות של המצלמה שישמשו להערכה סובייקטיבית או אוטומטית16,17,18,19,20. מרחק המצלמה חייב להיות קבוע לשדה הניתוח כדי ללכוד תמונות חדות. המוקד הקבוע עדיף מכיוון שמיקוד אוטומטי יותאם את עצמו להתמקדות בידיים, במכשירים או בראשים שעשויים להופיע. עם זאת, זה לא ניתן להשגה בקלות כאשר זירת העניין היא התחום הכירורגי. חדרי הניתוח הם אזורי גישה מוגבלים מכיוון שיש לשמור על מתקנים אלה נקיים וסטרייליים. ציוד טכני, מנתחים ואחיות לשפשף מקובצים לעתים קרובות מקרוב סביב המטופל כדי להבטיח סקירה חזותית טובה וזרימת עבודה יעילה. כדי להשוות ולהעריך את ההשפעה של מיקומי מצלמה על חוויית הצפייה בתלת-ממד, טווח בדיקה שלם אחד של מיקומי המצלמה צריך לתעד את אותה סצנה מכיוון שמאפייני האובייקט כגון צורה, גודל וצבע יכולים להשפיע על חוויית הצפייה בתלת-ממד21.

מאותה סיבה, טווחי בדיקה מלאים של עמדות מצלמה יש לחזור על הליכים כירורגיים שונים. יש לחזור על רצף המיקומים כולו בדיוק רב. בסביבה כירורגית, שיטות קיימות הדורשות התאמה ידנית של המרחק הבסיסי22 או זוגות מצלמה שונים עם מרחקים בסיסיים קבועים23 אינם אפשריים הן בגלל אילוצי שטח וזמן. כדי להתמודד עם אתגר זה, פתרון רובוטי זה תוכנן.

הנתונים נאספו עם רובוט תעשייתי דו-זרועי משותף שהותקן בתקרה בחדר הניתוח. המצלמות היו מחוברות לפרקי כף היד של הרובוט ונעו לאורך מסלול בצורת קשת עם מרחק בסיסי הולך וגדל, כפי שמוצג באיור 2.

כדי להדגים את הגישה, 10 סדרות בדיקה נרשמו מ 4 חולים שונים עם 4 מומים מולדים שונים בלב. סצנות נבחרו כאשר הפסקה בניתוח הייתה אפשרית: עם הלבבות הפועמים ממש לפני ואחרי תיקון כירורגי. הסדרות נעשו גם כאשר הלבבות נעצרו. הניתוחים הושהו למשך 3 דקות ו -20 שניות כדי לאסוף ארבעים 5-ssequences עם מרחקי התכנסות מצלמה שונים ומרחקים בסיסיים כדי ללכוד את הסצנה. הסרטונים עוצבו מאוחר יותר לאחר עיבוד, הוצגו בתלת-ממד עבור הצוות הקליני, שדירג עד כמה הסרטון התלת-ממדי היה מציאותי לאורך סולם מ-0-5.

נקודת ההתכנסות של מצלמות סטריאו מושקעות היא המקום שבו נפגשות נקודות המרכז של שתי התמונות. נקודת ההתכנסות יכולה, לפי עיקרון, להיות ממוקמת מלפנים, בתוך או מאחורי האובייקט, ראה איור 1A.C. כאשר נקודת ההתכנסות נמצאת מול האובייקט, האובייקט יילכד ויוצג משמאל לקו האמצע לתמונת המצלמה השמאלית ומימין לקו האמצע לתמונת המצלמה הימנית (איור 1A). ההפך חל כאשר נקודת ההתכנסות נמצאת מאחורי האובייקט (איור 1B). כאשר נקודת ההתכנסות נמצאת על האובייקט, האובייקט יופיע גם בקו האמצע של תמונות המצלמה (איור 1C), מה שככל הנראה אמור להניב את הצפייה הנוחה ביותר מכיוון שאין צורך בפזילה כדי למזג את התמונות. כדי להשיג וידאו סטריאו 3D נוח, נקודת ההתכנסות חייבת להיות ממוקמת על, או מעט מאחור, את מושא העניין, אחרת הצופה נדרש לפזול מרצון כלפי חוץ (exotropia).

הנתונים נאספו באמצעות רובוט תעשייתי דו-זרועי שיתופי כדי למקם את המצלמות (איור 2A-B). הרובוט שוקל 38 ק"ג ללא ציוד. הרובוט בטוח באופן מהותי; כאשר הוא מזהה פגיעה בלתי צפויה, הוא מפסיק לנוע. הרובוט תוכנת למקם את מצלמות 5 מגה פיקסל עם עדשות C-mount לאורך מסלול בצורת קשת שעוצר במרחקים בסיסיים קבועים מראש (איור 2C). המצלמות היו מחוברות לידי הרובוט באמצעות לוחות מתאם, כפי שמוצג באיור 3. כל מצלמה מוקלטת ב-25 פריימים לשנייה. עדשות נקבעו ב f-stop 1/8 עם דגש קבוע על מושא העניין (מרכז גיאומטרי משוער של הלב). לכל מסגרת תמונה הייתה חותמת זמן ששימשה לסינכרון שני זרמי הווידאו.

היסט בין פרק כף היד של הרובוט למצלמה כויל. ניתן להשיג זאת על ידי יישור הכוונת של תמונות המצלמה, כפי שמוצג באיור 4. במערך זה, ההיסט התרגומי הכולל מנקודת ההרכבה על פרק כף היד של הרובוט ומרכז חיישן תמונת המצלמה היה 55.3 מ"מ בכוון X ו-21.2 מ"מ בכיוון Z, המוצג באיור 5. ההיסט הסיבובי כויל במרחק התכנסות של 1100 מ"מ ומרחק בסיסי של 50 מ"מ והותאם ידנית עם הג'ויסטיק בלוח הבקרה הרובוטי. הרובוט במחקר זה היה דיוק שצוין של 0.02 מ"מ בחלל קרטזי ו 0.01 מעלות סיבוב רזולוציה סיבובית24. ברדיוס של 1100 מ', הפרש זווית של 0.01 מעלות מקזז את נקודת המרכז 0.2 מ"מ. במהלך תנועת הרובוט המלאה מהפרדה של 50-240 מ"מ, הכוונת לכל מצלמה הייתה בטווח של 2 מ"מ ממרכז ההתכנסות האידיאלי.

המרחק הבסיסי הוגדל צעד אחד על ידי הפרדה סימטרית של המצלמות סביב מרכז שדה הראייה במרווחים של 10 מ"מ הנעים בין 50-240 מ"מ (איור 2). המצלמות הוחזקו בקיפאון במשך 5 שניות בכל תנוחה ועברו בין העמדות במהירות של 50 מ"מ/ש'. ניתן להתאים את נקודת ההתכנסות בכיווני X ו- Z באמצעות ממשק משתמש גרפי (איור 6). הרובוט פעל בהתאם בטווח העבודה שלו.

הדיוק של נקודת ההתכנסות הוערך באמצעות המשולשים האחידים ושמות המשתנים באיור 7A ו-B. הגובה 'z' חושב ממרחק ההתכנסות 'R' עם משפט פיתגורס כ

figure-introduction-6566

כאשר נקודת ההתכנסות האמיתית הייתה קרובה יותר מהנקודה הרצויה, כפי שמוצג באיור 7A, מרחק השגיאה 'f1' חושב כ

figure-introduction-6844

באופן דומה, כאשר נקודת ההתכנסות הייתה דיסטלית לנקודה הרצויה, מרחק השגיאה 'f2' חושב כ

figure-introduction-7072

כאן, 'e' הייתה ההפרדה המרבית בין הכוונת, לכל היותר 2 מ"מ בהפרדה בסיסית מקסימלית במהלך הכיול (D = 240 מ"מ). עבור R = 1100 מ"מ (z = 1093 מ"מ), השגיאה הייתה פחות ± 9.2 מ"מ. עבור R = 1400 מ"מ (z = 1395 מ"מ), השגיאה הייתה ± 11.7 מ"מ. כלומר, השגיאה של המיקום של נקודת ההתכנסות הייתה בתוך 1% של הרצוי. שני מרחקי הבדיקה של 1100 מ"מ ו 1400 מ"מ היו ולכן מופרדים היטב.

Access restricted. Please log in or start a trial to view this content.

Protocol

הניסויים אושרו על ידי ועדת האתיקה המקומית בלונד, שבדיה. ההשתתפות הייתה בהתנדבות, והאפוטרופוסים החוקיים של המטופלים סיפקו הסכמה בכתב מדעת.

1. התקנה ותצורה של רובוט

הערה: ניסוי זה השתמש ברובוט תעשייתי דו-זרועי שיתופי ולוח הבקרה הסטנדרטי עם צג מגע. הרובוט נשלט באמצעות תוכנת בקר RobotWare 6.10.01 וסביבת פיתוח משולבת רובוט (IDE) RobotStudio 2019.525. תוכנה שפותחה על ידי המחברים, כולל יישום הרובוט, יישום ההקלטה וסקריפטים לאחר עיבוד, זמינים במאגר GitHub26.

זהירות: השתמש במשקפי מגן ובמהירות מופחתת במהלך ההתקנה והבדיקה של תוכנית הרובוטים.

  1. הר את הרובוט לתקרה או לשולחן באמצעות ברגים בגודל של 100 ק"ג כמתואר בעמוד 25 במפרט המוצר24, בהתאם למפרט היצרן. ודא שהזרועות יכולות לנוע בחופשיות וקו הראייה לשדה הראייה אינו מובחן.
    אזהרה: השתמש במעלית או חבלי בטיחות בעת הרכבת הרובוט בתנוחה גבוהה.
  2. הפעל את הרובוט על ידי הפעלת מתג ההתחלה הממוקם בבסיס הרובוט. כייל את הרובוט על ידי ביצוע ההליך המתואר במדריך ההפעלה בעמודים 47-5625.
  3. הפעל את הרובוט IDE במחשב Windows.
  4. התחבר למערכת הרובוט הפיזית (עמוד ידני הפעלה 14027).
  5. טען את הקוד עבור תוכניות הרובוט וספריות היישומים עבור ממשק המשתמש לרובוט:
    1. הקוד הרובוטי לרובוט רכוב על התקרה נמצא בתיקייה Robot/InvertedCode ועבור רובוט רכוב על שולחן ברובוט/TableMountedCode. עבור כל אחד מהקבצים שנותרו/Data.mod, left/MainModule.mod, מימין/Data.mod ומימין/MainModule.mod:
    2. צור מודול תוכנית חדש (ראה עמוד ידני הפעלה 31827) עם שם זהה לזה של הקובץ (נתונים או MainModule) והעתק את תוכן הקובץ למודול החדש.
    3. לחץ על החל ב- IDE הרובוט כדי לשמור את הקבצים ברובוט.
  6. השתמש בהעברת קבצים (עמוד ידני הפעלה 34627) כדי להעביר את קבצי היישומים הרובוטיים TpSViewStereo2.dll, TpsViewStereo2.gtpu.dll ו- TpsViewStereo2.pdb הממוקמים בתיקיה FPApp לרובוט. לאחר שלב זה, הרובוט IDE לא ישמש עוד.
  7. לחץ על לחצן איפוס בגב צג המגע הרובוטי (FlexPendant) כדי לטעון מחדש את הממשק הגרפי. יישום הרובוט Stereo2 יהיה גלוי כעת תחת תפריט תצוגת המגע.
  8. התקן את יישום ההקלטה (Liveview) ואת יישום העיבוד שלאחר העיבוד במחשב Ubuntu 20.04 על-ידי הפעלת install_all_linux.sh Script, הממוקם בתיקיית השורש במאגר Github.
  9. התקן כל מצלמה לרובוט. הרכיבים הדרושים להרכבה מוצגים באיור 3A.
    1. הרם את העדשה למצלמה.
    2. התקן את המצלמה ללוח מתאם המצלמה עם שלושה ברגי M2.
    3. התקן את לוח ההרכבה המעגלי ללוח מתאם המצלמה עם ארבעה ברגי M6 בצד הנגדי של המצלמה.
  10. חזור על שלבים 1.9.1-1.9.3 עבור המצלמה האחרת. ההרכבות המתקבלות משתקפות, כפי שמוצג באיור 3B ובאיור 3C.
  11. התקן את לוחית המתאם לפרק כף היד של הרובוט עם ארבעה ברגי M2.5, כפי שמוצג באיור 3D.
    1. לרובוט רכוב על התקרה: חברו את המצלמה השמאלית באיור 3C לזרוע הרובוט השמאלית כפי שמוצג באיור 2A.
    2. לרובוט מונח על השולחן: חברו את המצלמה השמאלית באיור 3C לזרוע הרובוט הימנית.
  12. חברו את כבלי ה-USB למצלמות, כפי שמוצג באיור 3E, ולמחשב אובונטו.

2. אמת את כיול המצלמה

  1. בתצוגת המגע הרובוטית, לחץ על לחצן תפריט ובחר Stereo2 כדי להפעיל את יישום הרובוט. פעולה זו תפתח את המסך הראשי, כפי שמוצג באיור 6A.
    1. במסך הראשי, לחץ על Go כדי להתחיל עבור עבור עבור 1100 מ"מ ביישום הרובוט ולחכות הרובוט לעבור למצב ההתחלה.
    2. הסר את כובעי עדשת ההגנה מהמצלמות וחבר את כבלי ה- USB למחשב אובונטו.
    3. מקם רשת כיול מודפסת (כיולגריד.png במאגר) 1100 מ"מ מחיישני המצלמה. כדי להקל על זיהוי נכון של הריבועים המתאימים, הנח אגוז בורג קטן או סמן איפשהו במרכז הרשת.
  2. הפעל את יישום ההקלטה במחשב אובונטו (הפעל את start.sh התסריט הממוקם בתיקייה liveview בתוך מאגר Github). פעולה זו מפעילה את הממשק, כפי שמוצג באיור 4.
    1. התאימו את הצמצם והתמקדו בעדשה עם הצמצם וטבעות המיקוד.
    2. ביישום ההקלטה, בדוק את Crosshair כדי לדמיין את הכוונת.
  3. ביישום ההקלטה, ודאו שהכוונת תתיישר עם רשת הכיול באותו מיקום בשתי תמונות המצלמה, כפי שמוצג באיור 4. סביר להניח שתידרש התאמה מסוימת באופן הבא:
    1. אם הצלבים אינם חופפים, לחצו על סמל גלגל השיניים (איור 6A משמאל למטה) ביישום הרובוט בתצוגת המגע הרובוטית כדי לפתוח את מסך ההגדרה, כפי שמוצג באיור 6B.
    2. לחץ על 1. עבור אל התחל Pos, כפי שמוצג באיור 6B.
    3. ריץ את הרובוט עם הג'ויסטיק כדי לכוונן את מיקום המצלמה (עמוד ידני הפעלה 3123).
    4. עדכן את מיקום הכלי עבור כל זרוע רובוטית. לחץ 3. עדכן כלי שמאלי ו-4. עדכן את הכלי הימני כדי לשמור את הכיול עבור הזרוע השמאלית והימנית, בהתאמה.
    5. לחצו על סמל ' חץ אחורה' ( מימין למעלה, איור 6B) כדי לחזור למסך הראשי.
  4. לחצו על 'ניסוי הפעלה' (איור 6A) ביישום הרובוט וודאו שהכוונת מתיישרת. אחרת, חזור על שלבים 2.3-2.3.5.
  5. הוסף ובדוק כל שינוי במרחקים ו/או בזמן בשלב זה. זה דורש שינויים בקוד תוכנית הרובוט ומיומנויות תכנות רובוט מתקדמות. שנה את המשתנים הבאים במודול הנתונים בפעילות השמאלית (זרוע): מרחקי ההפרדה הרצויים במערך המספרים השלמים מרחקים, מרחקי ההתכנסות במערך המספרים השלמים ConvergencePos ועריכה של השעה בכל שלב על-ידי עריכת המשתנה Nwaittime (ערך בשניות).
    זהירות: לעולם אל תפעיל תוכנית רובוטים שלא נבדקה במהלך ניתוח חי.
  6. לאחר השלמת הכיול, לחץ על Raise כדי להרים את זרועות הרובוט למצב המתנה.
  7. באופן אופציונלי לכבות את הרובוט.
    הערה: ניתן להשהות את ההליך בין כל אחד מהשלבים לעיל.

3. הכנה בתחילת הניתוח

  1. אבק הרובוט.
    1. אם הרובוט כובה, הפעל אותו על-ידי הפעלת מתג 'התחל' הממוקם בבסיס הרובוט.
  2. הפעל את יישום הרובוט בצג המגע וביישום ההקלטה המתוארים בשלבים 2.1 ו- 2.2.
  3. ביישום ההקלטה, צור ולאחר מכן בחר את התיקיה שבה ברצונך לשמור את הווידאו (הקש שנה תיקיה).
  4. ביישום הרובוט: לחץ על סמל ההילוכים, מקם את המצלמות ביחס למטופל. שנה את כיוון X ו- Z על-ידי הקשה על +/- עבור מרחק יד מרובוט וגובה, בהתאמה, כך שהתמונה לוכדת את שדה הניתוח. בצע את המיקום בכוון Y על-ידי הזזה ידנית של הרובוט או המטופל.
    הערה: ניתן להשהות את ההכנות בין שלבי ההכנה 3.1-3.4.

4. ניסוי

אזהרה: יש ליידע את כל אנשי הצוות על הניסוי מראש.

  1. להשהות את הניתוח.
    1. הודע לאנשי או שהניסוי החל.
  2. לחץ על הקלט ביישום ההקלטה.
  3. לחץ על הפעל ניסוי ביישום הרובוט.
  4. המתן בזמן שהתוכנית פועלת; הרובוט מציג "בוצע" ביישום הרובוט בתצוגת המגע בסיום.
  5. הפסק את ההקלטה ביישום ההקלטה על-ידי הקשה על צא.
    1. הודע לאנשי חדר הניתוח שהניסוי הסתיים.
  6. לחדש את הניתוח.
    הערה: לא ניתן להשהות את הניסוי במהלך שלבים 4.1-4.6.

5. חזור על הפעולה

  1. חזור על שלבים 4.1-4.6 כדי ללכוד רצף נוסף ושלבים 3.1-3.4 ושלבים 4.1-4.6 כדי ללכוד רצפים מניתוחים שונים. ללכוד סביב עשרה רצפים מלאים.

6. לאחר עיבוד

הערה: ניתן לבצע את השלבים הבאים באמצעות רוב תוכנות עריכת הווידאו או באמצעות קבצי ה- Script שסופקו בתיקיה שלאחר העיבוד.

  1. במקרה זה, בטל את הפרסום של הווידאו בעת שמירתו בתבנית RAW:
    1. הפעל את קובץ ה- Script לאחר עיבוד/debayer/run.sh כדי לפתוח את יישום debayer המוצג באיור 8A.
    2. הקש עיון בספריית קלט ובחר את התיקיה עם הווידאו RAW.
    3. הקש עיון בספריית הפלט ובחר תיקיה עבור קבצי הווידאו המתקבלים שהושחתו והותאמו בצבע.
    4. לחץ על דבייר! והמתינו עד לסיום התהליך - שני קווי ההתקדמות מלאים, כפי שמוצג באיור 8B.
  2. מזג את סרטוני הווידאו המסונכרנים מימין ומשמאל לפורמט סטריאו תלת-ממדי28:
    1. הפעל את קובץ ה- Script לאחר עיבוד/merge_tb/הפעלה.sh כדי להפעיל את יישום המיזוג; הוא פותח את ממשק המשתמש הגרפי המוצג באיור 8C.
    2. הקש עיון בספריית הקלט ובחר את התיקיה עם קבצי הווידאו שהוצאו מהשימוש.
    3. הקש עיון בספריית פלט ובחר תיקיה עבור קובץ הסטריאו התלת-ממדי הממוזג שנוצר.
    4. לחץ על מיזוג! והמתינו עד שמסך הסיום באיור 8D יוצג.
  3. השתמש בתוכנה לעריכת וידאו מחוץ למדף, כגון Premiere Pro, כדי להוסיף תוויות טקסט לכל מרחק מצלמה בסרטון.
    הערה: בסרטון, יש ניעור גלוי בכל פעם שהרובוט זז, ומרחק המצלמה גדל. בניסוי זה, תוויות A-T שימשו למרחקי המצלמה.

7. הערכה

  1. הצג את הווידאו בתבנית תלת-ממד עליונה עם מקרן תלת-ממד פעיל.
  2. חוויית הצפייה תלויה בזווית הצפייה ובמרחק למסך; להעריך את הווידאו באמצעות קהל והגדרה מיועדים.

Access restricted. Please log in or start a trial to view this content.

תוצאות

סרטון הערכה מקובל עם התמונה הנכונה הממוקמת בחלק העליון בתלת-ממד סטריאוסקופי מלמעלה למטה מוצג ב-Video1. רצף מוצלח צריך להיות חד, ממוקד וללא מסגרות תמונה לא מסונכרנות. זרמי וידאו לא מסונכרנים יגרמו לטשטוש, כפי שמוצג בקובץ וידאו 2. נקודת ההתכנסות צריכה להיות ממורכזת אופקית, ללא...

Access restricted. Please log in or start a trial to view this content.

Discussion

במהלך ניתוח חי, הזמן הכולל של הניסוי המשמש לאיסוף נתוני וידאו 3D הוגבל כדי להיות בטוח עבור המטופל. אם האובייקט אינו ממוקד או חשיפת יתר, אין אפשרות להשתמש בנתונים. השלבים הקריטיים הם במהלך כיול והגדרה של כלי מצלמה (שלב 2). לא ניתן לשנות את הצמצם והמיקוד של המצלמה כאשר הניתוח החל; יש להשתמש באותם...

Access restricted. Please log in or start a trial to view this content.

Disclosures

למחברים אין מה לחשוף.

Acknowledgements

המחקר נערך במימון Vinnova (2017-03728, 2018-05302 ו-2018-03651), קרן לב-ריאה (20180390), קרן קמפרד המשפחתית (20190194) וקרן אנה-ליסה וסוון אריק לונדגרן (2017 ו-2018).

Access restricted. Please log in or start a trial to view this content.

Materials

NameCompanyCatalog NumberComments
2 C-mount lenses (35 mm F2.1, 5 M pixel)TamronM112FM35Rated for 5 Mpixel
3D glasses (DLP-link active shutter)CelexonG1000Any compatible 3D glasses can be used
3D ProjectorViewsonicX10-4KDisplays 3D in 1080, can be exchanged for other 3D projectors
6 M2 x 8 screwsTo attach the cXimea cameras to the camera adaptor plates
8 M2.5 x 8 screwsTo attach the circular mounting plates to the robot wrist
8 M5 x 40 screwsTo mount the robot
8 M6 x 10 screws with flat headsFor attaching the circular mounting plate and the camera adaptor plates
Calibration checker board plate (25 by 25 mm)Any standard checkerboard can be used, including printed, as long as the grid is clearly visible in the cameras
Camera adaptor plates, x2Designed by the authors in robot_camera_adaptor_plates.dwg, milled in aluminium.
Circular mounting plates, x2Distributed with the permission of the designer Julius Klein and printed with ABS plastic on an FDM 3D printer. License Tecnalia Research & Innovation 2017. Attached as Mountingplate_ROBOT_SIDE_
NewDesign_4.stl
Fix focus usb cameras, x2 (5 Mpixel)XimeaMC050CG-SY-UBWith Sony IMX250LQR sensor
FlexpendantABB3HAC028357-001robot touch display
Liveviewrecording application
RobotStudio robot integrated development environment (IDE)
USB3 active cables (10.0 m), x2Thumbscrew lock connector, water proofed.
YuMi dual-arm robotABBIRB14000

References

  1. Held, R. T., Hui, T. T. A guide to stereoscopic 3D displays in medicine. Academic Radiology. 18 (8), 1035-1048 (2011).
  2. van Beurden, M. H. P. H., IJsselsteijn, W. A., Juola, J. F. Effectiveness of stereoscopic displays in medicine: A review. 3D Research. 3 (1), 1-13 (2012).
  3. Luursema, J. M., Verwey, W. B., Kommers, P. A. M., Geelkerken, R. H., Vos, H. J. Optimizing conditions for computer-assisted anatomical learning. Interacting with Computers. 18 (5), 1123-1138 (2006).
  4. Takano, M., et al. Usefulness and capability of three-dimensional, full high-definition movies for surgical education. Maxillofacial Plastic and Reconstructive Surgery. 39 (1), 10(2017).
  5. Triepels, C. P. R., et al. Does three-dimensional anatomy improve student understanding. Clinical Anatomy. 33 (1), 25-33 (2020).
  6. Beermann, J., et al. Three-dimensional visualisation improves understanding of surgical liver anatomy. Medical Education. 44 (9), 936-940 (2010).
  7. Battulga, B., Konishi, T., Tamura, Y., Moriguchi, H. The Effectiveness of an interactive 3-dimensional computer graphics model for medical education. Interactive Journal of Medical Research. 1 (2), (2012).
  8. Yammine, K., Violato, C. A meta-analysis of the educational effectiveness of three-dimensional visualization technologies in teaching anatomy. Anatomical Sciences Education. 8 (6), 525-538 (2015).
  9. Fitzgerald, J. E. F., White, M. J., Tang, S. W., Maxwell-Armstrong, C. A., James, D. K. Are we teaching sufficient anatomy at medical school? The opinions of newly qualified doctors. Clinical Anatomy. 21 (7), 718-724 (2008).
  10. Bergman, E. M., Van Der Vleuten, C. P. M., Scherpbier, A. J. J. A. Why don't they know enough about anatomy? A narrative review. Medical Teacher. 33 (5), 403-409 (2011).
  11. Terzić, K., Hansard, M. Methods for reducing visual discomfort in stereoscopic 3D: A review. Signal Processing: Image Communication. 47, 402-416 (2016).
  12. Fan, Z., Weng, Y., Chen, G., Liao, H. 3D interactive surgical visualization system using mobile spatial information acquisition and autostereoscopic display. Journal of Biomedical Informatics. 71, 154-164 (2017).
  13. Fan, Z., Zhang, S., Weng, Y., Chen, G., Liao, H. 3D quantitative evaluation system for autostereoscopic display. Journal of Display Technology. 12 (10), 1185-1196 (2016).
  14. McIntire, J. P., et al. Binocular fusion ranges and stereoacuity predict positional and rotational spatial task performance on a stereoscopic 3D display. Journal of Display Technology. 11 (11), 959-966 (2015).
  15. Kalia, M., Navab, N., Fels, S. S., Salcudean, T. A method to introduce & evaluate motion parallax with stereo for medical AR/MR. IEEE Conference on Virtual Reality and 3D User Interfaces. , 1755-1759 (2019).
  16. Kytö, M., Hakala, J., Oittinen, P., Häkkinen, J. Effect of camera separation on the viewing experience of stereoscopic photographs. Journal of Electronic Imaging. 21 (1), 1-9 (2012).
  17. Moorthy, A. K., Su, C. C., Mittal, A., Bovik, A. C. Subjective evaluation of stereoscopic image quality. Signal Processing: Image Communication. 28 (8), 870-883 (2013).
  18. Yilmaz, G. N. A depth perception evaluation metric for immersive 3D video services. 3DTV Conference: The True Vision - Capture, Transmission and Display of 3D Video. , 1-4 (2017).
  19. Lebreton, P., Raake, A., Barkowsky, M., Le Callet, P. Evaluating depth perception of 3D stereoscopic videos. IEEE Journal on Selected Topics in Signal Processing. 6, 710-720 (2012).
  20. López, J. P., Rodrigo, J. A., Jiménez, D., Menéndez, J. M. Stereoscopic 3D video quality assessment based on depth maps and video motion. EURASIP Journal on Image and Video Processing. 2013 (1), 62(2013).
  21. Banks, M. S., Read, J. C., Allison, R. S., Watt, S. J. Stereoscopy and the human visual system. SMPTE Motion Imaging Journal. 121 (4), 24-43 (2012).
  22. Kytö, M., Nuutinen, M., Oittinen, P. Method for measuring stereo camera depth accuracy based on stereoscopic vision. Three-Dimensional Imaging, Interaction, and Measurement. 7864, 168-176 (2011).
  23. Kang, Y. S., Ho, Y. S. Geometrical compensation algorithm of multiview image for arc multi-camera arrays. Advances in Multimedia Information Processing. 2008, 543-552 (2008).
  24. Product Specification IRB 14000. DocumentID: 3HAC052982-001 Revision J. ABB Robotics. , Available from: https://library.abb.com/en/results (2018).
  25. Operating Manual IRB 14000. Document ID: 3HAC052986-001 Revision F. ABB Robotics. , Available from: https://library.abb.com/en/results (2019).
  26. Github repository. , Available from: https://github.com/majstenmark/stereo2 (2021).
  27. Operating manual RobotStudio. Document ID: 3HAC032104-001 Revision Y. ABB Robotics. , Available from: https://library.abb.com/en/results (2019).
  28. Won, C. S. Adaptive interpolation for 3D stereoscopic video in frame-compatible top-bottom packing. IEEE International Conference on Consumer Electronics. 2011, 179-180 (2011).
  29. Kim, S. K., Lee, C., Kim, K. T. Multi-view image acquisition and display. Three-Dimensional Imaging, Visualization, and Display. Javidi, B., Okano, F., Son, J. Y. , Springer. New York. 227-249 (2009).
  30. Liu, F., Niu, Y., Jin, H. Keystone correction for stereoscopic cinematography. IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops. 2012, 1-7 (2012).
  31. Kang, W., Lee, S. Horizontal parallax distortion correction method in toed-in camera with wide-angle lens. 3DTV Conference: The True Vision - Capture, Transmission and Display of 3D Video. 2009, 1-4 (2009).

Access restricted. Please log in or start a trial to view this content.

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Explore More Articles

174

This article has been published

Video Coming Soon

JoVE Logo

Privacy

Terms of Use

Policies

Contact Us

Recommend to library

JoVE NEWSLETTERS

Research

Education

Authors

Librarians

ABOUT JoVE

Copyright © 2025 MyJoVE Corporation. All rights reserved