Authors
Contact Us

Sign In

A subscription to JoVE is required to view this content. Sign in or start your free trial.

In This Article

  • Summary
  • Abstract
  • Introduction
  • Protocol
  • תוצאות
  • Discussion
  • Disclosures
  • Acknowledgements
  • Materials
  • References
  • Reprints and Permissions

Summary

מאמר זה מציג את התכנון והיישום של מודול ניתוח אוטומטי המבוסס על שחזור תלת ממדי מבוסס מציאות רבודה (AR). המערכת מאפשרת ניתוח מרחוק בכך שהיא מאפשרת למנתחים לבחון מאפיינים משוחזרים ולשכפל תנועות ידיים כירורגיות כאילו הם מבצעים את הניתוח בסמיכות.

Abstract

מציאות רבודה (AR) מבוקשת מאוד ביישומים רפואיים. מטרת המאמר היא לספק ניתוח אוטומטי באמצעות AR עבור החלפת מסתם אבי העורקים Transcatheter (TAVR). TAVR הוא הליך רפואי חלופי לניתוחי לב פתוח. TAVR מחליף את המסתם הפגוע בחדש באמצעות קטטר. במודל הקיים ניתנת הנחיה מרחוק, בעוד שהניתוח אינו אוטומטי על בסיס מציאות רבודה. במאמר זה, פרסנו מצלמה מיושרת מרחבית המחוברת למנוע לצורך אוטומציה של לכידת תמונה בסביבה כירורגית. המצלמה עוקבת אחר התמונה הדו-ממדית ברזולוציה גבוהה של לב המטופל יחד עם מיטת הבדיקה של הצנתר. התמונות שצולמו מועלות באמצעות האפליקציה לנייד למנתח מרחוק שהוא מומחה לקרדיולוגיה. תמונה זו משמשת לשחזור תלת-ממדי ממעקב אחר תמונות דו-ממדיות. זה נראה ב- HoloLens כמו אמולטור במחשב נייד. המנתח יכול לבדוק מרחוק את התמונות המשוחזרות בתלת ממד עם תכונות טרנספורמציה נוספות כגון סיבוב וקנה מידה. תכונות טרנספורמציה אלה מופעלות באמצעות מחוות ידיים. הנחיית המנתח מועברת לסביבה הניתוחית כדי להפוך את התהליך לאוטומטי בתרחישים בזמן אמת. הצנתר הנבדק בתחום הכירורגי נשלט על ידי הנחיית מחוות היד של המנתח מרחוק. מודל האבטיפוס שפותח מדגים את היעילות של הנחיה כירורגית מרחוק באמצעות מציאות רבודה.

Introduction

מציאות רבודה יכולה להציב את המודל התלת-ממדי בסביבה בעולם האמיתי. ההתפתחות הטכנולוגית לכיוון מציאות רבודה עשתה שינוי פרדיגמה בתחומים רבים, כלומר חינוך1, רפואה2, ייצור3 ובידור4. טכנולוגיית AR, יחד עם תקשורת אמינה במיוחד בהשהיה נמוכה, מוכיחה את תפקידה הבלתי נמנע בתחום הרפואי. משלב הלמידה של האנטומיה האנושית ועד להדרכה כירורגית, ניתן לדמיין את שלבי הלמידה באמצעות תוכנה 5,6 וחומרה המופעלות על ידי AR. מציאות רבודה מספקת פתרון חיוני ואמין לרופא בסביבה כירורגית 7,8.

היצרות מסתם אבי העורקים היא מחלת מסתמי הלב, הנפוצה ביותר בקרב האנושות9. שורש המחלה הוא הרגלי מזון לקויים ושגרה לא סדירה של חיי היומיום. הסימפטום והתוצאה של המחלה הוא היצרות של שסתום הלב, ואחריו ירידה בזרימת הדם. יש לטפל בבעיה זו לפני שנגרם נזק כלשהו ללב האדם. לכן, הלב עמוס יתר על המידה כדי לעבד את זרימת הדם. לכן, לפני שנגרם נזק, יש לבצע ניתוח, אשר בשל ההתפתחויות הטכנולוגיות בימים האחרונים, ניתן לעשות זאת גם באמצעות הליך TAVR. ניתן לאמץ את ההליך בהתבסס על מצב הלב וחלקי גוף אחרים של החולים. ב- TAVR10,11 זה, מחדירים את הצנתר כדי להחליף את המסתם הפגוע בלב. עם זאת, מיקום הצנתר12 כדי להחליף את המסתם הוא מייגע עבור המטפל. רעיון זה הניע אותנו לתכנן מודל ניתוח אוטומטי המבוסס על AR13,14, המסייע למנתח למקם במדויק את המסתם במהלך תהליך ההחלפה. יתר על כן, ניתן לבצע את הניתוח באמצעות אלגוריתם מיפוי תנועה, הממפה את תנועת המנתח שנלכדה ממקום מרוחק אל הזרוע הרובוטית.

בעבודה הקיימת 15,16,17, ההדמיה של הליך TAVR 18 מנוטרת באמצעות פלואורוסקופיה. לפיכך, קשה לנתח את שסתום הלב ומייגע למצוא את מיקום ההחלפה. זה מציב מחסום למיקום הצנתר בלב האדם. בנוסף, התנועה מרחוק ממופה לשדה הניתוח כדי להפוך את התהליך לאוטומטי. עם זאת, כדי להתגבר על הפער המחקרי, אנו מציעים ניתוח אוטומטי מבוסס רובוטיקה להחלפת מסתם באמצעות טכנולוגיית AR.

הפרוטוקול הוא מודל גנרי שניתן ליישם בכל סביבות הניתוח. בשלב הראשון של העבודה, תמונות דו-ממדיות נלכדות בכל רחבי הסביבה הכירורגית ברזולוציה המרחבית המלאה ביותר של דרגת החופש הגדולה ביותר. משמעות הדבר היא כי מספיק תמונות נלכדות עבור שחזור 3D19 מטרה, ואחריו מיפוי תנועה באמצעות מחוות יד מעקב20.

Protocol

1. סביבה כירורגית

  1. תכננו סביבת ניתוח כפי שמוצג באיור 1. ודא שלסביבה יש פלטה נושאת חפצים, זרוע רובוטית ושתי זרועות תלויות לצדדים, אחת להחזיק שומר מיקום למצלמה והשנייה בעלת רקע לבן עקבי יחד עם מודול השקילה לאיזון.
  2. לפתח שני דרייברים, אחד לתמונת מצב של הסביבה הכירורגית החיה, כפי שהוזכר בשלבים 2.1 עד 2.10, והשני לשלוט במנגנון המסתובב התומך במעקב 360°, כפי שהוזכר בשלבים 3.1 עד 3.4.
  3. לפני יישום שני המודולים לעיל, הפעל Bluetooth של המכשיר הנייד והמחשב הנייד, המשמשים אמולטור HoloLens של המנתח.
  4. שייך את ההתקנים לשידור תמונה ללא הפרעות.

2. הגדרת הנהג לשליטה בשתי הזרועות התלויות

  1. ודא שהזרועות התלויות נשלטות על-ידי מנוע צעד עם הסידור כפי שמוצג באיור 2 לסיבוב מושלם של 360°.
  2. חבר את המנוע ללוח המיקרו-בקר באמצעות מנהל ההתקן TB 6600. כדי להפעיל את המנוע, התקן את IDE המיקרו-בקר מהדפדפן.
  3. לחץ על לחצן הורד כדי להוריד את התוכנה. לאחר מכן, ב- IDE של המיקרו-בקר, עבור אל קובץ > פתח סקיצה חדשה כדי לכתוב את הקוד.
  4. הקפד לחבר את לוח המיקרו-בקר לממשק עם השרטוט החדש באמצעות יציאת חיבור ייעודית, נניח COM 4. בדוק את יציאת Com וודא שהיא מציגה את לוח המיקרו-בקר.
  5. בדוק את הגדרות מתג החומרה של מנהל ההתקן של מנוע הצעד TB 6600. ודא שההגדרות הן כאלה שהזרימה הנוכחית היא 2 A, שניתן להשיג על ידי הגדרת SW4 מופעל ו- SW5 ו- SW6 כבוי.
  6. ודא שמיקומי המתגים של SW1, SW2 ו- SW3 מוגדרים כך שהמיקרו-שלב הוא 1/8 צעדים להשגת שלבי המהפכה בהתאם לדרישה. ודא שההגדרות הן SW1 כבוי, SW2 מופעל ו- SW3 כבוי ב- TB6600.
  7. חברו את RTC 3231 עם המיקרו-בקר כדי לקבל סנכרון זמן גלובלי אמיתי. ודא כי גודל צעד המהפכה הוא 12° וכי תוספת צעד המנוע מופעלת רק כאשר היחידה בזמן אמת, כלומר, השניות שנקראו ממודול RTC, היא אי-זוגית במספר.
  8. חבר את פין 5 V של לוח המיקרו-בקר ל- RTC VCC ואת ה- GND של המיקרו-בקר ל- GND של RTC.
  9. חבר את פין ה- SCL של RTC לסיכת A0 ואת ה- SDA לסיכת A1 של המיקרו-בקר. מודול זה יכול להבטיח גודל צעד של 12°, ביצוע 30 צעדים בסיבוב אחד. ודא שהפרש הצעדים מתרחש בכל שנייה אי-זוגית. תן למודול תוכנה זה להניע את מנוע הצעד21.
  10. ודא שתוכנית ההתקנה פועלת כראוי על-ידי הפעלת הקוד, הזמין בדף GitHub: https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR.
  11. הורד את Android Studio כדי לפתח את אפליקציית המצלמה האוטומטית. ודא שדרישות המערכת מתקיימות, ולאחר מכן הורד את התוכנה מהאתר.

3. פיתוח דרייבר למעקב סצנות מבוסס מובייל והעברת תמונות כמודול לקוח

  1. פתח יישום מצלמה במערכת ההפעלה אנדרואיד שיכול לצלם תמונות כל 2 שניות, במיוחד כאשר השניות הן מספרים אי-זוגיים.
  2. חבר את הטלפון הנייד למערכת. ב-Android Studio, לחץ על חדש > פרויקט חדש ובחר פעילות תצוגות ריקות. לחץ על הבא כדי לפתח קוד אנדרואיד, הזמין בכתובת https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR.
  3. ודא שהאפליקציה לוכדת את התמונות באופן אוטומטי ושולחת אותן להתקן מרוחק באופן עקבי.
  4. שדר תמונות מהאפליקציה לנייד מיד לאחר צילום התמונה למכשיר המשויך, כלומר למערכת המנתח מרחוק, באמצעות Bluetooth.
    הערה: ודא שהמודולים המוזכרים בסעיפים 2 ו-3 פועלים בסנכרון זמן, אחד עבור כל מספר זוגי של שניות והשני עבור כל מספר אי-זוגי של שניות.

4. פיתוח מודול לקוח לקליטה וטיפול בתמונות מעקב

  1. פתח את מודול השרת, שהוא ממשק משתמש גרפי.
  2. הזן את מספר יציאת VVID בשדה הטקסט VVID, שערך ברירת המחדל שלו הוא 94f39d29 7d6d 437d 973b fba39e49d4ee.
  3. לחץ על צור שקע כדי ליצור ולקשור את השקע. לחץ על התחבר כדי ליצור חיבור לאפליקציה לנייד.
  4. לחץ על לכידה כדי ללכוד ולשמור את תמונות מעקב הסצנה בתיקיה המקומית
  5. הזן את שם התיקיה המקומית בשם תיקיית השדה אם עליו להיות שונה משם ברירת המחדל שהוזכר.

5. הפעלת הזרוע הרובוטית

  1. תן למודול הלקוח לכלול גם זרוע רובוטית. עצבו את הזרוע כך שתהיה לה תנועה סיבובית בבסיס, בכתף, במרפק, בשורש כף היד ובאצבעות.
  2. ודא כי סרוו MG 996R משמשים לשליטה על התנועה הסיבובית בבסיס, בכתף ובמרפק. ודא כי מנוע סרוו SG 90 משמש לשליטה על התנועה הסיבובית במרפק ובאצבעות.
  3. הידור הקוד שניתן בשנת https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR במיקרו-בקר IDE כדי להניע את הזרוע הרובוטית בהתבסס על הפקודות שהתקבלו מהמנתח מרחוק.

שחזור 6. 3D למציאות רבודה

  1. קרא שתי תמונות בכל פעם ברצף, אחת אחת, מהתיקייה המקומית כדי לקבל את החפיפה האפשרית (מכיוון שהתמונות נאספות בסמיכות, תהיה חפיפה בין התמונות העוקבות) ביניהן.
  2. עצב מסנן שלישוני בהתאם לדרישה של תיאור התכונה המועצם כיווני באמצעות האלגוריתם סינון שלישוני22 (DITF) כדי להשיג את מעבר הצבע ואת הכיוון.
  3. חלץ את התכונות באמצעות שיטת DITF22, כפי שמוצג באיור 3.
  4. שחזר תמונות תלת-ממדיות מהתכונות שנאספו באמצעות SFM23.

7. זיהוי מחוות יד במקום המנתח

  1. להקל על המנתח לבדוק את תכונות התמונה המשוחזרת בתלת ממד על ידי מתן אפשרות לו / לה לדמיין את הסביבה מכל נקודות המבט על ידי מתן סיבוב מבוסס מחוות יד וזום פנימה / החוצה של תכונות משוחזרות.
  2. נרמלו ומיפו את המרחק בין קצה האגודל של המנתח לבין האצבע המורה של יד ימין לזווית סיבוב מתאימה. תן לנורמליזציה להיות באופן כזה שהמרחק המינימלי החשוף מתאים ל 0° והמקסימום ל 180°.
  3. שדר את בקרת מחוות היד, באמצעות Bluetooth, גם לסביבת הניתוח המרוחקת לסיבוב מגש האובייקטים, מה שגורם לו להסתובב על צירו כאשר התכונות המשוחזרות בתלת ממד מסתובבות בקצה המנתח.
  4. מצא את המרחק בין קצה האגודל של יד שמאל של המנתח כדי לשלוט בתנועת אצבעות זרוע הרובוט.
  5. מדדו את זווית ההגבהה מהמרחק המרחבי בין קצה האגודל לאצבעות המורה של יד שמאל של המנתח ביחס למישור קרקע x-y דמיוני כדי לקבוע את זווית הגובה. מפה זווית זו לזווית גובה שזרוע הרובוט יכולה ליצור עם מישור x-y.
  6. מצא את זווית האזימוט שהיד של המנתח עושה עם זו של מישור y-z הווירטואלי. זהה זוויות אלה באמצעות זיהוי המבוסס על מחוות יד.
  7. מפה את זוויות המרחק, הגובה והאזימוט כדי לשלוט בתנועת האצבעות של הרובוט ובסיבוב הזרוע, ששניהם תואמים לזוויות גובה ואזימוט.
  8. תן למנתח לבדוק את התכונות המשוחזרות על ידי זום וסיבוב. תן למנתח להעביר פקודות לזרוע הרובוט לבצע ניתוח ממקום מרוחק.
  9. ודא כי פקודות הניתוח מועברות כמחרוזת בקרה של רצף המתחיל בהסכמת מחרוזת ואחריה הערכים לשליטה על סיבוב הפלטה ובקר הזרוע הרובוטי. תן [θb, θs, θe, θw, θf] להיות הזווית של הווקטור המורכב מערכים, שכל אחד מהם מתאים לאות הבקרה המתאים לבסיס, לכתף, למרפק, לפרק כף היד ולאצבע של זרוע הרובוט.
    הערה: הקישור GitHub מספק את הקוד כדי לאפשר שליטה במחוות יד בתחום הניתוח. https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR.

תוצאות

הפרוטוקול נבדק עם מודל פנטום הלב. איור 2 מראה את ההיערכות הצפויה למעקב חי אחר שדה הניתוח בעזרת מצלמות מפוזרות מרחבית. המצלמות המבוזרות, כפי שניתן לראות באיור 2, עוזרות להגדיל את הרזולוציה המרחבית של השדה לצורך שחזור תלת-ממדי יעיל. עם זאת, מימוש המיקום הפיזי ש?...

Discussion

בעבודה קיימת15 נבדקות סריקות רנטגן ו-CT לאיתור הצנתר בלב. עם זאת, החלפת AR TAVR מבססת אפשרות חדשה בפרוצדורה כירורגית TAVR18 על ידי יישום מודל אוטומטי באמצעות שחזור תלת ממדי. כפי שהוזכר בסעיף הפרוטוקול, לעבודה זו יש חמישה שלבים לתכנון. השלב הראשון של DITF22, המוזכ...

Disclosures

המחברים מצהירים כי אין ניגודי עניינים.

Acknowledgements

המחברים מודים כי אין מימון למחקר זה.

Materials

NameCompanyCatalog NumberComments
android IDEsoftwarehttps://developer.android.com/studiosoftware can be downloaded from this link
Arduino BoardArdunio UnoArdunio UnoMicrocontroller for processing
arduino softwaresoftwarehttps://www.arduino.cc/en/software.software can be downloaded from this link
Human Heart phantom modelBiology Lab Equipment Manufacturer and ExporterB071YBLX2V(8B-ZB2Q-H3MS-1)light weight model with 3parts to the deep analysis of heart.
mobile holderHumble universal monopoad holderB07S9KNGVSTo carry the mobile in surgical field
pycharm IDEsoftwarehttps://www.jetbrains.com/pycharm/software can be downloaded from this link
Robot armPrinted-botsB08R2JLKYM(P0-E2UT-JSOU)arm can be controlled through control signal.it has 5 degree of freedom to access.
servo motorKollmorgen Co-Engineers MotorsMG-966Rhigh-torque servo motor,servo pulses ranging from 500 to 2500 microseconds (µs), with a frequency of 50Hz to 333Hz. 
servomotorKollmorgen Co-Engineers MotorsSG-90R1.8 kg-cm to 2.5 kg-cm load can be applied to SG-90R servo.
Stepper Motor28BYJ-4828BYJ-48Steper motor, 5V DC, 100 Hz frequency, torque 1200 Gf.cm
Stepper MotorNema 23NemaSteper motor, 9V - 42 V DC, 100 Hz frequency

References

  1. Wang, L. J., Casto, B., Reyes-Molyneux, N., Chance, W. W., Wang, S. J. Smartphone-based augmented reality patient education in radiation oncology. Tech Innov Patient Supp Radiation Oncol. 29, 100229 (2024).
  2. Guerroudji, M. A., Amara, K., Lichouri, M., Zenati, N., Masmoudi, M. A 3D visualization-based augmented reality application for brain tumor segmentation. Comput Anim Virtual Worlds. 35 (1), e2223 (2024).
  3. Xia, L., et al. Augmented reality and indoor positioning based mobile production monitoring system to support workers with human-in-the-loop. Robotic Comput Integ Manufac. 86, 102664 (2024).
  4. Preece, C., Skandalis, A. Time to imagine an escape: investigating the consumer timework at play in augmented reality. Eur J Market. 58, 92-118 (2024).
  5. Suresh, D., Aydin, A., James, S., Ahmed, K., Dasgupta, P. The role of augmented reality in surgical training: a systematic review. Surg Innov. 30, 366-382 (2023).
  6. Moreta-Martinez, R., et al. Combining augmented reality and 3D printing to display patient models on a smartphone. J Vis Exp. (155), 60618 (2020).
  7. Ma, L., Huang, T., Wang, J., Liao, H. Visualization, registration and tracking techniques for augmented reality guided surgery: a review. Phys Med Biol. 68, 04TR02 (2023).
  8. Hofman, J., et al. First-in-human real-time ai-assisted instrument deocclusion during augmented reality robotic surgery. Healthc Technol Lett. 11 (2-3), 33-39 (2023).
  9. Thiene, G., Rizzo, S., Basso, C. Bicuspid aortic valve: The most frequent and not so benign congenital heart disease. Cardiovasc Pathol. 70, 107604 (2024).
  10. Mack, M. J., et al. Transcatheter aortic-valve replacement in low-risk patients at five years. New Engl J Med. 389, 1949-1960 (2023).
  11. Vitanova, K., et al. Aortic valve versus root surgery after failed transcatheter aortic valve replacement. J Thorac Cardiovas Surg. 166, 1418-1430 (2023).
  12. Bydlon, T. M., Torjesen, A., Fokkenrood, S., Di Tullio, A., Flexman, M. L. 3d visualisation of navigation catheters for endovascular procedures using a 3d hub and fiber optic realshape technology: phantom study results. EJVES Vascular Forum. 59, 24-30 (2023).
  13. Faris, H., Harfouche, C., Bandle, J., Wisbach, G. Surgical tele-mentoring using a robotic platform: initial experience in a military institution. Surg Endosc. 37, 9159-9166 (2023).
  14. Fitzgerald, L., et al. Mentoring approaches in a safe surgery program in tanzania: Lessons learned during covid-19 and recommendations for the future. Surg Open Sci. 14, 109-113 (2023).
  15. de Turenne, A., Eugène, F., Blanc, R., Szewczyk, J., Haigron, P. Catheter navigation support for mechanical thrombectomy guidance: 3d/2d multimodal catheter-based registration with no contrast dye fluoroscopy. Int J Comput Assist Radiol Surg. 19 (3), 459-468 (2023).
  16. Tang, H., et al. A multiple catheter tips tracking method in x-ray fluoroscopy images by a new lightweight segmentation network and bayesian filtering. Int J Med Robotics Comput Assist Surg. 19, e2569 (2023).
  17. Annabestani, M., Caprio, A., Wong, S. C., Mosadegh, B. A machine learning-based roll angle prediction for intracardiac echocardiography catheter during bi-plane fluoroscopy. Appl Sci. 13, 3483 (2023).
  18. Thourani, V. H., et al. Survival after surgical aortic valve replacement in low-risk patients: a contemporary trial benchmark. Ann Thorac Surg. 117, 106-112 (2024).
  19. Domínguez-Velasco, C. F., et al. Augmented reality simulation as training model of ventricular puncture: Evidence in the improvement of the quality of punctures. Int J Med Robotics Comput Assist Surg. 19, e2529 (2023).
  20. Wang, Q., Xie, Z. Arias: An ar-based interactive advertising system. Plos One. 18, e0285838 (2023).
  21. Ji, F., Chong, F., Wang, F., Bai, D. Augmented reality platform for the unmanned mining process in underground mines. Mining,Metal Explor. 39 (2), 385-395 (2022).
  22. Indhumathi, S., Clement, J. C. Directional intensified feature description using tertiary filtering for augmented reality tracking. Sci Rep. 13, 20311 (2023).
  23. Gao, L., Zhao, Y., Han, J., Liu, H. Research on multi-view 3D reconstruction technology based on SFM. Sensors. 22 (12), 4366 (2022).
  24. Suárez, I., Sfeir, G., Buenaposada, J. M., Baumela, L. BEBLID: Boosted efficient binary local image descriptor. Pattern Recog Lett. 133, 366-372 (2020).
  25. Borman, R. I., Harjoko, A. Improved ORB algorithm through feature point optimization and Gaussian pyramid. Int J Adv Comp Sci Appl. 15 (2), 268-275 (2024).

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Explore More Articles

JoVE210

This article has been published

Video Coming Soon

JoVE Logo

Privacy

Terms of Use

Policies

Contact Us

Recommend to library

JoVE NEWSLETTERS

Research

Education

Authors

Librarians

ABOUT JoVE

Copyright © 2025 MyJoVE Corporation. All rights reserved