Authors
Contact Us

Sign In

A subscription to JoVE is required to view this content. Sign in or start your free trial.

In This Article

  • Summary
  • Abstract
  • Introduction
  • Protocol
  • النتائج
  • Discussion
  • Disclosures
  • Acknowledgements
  • Materials
  • References
  • Reprints and Permissions

Summary

تقدم هذه المقالة تصميم وتنفيذ وحدة جراحية تلقائية تعتمد على إعادة بناء 3D القائمة على الواقع المعزز (AR). يتيح النظام الجراحة عن بعد من خلال السماح للجراحين بفحص الميزات المعاد بناؤها وتكرار حركات اليد الجراحية كما لو كانوا يجرون الجراحة على مقربة.

Abstract

يزداد الطلب على الواقع المعزز (AR) في التطبيقات الطبية. الهدف من الورقة هو توفير الجراحة التلقائية باستخدام AR لاستبدال الصمام الأبهري عبر القسطرة (TAVR). استبدال الصمام الأبهري عبر القسطرة هو الإجراء الطبي البديل لجراحة القلب المفتوح. يستبدل استبدال الصمام الأبهري عبر القسطرة الصمام المصاب بالصمام الجديد باستخدام قسطرة. في النموذج الحالي ، يتم إعطاء التوجيه عن بعد ، في حين أن الجراحة ليست آلية بناء على الواقع المعزز. في هذه المقالة ، قمنا بنشر كاميرا محاذاة مكانيا متصلة بمحرك لأتمتة التقاط الصور في البيئة الجراحية. تتعقب الكاميرا الصورة عالية الدقة 2D لقلب المريض جنبا إلى جنب مع اختبار القسطرة. يتم تحميل هذه الصور الملتقطة باستخدام تطبيق الهاتف المحمول إلى جراح عن بعد وهو خبير في أمراض القلب. يتم استخدام هذه الصورة لإعادة بناء 3D من تتبع الصور 2D. يتم عرض هذا في HoloLens مثل المحاكي في جهاز كمبيوتر محمول. يمكن للجراح فحص الصور المعاد بناؤها 3D عن بعد مع ميزات تحويل إضافية مثل الدوران والقياس. يتم تمكين ميزات التحويل هذه من خلال إيماءات اليد. يتم نقل إرشادات الجراح إلى البيئة الجراحية لأتمتة العملية في سيناريوهات الوقت الفعلي. يتم التحكم في اختبار القسطرة في المجال الجراحي عن طريق توجيه إيماءات اليد للجراح عن بعد. يوضح النموذج الأولي المطور فعالية التوجيه الجراحي عن بعد من خلال الواقع المعزز.

Introduction

يمكن للواقع المعزز تركيب نموذج 3D في بيئة العالم الحقيقي. أحدث التطور التكنولوجي نحو الواقع المعزز نقلة نوعية في العديد من المجالات ، وهي التعليم1 والطب2 والتصنيع3 والترفيه4. تثبت تقنية AR ، إلى جانب الاتصالات ذات الكمون المنخفض الموثوقة للغاية ، دورها الحتمي في المجال الطبي. من مرحلة تعلم التشريح البشري إلى التوجيه الجراحي ، يمكن تصور مراحل التعلم باستخدام البرامجالتي تعمل بالواقع المعزز 5,6 والأجهزة. يوفر الواقع المعزز حلا حاسما وموثوقا للممارس الطبي في بيئة جراحية 7,8.

تضيق الصمام الأبهري هو مرض صمام القلب ، وهو الأكثر شيوعا بين البشر9. السبب الجذري للمرض هو العادات الغذائية السيئة والروتين غير المنتظم للحياة اليومية. أعراض ونتائج المرض هي تضييق صمام القلب ، يليه انخفاض في تدفق الدم. يجب معالجة هذه المشكلة قبل حدوث أي ضرر لقلب الإنسان. وبالتالي ، فإن القلب مثقل بمعالجة تدفق الدم. لذلك ، قبل حدوث أي ضرر ، يجب إجراء عملية جراحية ، والتي ، بسبب التطورات التكنولوجية في الأيام الأخيرة ، يمكن إجراؤها أيضا باستخدام إجراء TAVR. يمكن اعتماد الإجراء بناء على حالة القلب وأجزاء الجسم الأخرى للمرضى. في TAVR10,11 ، يتم إدخال القسطرة لاستبدال الصمام التالف في القلب. ومع ذلك ، فإن وضع موضع القسطرة12 لاستبدال الصمام أمر شاق للممارس. دفعتنا هذه الفكرة إلى تصميم نموذج جراحة آلي يعتمد على AR13,14 ، مما يساعد الجراح على وضع الصمام بدقة أثناء عملية الاستبدال. علاوة على ذلك ، يمكن إجراء الجراحة بواسطة خوارزمية رسم خرائط الحركة ، والتي تحدد حركة الجراح التي تم التقاطها من مكان بعيد إلى الذراع الآلية.

في العمل الحالي15،16،17 ، يتم مراقبة تصور إجراء TAVR18 من خلال التنظير الفلوري. وبالتالي ، من الصعب تحليل صمام القلب ومملة للعثور على موقع الاستبدال. هذا يضع حاجزا أمام وضع القسطرة في قلب الإنسان. بالإضافة إلى ذلك ، يتم تعيين الحركة عن بعد إلى المجال الجراحي لجعل العملية آلية. ومع ذلك ، للتغلب على الفجوة البحثية ، نقترح إجراء جراحة آلية قائمة على الروبوت لاستبدال الصمام باستخدام تقنية بمساعدة الواقع المعزز.

البروتوكول هو نموذج عام يمكن تطبيقه على جميع البيئات الجراحية. في المرحلة الأولى من العمل ، يتم التقاط صور 2D في جميع أنحاء البيئة الجراحية مع أقصى دقة مكانية لأكبر درجة من الحرية. هذا يعني أنه يتم التقاط صور كافية لغرض إعادة الإعمار3D 19 ، تليها خرائط الحركة من خلال تتبع إيماءات اليد20.

Protocol

1. البيئة الجراحية

  1. تصميم بيئة جراحية كما هو موضح في الشكل 1. تأكد من أن البيئة تحتوي على طبق يحمل شيئا وذراعا آليا وذراعين معلقين جانبيا، أحدهما لحمل عنصر نائب للكاميرا والآخر للحصول على خلفية بيضاء متسقة مع وحدة الوزن لتحقيق التوازن.
  2. تطوير محركين ، أحدهما للقطة من البيئة الجراحية الحية ، كما هو مذكور في الخطوات من 2.1 إلى 2.10 ، والآخر للتحكم في الآلية الدوارة التي تدعم المراقبة بزاوية 360 درجة ، كما هو مذكور في الخطوات 3.1 إلى 3.4.
  3. قبل تنفيذ الوحدتين المذكورتين أعلاه ، قم بتمكين Bluetooth للجهاز المحمول والكمبيوتر المحمول ، والذي يعمل كمحاكي HoloLens للجراح.
  4. قم بإقران الأجهزة لنقل الصور دون انقطاع.

2. إعداد السائق للتحكم في الذراعين المعلقين

  1. تأكد من التحكم في الأذرع المعلقة بواسطة محرك متدرج بالترتيب كما هو موضح في الشكل 2 لثورة لا تشوبها شائبة تبلغ 360 درجة.
  2. قم بتوصيل المحرك بلوحة المتحكم الدقيق باستخدام برنامج تشغيل TB 6600. لتشغيل المحرك ، قم بتثبيت IDE المتحكم الدقيق من المتصفح.
  3. انقر فوق الزر تنزيل لتنزيل البرنامج. ثم ، في IDE متحكم دقيق ، انتقل إلى ملف > افتح رسما جديدا لكتابة التعليمات البرمجية.
  4. تأكد من توصيل لوحة المتحكم الدقيق بالتفاعل مع الرسم الجديد من خلال منفذ اتصال مخصص ، على سبيل المثال COM 4. تحقق من منفذ Com وتحقق من أنه يظهر لوحة المتحكم الدقيقة.
  5. تحقق من إعدادات تبديل الأجهزة لبرنامج تشغيل محرك السائر TB 6600. تأكد من أن الإعدادات بحيث يكون التدفق الحالي 2 أمبير ، والذي يمكن تحقيقه عن طريق ضبط SW4 ON و SW5 و SW6 OFF.
  6. تأكد من ضبط مواضع التبديل ل SW1 و SW2 و SW3 بحيث تكون الخطوة الدقيقة 1/8 خطوة لتحقيق خطوات الثورة وفقا للمتطلبات. تأكد من أن الإعدادات هي SW1 OFF و SW2 ON و SW3 OFF في TB6600.
  7. قم بتوصيل RTC 3231 بالمتحكم الدقيق للحصول على مزامنة زمنية عالمية حقيقية. تأكد من أن حجم خطوة الثورة هو 12 درجة وأن زيادة خطوة المحرك يتم تشغيلها فقط عندما تكون وحدة الوقت الفعلي ، أي الثواني المقروءة من وحدة RTC ، فردية في العدد.
  8. قم بتوصيل دبوس 5 فولت للوحة المتحكم الدقيق ب RTC VCC و GND الخاص بالمتحكم الدقيق ب GND الخاص ب RTC.
  9. قم بتوصيل دبوس SCL الخاص ب RTC بالدبوس A0 و SDA بدبوس A1 الخاص بوحدة التحكم الدقيقة. يمكن أن تضمن هذه الوحدة حجم خطوة 12 درجة ، مما يجعل 30 خطوة في دورة واحدة. تأكد من أن زيادة الخطوة تحدث كل ثانية فردية. دع وحدة البرنامج هذه تقود محرك السائر21.
  10. تحقق من أن الإعداد يعمل بشكل صحيح عن طريق تشغيل التعليمات البرمجية المتوفرة في صفحة GitHub: https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR.
  11. قم بتنزيل Android Studio لتطوير تطبيق الكاميرا التلقائي. تأكد من تلبية متطلبات النظام ، ثم قم بتنزيل البرنامج من موقع الويب.

3. تطوير برنامج تشغيل لمراقبة المشهد المستند إلى الهاتف المحمول ونقل الصور كوحدة نمطية للعميل

  1. قم بتطوير تطبيق كاميرا في نظام التشغيل Android يمكنه التقاط لقطات كل 2 ثانية ، خاصة عندما تكون الثواني أرقاما فردية.
  2. قم بتوصيل الهاتف المحمول بالنظام. في Android Studio، انقر على جديد > مشروع جديد واختر نشاط طرق العرض الفارغة. انقر فوق التالي لتطوير رمز Android ، والذي يتوفر على https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR.
  3. تأكد من أن التطبيق يلتقط الصور تلقائيا ويرسلها إلى جهاز بعيد باستمرار.
  4. نقل اللقطات من تطبيق الهاتف المحمول فور التقاط اللقطة إلى الجهاز المقترن ، أي إلى نظام الجراح عن بعد ، من خلال البلوتوث.
    ملاحظة: تأكد من أن الوحدات المذكورة في القسمين 2 و 3 تعمل في مزامنة الوقت ، واحدة لكل عدد زوجي من الثواني والأخرى لكل عدد فردي من الثواني.

4. تطوير وحدة العميل لتلقي ومعالجة صور المراقبة

  1. افتح وحدة الخادم ، وهي واجهة مستخدم رسومية.
  2. أدخل رقم منفذ VVID في حقل النص VVID ، الذي تكون قيمته الافتراضية 94f39d29 7d6d 437d 973b fba39e49d4ee.
  3. انقر فوق إنشاء مقبس لإنشاء المقبس وربطه. انقر فوق اتصال لإنشاء اتصال بتطبيق الهاتف المحمول.
  4. انقر فوق التقاط لالتقاط وحفظ صور مراقبة المشهد في المجلد المحلي
  5. أدخل اسم المجلد المحلي في اسم مجلد الحقل إذا كان يجب أن يكون مختلفا عن الاسم الافتراضي المذكور.

5. تشغيل الذراع الروبوتية

  1. دع وحدة العميل تتضمن ذراعا روبوتية أيضا. صمم الذراع ليكون له حركة دورانية في قاعدته وكتفه وكوعه ومعصمه وأصابعه.
  2. تأكد من استخدام ماكينات MG 996R للتحكم في حركة الدوران عند القاعدة والكتف والمرفق. تأكد من استخدام محرك سيرفو SG 90 للتحكم في حركة الدوران عند الكوع والأصابع.
  3. قم بتجميع الكود الوارد في https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR في IDE المتحكم الدقيق لقيادة الذراع الروبوتية بناء على الأوامر الواردة من الجراح عن بعد.

إعادة بناء 6. 3D للواقع المعزز

  1. اقرأ صورتين في وقت واحد في تسلسل ، واحدة تلو الأخرى ، من المجلد المحلي للحصول على التداخل المحتمل (حيث يتم جمع الصور على مقربة ، سيكون هناك تداخل بين الصور المتتالية) بينهما.
  2. صمم مرشحا ثلاثيا وفقا لمتطلبات وصف الميزة المكثفة الاتجاهية باستخدام خوارزمية التصفية الثلاثية22 (DITF) للحصول على التدرج والاتجاه.
  3. استخرج الميزات باستخدام طريقة DITF22 ، كما هو موضح في الشكل 3.
  4. أعد إنشاء الصور ثلاثية الأبعاد من الميزات التي تم جمعها باستخدام SFM23.

7. التعرف على إيماءات اليد في موقع الجراح

  1. تسهيل الجراح لفحص ميزات الصورة المعاد بناؤها 3D من خلال تمكينه / تمكينها من تصور البيئة من جميع وجهات النظر من خلال توفير دوران قائم على إيماءات اليد وتكبير / تصغير الميزات المعاد بناؤها.
  2. تطبيع وتعيين المسافة بين طرف إبهام الجراح والسبابة من اليد اليمنى في زاوية دوران المقابلة. دع التطبيع يكون بطريقة تتوافق مع الحد الأدنى للمسافة العارية مع 0 درجة والحد الأقصى 180 درجة.
  3. نقل التحكم في إيماءات اليد ، من خلال البلوتوث ، إلى بيئة الجراحة عن بعد وكذلك لتدوير طبق الكائن ، مما يجعله يدور حول محوره حيث تدور الميزات المعاد بناؤها 3D في نهاية الجراح.
  4. أوجد المسافة بين طرف وإبهام اليد اليسرى للجراح للتحكم في حركة أصابع ذراع الروبوت.
  5. قم بقياس زاوية الارتفاع من المسافة المكانية بين طرف الإبهام والسبابة في اليد اليسرى للجراح فيما يتعلق بمستوى أرضي وهمي x-y لتحديد زاوية الارتفاع. قم بتعيين هذه الزاوية إلى زاوية ارتفاع يمكن لذراع الروبوت صنعها باستخدام المستوى x-y.
  6. أوجد زاوية السمت التي تصنعها يد الجراح مع زاوية الطائرة y-z الافتراضية. حدد هذه الزوايا من خلال التعرف القائم على إيماءات اليد.
  7. قم بتعيين زوايا المسافة والارتفاع والسمت للتحكم في حركة إصبع الروبوت ودوران الذراع ، وكلاهما يتوافق مع زوايا الارتفاع والسمت.
  8. دع الجراح يفحص الميزات المعاد بناؤها عن طريق التكبير والتدوير. دع الجراح ينقل الأوامر إلى ذراع الروبوت لإجراء الجراحة من مكان بعيد.
  9. تأكد من إرسال أوامر الجراحة كسلسلة تحكم من التسلسل تبدأ بتوافق سلسلة متبوعة بالقيم للتحكم في دوران الطبق ووحدة التحكم في الذراع الروبوتية. دع [θb ، θs ، θe ، θw ، θf] هي زاوية المتجه التي تتكون من قيم ، كل منها يتوافق مع إشارة التحكم المقابلة للقاعدة والكتف والكوع والمعصم وإصبع ذراع الروبوت.
    ملاحظة: يوفر رابط GitHub الكود لتمكين التحكم في إيماءات اليد في المجال الجراحي. https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR.

النتائج

تم اختبار البروتوكول باستخدام نموذج القلب الوهمي. يوضح الشكل 2 الإعداد المتوقع للمراقبة الحية للمجال الجراحي بمساعدة الكاميرات الموزعة مكانيا. تساعد الكاميرات الموزعة ، كما هو موضح في الشكل 2 ، على زيادة الدقة المكانية للمجال من أجل إعادة بناء 3D فعالة. ومع ...

Discussion

في عمل موجود15 ، يتم فحص الأشعة السينية والأشعة المقطعية لتحديد موقع القسطرة في القلب. ومع ذلك ، فإن استبدال AR TAVR يؤسس إمكانية جديدة في الإجراء الجراحي TAVR18 من خلال تنفيذ نموذج آلي باستخدام إعادة البناء ثلاثية الأبعاد. كما هو مذكور في قسم البروتوكول ، يحتوي هذا العم...

Disclosures

يعلن أصحاب البلاغ عدم وجود تضارب في المصالح.

Acknowledgements

يقر المؤلفون بعدم وجود تمويل لهذا البحث.

Materials

NameCompanyCatalog NumberComments
android IDEsoftwarehttps://developer.android.com/studiosoftware can be downloaded from this link
Arduino BoardArdunio UnoArdunio UnoMicrocontroller for processing
arduino softwaresoftwarehttps://www.arduino.cc/en/software.software can be downloaded from this link
Human Heart phantom modelBiology Lab Equipment Manufacturer and ExporterB071YBLX2V(8B-ZB2Q-H3MS-1)light weight model with 3parts to the deep analysis of heart.
mobile holderHumble universal monopoad holderB07S9KNGVSTo carry the mobile in surgical field
pycharm IDEsoftwarehttps://www.jetbrains.com/pycharm/software can be downloaded from this link
Robot armPrinted-botsB08R2JLKYM(P0-E2UT-JSOU)arm can be controlled through control signal.it has 5 degree of freedom to access.
servo motorKollmorgen Co-Engineers MotorsMG-966Rhigh-torque servo motor,servo pulses ranging from 500 to 2500 microseconds (µs), with a frequency of 50Hz to 333Hz. 
servomotorKollmorgen Co-Engineers MotorsSG-90R1.8 kg-cm to 2.5 kg-cm load can be applied to SG-90R servo.
Stepper Motor28BYJ-4828BYJ-48Steper motor, 5V DC, 100 Hz frequency, torque 1200 Gf.cm
Stepper MotorNema 23NemaSteper motor, 9V - 42 V DC, 100 Hz frequency

References

  1. Wang, L. J., Casto, B., Reyes-Molyneux, N., Chance, W. W., Wang, S. J. Smartphone-based augmented reality patient education in radiation oncology. Tech Innov Patient Supp Radiation Oncol. 29, 100229 (2024).
  2. Guerroudji, M. A., Amara, K., Lichouri, M., Zenati, N., Masmoudi, M. A 3D visualization-based augmented reality application for brain tumor segmentation. Comput Anim Virtual Worlds. 35 (1), e2223 (2024).
  3. Xia, L., et al. Augmented reality and indoor positioning based mobile production monitoring system to support workers with human-in-the-loop. Robotic Comput Integ Manufac. 86, 102664 (2024).
  4. Preece, C., Skandalis, A. Time to imagine an escape: investigating the consumer timework at play in augmented reality. Eur J Market. 58, 92-118 (2024).
  5. Suresh, D., Aydin, A., James, S., Ahmed, K., Dasgupta, P. The role of augmented reality in surgical training: a systematic review. Surg Innov. 30, 366-382 (2023).
  6. Moreta-Martinez, R., et al. Combining augmented reality and 3D printing to display patient models on a smartphone. J Vis Exp. (155), 60618 (2020).
  7. Ma, L., Huang, T., Wang, J., Liao, H. Visualization, registration and tracking techniques for augmented reality guided surgery: a review. Phys Med Biol. 68, 04TR02 (2023).
  8. Hofman, J., et al. First-in-human real-time ai-assisted instrument deocclusion during augmented reality robotic surgery. Healthc Technol Lett. 11 (2-3), 33-39 (2023).
  9. Thiene, G., Rizzo, S., Basso, C. Bicuspid aortic valve: The most frequent and not so benign congenital heart disease. Cardiovasc Pathol. 70, 107604 (2024).
  10. Mack, M. J., et al. Transcatheter aortic-valve replacement in low-risk patients at five years. New Engl J Med. 389, 1949-1960 (2023).
  11. Vitanova, K., et al. Aortic valve versus root surgery after failed transcatheter aortic valve replacement. J Thorac Cardiovas Surg. 166, 1418-1430 (2023).
  12. Bydlon, T. M., Torjesen, A., Fokkenrood, S., Di Tullio, A., Flexman, M. L. 3d visualisation of navigation catheters for endovascular procedures using a 3d hub and fiber optic realshape technology: phantom study results. EJVES Vascular Forum. 59, 24-30 (2023).
  13. Faris, H., Harfouche, C., Bandle, J., Wisbach, G. Surgical tele-mentoring using a robotic platform: initial experience in a military institution. Surg Endosc. 37, 9159-9166 (2023).
  14. Fitzgerald, L., et al. Mentoring approaches in a safe surgery program in tanzania: Lessons learned during covid-19 and recommendations for the future. Surg Open Sci. 14, 109-113 (2023).
  15. de Turenne, A., Eugène, F., Blanc, R., Szewczyk, J., Haigron, P. Catheter navigation support for mechanical thrombectomy guidance: 3d/2d multimodal catheter-based registration with no contrast dye fluoroscopy. Int J Comput Assist Radiol Surg. 19 (3), 459-468 (2023).
  16. Tang, H., et al. A multiple catheter tips tracking method in x-ray fluoroscopy images by a new lightweight segmentation network and bayesian filtering. Int J Med Robotics Comput Assist Surg. 19, e2569 (2023).
  17. Annabestani, M., Caprio, A., Wong, S. C., Mosadegh, B. A machine learning-based roll angle prediction for intracardiac echocardiography catheter during bi-plane fluoroscopy. Appl Sci. 13, 3483 (2023).
  18. Thourani, V. H., et al. Survival after surgical aortic valve replacement in low-risk patients: a contemporary trial benchmark. Ann Thorac Surg. 117, 106-112 (2024).
  19. Domínguez-Velasco, C. F., et al. Augmented reality simulation as training model of ventricular puncture: Evidence in the improvement of the quality of punctures. Int J Med Robotics Comput Assist Surg. 19, e2529 (2023).
  20. Wang, Q., Xie, Z. Arias: An ar-based interactive advertising system. Plos One. 18, e0285838 (2023).
  21. Ji, F., Chong, F., Wang, F., Bai, D. Augmented reality platform for the unmanned mining process in underground mines. Mining,Metal Explor. 39 (2), 385-395 (2022).
  22. Indhumathi, S., Clement, J. C. Directional intensified feature description using tertiary filtering for augmented reality tracking. Sci Rep. 13, 20311 (2023).
  23. Gao, L., Zhao, Y., Han, J., Liu, H. Research on multi-view 3D reconstruction technology based on SFM. Sensors. 22 (12), 4366 (2022).
  24. Suárez, I., Sfeir, G., Buenaposada, J. M., Baumela, L. BEBLID: Boosted efficient binary local image descriptor. Pattern Recog Lett. 133, 366-372 (2020).
  25. Borman, R. I., Harjoko, A. Improved ORB algorithm through feature point optimization and Gaussian pyramid. Int J Adv Comp Sci Appl. 15 (2), 268-275 (2024).

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Explore More Articles

JoVE 210 3D

This article has been published

Video Coming Soon

JoVE Logo

Privacy

Terms of Use

Policies

Contact Us

Recommend to library

JoVE NEWSLETTERS

Research

Education

Authors

Librarians

ABOUT JoVE

Copyright © 2025 MyJoVE Corporation. All rights reserved