Yazarlar
Bize Ulaşın

Oturum Aç

Bu içeriği görüntülemek için JoVE aboneliği gereklidir. Oturum açın veya ücretsiz deneme sürümünü başlatın.

Bu Makalede

  • Özet
  • Özet
  • Giriş
  • Protokol
  • Sonuçlar
  • Tartışmalar
  • Açıklamalar
  • Teşekkürler
  • Malzemeler
  • Referanslar
  • Yeniden Basımlar ve İzinler

Özet

Bu makale, artırılmış gerçeklik (AR) tabanlı 3D rekonstrüksiyona dayalı bir otomatik cerrahi modülünün tasarımını ve uygulanmasını sunmaktadır. Sistem, cerrahların yeniden yapılandırılmış özellikleri incelemesine ve cerrahi el hareketlerini ameliyatı yakın bir yerde yapıyormuş gibi tekrarlamasına olanak tanıyarak uzaktan ameliyatı mümkün kılar.

Özet

Artırılmış Gerçeklik (AR), tıbbi uygulamalarda yüksek talep görmektedir. Bu makalenin amacı, Transkateter Aort Kapak Replasmanı (TAVR) için AR kullanarak otomatik cerrahi sağlamaktır. TAVR, açık kalp cerrahisi için alternatif tıbbi prosedürdür. TAVR, bir kateter kullanarak yaralı kapağı yenisiyle değiştirir. Mevcut modelde uzaktan yönlendirme yapılırken, ameliyat AR'ye dayalı olarak otomatikleştirilmemektedir. Bu makalede, cerrahi ortamda görüntü yakalamanın otomasyonu için bir motora bağlı, uzamsal olarak hizalanmış bir kamera kullandık. Kamera, kateter test yatağı ile birlikte hastanın kalbinin 2D yüksek çözünürlüklü görüntüsünü izler. Yakalanan bu görüntüler, mobil uygulama kullanılarak kardiyoloji uzmanı olan uzaktaki bir cerraha yüklenir. Bu görüntü, 2D görüntü izlemeden 3D rekonstrüksiyon için kullanılır. Bu, bir dizüstü bilgisayardaki öykünücü gibi bir HoloLens görüntülenir. Cerrah, döndürme ve ölçekleme gibi ek dönüştürme özellikleriyle yeniden yapılandırılmış 3D görüntüleri uzaktan inceleyebilir. Bu dönüştürme özellikleri el hareketleriyle etkinleştirilir. Cerrahın rehberliği, süreci gerçek zamanlı senaryolarda otomatikleştirmek için cerrahi ortama iletilir. Cerrahi alandaki kateter test yatağı, uzaktaki cerrahın el hareketi rehberliği ile kontrol edilir. Geliştirilen prototip model, AR aracılığıyla uzaktan cerrahi rehberliğin etkinliğini göstermektedir.

Giriş

AR, 3B modeli gerçek dünya ortamında üst üste bindirebilir. AR'ye yönelik teknolojik gelişme, eğitim1, tıp2, üretim3 ve eğlence4 olmak üzere birçok alanda paradigma kayması yarattı. AR teknolojisi, ultra güvenilir düşük gecikmeli iletişim ile birlikte, tıp alanındaki kaçınılmaz rolünü kanıtlıyor. İnsan anatomisinin öğrenme aşamasından cerrahi rehberliğe kadar, öğrenme aşamaları AR destekli yazılım 5,6 ve donanım ile görselleştirilebilir. AR, cerrahi bir ortamda tıp doktoruna çok önemli ve güvenilir bir çözüm sunar 7,8.

Aort kapak darlığı, insanoğlunda en sık görülen kalp kapak hastalığıdır9. Hastalığın temel nedeni, kötü beslenme alışkanlıkları ve günlük yaşamın düzensiz rutinleridir. Hastalığın belirtisi ve sonucu kalp kapakçığının daralması ve ardından kan akışının azalmasıdır. İnsan kalbinde herhangi bir hasar meydana gelmeden önce bu sorunun ele alınması gerekir. Böylece, kalp kan akışını işlemek için aşırı yüklenir. Bu nedenle, herhangi bir hasar meydana gelmeden önce, son günlerdeki teknolojik gelişmeler nedeniyle TAVR prosedürü kullanılarak da yapılabilen ameliyatın yapılması gerekir. Prosedür, kalbin ve hastaların diğer vücut bölümlerinin durumuna göre benimsenebilir. Bu TAVR 10,11'de, kalpteki hasarlı kapağın yerini almak için kateter yerleştirilir. Bununla birlikte, valfi değiştirmek için kateter pozisyonunu12 yerleştirmek uygulayıcı için sıkıcıdır. Bu fikir bizi, cerrahın değiştirme işlemi sırasında kapağı hassas bir şekilde konumlandırmasına yardımcı olan AR 13,14'e dayalı otomatik bir cerrahi modeli tasarlamaya motive etti. Ayrıca ameliyat, cerrahın uzak bir konumdan yakalanan hareketini robotik kola eşleyen bir hareket haritalama algoritması ile gerçekleştirilebilir.

Mevcut çalışma 15,16,17'de, TAVR18 prosedürünün görselleştirilmesi floroskopi ile izlenmektedir. Bu nedenle, kalp kapakçığını analiz etmek zordur ve değiştirme yerini bulmak sıkıcıdır. Bu, kateterin insan kalbine yerleştirilmesi için bir engel oluşturur. Ek olarak, süreci otomatik hale getirmek için uzak hareket cerrahi alanla eşleştirilir. Bununla birlikte, araştırma boşluğunun üstesinden gelmek için, AR destekli teknolojiyi kullanarak valf değişimi için otomatik robotik tabanlı bir ameliyat öneriyoruz.

Protokol tüm cerrahi ortamlara uygulanabilen jenerik bir modeldir. Çalışmanın başlangıç aşamasında, 2D görüntüler, en büyük serbestlik derecesinin en yüksek uzamsal çözünürlüğü ile cerrahi ortamın her yerinde yakalanır. Bu, 3D rekonstrüksiyon19 amacı için yeterli görüntünün yakalandığı ve ardından el hareketi izleme20 yoluyla hareket haritalamanın yapıldığı anlamına gelir.

Protokol

1. Cerrahi ortam

  1. Şekil 1'de gösterildiği gibi bir ameliyat ortamı tasarlayın. Ortamda, nesne taşıyan bir plaka, robotik bir kol ve biri kamera yer tutucusunu, diğeri ise tutarlı bir beyaz arka plana sahip olmak için terazi tartım modülüyle birlikte iki yana asılı tuttuğa sahip olduğundan emin olun.
  2. Biri 2.1 ila 2.10 adımlarında belirtildiği gibi canlı cerrahi ortamın anlık görüntüsü için, diğeri ise 3.1 ila 3.4 adımlarında belirtildiği gibi 360° gözetimi destekleyen döner mekanizmayı kontrol etmek için iki sürücü geliştirin.
  3. Yukarıdaki iki modülü uygulamadan önce, cerrahın HoloLens öykünücüsü olarak hizmet veren mobil cihazın ve dizüstü bilgisayarın Bluetooth'unu etkinleştirin.
  4. Kesintisiz görüntü aktarımı için cihazları eşleştirin.

2. Sürücüyü iki asılı kolu kontrol edecek şekilde ayarlama

  1. 360°'lik kusursuz bir dönüş için asılı kolların Şekil 2'de gösterildiği gibi bir step motor tarafından kontrol edildiğinden emin olun.
  2. TB 6600 sürücüsünü kullanarak motoru mikrodenetleyici kartına bağlayın. Motoru çalıştırmak için tarayıcıdan mikrodenetleyici IDE'yi yükleyin.
  3. Yazılımı indirmek için İndir düğmesine tıklayın. Ardından, mikrodenetleyici IDE'sinde, kodu yazmak için Dosya > Yeni Bir Çizim Aç'a gidin.
  4. Mikrodenetleyici kartını, örneğin COM 4 gibi özel bir bağlantı portu aracılığıyla yeni çizimle arayüz oluşturmak için bağladığınızdan emin olun. Com Bağlantı Noktasını kontrol edin ve mikrodenetleyici kartını gösterdiğini doğrulayın.
  5. Step motor sürücüsü TB 6600'ün donanım anahtarı ayarlarını kontrol edin. Ayarların, SW2 AÇIK ve SW4 AÇIK ve SW5 ve SW5 KAPALI ayarlanarak elde edilebilecek akım akışı 6 A olacak şekilde olduğundan emin olun.
  6. SW1, SW2 ve SW3'ün anahtar konumlarının, gereksinime göre devir adımlarına ulaşmak için mikro adımın 1/8 adım olacak şekilde ayarlandığından emin olun. TB1'de ayarların SW2 KAPALI, SW3 AÇIK ve SW6600 KAPALI olduğundan emin olun.
  7. Gerçek küresel zaman senkronizasyonuna sahip olmak için RTC 3231'i mikrodenetleyiciye bağlayın. Devir adım boyutunun 12° olduğundan ve motor adım artışının yalnızca gerçek zamanlı birimin, yani RTC modülünden okunan saniyenin sayısı tek olduğunda tetiklendiğinden emin olun.
  8. Mikrodenetleyici kartının 5 V pinini RTC VCC'ye ve mikrodenetleyicinin GND'sini RTC'nin GND'sine bağlayın.
  9. RTC'nin SCL pinini A0 pinine ve SDA'yı mikrodenetleyicinin A1 pinine bağlayın. Bu modül, bir devirde 30 adım atarak 12 ° 'lik bir adım boyutu sağlayabilir. Adım artışının her tek saniyede bir gerçekleştiğinden emin olun. Bu yazılım modülünün step motoru21 sürmesine izin verin.
  10. GitHub sayfasında bulunan kodu çalıştırarak kurulumun doğru çalıştığını doğrulayın: https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR.
  11. Otomatik kamera uygulamasını geliştirmek için Android Studio'yu indirin. Sistem gereksinimlerinin karşılandığından emin olun, ardından yazılımı web sitesinden indirin.

3. İstemci modülü olarak mobil tabanlı sahne gözetimi ve görüntü aktarımı için bir sürücü geliştirmek

  1. Android işletim sisteminde, özellikle saniyelerin tek sayılar olduğu durumlarda her 2 saniyede bir anlık görüntü alabilen bir kamera uygulaması geliştirin.
  2. Cep telefonunu sisteme bağlayın. Android Studio'da Yeni > Yeni Proje'ye tıklayın ve Boş Görünümler Etkinliği'ni seçin. https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR'da bulunan bir Android kodu geliştirmek için İleri'ye tıklayın.
  3. Uygulamanın görüntüleri otomatik olarak yakaladığından ve bunları tutarlı bir şekilde uzaktaki bir cihaza gönderdiğinden emin olun.
  4. Anlık görüntüyü aldıktan hemen sonra mobil uygulamadan anlık görüntüleri eşleştirilen cihaza, yani Bluetooth aracılığıyla uzaktaki cerrahın sistemine iletin.
    NOT: Bölüm 2 ve 3'te bahsedilen modüllerin, biri her çift saniye sayısı ve diğeri her tek saniye sayısı için olmak üzere zaman senkronizasyonunda çalıştığından emin olun.

4. Gözetim görüntülerini almak ve işlemek için bir istemci modülü geliştirmek

  1. Grafiksel bir kullanıcı arabirimi olan sunucu modülünü açın.
  2. Varsayılan değeri 94f39d29 7d6d 437d 973b fba39e49d4ee olan VVID metin alanına VVID bağlantı noktası numarasını girin.
  3. Soketi oluşturmak ve bağlamak için Soket Oluştur'a tıklayın. Mobil uygulama ile bağlantı kurmak için Bağlan'a tıklayın.
  4. Sahne gözetim görüntülerini yakalamak ve yerel klasöre kaydetmek için Yakala'ya tıklayın
  5. Belirtilen varsayılan addan farklı olması gerekiyorsa, klasör adı alanına yerel klasör adını girin.

5. Robotik kolun çalıştırılması

  1. İstemci modülünün bir robotik kol da içermesine izin verin. Kolu tabanı, omzu, dirseği, bileği ve parmaklarında dönme hareketine sahip olacak şekilde tasarlayın.
  2. Taban, omuz ve dirsekteki dönme hareketini yönetmek için MG 996R servoların kullanıldığından emin olun. Dirsek ve parmaklardaki dönme hareketini kontrol etmek için SG 90 servo motorun kullanıldığından emin olun.
  3. Uzaktaki cerrahtan alınan komutlara göre robotik kolu sürmek için https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR olarak verilen kodu mikrodenetleyici IDE'de derleyin.

6. 3D artırılmış gerçeklik için yeniden yapılandırma

  1. Aralarındaki olası örtüşmeyi elde etmek için yerel klasörden sırayla iki görüntüyü tek tek okuyun (görüntüler yakın bir şekilde toplandığından, ardışık görüntüler arasında bir örtüşme olacaktır).
  2. Degrade ve yönlendirmeyi elde etmek için Üçüncül Filtreleme22 (DITF) algoritmasını kullanarak Yönlü Yoğunlaştırılmış Özellik Açıklamasının gereksinimine göre bir üçüncül filtre tasarlayın.
  3. Şekil 22'te gösterildiği gibi DITF yöntemini 3 kullanarak özellikleri ayıklayın.
  4. SFM23'ü kullanarak toplanan özelliklerden 3B görüntüleri yeniden oluşturun.

7. Cerrahın bulunduğu yerde el hareketi tanıma

  1. Cerrahın, el hareketine dayalı döndürme ve yeniden yapılandırılmış özellikleri yakınlaştırma/uzaklaştırma sağlayarak çevreyi tüm perspektiflerden görselleştirmesini sağlayarak 3D yeniden yapılandırılmış görüntü özelliklerini incelemesini kolaylaştırın.
  2. Cerrahın başparmağının ucu ile sağ elin işaret parmağı arasındaki mesafeyi normalleştirin ve karşılık gelen bir dönme açısına eşleyin. Normalleştirme, çıplak minimum mesafe 0°'ye ve maksimum mesafe 180°'ye karşılık gelecek şekilde olsun.
  3. El hareketi kontrolünü, Bluetooth aracılığıyla, nesne plakasının dönüşü için uzaktan ameliyat ortamına ve ayrıca 3D yeniden yapılandırılmış özellikler cerrahın ucunda dönerken kendi ekseni etrafında dönmesini sağlayan iletin.
  4. Robot kolun parmaklarının hareketini kontrol etmek için cerrahın sol elinin ucu ile başparmağı arasındaki mesafeyi bulun.
  5. Yükseklik açısını belirlemek için cerrahın sol elinin başparmağının ucu ile işaret parmakları arasındaki uzamsal mesafeden yükseklik açısını hayali bir xy yer düzlemine göre ölçün. Bu açıyı, robot kolunun xy düzlemi ile yapabileceği bir yükseklik açısına eşleyin.
  6. Cerrahın elinin sanal y-z düzleminin eliyle yaptığı azimut açısını bulun. El hareketine dayalı tanıma ile bu açıları belirleyin.
  7. Robotun parmak hareketini ve kol dönüşünü kontrol etmek için mesafeyi, yüksekliği ve azimut açılarını haritalayın, her ikisi de yükseklik ve azimut açılarına karşılık gelir.
  8. Cerrahın yeniden yapılandırılan özellikleri yakınlaştırarak ve döndürerek incelemesine izin verin. Cerrahın uzak bir yerden ameliyat yapması için komutları robot koluna iletmesine izin verin.
  9. Ameliyat komutlarının, bir dizi uyumuyla başlayarak bir dizi kontrol dizisi olarak iletildiğinden ve ardından plaka dönüşünü ve robotik kol kontrolörünü kontrol etmek için değerlerin geldiğinden emin olun. [θb, θs, θe, θw, θf], her biri robot kolunun tabanına, omzuna, dirseği, bileğine ve parmağına karşılık gelen kontrol sinyaline karşılık gelen değerlerden oluşan vektörün açısı olsun.
    NOT: GitHub bağlantısı, cerrahi alanda el hareketi kontrolünü etkinleştirmek için kod sağlar. https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR.

Sonuçlar

Protokol kalp fantom modeli ile test edildi. Şekil 2 , mekansal olarak dağıtılmış kameralar yardımıyla cerrahi alanın canlı gözetimi için beklenen kurulumu göstermektedir. Şekil 2'de gösterildiği gibi dağıtılmış kameralar, etkili 3D rekonstrüksiyon için alanın uzamsal çözünürlüğünü artırmaya yardımcı olur. Bununla birlikte, bu kameraların çeşitli mekansal konumlara fiziksel olarak yerleştirilmesinin gerçekleştirilmesi kar...

Tartışmalar

Mevcut bir çalışmada15, kalpteki kateterin yerini belirlemek için X-ışını ve BT taramaları incelenir. Bununla birlikte, AR TAVR replasmanı, 3D rekonstrüksiyon kullanılarak otomatik bir modelin uygulanmasıyla TAVR18 cerrahi prosedüründe yeni bir olasılık oluşturmaktadır. Protokol bölümünde de belirtildiği gibi, bu çalışmanın tasarlanması için beş aşamadan oluşmaktadır. Önceki çalışmamız22'de önerdiğimiz, bölüm...

Açıklamalar

Yazarlar herhangi bir çıkar çatışması beyan etmemektedir.

Teşekkürler

Yazarlar bu araştırma için herhangi bir fon olmadığını kabul etmektedir.

Malzemeler

NameCompanyCatalog NumberComments
android IDEsoftwarehttps://developer.android.com/studiosoftware can be downloaded from this link
Arduino BoardArdunio UnoArdunio UnoMicrocontroller for processing
arduino softwaresoftwarehttps://www.arduino.cc/en/software.software can be downloaded from this link
Human Heart phantom modelBiology Lab Equipment Manufacturer and ExporterB071YBLX2V(8B-ZB2Q-H3MS-1)light weight model with 3parts to the deep analysis of heart.
mobile holderHumble universal monopoad holderB07S9KNGVSTo carry the mobile in surgical field
pycharm IDEsoftwarehttps://www.jetbrains.com/pycharm/software can be downloaded from this link
Robot armPrinted-botsB08R2JLKYM(P0-E2UT-JSOU)arm can be controlled through control signal.it has 5 degree of freedom to access.
servo motorKollmorgen Co-Engineers MotorsMG-966Rhigh-torque servo motor,servo pulses ranging from 500 to 2500 microseconds (µs), with a frequency of 50Hz to 333Hz. 
servomotorKollmorgen Co-Engineers MotorsSG-90R1.8 kg-cm to 2.5 kg-cm load can be applied to SG-90R servo.
Stepper Motor28BYJ-4828BYJ-48Steper motor, 5V DC, 100 Hz frequency, torque 1200 Gf.cm
Stepper MotorNema 23NemaSteper motor, 9V - 42 V DC, 100 Hz frequency

Referanslar

  1. Wang, L. J., Casto, B., Reyes-Molyneux, N., Chance, W. W., Wang, S. J. Smartphone-based augmented reality patient education in radiation oncology. Tech Innov Patient Supp Radiation Oncol. 29, 100229 (2024).
  2. Guerroudji, M. A., Amara, K., Lichouri, M., Zenati, N., Masmoudi, M. A 3D visualization-based augmented reality application for brain tumor segmentation. Comput Anim Virtual Worlds. 35 (1), e2223 (2024).
  3. Xia, L., et al. Augmented reality and indoor positioning based mobile production monitoring system to support workers with human-in-the-loop. Robotic Comput Integ Manufac. 86, 102664 (2024).
  4. Preece, C., Skandalis, A. Time to imagine an escape: investigating the consumer timework at play in augmented reality. Eur J Market. 58, 92-118 (2024).
  5. Suresh, D., Aydin, A., James, S., Ahmed, K., Dasgupta, P. The role of augmented reality in surgical training: a systematic review. Surg Innov. 30, 366-382 (2023).
  6. Moreta-Martinez, R., et al. Combining augmented reality and 3D printing to display patient models on a smartphone. J Vis Exp. (155), 60618 (2020).
  7. Ma, L., Huang, T., Wang, J., Liao, H. Visualization, registration and tracking techniques for augmented reality guided surgery: a review. Phys Med Biol. 68, 04TR02 (2023).
  8. Hofman, J., et al. First-in-human real-time ai-assisted instrument deocclusion during augmented reality robotic surgery. Healthc Technol Lett. 11 (2-3), 33-39 (2023).
  9. Thiene, G., Rizzo, S., Basso, C. Bicuspid aortic valve: The most frequent and not so benign congenital heart disease. Cardiovasc Pathol. 70, 107604 (2024).
  10. Mack, M. J., et al. Transcatheter aortic-valve replacement in low-risk patients at five years. New Engl J Med. 389, 1949-1960 (2023).
  11. Vitanova, K., et al. Aortic valve versus root surgery after failed transcatheter aortic valve replacement. J Thorac Cardiovas Surg. 166, 1418-1430 (2023).
  12. Bydlon, T. M., Torjesen, A., Fokkenrood, S., Di Tullio, A., Flexman, M. L. 3d visualisation of navigation catheters for endovascular procedures using a 3d hub and fiber optic realshape technology: phantom study results. EJVES Vascular Forum. 59, 24-30 (2023).
  13. Faris, H., Harfouche, C., Bandle, J., Wisbach, G. Surgical tele-mentoring using a robotic platform: initial experience in a military institution. Surg Endosc. 37, 9159-9166 (2023).
  14. Fitzgerald, L., et al. Mentoring approaches in a safe surgery program in tanzania: Lessons learned during covid-19 and recommendations for the future. Surg Open Sci. 14, 109-113 (2023).
  15. de Turenne, A., Eugène, F., Blanc, R., Szewczyk, J., Haigron, P. Catheter navigation support for mechanical thrombectomy guidance: 3d/2d multimodal catheter-based registration with no contrast dye fluoroscopy. Int J Comput Assist Radiol Surg. 19 (3), 459-468 (2023).
  16. Tang, H., et al. A multiple catheter tips tracking method in x-ray fluoroscopy images by a new lightweight segmentation network and bayesian filtering. Int J Med Robotics Comput Assist Surg. 19, e2569 (2023).
  17. Annabestani, M., Caprio, A., Wong, S. C., Mosadegh, B. A machine learning-based roll angle prediction for intracardiac echocardiography catheter during bi-plane fluoroscopy. Appl Sci. 13, 3483 (2023).
  18. Thourani, V. H., et al. Survival after surgical aortic valve replacement in low-risk patients: a contemporary trial benchmark. Ann Thorac Surg. 117, 106-112 (2024).
  19. Domínguez-Velasco, C. F., et al. Augmented reality simulation as training model of ventricular puncture: Evidence in the improvement of the quality of punctures. Int J Med Robotics Comput Assist Surg. 19, e2529 (2023).
  20. Wang, Q., Xie, Z. Arias: An ar-based interactive advertising system. Plos One. 18, e0285838 (2023).
  21. Ji, F., Chong, F., Wang, F., Bai, D. Augmented reality platform for the unmanned mining process in underground mines. Mining,Metal Explor. 39 (2), 385-395 (2022).
  22. Indhumathi, S., Clement, J. C. Directional intensified feature description using tertiary filtering for augmented reality tracking. Sci Rep. 13, 20311 (2023).
  23. Gao, L., Zhao, Y., Han, J., Liu, H. Research on multi-view 3D reconstruction technology based on SFM. Sensors. 22 (12), 4366 (2022).
  24. Suárez, I., Sfeir, G., Buenaposada, J. M., Baumela, L. BEBLID: Boosted efficient binary local image descriptor. Pattern Recog Lett. 133, 366-372 (2020).
  25. Borman, R. I., Harjoko, A. Improved ORB algorithm through feature point optimization and Gaussian pyramid. Int J Adv Comp Sci Appl. 15 (2), 268-275 (2024).

Yeniden Basımlar ve İzinler

Bu JoVE makalesinin metnini veya resimlerini yeniden kullanma izni talebi

Izin talebi

Daha Fazla Makale Keşfet

JoVE de Bu AySay 210Art r lm Ger eklikKalp Fantom ModeliEl Hareketi zlemeKateter3D Rekonstr ksiyonAort Kapak De i imi

This article has been published

Video Coming Soon

JoVE Logo

Gizlilik

Kullanım Şartları

İlkeler

Bize Ulaşın

KÜTÜPHANEYE TAVSİYE ET

JoVE HABER BÜLTENLERİ

Araştırma

Eğitim

Yazarlar

Kütüphaneciler

JoVE Hakkında

Telif Hakkı © 2020 MyJove Corporation. Tüm hakları saklıdır