АВТОРЫ
СВЯЖИТЕСЬ С НАМИ

Войдите в систему

Для просмотра этого контента требуется подписка на Jove Войдите в систему или начните бесплатную пробную версию.

В этой статье

  • Резюме
  • Аннотация
  • Введение
  • протокол
  • Результаты
  • Обсуждение
  • Раскрытие информации
  • Благодарности
  • Материалы
  • Ссылки
  • Перепечатки и разрешения

Резюме

В данной статье представлено проектирование и реализация автоматического хирургического модуля на основе 3D-реконструкции на основе дополненной реальности (AR). Система обеспечивает дистанционную хирургию, позволяя хирургам осматривать реконструированные элементы и повторять хирургические движения руки, как если бы они выполняли операцию в непосредственной близости.

Аннотация

Дополненная реальность (AR) пользуется большим спросом в медицинских приложениях. Целью работы является обеспечение автоматической хирургии с использованием AR для транскатетерного эндопротезирования аортального клапана (TAVR). TAVR — это альтернативная медицинская процедура для хирургии на открытом сердце. TAVR заменяет поврежденный клапан на новый с помощью катетера. В существующей модели дано дистанционное наведение, при этом операция не автоматизирована на основе AR. В этой статье мы рассмотрели пространственно выровненную камеру, подключенную к двигателю для автоматизации захвата изображений в хирургической среде. Камера отслеживает 2D-изображение сердца пациента с высоким разрешением вместе с катетером для тестирования. Эти снимки загружаются с помощью мобильного приложения удаленному хирургу, который является экспертом в области кардиологии. Это изображение используется для 3D-реконструкции на основе отслеживания 2D-изображений. В HoloLens это просматривается как эмулятор в ноутбуке. Хирург может удаленно осматривать реконструированные 3D-изображения с дополнительными функциями преобразования, такими как вращение и масштабирование. Эти функции трансформации активируются с помощью жестов рук. Рекомендации хирурга передаются в хирургическую среду для автоматизации процесса в сценариях в режиме реального времени. Катетерный испытательный стенд в операционном поле управляется жестами рук удаленного хирурга. Разработанный прототип модели демонстрирует эффективность дистанционного хирургического наведения с помощью дополненной реальности.

Введение

Дополненная реальность может накладывать 3D-модель на реальную среду. Технологическое развитие в сторону дополненной реальности привело к смене парадигмы во многих областях, а именно в образовании1, медицине2, производстве3 и развлечениях4. Технология дополненной реальности, наряду со сверхнадежной связью с низкой задержкой, доказывает свою неизбежную роль в медицинской сфере. От этапа изучения анатомии человека до хирургического руководства, этапы обучения могут быть визуализированы с помощью программного обеспечения 5,6 и аппаратного обеспечения на основе дополненной реальности. AR обеспечивает важное и надежное решение для практикующего врача в хирургической среде 7,8.

Стеноз аортального клапана – это заболевание сердечного клапана, которое наиболее распространено среди человечества9. Первопричиной заболевания являются плохие пищевые привычки и нерегулярный распорядок повседневной жизни. Симптомом и результатом заболевания является сужение сердечного клапана с последующим снижением кровотока. Эту проблему необходимо решить, прежде чем произойдет какой-либо ущерб человеческому сердцу. Таким образом, сердце перегружено для обработки кровотока. Таким образом, прежде чем произойдет какое-либо повреждение, необходимо провести операцию, которая, благодаря технологическому развитию в последние дни, также может быть выполнена с помощью процедуры TAVR. Процедура может быть принята в зависимости от состояния сердца и других частей тела пациента. В этом TAVR10,11 катетер вставляется для замены поврежденного клапана в сердце. Тем не менее, установка катетерав положение 12 для замены клапана является утомительной задачей для практикующего врача. Эта идея побудила нас разработать автоматизированную хирургическую модель на основе AR13,14, которая помогает хирургу точно позиционировать клапан во время процесса замены. Кроме того, операция может быть выполнена с помощью алгоритма картирования движения, который сопоставляет движение хирурга, зафиксированное из удаленного места, с роботизированной рукой.

В существующих работах 15,16,17 визуализация процедуры ТАВР18 контролируется с помощью рентгеноскопии. Следовательно, трудно анализировать сердечный клапан и утомительно искать место замены. Это создает барьер для размещения катетера в сердце человека. Кроме того, дистанционное движение сопоставляется с операционным полем, что делает процесс автоматизированным. Тем не менее, чтобы восполнить пробел в исследованиях, мы предлагаем автоматизированную роботизированную хирургию по замене клапана с использованием технологии дополненной реальности.

Протокол представляет собой общую модель, которая может быть применена ко всем хирургическим средам. На начальном этапе работы 2D-изображения захватываются по всему хирургическому окружению с максимально полным пространственным разрешением и наибольшей степенью свободы. Это означает, что для 3D-реконструкции19 захватывается достаточное количество изображений, за которыми следует отображение движения с помощью отслеживания жестоврук 20.

протокол

1. Операционная среда

  1. Спроектируйте операционную среду, как показано на рисунке 1. Убедитесь, что в помещении есть тарелка для переноски предметов, роботизированная рука и две боковые подвесные руки, одна из которых предназначена для размещения заполнителя камеры, а другая имеет однородный белый фон вместе с весовым модулем для балансировки.
  2. Разработайте два драйвера, один из которых предназначен для моментального снимка хирургической среды в реальном времени, как указано в шагах с 2.1 по 2.10, а другой — для управления вращающимся механизмом, поддерживающим 360° наблюдение, как указано в шагах с 3.1 по 3.4.
  3. Перед реализацией вышеуказанных двух модулей включите Bluetooth мобильного устройства и ноутбука, которые служат эмулятором HoloLens хирурга.
  4. Выполните сопряжение устройств для бесперебойной передачи изображения.

2. Настройка водителя для управления двумя подвесными рычагами

  1. Убедитесь, что подвесные рычаги управляются шаговым двигателем с расположением, как показано на рисунке 2 , для безупречного вращения на 360°.
  2. Подключите мотор к плате микроконтроллера с помощью драйвера TB 6600. Чтобы запустить мотор, установите микроконтроллер IDE из браузера.
  3. Нажмите кнопку « Загрузить », чтобы загрузить программное обеспечение. Затем в интегрированной среде разработки микроконтроллера перейдите в раздел «Файл» > «Открыть новый эскиз », чтобы написать код.
  4. Убедитесь, что плата микроконтроллера подключена к интерфейсу с новым эскизом через специальный порт подключения, скажем, COM 4. Проверьте Com-порт и убедитесь, что на нем указана плата микроконтроллера.
  5. Проверьте настройки аппаратного переключателя драйвера шагового двигателя TB 6600. Убедитесь, что настройки таковы, что текущий поток составляет 2 А, что может быть достигнуто путем установки SW4 ON и SW5 и SW6 OFF.
  6. Убедитесь, что положения переключателей SW1, SW2 и SW3 установлены таким образом, чтобы микрошаг составлял 1/8 шага для достижения шагов оборота в соответствии с требованиями. Убедитесь, что в TB6600 установлено значение SW1 OFF, SW2 ON и SW3 OFF.
  7. Подключите RTC 3231 к микроконтроллеру для глобальной синхронизации в реальном времени. Убедитесь, что величина шага оборота равна 12° и что шаг двигателя запускается только тогда, когда единица измерения реального времени, т. е. секунды, считанные с модуля RTC, имеют нечетное число.
  8. Подключите вывод 5 В платы микроконтроллера к RTC VCC, а GND микроконтроллера — к GND RTC.
  9. Подключите контакт SCL RTC к контакту A0, а SDA — к контакту A1 микроконтроллера. Этот модуль может обеспечить размер шага 12°, делая 30 шагов за один оборот. Убедитесь, что шаг шага происходит каждую нечетную секунду. Позвольте этому программному модулю приводить в действие шаговый двигатель21.
  10. Убедитесь, что настройка работает правильно, выполнив код, который доступен на странице GitHub: https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR.
  11. Скачайте Android Studio для разработки приложения для автоматической камеры. Убедитесь, что системные требования соблюдены, затем загрузите программное обеспечение с веб-сайта.

3. Разработка драйвера для мобильного видеонаблюдения за сценой и передачи изображения в качестве клиентского модуля

  1. Разработайте приложение для камеры в операционной системе Android, которое может делать снимки каждые 2 секунды, особенно когда секунды являются нечетными числами.
  2. Подключите мобильный телефон к системе. В Android Studio нажмите «Создать» > «Новый проект » и выберите «Действия с пустыми представлениями». Нажмите « Далее », чтобы разработать код для Android, который доступен по адресу https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR.
  3. Убедитесь, что приложение автоматически захватывает изображения и постоянно отправляет их на удаленное устройство.
  4. Передавайте снимки из мобильного приложения сразу после съемки на сопряженное устройство, то есть в систему удаленного хирурга, через Bluetooth.
    ПРИМЕЧАНИЕ: Убедитесь, что модули, упомянутые в разделах 2 и 3, работают синхронно по времени, один для каждого четного количества секунд, а другой для каждого нечетного количества секунд.

4. Разработка клиентского модуля для приема и обработки изображений видеонаблюдения

  1. Откройте модуль сервера, который представляет собой графический интерфейс пользователя.
  2. Введите номер порта VVID в текстовое поле VVID, значение которого по умолчанию — 94f39d29 7d6d 437d 973b fba39e49d4ee.
  3. Нажмите « Создать сокет », чтобы создать и привязать сокет. Нажмите « Подключить », чтобы установить соединение с мобильным приложением.
  4. Нажмите « Захват», чтобы захватить и сохранить изображения с места происшествия в локальной папке
  5. Введите имя локальной папки в поле Имя папки, если оно должно отличаться от указанного по умолчанию.

5. Работа с роботизированной рукой

  1. Пусть клиентский модуль также включает в себя роботизированную руку. Спроектируйте руку так, чтобы она имела вращательное движение в основании, плече, локте, запястье и пальцах.
  2. Убедитесь, что сервоприводы MG 996R используются для управления вращательным движением в основании, плече и локте. Убедитесь, что серводвигатель SG 90 используется для управления вращательным движением локтя и пальцев.
  3. Скомпилируйте код, приведенный в https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR, в интегрированной среде разработки микроконтроллера для управления роботизированной рукой на основе команд, полученных от удаленного хирурга.

6. 3D реконструкции для дополненной реальности

  1. Считывайте два изображения за раз в последовательности, одно за другим, из локальной папки, чтобы получить возможное перекрытие (поскольку изображения собраны в непосредственной близости, между последовательными изображениями будет наложение) между ними.
  2. Спроектируйте третичный фильтр в соответствии с требованиями описания направленного усиленного элемента с использованием алгоритма третичной фильтрации22 (DITF) для получения градиента и ориентации.
  3. Извлеките признаки с помощью метода22 DITF, как показано на рисунке 3.
  4. Реконструируйте 3D-изображения из собранных объектов с помощью SFM23.

7. Распознавание жестов рук в месте нахождения хирурга

  1. Облегчите хирургу осмотр объектов 3D-реконструированного изображения, позволяя ему визуализировать окружающую среду со всех точек зрения, обеспечивая вращение на основе жестов рук и увеличение/уменьшение масштаба реконструированных элементов.
  2. Нормализуйте и нанесите на карту расстояние между кончиком большого пальца хирурга и указательным пальцем правой руки в соответствующий угол поворота. Пусть нормализация происходит таким образом, чтобы минимальное расстояние соответствовало 0°, а максимальное — 180°.
  3. Передача управления жестами рук через Bluetooth в удаленную хирургическую среду также для вращения пластины объекта, что заставляет ее вращаться вокруг своей оси, когда 3D-реконструированные элементы вращаются на стороне хирурга.
  4. Найдите расстояние между кончиком и большим пальцем левой руки хирурга, чтобы управлять движением пальцев роботизированной руки.
  5. Измерьте угол возвышения от пространственного расстояния между кончиком большого пальца и указательным пальцами левой руки хирурга по отношению к воображаемой плоскости основания x-y, чтобы определить угол возвышения. Сопоставьте этот угол с углом места, который робот-манипулятор может создать с помощью плоскости x-y.
  6. Найдите угол азимута, который делает рука хирурга, с углом виртуальной плоскости y-z. Определите эти углы с помощью распознавания на основе жестов рук.
  7. Нанесите на карту расстояние, угол возвышения и азимут, чтобы управлять движением пальцев робота и вращением руки, которые соответствуют углам места и азимуту.
  8. Позвольте хирургу осмотреть реконструированные черты путем увеличения и вращения. Позвольте хирургу передавать команды на роботизированную руку для выполнения операции из удаленного места.
  9. Убедитесь, что команды операции передаются в виде управляющей строки последовательности, начинающейся с согласования строки, за которой следуют значения для управления вращением пластины и контроллером роботизированной руки. Пусть [θb, θs, θe, θw, θf] — угол вектора, состоящего из значений, каждое из которых соответствует управляющему сигналу, соответствующему основанию, плечу, локтю, запястью и пальцу руки робота.
    ПРИМЕЧАНИЕ: Ссылка на GitHub предоставляет код для включения управления жестами рук в хирургической области. https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR.

Результаты

Протокол был протестирован на фантомной модели сердца. На рисунке 2 показана ожидаемая конфигурация для наблюдения за операционным полем в режиме реального времени с помощью пространственно распределенных камер. Распределенные камеры, как показано на рису?...

Обсуждение

В существующей работе15 рентгеновские снимки и компьютерная томография исследуются для определения местоположения катетера в сердце. Тем не менее, замена AR TAVR открывает новые возможности в хирургической процедуре TAVR18 за счет реализации автоматизированной мо...

Раскрытие информации

Авторы заявляют об отсутствии конфликта интересов.

Благодарности

Авторы не признают никакого финансирования этого исследования.

Материалы

NameCompanyCatalog NumberComments
android IDEsoftwarehttps://developer.android.com/studiosoftware can be downloaded from this link
Arduino BoardArdunio UnoArdunio UnoMicrocontroller for processing
arduino softwaresoftwarehttps://www.arduino.cc/en/software.software can be downloaded from this link
Human Heart phantom modelBiology Lab Equipment Manufacturer and ExporterB071YBLX2V(8B-ZB2Q-H3MS-1)light weight model with 3parts to the deep analysis of heart.
mobile holderHumble universal monopoad holderB07S9KNGVSTo carry the mobile in surgical field
pycharm IDEsoftwarehttps://www.jetbrains.com/pycharm/software can be downloaded from this link
Robot armPrinted-botsB08R2JLKYM(P0-E2UT-JSOU)arm can be controlled through control signal.it has 5 degree of freedom to access.
servo motorKollmorgen Co-Engineers MotorsMG-966Rhigh-torque servo motor,servo pulses ranging from 500 to 2500 microseconds (µs), with a frequency of 50Hz to 333Hz. 
servomotorKollmorgen Co-Engineers MotorsSG-90R1.8 kg-cm to 2.5 kg-cm load can be applied to SG-90R servo.
Stepper Motor28BYJ-4828BYJ-48Steper motor, 5V DC, 100 Hz frequency, torque 1200 Gf.cm
Stepper MotorNema 23NemaSteper motor, 9V - 42 V DC, 100 Hz frequency

Ссылки

  1. Wang, L. J., Casto, B., Reyes-Molyneux, N., Chance, W. W., Wang, S. J. Smartphone-based augmented reality patient education in radiation oncology. Tech Innov Patient Supp Radiation Oncol. 29, 100229 (2024).
  2. Guerroudji, M. A., Amara, K., Lichouri, M., Zenati, N., Masmoudi, M. A 3D visualization-based augmented reality application for brain tumor segmentation. Comput Anim Virtual Worlds. 35 (1), e2223 (2024).
  3. Xia, L., et al. Augmented reality and indoor positioning based mobile production monitoring system to support workers with human-in-the-loop. Robotic Comput Integ Manufac. 86, 102664 (2024).
  4. Preece, C., Skandalis, A. Time to imagine an escape: investigating the consumer timework at play in augmented reality. Eur J Market. 58, 92-118 (2024).
  5. Suresh, D., Aydin, A., James, S., Ahmed, K., Dasgupta, P. The role of augmented reality in surgical training: a systematic review. Surg Innov. 30, 366-382 (2023).
  6. Moreta-Martinez, R., et al. Combining augmented reality and 3D printing to display patient models on a smartphone. J Vis Exp. (155), 60618 (2020).
  7. Ma, L., Huang, T., Wang, J., Liao, H. Visualization, registration and tracking techniques for augmented reality guided surgery: a review. Phys Med Biol. 68, 04TR02 (2023).
  8. Hofman, J., et al. First-in-human real-time ai-assisted instrument deocclusion during augmented reality robotic surgery. Healthc Technol Lett. 11 (2-3), 33-39 (2023).
  9. Thiene, G., Rizzo, S., Basso, C. Bicuspid aortic valve: The most frequent and not so benign congenital heart disease. Cardiovasc Pathol. 70, 107604 (2024).
  10. Mack, M. J., et al. Transcatheter aortic-valve replacement in low-risk patients at five years. New Engl J Med. 389, 1949-1960 (2023).
  11. Vitanova, K., et al. Aortic valve versus root surgery after failed transcatheter aortic valve replacement. J Thorac Cardiovas Surg. 166, 1418-1430 (2023).
  12. Bydlon, T. M., Torjesen, A., Fokkenrood, S., Di Tullio, A., Flexman, M. L. 3d visualisation of navigation catheters for endovascular procedures using a 3d hub and fiber optic realshape technology: phantom study results. EJVES Vascular Forum. 59, 24-30 (2023).
  13. Faris, H., Harfouche, C., Bandle, J., Wisbach, G. Surgical tele-mentoring using a robotic platform: initial experience in a military institution. Surg Endosc. 37, 9159-9166 (2023).
  14. Fitzgerald, L., et al. Mentoring approaches in a safe surgery program in tanzania: Lessons learned during covid-19 and recommendations for the future. Surg Open Sci. 14, 109-113 (2023).
  15. de Turenne, A., Eugène, F., Blanc, R., Szewczyk, J., Haigron, P. Catheter navigation support for mechanical thrombectomy guidance: 3d/2d multimodal catheter-based registration with no contrast dye fluoroscopy. Int J Comput Assist Radiol Surg. 19 (3), 459-468 (2023).
  16. Tang, H., et al. A multiple catheter tips tracking method in x-ray fluoroscopy images by a new lightweight segmentation network and bayesian filtering. Int J Med Robotics Comput Assist Surg. 19, e2569 (2023).
  17. Annabestani, M., Caprio, A., Wong, S. C., Mosadegh, B. A machine learning-based roll angle prediction for intracardiac echocardiography catheter during bi-plane fluoroscopy. Appl Sci. 13, 3483 (2023).
  18. Thourani, V. H., et al. Survival after surgical aortic valve replacement in low-risk patients: a contemporary trial benchmark. Ann Thorac Surg. 117, 106-112 (2024).
  19. Domínguez-Velasco, C. F., et al. Augmented reality simulation as training model of ventricular puncture: Evidence in the improvement of the quality of punctures. Int J Med Robotics Comput Assist Surg. 19, e2529 (2023).
  20. Wang, Q., Xie, Z. Arias: An ar-based interactive advertising system. Plos One. 18, e0285838 (2023).
  21. Ji, F., Chong, F., Wang, F., Bai, D. Augmented reality platform for the unmanned mining process in underground mines. Mining,Metal Explor. 39 (2), 385-395 (2022).
  22. Indhumathi, S., Clement, J. C. Directional intensified feature description using tertiary filtering for augmented reality tracking. Sci Rep. 13, 20311 (2023).
  23. Gao, L., Zhao, Y., Han, J., Liu, H. Research on multi-view 3D reconstruction technology based on SFM. Sensors. 22 (12), 4366 (2022).
  24. Suárez, I., Sfeir, G., Buenaposada, J. M., Baumela, L. BEBLID: Boosted efficient binary local image descriptor. Pattern Recog Lett. 133, 366-372 (2020).
  25. Borman, R. I., Harjoko, A. Improved ORB algorithm through feature point optimization and Gaussian pyramid. Int J Adv Comp Sci Appl. 15 (2), 268-275 (2024).

Перепечатки и разрешения

Запросить разрешение на использование текста или рисунков этого JoVE статьи

Запросить разрешение

Смотреть дополнительные статьи

JoVE2103D

This article has been published

Video Coming Soon

JoVE Logo

Конфиденциальность

Условия эксплуатации

Политика

СВЯЖИТЕСЬ С НАМИ

РЕКОМЕНДОВАТЬ БИБЛИОТЕКЕ

НОВОСТИ JoVE

Исследования

Образование

АВТОРЫ

Библиотекарь

О JoVE

Авторские права © 2025 MyJoVE Corporation. Все права защищены