Разработка интерактивной хирургической среды с видеонаблюдением в режиме реального времени и интеграцией дополненной реальности

Для начала откройте модуль сервера графического интерфейса пользователя. Введите номер порта VVID в текстовое поле VVID. Нажмите «Создать сокет», чтобы создать и привязать сокет.

Затем нажмите «Подключить», чтобы установить соединение с мобильным приложением. Теперь нажмите «Захват», чтобы захватить и сохранить изображения с места происшествия в локальной папке. Пусть клиентский модуль включает в себя роботизированную руку, предназначенную для вращательного движения в основании, плече, локте, запястье и пальцах.

Убедитесь, что сервоприводы MG996R используются для управления вращательным движением в основании, плече и локте. Используйте серводвигатель SG90 для управления вращательным движением запястья и пальцев. Скомпилируйте код, заданный в интегрированной среде разработки микроконтроллера, для управления роботизированной рукой на основе команд, полученных от удаленного хирурга.

Считывайте по два изображения подряд, одно за другим, из локальной папки, чтобы определить возможное перекрытие между ними. Извлеките признаки с помощью метода DITF. Реконструируйте трехмерные изображения из собранных объектов с помощью SFM.

Предоставьте хирургу возможность осматривать трехмерные реконструированные особенности изображения с помощью жестов рук для вращения и увеличения или уменьшения, что позволяет визуализировать изображение со всех точек зрения. Нормализуйте и нанесите на карту расстояние между кончиком большого пальца хирурга и указательным пальцем правой руки в соответствующий угол поворота. Передача управления жестами рук через Bluetooth в удаленную операционную среду.

Убедитесь, что вращение пластины объекта на удаленном участке отражает вращение трехмерных реконструированных элементов на стороне хирурга. Точность отображения движений снижалась по мере увеличения расстояния между двумя пальцами. Алгоритм DITF показал наименьшую задержку по сравнению с ORB и BEBLID.