Automatische Chirurgie beim Transkatheter-Aortenklappenersatz mit Augmented Reality

Zusammenfassung

In diesem Artikel wird das Design und die Implementierung eines Moduls für die automatische Chirurgie vorgestellt, das auf Augmented Reality (AR)-basierter 3D-Rekonstruktion basiert. Das System ermöglicht die Fernchirurgie, indem es Chirurgen ermöglicht, rekonstruierte Merkmale zu inspizieren und chirurgische Handbewegungen zu replizieren, als ob sie die Operation in unmittelbarer Nähe durchführen würden.

Zusammenfassung

Augmented Reality (AR) ist in medizinischen Anwendungen sehr gefragt. Das Ziel der Arbeit ist es, die automatische Chirurgie mit AR für den Transkatheter-Aortenklappenersatz (TAVR) bereitzustellen. TAVR ist das alternative medizinische Verfahren für Operationen am offenen Herzen. TAVR ersetzt die verletzte Klappe mit Hilfe eines Katheters durch die neue. Im bestehenden Modell ist eine Fernführung gegeben, während die Operation nicht auf Basis von AR automatisiert wird. In diesem Artikel haben wir eine räumlich ausgerichtete Kamera eingesetzt, die mit einem Motor verbunden ist, um die Bilderfassung im chirurgischen Umfeld zu automatisieren. Die Kamera verfolgt das hochauflösende 2D-Bild des Herzens des Patienten zusammen mit dem Katheterprüfstand. Diese aufgenommenen Bilder werden über die mobile App an einen entfernten Chirurgen hochgeladen, der ein Kardiologieexperte ist. Dieses Bild wird für die 3D-Rekonstruktion aus der 2D-Bildverfolgung verwendet. Dies wird in einer HoloLens wie ein Emulator auf einem Laptop angezeigt. Der Chirurg kann die rekonstruierten 3D-Bilder mit zusätzlichen Transformationsfunktionen wie Rotation und Skalierung aus der Ferne inspizieren. Diese Transformationsfunktionen werden durch Handgesten aktiviert. Die Anweisungen des Chirurgen werden an die chirurgische Umgebung übertragen, um den Prozess in Echtzeitszenarien zu automatisieren. Der Katheterprüfstand im Operationsfeld wird durch die Handgestenführung des Remote-Chirurgen gesteuert. Das entwickelte Prototypmodell demonstriert die Wirksamkeit der chirurgischen Fernführung durch AR.

Einleitung

AR kann das 3D-Modell in einer realen Umgebung überlagern. Die technologische Entwicklung hin zu AR hat in vielen Bereichen einen Paradigmenwechsel vollzogen, nämlich in der Bildung¹, in der Medizin², in der Fertigung³ und in der Unterhaltung⁴. Die AR-Technologie erweist sich zusammen mit der äußerst zuverlässigen Kommunikation mit geringer Latenz als unvermeidlich im medizinischen Bereich. Von der Lernphase der menschlichen Anatomie bis hin zur chirurgischen Anleitung können die Lernphasen mit AR-gestützter Software ^5,6 und Hardware visualisiert werden. AR bietet dem Arzt in einer chirurgischen Umgebung eine entscheidende und zuverlässige Lösung ^7,8.

Die Aortenklappenstenose ist die Herzklappenerkrankung, die bei der Menschheit am häufigsten auftritt⁹. Die Hauptursache der Krankheit sind schlechte Ernährungsgewohnheiten und unregelmäßige Routinen des täglichen Lebens. Symptom und Folge der Erkrankung ist die Verengung der Herzklappe, gefolgt von einer Verminderung des Blutflusses. Dieses Problem muss angegangen werden, bevor das menschliche Herz geschädigt wird. Somit ist das Herz überlastet, um den Blutfluss zu verarbeiten. Bevor also ein Schaden entsteht, muss eine Operation durchgeführt werden, die aufgrund der technologischen Entwicklungen in den letzten Tagen auch mit dem TAVR-Verfahren durchgeführt werden kann. Das Verfahren kann je nach Zustand des Herzens und anderer Körperteile des Patienten angewendet werden. Bei diesem TAVR^10,11 wird der Katheter eingeführt, um die beschädigte Klappe im Herzen zu ersetzen. Das Platzieren des Katheters in Position¹² zum Austausch der Klappe ist für den Behandler jedoch mühsam. Diese Idee motivierte uns, ein automatisiertes Operationsmodell auf Basis von AR^13,14 zu entwickeln, das dem Chirurgen hilft, die Klappe während des Wechselprozesses präzise zu positionieren. Darüber hinaus kann die Operation mit einem Motion-Mapping-Algorithmus durchgeführt werden, der die Bewegung des Chirurgen, die von einem entfernten Ort aus erfasst wird, auf den Roboterarm abbildet.

In der bestehenden Arbeit 15,16,17 wird die Visualisierung des TAVR ^{18-Verfahrens} durch Fluoroskopie überwacht. Daher ist es schwierig, die Herzklappe zu analysieren und mühsam, die Ersatzstelle zu finden. Dies stellt eine Barriere für die Positionierung des Katheters im menschlichen Herzen dar. Darüber hinaus wird die Fernbewegung auf das Operationsfeld abgebildet, um den Prozess zu automatisieren. Um die Forschungslücke zu schließen, schlagen wir jedoch eine automatisierte roboterbasierte Chirurgie für den Klappenersatz mit Hilfe von AR-gestützter Technologie vor.

Das Protokoll ist ein generisches Modell, das auf alle chirurgischen Umgebungen angewendet werden kann. In der Anfangsphase der Arbeit werden 2D-Bilder rund um die chirurgische Umgebung mit der vollsten räumlichen Auflösung und dem größten Freiheitsgrad aufgenommen. Dies bedeutet, dass genügend Bilder für die 3D-Rekonstruktion¹⁹ aufgenommen werden, gefolgt von Motion Mapping durch Handgestenverfolgung²⁰.

Protokoll

1. Chirurgische Umgebung

1. Entwerfen Sie eine Operationsumgebung, wie in Abbildung 1 dargestellt. Stellen Sie sicher, dass die Umgebung über eine Platte für den Objekttransport, einen Roboterarm und zwei seitlich hängende Arme verfügt, von denen einer einen Platzhalter für die Kamera und der andere einen einheitlichen weißen Hintergrund hat, zusammen mit dem Wägemodul für das Gleichgewicht.
2. Entwickeln Sie zwei Treiber, einen für den Snapshot der chirurgischen Live-Umgebung, wie in den Schritten 2.1 bis 2.10 beschrieben, und den anderen für die Steuerung des revolvierenden Mechanismus, der die 360°-Überwachung unterstützt, wie in den Schritten 3.1 bis 3.4 beschrieben.
3. Aktivieren Sie vor der Implementierung der beiden oben genannten Module Bluetooth des mobilen Geräts und des Laptops, die als HoloLens-Emulator des Chirurgen dienen.
4. Koppeln Sie die Geräte für eine ununterbrochene Bildübertragung.

2. Einrichten des Treibers zur Steuerung der beiden hängenden Arme

1. Stellen Sie sicher, dass die Aufhängearme von einem Schrittmotor mit der in Abbildung 2 gezeigten Anordnung gesteuert werden, um eine einwandfreie Drehung von 360° zu gewährleisten.
2. Verbinden Sie den Motor mit dem Treiber TB 6600 mit der Mikrocontroller-Platine. Um den Motor auszuführen, installieren Sie die Mikrocontroller-IDE über den Browser.
3. Klicken Sie auf die Schaltfläche Download , um die Software herunterzuladen. Wechseln Sie dann in der Mikrocontroller-IDE zu Datei > Öffnen Sie einen neuen Sketch , um den Code zu schreiben.
4. Stellen Sie sicher, dass Sie die Mikrocontrollerplatine so anschließen, dass sie über einen dedizierten Verbindungsport, z. B. COM 4, mit dem neuen Sketch verbunden ist. Überprüfen Sie den Com-Port, und stellen Sie sicher, dass die Mikrocontroller-Platine angezeigt wird.
5. Überprüfen Sie die Hardware-Switch-Einstellungen des Schrittmotortreibers TB 6600. Stellen Sie sicher, dass die Einstellungen so sind, dass der Stromfluss 2 A beträgt, was durch Einstellen von SW4 ON und SW5 und SW6 OFF erreicht werden kann.
6. Stellen Sie sicher, dass die Schaltpositionen von SW1, SW2 und SW3 so eingestellt sind, dass der Mikroschritt 1/8 Schritte beträgt, um die erforderlichen Umdrehungsschritte zu erreichen. Stellen Sie sicher, dass die Einstellungen in TB6600 SW1 OFF, SW2 ON und SW3 OFF sind.
7. Verbinden Sie die RTC 3231 mit dem Mikrocontroller, um eine globale Zeitsynchronisation in Echtzeit zu erhalten. Stellen Sie sicher, dass die Drehzahlschrittweite 12° beträgt und dass das Motorschrittinkrement nur ausgelöst wird, wenn die Echtzeiteinheit, d. h. die vom RTC-Modul gelesenen Sekunden, ungerade ist.
8. Verbinden Sie den 5-V-Pin der Mikrocontrollerplatine mit der RTC VCC und den GND des Mikrocontrollers mit dem GND der RTC.
9. Verbinden Sie den SCL-Pin der RTC mit dem A0-Pin und den SDA mit dem A1-Pin des Mikrocontrollers. Dieses Modul kann eine Schrittweite von 12° gewährleisten und 30 Schritte in einer Umdrehung ausführen. Stellen Sie sicher, dass das Schrittinkrement jede ungerade Sekunde erfolgt. Lassen Sie dieses Softwaremodul den Schrittmotor²¹ antreiben.
10. Stellen Sie sicher, dass das Setup ordnungsgemäß funktioniert, indem Sie den Code ausführen, der auf der GitHub-Seite https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR verfügbar ist.
11. Laden Sie Android Studio herunter, um die automatische Kamera-App zu entwickeln. Stellen Sie sicher, dass die Systemanforderungen erfüllt sind, und laden Sie dann die Software von der Website herunter.

3. Entwicklung eines Treibers für die mobile Szenenüberwachung und Bildübertragung als Client-Modul

1. Entwickeln Sie eine Kameraanwendung im Android-Betriebssystem, die alle 2 s Schnappschüsse machen kann, insbesondere wenn es sich bei den Sekunden um ungerade Zahlen handelt.
2. Verbinden Sie das Mobiltelefon mit dem System. Klicken Sie in Android Studio auf Neu > Neues Projekt und wählen Sie Aktivität "Leere Ansichten" aus. Klicken Sie auf Weiter , um einen Android-Code zu entwickeln, der unter https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR verfügbar ist.
3. Stellen Sie sicher, dass die App die Bilder automatisch erfasst und konsistent an ein Remotegerät sendet.
4. Übertragen Sie Schnappschüsse aus der mobilen App sofort nach der Aufnahme des Schnappschusses über Bluetooth an das gekoppelte Gerät, d. h. an das System des entfernten Chirurgen.
   HINWEIS: Stellen Sie sicher, dass die in den Abschnitten 2 und 3 erwähnten Module in Zeitsynchronisation ausgeführt werden, eines für jede gerade Anzahl von Sekunden und das andere für jede ungerade Anzahl von Sekunden.

4. Entwicklung eines Client-Moduls zum Empfangen und Bearbeiten von Überwachungsbildern

1. Öffnen Sie das Servermodul, bei dem es sich um eine grafische Benutzeroberfläche handelt.
2. Geben Sie die VVID-Portnummer in das Textfeld VVID ein, deren Standardwert 94f39d29 7d6d 437d 973b fba39e49d4ee ist.
3. Klicken Sie auf Create Socket , um den Socket zu erstellen und zu binden. Klicken Sie auf Verbinden , um eine Verbindung mit der mobilen App herzustellen.
4. Klicken Sie auf Aufnehmen , um die Szenenüberwachungsbilder aufzunehmen und im lokalen Ordner zu speichern
5. Geben Sie den Namen des lokalen Ordners in das Feld Ordnername ein, wenn er ein anderer als der angegebene Standardname sein muss.

5. Bedienung des Roboterarms

1. Lassen Sie das Client-Modul auch einen Roboterarm enthalten. Gestalten Sie den Arm so, dass er eine Rotationsbewegung in der Basis, der Schulter, dem Ellbogen, dem Handgelenk und den Fingern hat.
2. Stellen Sie sicher, dass MG 996R Servos verwendet werden, um die Rotationsbewegung an der Basis, der Schulter und dem Ellbogen zu steuern. Stellen Sie sicher, dass der Servomotor SG 90 verwendet wird, um die Drehbewegung an Ellenbogen und Fingern zu steuern.
3. Kompilieren Sie den in https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR angegebenen Code in der Mikrocontroller-IDE, um den Roboterarm basierend auf den vom entfernten Chirurgen empfangenen Befehlen zu steuern.

6. 3D Rekonstruktion für Augmented Reality

1. Lesen Sie jeweils zwei Bilder in einer Sequenz nacheinander aus dem lokalen Ordner, um die mögliche Überlappung (da die Bilder in unmittelbarer Nähe gesammelt werden, kommt es zu einer Überlappung zwischen den aufeinanderfolgenden Bildern) zwischen ihnen zu erhalten.
2. Entwerfen Sie einen Tertiärfilter gemäß den Anforderungen der Beschreibung des gerichteten verstärkten Merkmals unter Verwendung des DITF-Algorithmus (Tertiary Filtering²² ), um den Gradienten und die Ausrichtung zu erhalten.
3. Extrahieren Sie die Features mit der DITF-Methode²², wie in Abbildung 3 dargestellt.
4. Rekonstruieren Sie 3D-Bilder aus den erfassten Features mit SFM²³.

7. Erkennung von Handgesten am Standort des Chirurgen

1. Erleichtern Sie dem Chirurgen die Inspektion der rekonstruierten 3D-Bildmerkmale, indem Sie ihm ermöglichen, die Umgebung aus allen Perspektiven zu visualisieren, indem Sie eine auf Handgesten basierende Drehung und das Vergrößern/Verkleinern von rekonstruierten Merkmalen ermöglichen.
2. Normalisieren Sie den Abstand zwischen der Daumenspitze des Chirurgen und dem Zeigefinger der rechten Hand und ordnen Sie ihn in einen entsprechenden Drehwinkel ein. Die Normalisierung sei so, dass der minimale Abstand 0° und der maximale 180° entspricht.
3. Übertragen Sie die Handgestensteuerung über Bluetooth auch an die Remote-Operationsumgebung für die Drehung der Objektplatte, wodurch sie sich um ihre Achse dreht, während sich die 3D-rekonstruierten Merkmale am Ende des Chirurgen drehen.
4. Ermitteln Sie den Abstand zwischen der Spitze und dem Daumen der linken Hand des Chirurgen, um die Bewegung der Finger des Roboterarms zu steuern.
5. Messen Sie den Höhenwinkel aus dem räumlichen Abstand zwischen der Daumenspitze und dem Zeigefinger der linken Hand des Chirurgen in Bezug auf eine imaginäre x-y-Grundebene, um den Höhenwinkel zu bestimmen. Ordnen Sie diesen Winkel einem Höhenwinkel zu, den der Roboterarm mit der x-y-Ebene erstellen kann.
6. Ermitteln Sie den Azimutwinkel, den die Hand des Chirurgen mit der der virtuellen y-z-Ebene bildet. Identifizieren Sie diese Winkel durch handgestenbasierte Erkennung.
7. Ordnen Sie den Abstand, die Höhe und die Azimutwinkel zu, um die Fingerbewegung des Roboters und die Armdrehung zu steuern, die beide dem Höhen- und Azimutwinkel entsprechen.
8. Lassen Sie den Chirurgen die rekonstruierten Merkmale durch Zoomen und Drehen untersuchen. Lassen Sie den Chirurgen Befehle an den Roboterarm senden, um die Operation von einem entfernten Ort aus durchzuführen.
9. Stellen Sie sicher, dass die Operationsbefehle als Steuerzeichenfolge der Sequenz übertragen werden, die mit einer Zeichenfolgenübereinstimmung beginnt, gefolgt von den Werten zur Steuerung der Plattentellerdrehung und der Roboterarmsteuerung. Sei [θ_b, θ_s, θ_e, θ_w, θ_f] der Winkel des Vektors, der aus Werten besteht, die jeweils dem Steuersignal entsprechen, das der Basis, der Schulter, dem Ellbogen, dem Handgelenk und dem Finger des Roboterarms entspricht.
   HINWEIS: Der GitHub-Link enthält den Code zum Aktivieren der Handgestensteuerung im chirurgischen Bereich. https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR.

Ergebnisse

Das Protokoll wurde mit dem Herzphantom-Modell getestet. Abbildung 2 zeigt den zu erwartenden Aufbau für die Live-Überwachung des Operationsfeldes mit Hilfe von räumlich verteilten Kameras. Die verteilten Kameras, wie in Abbildung 2 gezeigt, tragen dazu bei, die räumliche Auflösung des Feldes für eine effektive 3D-Rekonstruktion zu erhöhen. Die physische Platzierung dieser Kameras an verschiedenen räumlichen Orten ist jedoch mit Komplexität verbunden. D...

Diskussion

In einer bestehenden Arbeit¹⁵ werden Röntgen- und CT-Scans untersucht, um den Katheter im Herzen zu lokalisieren. Der AR-TAVR-Ersatz schafft jedoch eine neue Möglichkeit im chirurgischen Eingriff von TAVR¹⁸ durch die Implementierung eines automatisierten Modells unter Verwendung der 3D-Rekonstruktion. Wie im Protokoll-Abschnitt erwähnt, besteht diese Arbeit aus fünf Phasen, die es zu entwerfen gilt. Die erste Stufe von DITF²², die in Abschnitt 6 ...

Materialien

Name	Company	Catalog Number	Comments
android IDE	software	https://developer.android.com/studio	software can be downloaded from this link
Arduino Board	Ardunio Uno	Ardunio Uno	Microcontroller for processing
arduino software	software	https://www.arduino.cc/en/software.	software can be downloaded from this link
Human Heart phantom model	Biology Lab Equipment Manufacturer and Exporter	B071YBLX2V(8B-ZB2Q-H3MS-1)	light weight model with 3parts to the deep analysis of heart.
mobile holder	Humble universal monopoad holder	B07S9KNGVS	To carry the mobile in surgical field
pycharm IDE	software	https://www.jetbrains.com/pycharm/	software can be downloaded from this link
Robot arm	Printed-bots	B08R2JLKYM(P0-E2UT-JSOU)	arm can be controlled through control signal.it has 5 degree of freedom to access.
servo motor	Kollmorgen Co-Engineers Motors	MG-966R	high-torque servo motor,servo pulses ranging from 500 to 2500 microseconds (µs), with a frequency of 50Hz to 333Hz.
servomotor	Kollmorgen Co-Engineers Motors	SG-90R	1.8 kg-cm to 2.5 kg-cm load can be applied to SG-90R servo.
Stepper Motor	28BYJ-48	28BYJ-48	Steper motor, 5V DC, 100 Hz frequency, torque 1200 Gf.cm
Stepper Motor	Nema 23	Nema	Steper motor, 9V - 42 V DC, 100 Hz frequency