Method Article
Präsentiert wird hier eine Methode zur Entwicklung einer Augmented-Reality-Smartphone-Anwendung zur Visualisierung anatomischer dreidimensionaler Patientenmodelle mit einem 3D-gedruckten Referenzmarker.
Augmented Reality (AR) hat großes Potenzial in der Aus- und Weiterbildung und chirurgischen Beratung im medizinischen Bereich. Die Kombination mit dem dreidimensionalen (3D) Druck (3DP) eröffnet neue Möglichkeiten in klinischen Anwendungen. Obwohl diese Technologien in den letzten Jahren exponentiell gewachsen sind, ist ihre Akzeptanz durch Ärzte immer noch begrenzt, da sie umfangreiche Kenntnisse in der Entwicklung von Ingenieuren und Software erfordern. Daher ist der Zweck dieses Protokolls, eine Schritt-für-Schritt-Methodik zu beschreiben, die es unerfahrenen Benutzern ermöglicht, eine Smartphone-App zu erstellen, die AR und 3DP zur Visualisierung anatomischer 3D-Modelle von Patienten mit einem 3D-gedruckten Referenzmarker kombiniert. Das Protokoll beschreibt, wie virtuelle 3D-Modelle der Anatomie eines Patienten erstellt werden, die aus medizinischen 3D-Bildern abgeleitet sind. Anschließend wird erläutert, wie die Positionierung der 3D-Modelle in Bezug auf Markerreferenzen durchgeführt wird. Außerdem finden Sie Anweisungen zum 3D-Drucken der benötigten Werkzeuge und Modelle. Schließlich werden Schritte zum Bereitstellen der App bereitgestellt. Das Protokoll basiert auf kostenloser und plattformübergreifender Software und kann auf jede medizinische Bildgebungsmethode oder jeden Patienten angewendet werden. Ein alternativer Ansatz wird beschrieben, um eine automatische Registrierung zwischen einem 3D-gedruckten Modell, das aus der Anatomie eines Patienten erstellt wurde, und den projizierten Hologrammen bereitzustellen. Als Beispiel wird ein klinischer Fall eines Patienten mit distalen Beinsarkomen zur Veranschaulichung der Methodik bereitgestellt. Es wird erwartet, dass dieses Protokoll die Einführung von AR- und 3DP-Technologien durch medizinisches Fachpersonal beschleunigen wird.
AR und 3DP sind Technologien, die immer mehr Anwendungen im medizinischen Bereich ermöglichen. Im Falle von AR, seine Interaktion mit virtuellen 3D-Modellen und die reale Umgebung profitiert Ärzte in Bezug auf Bildung und Ausbildung1,2,3, Kommunikation und Interaktionen mit anderen Ärzten 4,und Beratung während der klinischen Interventionen5,6,7,8,9,10. Ebenso ist 3DP eine leistungsstarke Lösung für Ärzte bei der Entwicklung patientenspezifischer anpassbarer Werkzeuge11,12,13 oder die Erstellung von 3D-Modellen der Anatomie eines Patienten geworden, die dazu beitragen können, die präoperative Planung und klinische Interventionen14,15zu verbessern.
Sowohl AR- als auch 3DP-Technologien tragen zur Verbesserung der Orientierung, Der Orientierung und der räumlichen Fähigkeiten in medizinischen Verfahren bei; daher ist ihre Kombination der nächste logische Schritt. Frühere Arbeiten haben gezeigt, dass ihre gemeinsame Verwendung den Wert in der Patientenerziehung erhöhen kann16, Erleichterung der Erklärung von Erkrankungen und vorgeschlagene Behandlung, Optimierung des chirurgischen Arbeitsablaufs17,18 und Verbesserung der Patienten-zu-Modell-Registrierung19. Obwohl diese Technologien in den letzten Jahren exponentiell gewachsen sind, ist ihre Akzeptanz durch Ärzte immer noch begrenzt, da sie umfangreiche Kenntnisse in der Entwicklung von Ingenieuren und Software erfordern. Daher besteht der Zweck dieser Arbeit darin, eine Schritt-für-Schritt-Methodik zu beschreiben, die den Einsatz von AR und 3DP durch unerfahrene Benutzer ermöglicht, ohne dass umfassende technische Kenntnisse erforderlich sind.
Dieses Protokoll beschreibt, wie eine AR-Smartphone-App entwickelt wird, die es ermöglicht, jedes patientenbasierte 3D-Modell mithilfe eines von der Smartphone-Kamera verfolgten 3D-gedruckten Markers auf eine reale Umgebung zu überlagern. Darüber hinaus wird ein alternativer Ansatz beschrieben, um die automatische Registrierung zwischen einem 3D-gedruckten Biomodell (d. h. einem aus der Anatomie eines Patienten erstellten 3D-Modell) und den projizierten Hologrammen bereitzustellen. Das beschriebene Protokoll basiert vollständig auf freier und plattformübergreifender Software.
In früheren Arbeiten wurde die AR-Patienten-Bild-Registrierung manuell5 mit Oberflächenerkennungsalgorithmen10 berechnet oder war nicht verfügbar2. Diese Methoden wurden als etwas eingeschränkt angesehen, wenn eine genaue Registrierung erforderlich ist19. Um diese Einschränkungen zu überwinden, bietet diese Arbeit Tools zur präzisen und einfachen Patienten-zu-Bild-Registrierung in AR-Verfahren durch die Kombination von AR-Technologie und 3DP.
Das Protokoll ist generisch und kann auf jede medizinische Bildgebungsmethode oder jeden Patienten angewendet werden. Als Beispiel wird ein echter klinischer Fall eines Patienten mit distalen Beinsarkomen zur Veranschaulichung der Methodik bereitgestellt. Im ersten Schritt wird beschrieben, wie die betroffene Anatomie aus medizinischen Bildern der Computertomographie (CT) einfach segmentiert werden kann, um virtuelle 3D-Modelle zu generieren. Danach erfolgt die Positionierung der 3D-Modelle, dann werden die erforderlichen Werkzeuge und Modelle 3D-gedruckt. Schließlich wird die gewünschte AR-App bereitgestellt. Diese App ermöglicht die Visualisierung von Patienten-3D-Modellen, die auf einer Smartphone-Kamera in Echtzeit überlagert werden.
Diese Studie wurde in Übereinstimmung mit den Grundsätzen der Erklärung von Helsinki von 1964 in der 2013 überarbeiteten Fassung durchgeführt. Die in diesem Papier enthaltenen anonymisierten Patientendaten und Bilder werden nach schriftlicher Einwilligung des Teilnehmers und/oder seines gesetzlichen Vertreters verwendet, in dem er die Verwendung dieser Daten für Verbreitungsaktivitäten einschließlich wissenschaftlicher Veröffentlichungen genehmigt hat.
1. Workstation-Einrichtung für Segmentierung, 3D-Modelle Extraktion, Positionierung und AR-App-Bereitstellung
HINWEIS: Dieses Protokoll wurde mit der für jedes Tool angegebenen Softwareversion getestet. Es ist wahrscheinlich, mit neueren Versionen zu arbeiten, obwohl es nicht garantiert ist.
2. Biomodell-Erstellung
ANMERKUNG: Das Ziel dieses Abschnitts ist es, 3D-Modelle der Anatomie des Patienten zu erstellen. Sie werden durch Anwendung von Segmentierungsmethoden auf ein medizinisches Bild (hier mit Hilfe eines CT-Bildes) erhalten. Der Prozess besteht aus drei verschiedenen Schritten: 1) Laden der Patientendaten in 3D-Slicer-Software, 2), Segmentierung von Zielanatomie-Volumen und 3) Export der Segmentierung als 3D-Modelle im OBJ-Format. Die resultierenden 3D-Modelle werden in der endgültigen AR-Anwendung visualisiert.
3. Biomodell Positionierung
HINWEIS: In diesem Abschnitt werden die in Abschnitt 2 erstellten 3D-Modelle in Bezug auf den Marker für die Augmented Reality-Visualisierung positioniert. Für diese Aufgabe wird das ARHealth: Model Position Modul von 3D Slicer verwendet. Befolgen Sie die Anweisungen in Schritt 1.3, um das Modul zu 3D Slicer hinzuzufügen. Es gibt zwei verschiedene Alternativen, um die 3D-Modelle zu positionieren: "Visualisierung" Modus und "Registrierung" Modus.
4. 3D-Druck
ANMERKUNG: Ziel dieses Schritts ist es, die für die endgültige AR-Anwendung erforderlichen physikalischen Modelle in 3D zu drucken. Die von der Anwendung zu erkennende Markierung und die verschiedenen benötigten Objekte hängen vom in Abschnitt 3 ausgewählten Modus ab. Jedes Material kann für den 3D-Druck für die Zwecke dieser Arbeit verwendet werden, wenn die Farbmaterialanforderungen bei jedem Schritt angefordert werden. Polymilchsäure (PLA) oder Acrylnitril Butadien-Styrol (ABS) sind beide ausreichend Enko.
HINWEIS: 3D-gedruckte Objekte aus Schritt 4.3 können in jedem Farbmaterial gedruckt werden.
5. AR-App-Bereitstellung
HINWEIS: Das Ziel dieses Abschnitts ist es, eine Smartphone-App in Unity-Engine zu entwerfen, die die in den vorherigen Abschnitten erstellten 3D-Modelle enthält, und diese App auf einem Smartphone bereitzustellen. Für diesen Schritt ist ein Vuforia Development License Key (kostenlos für den persönlichen Gebrauch) erforderlich. Die App kann auf Android- oder iOS-Geräten bereitgestellt werden.
6. App-Visualisierung
Das Protokoll wurde auf Daten eines Patienten angewendet, der an distalen Beinsarkoms leidet, um die betroffene anatomische Region aus einer 3D-Perspektive zu visualisieren. Mit der in Abschnitt 2 beschriebenen Methode wurden der Teil des betroffenen Knochens (hier Tibia und Fibel) und Tumor vom CT-Scan des Patienten segmentiert. Dann wurden mit den Segmentierungswerkzeugen von 3D Slicer zwei Biomodelle erstellt: der Knochen (Abschnitt der Tibia und Fibel) (Abbildung 1A) und Tumor (Abbildung 1B).
Als nächstes wurden die beiden 3D-Modelle virtuell in Bezug auf den Marker für eine optimale Visualisierung positioniert. Beide in Abschnitt 3 beschriebenen Modi wurden für dieses Beispiel befolgt. Für den Visualisierungsmodus wurden die Modelle in der oberen Fläche des Markers zentriert (Abbildung 2). Für den Registrierungsmodus wurde der Markeradapter im Knochen positioniert (insbesondere die Tibia [Abbildung 3]). Dann wurde ein kleiner Teil der Tibia ausgewählt, um mit einem 3D-Markeradapter 3D-gedruckt zu werden (Abbildung 4). Ein erweiterter 3D-Drucker von Ultimaker 3 mit PLA-Material wurde verwendet, um die 3D-gedruckten Marker (Abbildung 5A, B), Markerhalterbasis ( Abbildung5C) für den Modus "Visualisierung" und Abschnitt der Tibia für den "Registrierungsmodus" zu erstellen (Abbildung 5D). Abbildung 5E zeigt, wie der Marker an die 3D-gedruckte Basis im "Visualisierungsmodus" angehängt wurde. Abbildung 5F zeigt die Anlage mit dem 3D-gedruckten Biomodell "Registrierung". Schließlich wurde Unity verwendet, um die App zu erstellen und auf dem Smartphone bereitzustellen.
Abbildung 6 zeigt, wie die App im Modus "Visualisierung" funktioniert hat. Das Hologramm befand sich genau im oberen Teil des Würfels, wie zuvor definiert. Abbildung 7 zeigt die Anwendung für den Modus "Registrierung", in dem die App das komplette Bone-Modell über dem 3D-gedruckten Abschnitt positioniert hat. Die endgültige Visualisierung der Hologramme war klar und realistisch, hielt die realen Größen der Biomodelle bei und positionierte sich genau. Bei Verwendung der Smartphone-Anwendung muss der AR-Marker von der Kamera sichtbar sein, damit die App die Hologramme korrekt anzeigt. Darüber hinaus müssen die Lichtverhältnisse in der Szene von guter Qualität und konstant für die richtige Markererkennung sein. Schlechte Lichtverhältnisse oder Reflexionen auf der Markeroberfläche behindern die Verfolgung des AR-Markers und führen zu Fehlfunktionen der App.
Die zum Erstellen der App benötigte Zeit hängt von mehreren Faktoren ab. Die Dauer von Abschnitt 1 ist durch die Download-Geschwindigkeit begrenzt. In Bezug auf die Anatomiesegmentierung (Abschnitt 2) sind Faktoren, die die Segmentierungszeit beeinflussen, die Komplexität der Region und die modalität der medizinischen Bildgebung (d. h. CT ist leicht segmentiert, während die MRT schwieriger ist). Für das repräsentative Beispiel der Tibia waren ca. 10 min erforderlich, um beide 3D-Modelle aus dem CT-Scan zu generieren. Die Positionierung des Biomodells (Abschnitt 3) ist einfach und unkompliziert. Hier dauerte es ca. 5 min, um die Biomodellposition in Bezug auf den AR-Marker zu definieren. Für den 3D-Druckschritt ist die Dauer stark vom ausgewählten Modus abhängig. Der "Dual Color Marker" wurde in einem Zeitraum von 5 h und 20 min in hoher Qualität hergestellt. Der "Aufkleber-Marker" wurde in einem Zeitraum von 1 h und 30 min hergestellt, zuzüglich der Zeit, die zum Einkleben der Aufkleber benötigt wird. Der letzte Schritt für die App-Entwicklung kann für personen ohne vorherige Erfahrung in Unity zeitaufwändig sein, kann jedoch nach den Protokollschritten problemlos abgeschlossen werden. Sobald die AR-Marker 3D-gedruckt wurden, kann die Entwicklung einer völlig neuen AR-App in weniger als 1 H durchgeführt werden. Diese Dauer kann mit zusätzlicher Erfahrung weiter reduziert werden.
Abbildung 1: Darstellung von 3D-Modellen, die aus einem CT-Bild eines Patienten mit distalen Beinsarkoms erstellt wurden. (A) Knochengewebe in Weiß (Tibia und Fibel) dargestellt. (B) Tumor rot dargestellt. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.
Abbildung 2: Ergebnisse, die zeigen, wie der Modus "Visualisierung" im 3D-Slicer die virtuellen 3D-Modelle von Knochen und Tumor in Bezug auf die 3D-gedruckte Markerreferenz positioniert. Die Patienten-3D-Modelle (A) befinden sich oberhalb der Oberseite des Markerwürfels (B). Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.
Abbildung 3: Ergebnisse, die zeigen, wie der Modus "Registrierung" in 3D Slicer die virtuellen 3D-Modelle von Knochen und Tumor (A) in Bezug auf die 3D-gedruckte Markerreferenz (B) positioniert. Der Markeradapter wird am Knochengewebemodell befestigt. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.
Abbildung 4: Kleiner Abschnitt des Knochengewebes und 3D-Markeradapter. Die beiden Komponenten werden dann 3D-gedruckt kombiniert. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.
Abbildung 5: 3D-gedruckte Werkzeuge, die für die endgültige Anwendung erforderlich sind. (A) "Zwei Farbwürfelmarker" 3D-gedruckt mit zwei Farben von Materialien. (B) "Aufkleber Würfel Marker" 3D-gedruckt, mit Aufklebern geklebt. (C) Marker Basiswürfeladapter. (D) Abschnitt des 3D-Modells des Knochengewebes und des Markerwürfeladapters des Patienten. (E) "Sticker Cube Marker" im Marker-Basiswürfeladapter platziert. (F) "Zwei Farbwürfelmarker" im Markeradapter platziert, der an der Anatomie des Patienten befestigt ist. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.
Abbildung 6: App-Anzeige bei Verwendung des Modus "Visualisierung". Die betroffenen Anatomie-3D-Modelle des Patienten befinden sich über der Oberseite des 3D-gedruckten Würfels. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.
Abbildung 7: AR-Visualisierung bei Verwendung des Modus "Registrierung". Der 3D-gedruckte Marker ermöglicht die Registrierung des 3D-gedruckten Biomodells bei den virtuellen 3D-Modellen. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.
AR birgt großes Potenzial in der Aus- und Weiterbildung und chirurgischen Beratung im medizinischen Bereich. Die Kombination mit 3D-Druck eröffnet neue Möglichkeiten in klinischen Anwendungen. Dieses Protokoll beschreibt eine Methode, die es unerfahrenen Benutzern ermöglicht, eine Smartphone-App zu erstellen, die AR und 3DP kombiniert, um anatomische 3D-Modelle von Patienten mit 3D-gedruckten Referenzmarkern zu visualisierungen.
Im Allgemeinen ist eine der interessantesten klinischen Anwendungen von AR und 3DP, die Kommunikation zwischen Patienten und Ärzten zu verbessern, indem dem Patienten eine andere Perspektive des Falles gegeben wird, indem die Erklärungen zu bestimmten medizinischen Bedingungen oder Behandlungen verbessert werden. Eine weitere mögliche Anwendung beinhaltet chirurgische Leitfäden für die Ziellokalisierung, bei der 3D-gedruckte patientenspezifische Werkzeuge (mit einem Referenz-AR-Marker) auf starren Strukturen (d.h. Knochen) platziert und als Referenz für die Navigation verwendet werden können. Diese Anwendung ist besonders nützlich für orthopädische und kiefer-gesichtschirurgische Eingriffe, bei denen die Knochengewebeoberfläche während der Operation leicht zugänglich ist.
Das Protokoll beginnt mit Abschnitt 1 und beschreibt die Einrichtung von Arbeitsstationen und die erforderlichen Softwaretools. In Abschnitt 2 wird beschrieben, wie Sie die 3D-Slicer-Software verwenden, um Zielanatomien des Patienten einfach von jeder medizinischen Bildgebungsmethode zu segmentieren, um 3D-Modelle zu erhalten. Dieser Schritt ist von entscheidender Bedeutung, da die virtuellen 3D-Modelle, die erstellt wurden, diejenigen sind, die in der endgültigen AR-Anwendung angezeigt werden.
In Abschnitt 3 wird 3D Slicer verwendet, um die im vorherigen Abschnitt erstellten 3D-Modelle mit einer AR-Markierung zu registrieren. Bei diesem Registrierungsverfahren werden Patienten-3D-Modelle effizient und einfach in Bezug auf den AR-Marker positioniert. Die in diesem Abschnitt definierte Position bestimmt die relative Hologrammposition in der endgültigen App. Es wird angenommen, dass diese Lösung die Komplexität reduziert und die möglichen Anwendungen multipliziert. In Abschnitt 3 werden zwei verschiedene Optionen beschrieben, um die räumlichen Beziehungen zwischen den Modellen und AR-Markern zu definieren: "Visualisierung" und "Registrierung"-Modus. Die erste Option, der "Visualisierungsmodus", ermöglicht es, die 3D-Modelle an einer beliebigen Stelle in Bezug auf den Marker zu positionieren und als gesamtes Biomodell anzuzeigen. Dieser Modus bietet eine realistische 3D-Perspektive der Anatomie des Patienten und ermöglicht das Bewegen und Drehen der Biomodelle durch Bewegen des verfolgten AR-Markers. Die zweite Option, der "Registrierungsmodus", ermöglicht das Anbringen und Kombinieren eines Markeradapters an jedem Teil des Biomodells und bietet einen automatischen Registrierungsprozess. Mit dieser Option kann ein kleiner Teil des 3D-Modells, einschließlich des Markeradapters, 3D-gedruckt werden, und die App kann den Rest des Modells als Hologramm anzeigen.
Abschnitt 4 enthält Richtlinien für den 3D-Druckprozess. Zunächst kann der Benutzer zwischen zwei verschiedenen Markern wählen: dem "Dual Color Marker" und dem "Sticker Marker". Der gesamte "Dual-Color-Marker" kann 3D-gedruckt werden, erfordert aber einen Dual-Extruder-3D-Drucker. Falls dieser Drucker nicht verfügbar ist, wird der "Aufklebermarker" vorgeschlagen. Dies ist eine einfachere Markierung, die durch 3D-Druck der kubischen Struktur erhalten werden kann, dann die Bilder des Würfels mit Aufkleber Papier oder Aufkleber Kleber einfügen. Darüber hinaus wurden beide Marker mit erweiterbaren Profilen entworfen, um perfekt in einen bestimmten Adapter zu passen. Somit kann der Marker in mehreren Fällen wiederverwendet werden.
Abschnitt 5 beschreibt den Prozess zum Erstellen eines Unity-Projekts für AR mithilfe des Vuforia-Softwareentwicklungskits. Dieser Schritt mag für Benutzer ohne Programmiererfahrung der schwierigste Teil sein, aber mit diesen Richtlinien sollte es einfacher sein, die endgültige Anwendung zu erhalten, die in Abschnitt 6 vorgestellt wird. Die App zeigt die virtuellen Modelle des Patienten über den Smartphone-Bildschirm an, wenn die Kamera den 3D-gedruckten Marker erkennt. Damit die App den 3D-Marker erkennen kann, sind ein Mindestabstand von ca. 40 cm oder weniger vom Telefon zum Marker sowie gute Lichtverhältnisse erforderlich.
Die endgültige Anwendung dieses Protokolls ermöglicht es dem Benutzer, die spezifischen Biomodelle zu visualisieren und in welchen Positionen zu visualisieren. Addierend kann die App die automatische Patienten-Hologramm-Registrierung mit einem 3D-gedruckten Marker und Adapter durchführen, der am Biomodell befestigt ist. Dies löst die Herausforderung, virtuelle Modelle direkt und bequem bei der Umgebung zu registrieren. Darüber hinaus erfordert diese Methodik keine umfassenden Kenntnisse der medizinischen Bildgebung oder Softwareentwicklung, hängt nicht von komplexer Hardware und teurer Software ab und kann über einen kurzen Zeitraum implementiert werden. Es wird erwartet, dass diese Methode dazu beitragen wird, die Einführung von AR- und 3DP-Technologien durch medizinisches Fachpersonal zu beschleunigen.
Die Autoren haben nichts zu verraten.
Dieser Bericht wurde durch die Projekte PI18/01625 und PI15/02121 (Ministerio de Ciencia, Innovacién y Universidades, Instituto de Salud Carlos III und Europäischer Fonds für regionale Entwicklung "Una manera de hacer Europa") und IND2018/TIC-9753 (Comunidad de Madrid) unterstützt.
Name | Company | Catalog Number | Comments |
3D Printing material: Acrylonitrile Butadiene Styrene (ABS) | Thermoplastic polymer material usually used in domestic 3D printers. | ||
3D Printing material: Polylactic Acid (PLA) | Bioplastic material usually used in domestic 3D printers. | ||
3D Slicer | Open-source software platform for medical image informatics, image processing, and three-dimensional visualization | ||
Android | Alphabet, Inc. | Android is a mobile operating system developed by Google. It is based on a modified version of the Linux kernel and other open source software, and is designed primarily for touchscreen mobile devices such as smartphones and tablets. | |
Autodesk Meshmixer | Autodesk, Inc. | Meshmixer is state-of-the-art software for working with triangle meshes. Free software. | |
iPhone OS | Apple, Inc. | iPhone OS is a mobile operating system created and developed by Apple Inc. exclusively for its hardware. | |
Ultimaker 3 Extended | Ultimaker BV | Fused deposition modeling 3D printer. | |
Unity | Unity Technologies | Unity is a real-time development platform to create 3D, 2D VR & AR visualizations for Games, Auto, Transportation, Film, Animation, Architecture, Engineering & more. Free software. | |
Xcode | Apple, Inc. | Xcode is a complete developer toolset for creating apps for Mac, iPhone, iPad, Apple Watch, and Apple TV. Free software. |
Genehmigung beantragen, um den Text oder die Abbildungen dieses JoVE-Artikels zu verwenden
Genehmigung beantragenThis article has been published
Video Coming Soon
Copyright © 2025 MyJoVE Corporation. Alle Rechte vorbehalten