Name: combining augmented reality and 3d printing to display patient models on a smartphone
Uploaded: 2020-01-02T13:00:00
Duration: 9 min 26 s
Description: Watch this Scientific Journal Video about Combining Augmented Reality and 3D Printing to Display Patient Models on a Smartphone at JoVE.com

Dieser Bericht wurde durch die Projekte PI18/01625 und PI15/02121 (Ministerio de Ciencia, Innovacién y Universidades, Instituto de Salud Carlos III und Europäischer Fonds für regionale Entwicklung "Una manera de hacer Europa") und IND2018/TIC-9753 (Comunidad de Madrid) unterstützt.

<ol>
	<li>Coles, T. R., John, N. W., Gould, D., Caldwell, D. G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Integrating+Haptics+with+Augmented+Reality+in+a+Femoral+Palpation+and+Needle+Insertion+Training+Simulation.">Integrating Haptics with Augmented Reality in a Femoral Palpation and Needle Insertion Training Simulation.</a> IEEE Transactions on Haptics. 4 (3), 199-209 (2011).</li><li>Pelargos, P. E., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Utilizing+virtual+and+augmented+reality+for+educational+and+clinical+enhancements+in+neurosurgery.">Utilizing virtual and augmented reality for educational and clinical enhancements in neurosurgery.</a> Journal of Clinical Neuroscience. 35, 1-4 (2017).</li><li>Abhari, K., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Training+for+Planning+Tumour+Resection:+Augmented+Reality+and+Human+Factors.">Training for Planning Tumour Resection: Augmented Reality and Human Factors.</a> IEEE Transactions on Biomedical Engineering. 62 (6), 1466-1477 (2015).</li><li>Uppot, R., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Implementing+Virtual+and+Augmented+Reality+Tools+for+Radiology+Education+and+Training,+Communication,+and+Clinical+Care.">Implementing Virtual and Augmented Reality Tools for Radiology Education and Training, Communication, and Clinical Care.</a> Radiology. 291, 182210 (2019).</li><li>Pratt, P., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Through+the+HoloLensTM+looking+glass:+augmented+reality+for+extremity+reconstruction+surgery+using+3D+vascular+models+with+perforating+vessels.">Through the HoloLensTM looking glass: augmented reality for extremity reconstruction surgery using 3D vascular models with perforating vessels.</a> European Radiology Experimental. 2 (1), 2 (2018).</li><li>Rose, A. S., Kim, H., Fuchs, H., Frahm, J. -. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Development+of+augmented-reality+applications+in+otolaryngology-head+and+neck+surgery.">Development of augmented-reality applications in otolaryngology-head and neck surgery.</a> The Laryngoscope. , (2019).</li><li>Zhou, C., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Robot-Assisted+Surgery+for+Mandibular+Angle+Split+Osteotomy+Using+Augmented+Reality:+Preliminary+Results+on+Clinical+Animal+Experiment.">Robot-Assisted Surgery for Mandibular Angle Split Osteotomy Using Augmented Reality: Preliminary Results on Clinical Animal Experiment.</a> Aesthetic Plastic Surgery. 41 (5), 1228-1236 (2017).</li><li>Heinrich, F., Joeres, F., Lawonn, K., Hansen, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Comparison+of+Projective+Augmented+Reality+Concepts+to+Support+Medical+Needle+Insertion.">Comparison of Projective Augmented Reality Concepts to Support Medical Needle Insertion.</a> IEEE Transactions on Visualization and Computer Graphics. 25 (6), 1 (2019).</li><li>Deng, W., Li, F., Wang, M., Song, Z. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Easy-to-Use+Augmented+Reality+Neuronavigation+Using+a+Wireless+Tablet+PC.">Easy-to-Use Augmented Reality Neuronavigation Using a Wireless Tablet PC.</a> Stereotactic and Functional Neurosurgery. 92 (1), 17-24 (2014).</li><li>Fan, Z., Weng, Y., Chen, G., Liao, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=3D+interactive+surgical+visualization+system+using+mobile+spatial+information+acquisition+and+autostereoscopic+display.">3D interactive surgical visualization system using mobile spatial information acquisition and autostereoscopic display.</a> Journal of Biomedical Informatics. 71, 154-164 (2017).</li><li>Arnal-Burr&#243;, J., P&#233;rez-Ma&#241;anes, R., Gallo-del-Valle, E., Igualada-Blazquez, C., Cuervas-Mons, M., Vaquero-Mart&#237;n, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Three+dimensional-printed+patient-specific+cutting+guides+for+femoral+varization+osteotomy:+Do+it+yourself.">Three dimensional-printed patient-specific cutting guides for femoral varization osteotomy: Do it yourself.</a> The Knee. 24 (6), 1359-1368 (2017).</li><li>Vaquero, J., Arnal, J., Perez-Ma&#241;anes, R., Calvo-Haro, J., Chana, F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=3D+patient-specific+surgical+printing+cutting+blocks+guides+and+spacers+for+open-+wedge+high+tibial+osteotomy+(HTO)+-+do+it+yourself.">3D patient-specific surgical printing cutting blocks guides and spacers for open- wedge high tibial osteotomy (HTO) - do it yourself.</a> Revue de Chirurgie Orthop&#233;dique et Traumatologique. 102, 131 (2016).</li><li>De La Pe&#241;a, A., De La Pe&#241;a-Brambila, J., P&#233;rez-De La Torre, J., Ochoa, M., Gallardo, G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Low-cost+customized+cranioplasty+using+a+3D+digital+printing+model:+a+case+report.">Low-cost customized cranioplasty using a 3D digital printing model: a case report.</a> 3D Printing in Medicine. 4 (1), 1-9 (2018).</li><li>Kamio, T., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Utilizing+a+low-cost+desktop+3D+printer+to+develop+a+"one-stop+3D+printing+lab"+for+oral+and+maxillofacial+surgery+and+dentistry+fields.">Utilizing a low-cost desktop 3D printer to develop a "one-stop 3D printing lab" for oral and maxillofacial surgery and dentistry fields.</a> 3D Printing in Medicine. 4 (1), 1-7 (2018).</li><li>Punyaratabandhu, T., Liacouras, P., Pairojboriboon, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Using+3D+models+in+orthopedic+oncology:+presenting+personalized+advantages+in+surgical+planning+and+intraoperative+outcomes.">Using 3D models in orthopedic oncology: presenting personalized advantages in surgical planning and intraoperative outcomes.</a> 3D Printing in Medicine. 4 (1), 1-13 (2018).</li><li>Wake, N., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Patient-specific+3D+printed+and+augmented+reality+kidney+and+prostate+cancer+models:+impact+on+patient+education.">Patient-specific 3D printed and augmented reality kidney and prostate cancer models: impact on patient education.</a> 3D Printing in Medicine. 5 (1), 1-8 (2019).</li><li>Barber, S. R., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Augmented+Reality,+Surgical+Navigation,+and+3D+Printing+for+Transcanal+Endoscopic+Approach+to+the+Petrous+Apex.">Augmented Reality, Surgical Navigation, and 3D Printing for Transcanal Endoscopic Approach to the Petrous Apex.</a> OTO Open: The Official Open Access Journal of the American Academy of Otolaryngology-Head and Neck Surgery Foundation. 2 (4), (2018).</li><li>Witowski, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Augmented+reality+and+three-dimensional+printing+in+percutaneous+interventions+on+pulmonary+arteries.">Augmented reality and three-dimensional printing in percutaneous interventions on pulmonary arteries.</a> Quantitative Imaging in Medicine and Surgery. 9 (1), (2019).</li><li>Moreta-Mart&#237;nez, R., Garc&#237;a-Mato, D., Garc&#237;a-Sevilla, M., P&#233;rez-Ma&#241;anes, R., Calvo-Haro, J., Pascau, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Augmented+reality+in+computer-assisted+interventions+based+on+patient-specific+3D+printed+reference.">Augmented reality in computer-assisted interventions based on patient-specific 3D printed reference.</a> Healthcare Technology Letters. , (2018).</li></ol>

Die Autoren haben nichts zu verraten.

AR birgt großes Potenzial in der Aus- und Weiterbildung und chirurgischen Beratung im medizinischen Bereich. Die Kombination mit 3D-Druck eröffnet neue Möglichkeiten in klinischen Anwendungen. Dieses Protokoll beschreibt eine Methode, die es unerfahrenen Benutzern ermöglicht, eine Smartphone-App zu erstellen, die AR und 3DP kombiniert, um anatomische 3D-Modelle von Patienten mit 3D-gedruckten Referenzmarkern zu visualisierungen.
Im Allgemeinen ist eine der interessantesten klinischen Anwendungen von AR und 3DP, die Kommunikation zwischen Patienten und Ärzten zu verbessern, indem dem Patienten eine andere Perspektive des Falles gegeben wird, indem die Erklärungen zu bestimmten medizinischen Bedingungen oder Behandlungen verbessert werden. Eine weitere mögliche Anwendung beinhaltet chirurgische Leitfäden für die Ziellokalisierung, bei der 3D-gedruckte patientenspezifische Werkzeuge (mit einem Referenz-AR-Marker) auf starren Strukturen (d.h. Knochen) platziert und als Referenz für die Navigation verwendet werden können. Diese Anwendung ist besonders nützlich für orthopädische und kiefer-gesichtschirurgische Eingriffe, bei denen die Knochengewebeoberfläche während der Operation leicht zugänglich ist.
Das Protokoll beginnt mit Abschnitt 1 und beschreibt die Einrichtung von Arbeitsstationen und die erforderlichen Softwaretools. In Abschnitt 2 wird beschrieben, wie Sie die 3D-Slicer-Software verwenden, um Zielanatomien des Patienten einfach von jeder medizinischen Bildgebungsmethode zu segmentieren, um 3D-Modelle zu erhalten. Dieser Schritt ist von entscheidender Bedeutung, da die virtuellen 3D-Modelle, die erstellt wurden, diejenigen sind, die in der endgültigen AR-Anwendung angezeigt werden.
In Abschnitt 3 wird 3D Slicer verwendet, um die im vorherigen Abschnitt erstellten 3D-Modelle mit einer AR-Markierung zu registrieren. Bei diesem Registrierungsverfahren werden Patienten-3D-Modelle effizient und einfach in Bezug auf den AR-Marker positioniert. Die in diesem Abschnitt definierte Position bestimmt die relative Hologrammposition in der endgültigen App. Es wird angenommen, dass diese Lösung die Komplexität reduziert und die möglichen Anwendungen multipliziert. In Abschnitt 3 werden zwei verschiedene Optionen beschrieben, um die räumlichen Beziehungen zwischen den Modellen und AR-Markern zu definieren: "Visualisierung" und "Registrierung"-Modus. Die erste Option, der "Visualisierungsmodus", ermöglicht es, die 3D-Modelle an einer beliebigen Stelle in Bezug auf den Marker zu positionieren und als gesamtes Biomodell anzuzeigen. Dieser Modus bietet eine realistische 3D-Perspektive der Anatomie des Patienten und ermöglicht das Bewegen und Drehen der Biomodelle durch Bewegen des verfolgten AR-Markers. Die zweite Option, der "Registrierungsmodus", ermöglicht das Anbringen und Kombinieren eines Markeradapters an jedem Teil des Biomodells und bietet einen automatischen Registrierungsprozess. Mit dieser Option kann ein kleiner Teil des 3D-Modells, einschließlich des Markeradapters, 3D-gedruckt werden, und die App kann den Rest des Modells als Hologramm anzeigen.
Abschnitt 4 enthält Richtlinien für den 3D-Druckprozess. Zunächst kann der Benutzer zwischen zwei verschiedenen Markern wählen: dem "Dual Color Marker" und dem "Sticker Marker". Der gesamte "Dual-Color-Marker" kann 3D-gedruckt werden, erfordert aber einen Dual-Extruder-3D-Drucker. Falls dieser Drucker nicht verfügbar ist, wird der "Aufklebermarker" vorgeschlagen. Dies ist eine einfachere Markierung, die durch 3D-Druck der kubischen Struktur erhalten werden kann, dann die Bilder des Würfels mit Aufkleber Papier oder Aufkleber Kleber einfügen. Darüber hinaus wurden beide Marker mit erweiterbaren Profilen entworfen, um perfekt in einen bestimmten Adapter zu passen. Somit kann der Marker in mehreren Fällen wiederverwendet werden.
Abschnitt 5 beschreibt den Prozess zum Erstellen eines Unity-Projekts für AR mithilfe des Vuforia-Softwareentwicklungskits. Dieser Schritt mag für Benutzer ohne Programmiererfahrung der schwierigste Teil sein, aber mit diesen Richtlinien sollte es einfacher sein, die endgültige Anwendung zu erhalten, die in Abschnitt 6 vorgestellt wird. Die App zeigt die virtuellen Modelle des Patienten über den Smartphone-Bildschirm an, wenn die Kamera den 3D-gedruckten Marker erkennt. Damit die App den 3D-Marker erkennen kann, sind ein Mindestabstand von ca. 40 cm oder weniger vom Telefon zum Marker sowie gute Lichtverhältnisse erforderlich.
Die endgültige Anwendung dieses Protokolls ermöglicht es dem Benutzer, die spezifischen Biomodelle zu visualisieren und in welchen Positionen zu visualisieren. Addierend kann die App die automatische Patienten-Hologramm-Registrierung mit einem 3D-gedruckten Marker und Adapter durchführen, der am Biomodell befestigt ist. Dies löst die Herausforderung, virtuelle Modelle direkt und bequem bei der Umgebung zu registrieren. Darüber hinaus erfordert diese Methodik keine umfassenden Kenntnisse der medizinischen Bildgebung oder Softwareentwicklung, hängt nicht von komplexer Hardware und teurer Software ab und kann über einen kurzen Zeitraum implementiert werden. Es wird erwartet, dass diese Methode dazu beitragen wird, die Einführung von AR- und 3DP-Technologien durch medizinisches Fachpersonal zu beschleunigen.

AR und 3DP sind Technologien, die immer mehr Anwendungen im medizinischen Bereich ermöglichen. Im Falle von AR, seine Interaktion mit virtuellen 3D-Modellen und die reale Umgebung profitiert Ärzte in Bezug auf Bildung und Ausbildung1,2,3, Kommunikation und Interaktionen mit anderen Ärzten 4,und Beratung während der klinischen Interventionen5,6,7,8,9,10. Ebenso ist 3DP eine leistungsstarke Lösung für Ärzte bei der Entwicklung patientenspezifischer anpassbarer Werkzeuge11,12,13 oder die Erstellung von 3D-Modellen der Anatomie eines Patienten geworden, die dazu beitragen können, die präoperative Planung und klinische Interventionen14,15zu verbessern.
Sowohl AR- als auch 3DP-Technologien tragen zur Verbesserung der Orientierung, Der Orientierung und der räumlichen Fähigkeiten in medizinischen Verfahren bei; daher ist ihre Kombination der nächste logische Schritt. Frühere Arbeiten haben gezeigt, dass ihre gemeinsame Verwendung den Wert in der Patientenerziehung erhöhen kann16, Erleichterung der Erklärung von Erkrankungen und vorgeschlagene Behandlung, Optimierung des chirurgischen Arbeitsablaufs17,18 und Verbesserung der Patienten-zu-Modell-Registrierung19. Obwohl diese Technologien in den letzten Jahren exponentiell gewachsen sind, ist ihre Akzeptanz durch Ärzte immer noch begrenzt, da sie umfangreiche Kenntnisse in der Entwicklung von Ingenieuren und Software erfordern. Daher besteht der Zweck dieser Arbeit darin, eine Schritt-für-Schritt-Methodik zu beschreiben, die den Einsatz von AR und 3DP durch unerfahrene Benutzer ermöglicht, ohne dass umfassende technische Kenntnisse erforderlich sind.
Dieses Protokoll beschreibt, wie eine AR-Smartphone-App entwickelt wird, die es ermöglicht, jedes patientenbasierte 3D-Modell mithilfe eines von der Smartphone-Kamera verfolgten 3D-gedruckten Markers auf eine reale Umgebung zu überlagern. Darüber hinaus wird ein alternativer Ansatz beschrieben, um die automatische Registrierung zwischen einem 3D-gedruckten Biomodell (d. h. einem aus der Anatomie eines Patienten erstellten 3D-Modell) und den projizierten Hologrammen bereitzustellen. Das beschriebene Protokoll basiert vollständig auf freier und plattformübergreifender Software.
In früheren Arbeiten wurde die AR-Patienten-Bild-Registrierung manuell5 mit Oberflächenerkennungsalgorithmen10 berechnet oder war nicht verfügbar2. Diese Methoden wurden als etwas eingeschränkt angesehen, wenn eine genaue Registrierung erforderlich ist19. Um diese Einschränkungen zu überwinden, bietet diese Arbeit Tools zur präzisen und einfachen Patienten-zu-Bild-Registrierung in AR-Verfahren durch die Kombination von AR-Technologie und 3DP.
Das Protokoll ist generisch und kann auf jede medizinische Bildgebungsmethode oder jeden Patienten angewendet werden. Als Beispiel wird ein echter klinischer Fall eines Patienten mit distalen Beinsarkomen zur Veranschaulichung der Methodik bereitgestellt. Im ersten Schritt wird beschrieben, wie die betroffene Anatomie aus medizinischen Bildern der Computertomographie (CT) einfach segmentiert werden kann, um virtuelle 3D-Modelle zu generieren. Danach erfolgt die Positionierung der 3D-Modelle, dann werden die erforderlichen Werkzeuge und Modelle 3D-gedruckt. Schließlich wird die gewünschte AR-App bereitgestellt. Diese App ermöglicht die Visualisierung von Patienten-3D-Modellen, die auf einer Smartphone-Kamera in Echtzeit überlagert werden.

<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td>3D Printing material: Acrylonitrile Butadiene Styrene (ABS)</td>
			<td></td>
			<td></td>
			<td>Thermoplastic polymer material usually used in domestic 3D printers.</td>
		</tr>
		<tr>
			<td>3D Printing material: Polylactic Acid (PLA)</td>
			<td></td>
			<td></td>
			<td>Bioplastic material usually used in domestic 3D printers.</td>
		</tr>
		<tr>
			<td>3D Slicer</td>
			<td></td>
			<td></td>
			<td>Open-source software platform for medical image informatics, image processing, and three-dimensional visualization</td>
		</tr>
		<tr>
			<td>Android</td>
			<td>Alphabet, Inc.</td>
			<td></td>
			<td>Android is a mobile operating system developed by Google. It is based on a modified version of the Linux kernel and other open source software, and is designed primarily for touchscreen mobile devices such as smartphones and tablets.</td>
		</tr>
		<tr>
			<td>Autodesk Meshmixer</td>
			<td>Autodesk, Inc.</td>
			<td></td>
			<td>Meshmixer is state-of-the-art software for working with triangle meshes. Free software.</td>
		</tr>
		<tr>
			<td>iPhone OS</td>
			<td>Apple, Inc.</td>
			<td></td>
			<td>iPhone OS is a mobile operating system created and developed by Apple Inc. exclusively for its hardware.</td>
		</tr>
		<tr>
			<td>Ultimaker 3 Extended</td>
			<td>Ultimaker BV</td>
			<td></td>
			<td>Fused deposition modeling 3D printer.</td>
		</tr>
		<tr>
			<td>Unity</td>
			<td>Unity Technologies</td>
			<td></td>
			<td>Unity is a real-time development platform to create 3D, 2D VR &#38; AR visualizations for Games, Auto, Transportation, Film, Animation, Architecture, Engineering &#38; more. Free software.</td>
		</tr>
		<tr>
			<td>Xcode</td>
			<td>Apple, Inc.</td>
			<td></td>
			<td>Xcode is a complete developer toolset for creating apps for Mac, iPhone, iPad, Apple Watch, and Apple TV. Free software.</td>
		</tr>
	</tbody>
</table>

combining augmented reality and 3d printing to display patient models on a smartphone

Augmented Reality (AR) hat großes Potenzial in der Aus- und Weiterbildung und chirurgischen Beratung im medizinischen Bereich. Die Kombination mit dem dreidimensionalen (3D) Druck (3DP) eröffnet neue Möglichkeiten in klinischen Anwendungen. Obwohl diese Technologien in den letzten Jahren exponentiell gewachsen sind, ist ihre Akzeptanz durch Ärzte immer noch begrenzt, da sie umfangreiche Kenntnisse in der Entwicklung von Ingenieuren und Software erfordern. Daher ist der Zweck dieses Protokolls, eine Schritt-für-Schritt-Methodik zu beschreiben, die es unerfahrenen Benutzern ermöglicht, eine Smartphone-App zu erstellen, die AR und 3DP zur Visualisierung anatomischer 3D-Modelle von Patienten mit einem 3D-gedruckten Referenzmarker kombiniert. Das Protokoll beschreibt, wie virtuelle 3D-Modelle der Anatomie eines Patienten erstellt werden, die aus medizinischen 3D-Bildern abgeleitet sind. Anschließend wird erläutert, wie die Positionierung der 3D-Modelle in Bezug auf Markerreferenzen durchgeführt wird. Außerdem finden Sie Anweisungen zum 3D-Drucken der benötigten Werkzeuge und Modelle. Schließlich werden Schritte zum Bereitstellen der App bereitgestellt. Das Protokoll basiert auf kostenloser und plattformübergreifender Software und kann auf jede medizinische Bildgebungsmethode oder jeden Patienten angewendet werden. Ein alternativer Ansatz wird beschrieben, um eine automatische Registrierung zwischen einem 3D-gedruckten Modell, das aus der Anatomie eines Patienten erstellt wurde, und den projizierten Hologrammen bereitzustellen. Als Beispiel wird ein klinischer Fall eines Patienten mit distalen Beinsarkomen zur Veranschaulichung der Methodik bereitgestellt. Es wird erwartet, dass dieses Protokoll die Einführung von AR- und 3DP-Technologien durch medizinisches Fachpersonal beschleunigen wird.

Das Protokoll wurde auf Daten eines Patienten angewendet, der an distalen Beinsarkoms leidet, um die betroffene anatomische Region aus einer 3D-Perspektive zu visualisieren. Mit der in Abschnitt 2 beschriebenen Methode wurden der Teil des betroffenen Knochens (hier Tibia und Fibel) und Tumor vom CT-Scan des Patienten segmentiert. Dann wurden mit den Segmentierungswerkzeugen von 3D Slicer zwei Biomodelle erstellt: der Knochen (Abschnitt der Tibia und Fibel) (Abbildung 1A) und Tumor (Abbildung 1B).
Als nächstes wurden die beiden 3D-Modelle virtuell in Bezug auf den Marker für eine optimale Visualisierung positioniert. Beide in Abschnitt 3 beschriebenen Modi wurden für dieses Beispiel befolgt. Für den Visualisierungsmodus wurden die Modelle in der oberen Fläche des Markers zentriert (Abbildung 2). Für den Registrierungsmodus wurde der Markeradapter im Knochen positioniert (insbesondere die Tibia [Abbildung 3]). Dann wurde ein kleiner Teil der Tibia ausgewählt, um mit einem 3D-Markeradapter 3D-gedruckt zu werden (Abbildung 4). Ein erweiterter 3D-Drucker von Ultimaker 3 mit PLA-Material wurde verwendet, um die 3D-gedruckten Marker (Abbildung 5A, B), Markerhalterbasis ( Abbildung5C) für den Modus "Visualisierung" und Abschnitt der Tibia für den "Registrierungsmodus" zu erstellen (Abbildung 5D). Abbildung 5E zeigt, wie der Marker an die 3D-gedruckte Basis im "Visualisierungsmodus" angehängt wurde. Abbildung 5F zeigt die Anlage mit dem 3D-gedruckten Biomodell "Registrierung". Schließlich wurde Unity verwendet, um die App zu erstellen und auf dem Smartphone bereitzustellen.
Abbildung 6 zeigt, wie die App im Modus "Visualisierung" funktioniert hat. Das Hologramm befand sich genau im oberen Teil des Würfels, wie zuvor definiert. Abbildung 7 zeigt die Anwendung für den Modus "Registrierung", in dem die App das komplette Bone-Modell über dem 3D-gedruckten Abschnitt positioniert hat. Die endgültige Visualisierung der Hologramme war klar und realistisch, hielt die realen Größen der Biomodelle bei und positionierte sich genau. Bei Verwendung der Smartphone-Anwendung muss der AR-Marker von der Kamera sichtbar sein, damit die App die Hologramme korrekt anzeigt. Darüber hinaus müssen die Lichtverhältnisse in der Szene von guter Qualität und konstant für die richtige Markererkennung sein. Schlechte Lichtverhältnisse oder Reflexionen auf der Markeroberfläche behindern die Verfolgung des AR-Markers und führen zu Fehlfunktionen der App.
Die zum Erstellen der App benötigte Zeit hängt von mehreren Faktoren ab. Die Dauer von Abschnitt 1 ist durch die Download-Geschwindigkeit begrenzt. In Bezug auf die Anatomiesegmentierung (Abschnitt 2) sind Faktoren, die die Segmentierungszeit beeinflussen, die Komplexität der Region und die modalität der medizinischen Bildgebung (d. h. CT ist leicht segmentiert, während die MRT schwieriger ist). Für das repräsentative Beispiel der Tibia waren ca. 10 min erforderlich, um beide 3D-Modelle aus dem CT-Scan zu generieren. Die Positionierung des Biomodells (Abschnitt 3) ist einfach und unkompliziert. Hier dauerte es ca. 5 min, um die Biomodellposition in Bezug auf den AR-Marker zu definieren. Für den 3D-Druckschritt ist die Dauer stark vom ausgewählten Modus abhängig. Der "Dual Color Marker" wurde in einem Zeitraum von 5 h und 20 min in hoher Qualität hergestellt. Der "Aufkleber-Marker" wurde in einem Zeitraum von 1 h und 30 min hergestellt, zuzüglich der Zeit, die zum Einkleben der Aufkleber benötigt wird. Der letzte Schritt für die App-Entwicklung kann für personen ohne vorherige Erfahrung in Unity zeitaufwändig sein, kann jedoch nach den Protokollschritten problemlos abgeschlossen werden. Sobald die AR-Marker 3D-gedruckt wurden, kann die Entwicklung einer völlig neuen AR-App in weniger als 1 H durchgeführt werden. Diese Dauer kann mit zusätzlicher Erfahrung weiter reduziert werden.
<img alt="Figure 1" class="xfigimg" src="/files/ftp_upload/60618/60618fig01.jpg"> Abbildung 1: Darstellung von 3D-Modellen, die aus einem CT-Bild eines Patienten mit distalen Beinsarkoms erstellt wurden. (A) Knochengewebe in Weiß (Tibia und Fibel) dargestellt. (B) Tumor rot dargestellt. <a href="https://www.jove.com/files/ftp_upload/60618/60618fig01large.jpg" target="_blank">Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.</a>
<img alt="Figure 2" class="xfigimg" src="/files/ftp_upload/60618/60618fig02.jpg"> Abbildung 2: Ergebnisse, die zeigen, wie der Modus "Visualisierung" im 3D-Slicer die virtuellen 3D-Modelle von Knochen und Tumor in Bezug auf die 3D-gedruckte Markerreferenz positioniert. Die Patienten-3D-Modelle (A) befinden sich oberhalb der Oberseite des Markerwürfels (B). <a href="https://www.jove.com/files/ftp_upload/60618/60618fig02large.jpg" target="_blank">Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.</a>
<img alt="Figure 3" class="xfigimg" src="/files/ftp_upload/60618/60618fig03.jpg"> Abbildung 3: Ergebnisse, die zeigen, wie der Modus "Registrierung" in 3D Slicer die virtuellen 3D-Modelle von Knochen und Tumor (A) in Bezug auf die 3D-gedruckte Markerreferenz (B) positioniert. Der Markeradapter wird am Knochengewebemodell befestigt. <a href="https://www.jove.com/files/ftp_upload/60618/60618fig03large.jpg" target="_blank">Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.</a>
<img alt="Figure 4" class="xfigimg" src="/files/ftp_upload/60618/60618fig04.jpg"> Abbildung 4: Kleiner Abschnitt des Knochengewebes und 3D-Markeradapter. Die beiden Komponenten werden dann 3D-gedruckt kombiniert. <a href="https://www.jove.com/files/ftp_upload/60618/60618fig04large.jpg" target="_blank">Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.</a>
<img alt="Figure 5" class="xfigimg" src="/files/ftp_upload/60618/60618fig05.jpg"> Abbildung 5: 3D-gedruckte Werkzeuge, die für die endgültige Anwendung erforderlich sind. (A) "Zwei Farbwürfelmarker" 3D-gedruckt mit zwei Farben von Materialien. (B) "Aufkleber Würfel Marker" 3D-gedruckt, mit Aufklebern geklebt. (C) Marker Basiswürfeladapter. (D) Abschnitt des 3D-Modells des Knochengewebes und des Markerwürfeladapters des Patienten. (E) "Sticker Cube Marker" im Marker-Basiswürfeladapter platziert. (F) "Zwei Farbwürfelmarker" im Markeradapter platziert, der an der Anatomie des Patienten befestigt ist. <a href="https://www.jove.com/files/ftp_upload/60618/60618fig05large.jpg" target="_blank">Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.</a>
<img alt="Figure 6" class="xfigimg" src="/files/ftp_upload/60618/60618fig06.jpg"> Abbildung 6: App-Anzeige bei Verwendung des Modus "Visualisierung". Die betroffenen Anatomie-3D-Modelle des Patienten befinden sich über der Oberseite des 3D-gedruckten Würfels. <a href="https://www.jove.com/files/ftp_upload/60618/60618fig06large.jpg" target="_blank">Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.</a>
<img alt="Figure 7" class="xfigimg" src="/files/ftp_upload/60618/60618fig07.jpg"> Abbildung 7: AR-Visualisierung bei Verwendung des Modus "Registrierung". Der 3D-gedruckte Marker ermöglicht die Registrierung des 3D-gedruckten Biomodells bei den virtuellen 3D-Modellen. <a href="https://www.jove.com/files/ftp_upload/60618/60618fig07large.jpg" target="_blank">Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.</a>

Watch this Scientific Journal Video about Combining Augmented Reality and 3D Printing to Display Patient Models on a Smartphone at JoVE.com

Combining Augmented Reality and 3D Printing to Display Patient Models on a Smartphone

Präsentiert wird hier eine Methode zur Entwicklung einer Augmented-Reality-Smartphone-Anwendung zur Visualisierung anatomischer dreidimensionaler Patientenmodelle mit einem 3D-gedruckten Referenzmarker.

Kombinieren von Augmented Reality und 3D-Druck zum Anzeigen von Patientenmodellen auf einem Smartphone

Augmented reality (AR) has great potential in education, training, and surgical guidance in the medical field. Its combination with three-dimensional (3D) ...

Dieses Protokoll gibt unerfahrenen Anwendern die Werkzeuge, um Augmented Reality-Lösungen durch den Aufbau einer eigenen Smartphone-App in den medizinischen Bereich zu bringen. Diese Methode kombiniert Augmented Reality und 3D-Druck und ermöglicht eine schnelle und einfache Visualisierung von 3D-Modellen, die aus der Basierend auf Daten auf einem 3D-gedruckten Referenzmarker erstellt wurden. Diese Technik kann auf jedes medizinische Szenario angewendet werden, in dem eine 3D-gedruckte Referenz starr am Patienten befestigt werden kann.Die Visualisierung visueller 3D-Modelle, die aus der gezielten Datenlokalisierung erstellt wurden und auch den Patienten verbessern können. Dieses Protokoll wurde speziell für Benutzer ohne Vorkenntnisse in der medizinischen Bildgebung oder Softwareentwicklung entwickelt, um den Einsatz von Augmented Reality im medizinischen Bereich zu unterstützen. Um 3D-Modelle der Anatomie eines Patienten zu erstellen, verfolgen Sie zuerst die medizinische Bilddatei im Softwarefenster 3D Slicer, und klicken Sie auf OK. Um die Anatomie des Patienten zu segmentieren, gehen Sie zum Segmenteditormodul in 3D Slicer. Beim Betreten des Moduls wird automatisch ein Segmentierungselement erstellt.Wählen Sie das gewünschte Volume im Master-Volume-Abschnitt aus, und klicken Sie mit der rechten Maustaste unter das Bild, um Hinzufügen zum Erstellen eines Segments auszuwählen. Wählen Sie im Effektbedienfeld das bequemste Werkzeug für das Ziel aus und segmentieren Sie das medizinische Bild des Patienten. Um die Segmentierung in ein 3D-Modelldateiformat zu exportieren, öffnen Sie das Segmentierungsmodul.Wählen Sie in Export-/Importmodellen und Labelmaps Export und Modelle aus, und klicken Sie auf Exportieren, um das 3D-Modell aus dem segmentierten Bereich zu erstellen. Klicken Sie auf Speichern, und wählen Sie die zu speichernden Elemente aus. Ändern Sie dann das Dateiformat des 3D-Modells in OBJ.Die Segmentierung kann wiederholt werden, um zusätzliche 3D-Modelle verschiedener anatomischer Regionen zu erstellen. Um ein 3D-Patientenmodell an jeder beliebigen Position in Bezug auf den Augmented Reality Marker zu positionieren, öffnen Sie das Positionsmodul des AR-Gesundheitsmodells und wählen Sie den Visualisierungsmodus aus. Klicken Sie auf Ladepunktmodell, um die Markierung für diese Option zu laden, auf die Auslassungsschaltfläche, um den Pfad des gespeicherten 3D-Modells auszuwählen, und auf das Lademodell, um das Modell in 3D-Slicer zu laden.Klicken Sie auf Fertigund Mitte, um alle Modelle innerhalb des Markers zu zentrieren. Verwenden Sie die Schiebeleisten, um die Position, Ausrichtung und Skalierung der 3D-Modelle in Bezug auf die Markierung wie gewünscht anzupassen. Wählen Sie dann den Pfad zum Speichern der Dateien aus, und klicken Sie auf Modelle speichern, um die Modelle an dieser Position zu speichern.Um den Augmented-Reality-Marker mit einem 3D-Biomodell an jeder gewünschten Position zu kombinieren, öffnen Sie das Positionsmodul des AR-Gesundheitsmodells und wählen Sie im Initialisierungsabschnitt den Registrierungsmodus aus. Klicken Sie auf Dasplangesmodell, um die Markierung für diese Option zu laden und die 3D-Modelle so lange zu verschieben, bis sie sich mit der unterstützenden Struktur der Cubemarkierung schneiden, wodurch die Höhe der Markerbasis bei Bedarf geändert wird. Um das Modell an dieser Position zu speichern, wählen Sie den Pfad zum Speichern der Dateien aus, und klicken Sie auf Modelle speichern.Wenn das Anatomiemodell zu groß ist, laden Sie das Biomodell und die unterstützende Struktur des Würfelmarkermodells in die Mesh-Mixer-Software. Wählen Sie beide Modelle im Objektbrowserfenster aus, um die Modelle zu kombinieren, und verwenden Sie das einfache Schnittwerkzeug aus dem Bearbeitungsmenü, um unerwünschte Abschnitte des Modells zu entfernen, die nicht 3D gedruckt werden. Um das Modell zu speichern, um 3D gedruckt zu werden, wählen Sie Datei aus und exportieren Sie das gewünschte Format.Um die für die endgültige Augmented-Reality-Anwendung erforderlichen physikalischen Modelle in 3D zu drucken, wählen Sie in der 3D-Drucksoftware ein weiß gefärbtes Material für die TwoColorCuebMarker_white aus. obj-Datei und ein schwarz gefärbtes Material für die TwoColorCubeMarker_white. obj-Datei.Verwenden Sie dann einen Dual-Extruder-3D-Drucker, um den kubischen Marker in Schwarzweiß in einem hochwertigen Modus mit einer kleinen Schichthöhe in 3D zu drucken. Um eine Smartphone-App in Unity Engine zu entwerfen, die die 3D-Modelle enthält, öffnen Sie Vuforia Developer und erstellen Sie ein Konto. Wählen Sie Entwicklungsschlüssel abrufen aus, um einen kostenlosen Entwicklungslizenzschlüssel zu erhalten, und wählen Sie im Menü Lizenzmanager den Schlüssel aus und kopieren Sie ihn.Um das Smartphone einzurichten, wählen Sie in der Unity-Version 2019-Anwendung unter Buildeinstellungen im Dateimenü die entsprechende Plattform für das Gerät aus. Um Vuforia in das Projekt zu aktivieren, wählen Sie Bearbeiten, Projekteinstellungen, Playereinstellungen und XR-Einstellungen aus, und aktivieren Sie das Kontrollkästchen Vuforia Augmented Reality Support. Um eine Augmented-Reality-Kamera zu erstellen, wählen Sie Menüleiste, Spielobjekt, Vuforia Engine und AR-Kamera aus, und importieren Sie die Vuforia-Komponenten, wenn Sie dazu aufgefordert werden.Um den Vuforia-Lizenzschlüssel zu den Vuforia-Konfigurationseinstellungen hinzuzufügen, wählen Sie den Ressourcenordner aus, klicken Sie auf Vuforia-Konfiguration, und fügen Sie den Lizenzschlüssel in den Abschnitt App-Lizenzschlüssel ein. Importieren Sie die Vuforia-Zieldatei mit den Dateien, die Vuforia benötigt, um die Marker in Unity zu erkennen, und wählen Sie Menüleiste, Spielobjekt, Vuforia Engine und Multi-Image aus, um ein Vuforia-Multiziel zu erstellen. Klicken Sie auf das Mehrfachziel, um den Markertyp auszuwählen, der für die Erkennung verwendet wird, und wählen Sie in der Datenbankoption unter Multi-Ziel-Verhalten ARHealth_3dPrintedCube_30x30x30 aus.Wählen Sie in der Multi-Target-Option unter Multi-Ziel-Verhalten je nach Marker entweder TwoColorCubeMarker oder StickerCubeMarker aus. Ziehen Sie die 3D-Modelle in den Modellordner, und ziehen Sie den Ordner unter das Mehrfachzielelement. Die Modelle sollten in der Unity 3D-Ansichtsszene sichtbar werden.Um die Farben der 3D-Modelle zu ändern, erstellen Sie neue Materialien und weisen Sie die neuen Materialien den Modellen zu. Wenn eine Webcam verfügbar ist, klicken Sie auf Wiedergabe, um die Anwendung auf dem Computer zu testen. Wenn der Marker für die Webcam sichtbar ist, sollte er erkannt werden und die 3D-Modelle sollten in der Szene angezeigt werden.Wenn ein Android-Smartphone für die App-Entwicklung verwendet wird, wählen Sie Buildeinstellungen in Unity aus, und wählen Sie das angeschlossene Telefon aus der Liste aus. Speichern Sie dann die Datei mit einer apk-Erweiterung und lassen Sie den Prozess beenden. Wenn die App auf einem iOS-Gerät bereitgestellt wird, wählen Sie datei in den Buildeinstellungen aus, und speichern Sie die Datei.Um die App zu visualisieren, öffnen Sie die App auf dem Smartphone und verwenden Sie die Smartphone-Kamera, um den Marker innerhalb der App in einem Mindestabstand von 40 Zentimetern zu betrachten. Sobald die App den Marker erkennt, sollten die zuvor erstellten 3D-Modelle auf dem Smartphone-Bildschirm an der genauen Stelle angezeigt werden, die während des Verfahrens definiert wurde. Mit der gezeigten Methode wurde dieser Teil der betroffenen Tibia und Fibel eines Patienten, der an distalen Beinsarkom enden und Tumor enden, vom CT-Scan des Patienten segmentiert.Mit den Segmentierungswerkzeugen wurde ein Biomodell für den Knochen und ein Biomodell für den Tumor erstellt. Für den Visualisierungsmodus wurden die Modelle in der oberen Phase des Markers zentriert. Für den Registrierungsmodus wurde der Markeradapter in der Tibia positioniert und ein kleiner Teil der Tibia wurde ausgewählt, um mit einem 3D-Markeradapter 3D-gedruckt zu werden.Polymilchsäure kann verwendet werden, um die 3D-gedruckten Marker, Markerhalterbasen und Knochenabschnitte zu erstellen, wie gezeigt. Hier wird ein Marker an eine Visualisierungsmodus-3D-gedruckte Basis angehängt und hier wird der Anhang mit dem Registrierungsmodus 3D gedrucktes Biomodell angezeigt. Diese Darstellung zeigt, wie die App im Visualisierungsmodus funktioniert, wobei sich das Hologramm genau im oberen Teil des Würfels befindet, wie zuvor definiert.Im Registrierungsmodus kann das komplette Knochenmodell über dem 3D-gedruckten Bereich mit einer klaren und realistischen Visualisierung des Markers an der Knochenstelle positioniert werden. Um Augmented Reality zur Visualisierung wichtiger Patienteninformationen zu nutzen, benötigen Sie mehrere Software-Tools, die frei verfügbar sind, sowie Zugriff auf einen 3D-Drucker und ein Smartphone. Dieses Verfahren kann auf jedes Modell angewendet werden, das aus der medizinischen Bildgebung gewonnen wird.Seine Verwendung kann auf andere Interventionen wie strahlentherapie Positionierung der Nadeleinfügung erweitert werden. Wir erweitern die Anwendungen dieser Entwicklung nun auf neue klinische Bereiche wie die myofasziale oder orthopädische Chirurgie. Unsere erste Forschung ist vielversprechend und das Feedback des Chirurgen ist sehr positiv.

Research

JoVE Journal

Medicine

Step By Step: Microsurgical training method combining two nonliving animal models

Schritt für Schritt: Mikrochirurgische Trainingsmethode die Kombination von zwei nicht lebenden Tiermodellen

The learning of microsurgical techniques and the maintenance of microsurgical skills have been traditionally based on the use of living animals, mainly ...

Forschung

Medizin

Smartphone Fundus Photography

Smartphone-Fundus-Fotografie

Smartphone fundus photography is a simple technique to obtain ocular fundus pictures using a smartphone camera and a conventional handheld indirect ...

Integrating Augmented Reality Tools in Breast Cancer Related Lymphedema Prognostication and Diagnosis

Integration von Augmented Reality Tools in Breast Cancer Related Lymphödem Prognostication and Diagnosis

Breast cancer related lymphedema (BCRL) is a detrimental condition characterized by fluid accumulation in the upper limb in breast cancer patients ...

Multicolor 3D Printing of Complex Intracranial Tumors in Neurosurgery

Mehrfarbiger 3D-Druck komplexer intrakranieller Tumoren in der Neurochirurgie

Three-dimensional (3D) printing technologies offer the possibility of visualizing patient-specific pathologies in a physical model of correct dimensions. ...

3D Planning and Printing of Patient Specific Implants for Reconstruction of Bony Defects

3D-Planung und Druck von patientenspezifischen Implantaten zur Rekonstruktion von Knochendefekten

We are in the midst of the 3D era in most aspects of life, and especially in medicine. The surgical discipline is one of the major players in the medical ...

Treatment of Facial Deformities using 3D Planning and Printing of Patient-Specific Implants

Behandlung von Gesichtsdeformitäten durch 3D-Planung und Druck patientenspezifischer Implantate

Technological advancements in surgical planning and patient-specific implants are constantly evolving. One can either adopt the technology to achieve ...

Combining 3D-Printing and Electrospinning to Manufacture Biomimetic Heart Valve Leaflets

Kombination von 3D-Druck und Elektrospinnen zur Herstellung biomimetischer Herzklappenbroschüren

Electrospinning has become a widely used technique in cardiovascular tissue engineering as it offers the possibility to create (micro-)fibrous scaffolds ...

Augmented Reality Navigation-Guided Core Decompression for Osteonecrosis of Femoral Head

Augmented Reality Navigationsgesteuerte Kerndekompression bei Osteonekrose des Oberschenkelkopfes

Osteonecrosis of the femoral head (ONFH) is a common joint disease in young and middle-aged patients, which seriously burdens their lives and work. For ...

3D Printing Model of a Patient's Specific Lumbar Vertebra

3D-Druckmodell eines patientenspezifischen Lendenwirbels

Selective dorsal rhizotomy (SDR) is a difficult, risky, and sophisticated operation, in which a laminectomy should not only expose an adequate surgical ...

Plasma Polishing as a New Polishing Option to Reduce the Surface Roughness of Porous Titanium Alloy for 3D Printing

Plasmapolieren als neue Polieroption zur Reduzierung der Oberflächenrauheit poröser Titanlegierungen für den 3D-Druck

Porous titanium alloy implants with simulated trabecular bone fabricated by 3D printing technology have broad prospects. However, due to the fact that ...