Name: combining augmented reality and 3d printing to display patient models on a smartphone
Uploaded: 2020-01-02T13:00:00
Duration: 9 min 26 s
Description: Watch this Scientific Journal Video about Combining Augmented Reality and 3D Printing to Display Patient Models on a Smartphone at JoVE.com

Denne rapport blev støttet af projekter PI18/01625 og PI15/02121 (Ministerio de Ciencia, Innovación y Universidades, Instituto de Salud Carlos III og den europæiske fond for regional udvikling "UNA Manera de hacer Europa") og IND2018/TIC-9753 (Comunidad de Madrid).

<ol>
	<li>Coles, T. R., John, N. W., Gould, D., Caldwell, D. G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Integrating+Haptics+with+Augmented+Reality+in+a+Femoral+Palpation+and+Needle+Insertion+Training+Simulation.">Integrating Haptics with Augmented Reality in a Femoral Palpation and Needle Insertion Training Simulation.</a> IEEE Transactions on Haptics. 4 (3), 199-209 (2011).</li><li>Pelargos, P. E., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Utilizing+virtual+and+augmented+reality+for+educational+and+clinical+enhancements+in+neurosurgery.">Utilizing virtual and augmented reality for educational and clinical enhancements in neurosurgery.</a> Journal of Clinical Neuroscience. 35, 1-4 (2017).</li><li>Abhari, K., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Training+for+Planning+Tumour+Resection:+Augmented+Reality+and+Human+Factors.">Training for Planning Tumour Resection: Augmented Reality and Human Factors.</a> IEEE Transactions on Biomedical Engineering. 62 (6), 1466-1477 (2015).</li><li>Uppot, R., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Implementing+Virtual+and+Augmented+Reality+Tools+for+Radiology+Education+and+Training,+Communication,+and+Clinical+Care.">Implementing Virtual and Augmented Reality Tools for Radiology Education and Training, Communication, and Clinical Care.</a> Radiology. 291, 182210 (2019).</li><li>Pratt, P., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Through+the+HoloLensTM+looking+glass:+augmented+reality+for+extremity+reconstruction+surgery+using+3D+vascular+models+with+perforating+vessels.">Through the HoloLensTM looking glass: augmented reality for extremity reconstruction surgery using 3D vascular models with perforating vessels.</a> European Radiology Experimental. 2 (1), 2 (2018).</li><li>Rose, A. S., Kim, H., Fuchs, H., Frahm, J. -. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Development+of+augmented-reality+applications+in+otolaryngology-head+and+neck+surgery.">Development of augmented-reality applications in otolaryngology-head and neck surgery.</a> The Laryngoscope. , (2019).</li><li>Zhou, C., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Robot-Assisted+Surgery+for+Mandibular+Angle+Split+Osteotomy+Using+Augmented+Reality:+Preliminary+Results+on+Clinical+Animal+Experiment.">Robot-Assisted Surgery for Mandibular Angle Split Osteotomy Using Augmented Reality: Preliminary Results on Clinical Animal Experiment.</a> Aesthetic Plastic Surgery. 41 (5), 1228-1236 (2017).</li><li>Heinrich, F., Joeres, F., Lawonn, K., Hansen, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Comparison+of+Projective+Augmented+Reality+Concepts+to+Support+Medical+Needle+Insertion.">Comparison of Projective Augmented Reality Concepts to Support Medical Needle Insertion.</a> IEEE Transactions on Visualization and Computer Graphics. 25 (6), 1 (2019).</li><li>Deng, W., Li, F., Wang, M., Song, Z. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Easy-to-Use+Augmented+Reality+Neuronavigation+Using+a+Wireless+Tablet+PC.">Easy-to-Use Augmented Reality Neuronavigation Using a Wireless Tablet PC.</a> Stereotactic and Functional Neurosurgery. 92 (1), 17-24 (2014).</li><li>Fan, Z., Weng, Y., Chen, G., Liao, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=3D+interactive+surgical+visualization+system+using+mobile+spatial+information+acquisition+and+autostereoscopic+display.">3D interactive surgical visualization system using mobile spatial information acquisition and autostereoscopic display.</a> Journal of Biomedical Informatics. 71, 154-164 (2017).</li><li>Arnal-Burr&#243;, J., P&#233;rez-Ma&#241;anes, R., Gallo-del-Valle, E., Igualada-Blazquez, C., Cuervas-Mons, M., Vaquero-Mart&#237;n, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Three+dimensional-printed+patient-specific+cutting+guides+for+femoral+varization+osteotomy:+Do+it+yourself.">Three dimensional-printed patient-specific cutting guides for femoral varization osteotomy: Do it yourself.</a> The Knee. 24 (6), 1359-1368 (2017).</li><li>Vaquero, J., Arnal, J., Perez-Ma&#241;anes, R., Calvo-Haro, J., Chana, F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=3D+patient-specific+surgical+printing+cutting+blocks+guides+and+spacers+for+open-+wedge+high+tibial+osteotomy+(HTO)+-+do+it+yourself.">3D patient-specific surgical printing cutting blocks guides and spacers for open- wedge high tibial osteotomy (HTO) - do it yourself.</a> Revue de Chirurgie Orthop&#233;dique et Traumatologique. 102, 131 (2016).</li><li>De La Pe&#241;a, A., De La Pe&#241;a-Brambila, J., P&#233;rez-De La Torre, J., Ochoa, M., Gallardo, G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Low-cost+customized+cranioplasty+using+a+3D+digital+printing+model:+a+case+report.">Low-cost customized cranioplasty using a 3D digital printing model: a case report.</a> 3D Printing in Medicine. 4 (1), 1-9 (2018).</li><li>Kamio, T., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Utilizing+a+low-cost+desktop+3D+printer+to+develop+a+"one-stop+3D+printing+lab"+for+oral+and+maxillofacial+surgery+and+dentistry+fields.">Utilizing a low-cost desktop 3D printer to develop a "one-stop 3D printing lab" for oral and maxillofacial surgery and dentistry fields.</a> 3D Printing in Medicine. 4 (1), 1-7 (2018).</li><li>Punyaratabandhu, T., Liacouras, P., Pairojboriboon, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Using+3D+models+in+orthopedic+oncology:+presenting+personalized+advantages+in+surgical+planning+and+intraoperative+outcomes.">Using 3D models in orthopedic oncology: presenting personalized advantages in surgical planning and intraoperative outcomes.</a> 3D Printing in Medicine. 4 (1), 1-13 (2018).</li><li>Wake, N., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Patient-specific+3D+printed+and+augmented+reality+kidney+and+prostate+cancer+models:+impact+on+patient+education.">Patient-specific 3D printed and augmented reality kidney and prostate cancer models: impact on patient education.</a> 3D Printing in Medicine. 5 (1), 1-8 (2019).</li><li>Barber, S. R., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Augmented+Reality,+Surgical+Navigation,+and+3D+Printing+for+Transcanal+Endoscopic+Approach+to+the+Petrous+Apex.">Augmented Reality, Surgical Navigation, and 3D Printing for Transcanal Endoscopic Approach to the Petrous Apex.</a> OTO Open: The Official Open Access Journal of the American Academy of Otolaryngology-Head and Neck Surgery Foundation. 2 (4), (2018).</li><li>Witowski, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Augmented+reality+and+three-dimensional+printing+in+percutaneous+interventions+on+pulmonary+arteries.">Augmented reality and three-dimensional printing in percutaneous interventions on pulmonary arteries.</a> Quantitative Imaging in Medicine and Surgery. 9 (1), (2019).</li><li>Moreta-Mart&#237;nez, R., Garc&#237;a-Mato, D., Garc&#237;a-Sevilla, M., P&#233;rez-Ma&#241;anes, R., Calvo-Haro, J., Pascau, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Augmented+reality+in+computer-assisted+interventions+based+on+patient-specific+3D+printed+reference.">Augmented reality in computer-assisted interventions based on patient-specific 3D printed reference.</a> Healthcare Technology Letters. , (2018).</li></ol>

Forfatterne har intet at afsløre.

AR rummer et stort potentiale inden for uddannelse, træning og kirurgisk vejledning på det medicinske område. Kombinationen med 3D-udskrivning åbner kan åbne nye muligheder i kliniske applikationer. Denne protokol beskriver en metode, der gør det muligt for uerfarne brugere at oprette en smartphone app kombinerer AR og 3DP til visualisering af anatomiske 3D-modeller af patienter med 3D-trykte reference markører.
Generelt, en af de mest interessante kliniske anvendelser af AR og 3DP er at forbedre patient-til-læge kommunikation ved at give patienten et andet perspektiv af sagen, forbedre forklaringer af specifikke medicinske tilstande eller behandlinger. En anden mulig applikation omfatter kirurgisk vejledning til mållokalisering, hvor 3D-trykte patientspecifikke værktøjer (med en reference AR-markør vedhæftet) kan placeres på stive strukturer (dvs. knogle) og anvendes som reference for navigation. Denne applikation er især nyttig til ortopædiske og maxillofacial Surgery kirurgiske procedurer, hvor knoglevævet overflade er let tilgængelige under kirurgi.
Protokollen starter med afsnit 1, der beskriver den nødvendige arbejdsstations opsætning og softwareværktøjer. Afsnit 2 beskriver, hvordan du bruger 3D slicer software til nemt at segmentere mål anatomier af patienten fra enhver medicinsk Imaging modalitet for at opnå 3D-modeller. Dette trin er afgørende, da de virtuelle 3D-modeller, der er oprettet, er dem, der vises i den endelige AR-applikation.
I afsnit 3 bruges 3D slicer til at registrere de 3D-modeller, der er oprettet i det foregående afsnit med en AR-markør. Under denne registreringsprocedure er patientens 3D-modeller effektivt og enkelt placeret i forhold til AR-mærket. Positionen, der er defineret i dette afsnit, bestemmer hologram relativ position i den endelige app. Det menes, at denne løsning reducerer kompleksiteten og Multiplicerer de mulige applikationer. Afsnit 3 beskriver to forskellige muligheder for at definere de rumlige relationer mellem modellerne og AR markører: "visualisering" og "registrering" tilstand. Den første mulighed, "visualisering" tilstand, gør det muligt for 3D-modeller, der skal placeres overalt med hensyn til markør og vises som hele biomodel. Denne tilstand giver et realistisk, 3D-perspektiv af patientens anatomi og tillader flytning og rotation af biomodels ved at flytte den sporede AR markør. Den anden mulighed, "registrering" tilstand, tillader fastgørelse og kombination af en markør adapter til en del af biomodel, der tilbyder en automatisk registrering proces. Med denne indstilling kan en lille del af 3D-modellen, herunder markerings adapteren, være 3D-printet, og appen kan vise resten af modellen som et hologram.
Afsnit 4 indeholder retningslinjer for 3D-udskrivningsprocessen. For det første kan brugeren vælge mellem to forskellige markører: den "dobbelte farve markør" og "mærkat markør". Hele "Dual Color markør" kan være 3D-printet, men kræver en dual ekstruder 3D printer. Hvis denne printer ikke er tilgængelig, foreslås "mærkat markør". Dette er en enklere markør, der kan opnås ved 3D-udskrivning af den kubiske struktur, og derefter indsætte billederne af kuben med klistermærke papir eller klistermærke lim. Desuden er begge markører designet med udvidelig sektioner, så de passer perfekt til en bestemt adapter. Således kan markøren genbruges i flere tilfælde.
Afsnit 5 beskriver processen med at oprette et enhedsprojekt for AR ved hjælp af Vuforia Software Development Kit. Dette trin kan være den sværeste del for brugere uden erfaring med programmering, men med disse retningslinjer, bør det være lettere at få den endelige ansøgning, der er præsenteret i afsnit 6. App'en viser patientens virtuelle modeller over smartphonens skærm, når kameraet genkender det 3D-printede mærke. For at appen skal kunne registrere 3D-mærket, kræves der en minimumsafstand på ca. 40 cm eller mindre fra telefonen til markøren samt gode lysforhold.
Den endelige anvendelse af denne protokol giver brugeren mulighed for at vælge de specifikke biomodels at visualisere og i hvilke positioner. I det følgende kan appen udføre automatisk registrering af patient hologram ved hjælp af en 3D-printet markør og adapter, der er knyttet til biomodel. Dette løser udfordringen med at registrere virtuelle modeller med miljøet på en direkte og bekvem måde. Desuden, denne metode kræver ikke bred viden om medicinsk billeddannelse eller softwareudvikling, ikke afhænger af komplekse hardware og dyre software, og kan gennemføres over en kort periode. Det forventes, at denne metode vil bidrage til at fremskynde vedtagelsen af AR og 3DP teknologier af medicinske fagfolk.

AR og 3DP er teknologier, der giver et stigende antal applikationer på det medicinske område. I tilfælde af ar, dens interaktion med virtuelle 3D-modeller og det virkelige miljø gavner læger med hensyn til uddannelse og træning1,2,3, kommunikation og interaktioner med andre læger4, og vejledning under kliniske indgreb5,6,7,8,9,10. Ligeledes, 3DP er blevet en kraftfuld løsning for læger, når de udvikler patient-specifikke tilpasselig værktøj11,12,13 eller skabe 3D-modeller af en patients anatomi, som kan bidrage til at forbedre præoperative planlægning og kliniske indgreb14,15.
Både AR-og 3DP-teknologierne bidrager til at forbedre orienteringen, vejledningen og rumlige færdigheder i medicinske procedurer; således er deres kombination det næste logiske skridt. Tidligere arbejde har vist, at deres fælles brug kan øge værdien i patientuddannelse16, at lette forklaringer af medicinske tilstande og foreslået behandling, optimering af kirurgisk workflow17,18 og forbedring af patient-to-model registrering19. Selv om disse teknologier er vokset eksponentielt i de seneste år, er deres vedtagelse af læger stadig begrænset, da de kræver omfattende viden om ingeniør-og softwareudvikling. Formålet med dette arbejde er derfor at beskrive en trinvis metode, der gør det muligt for uerfarne brugere at anvende AR og 3DP uden behov for bred teknisk viden.
Denne protokol beskriver, hvordan du udvikler en AR-smartphone-app, der gør det muligt at oversætte enhver patient baseret 3D-model til et miljø i den virkelige verden ved hjælp af en 3D-printet markørsporet af smartphone-kameraet. Derudover beskrives en alternativ metode til automatisk registrering mellem en 3D-printet biomodel (dvs. en 3D-model, der er skabt ud fra patientens anatomi) og de projekterede hologrammer. Den beskrevne protokol er udelukkende baseret på gratis og multi-platform software.
I tidligere arbejde, AR patient-til-billede registrering er blevet beregnet manuelt5 med Surface Recognition algoritmer10 eller har været utilgængelig2. Disse metoder er blevet betragtet som noget begrænset, når en nøjagtig registrering er påkrævet19. For at overvinde disse begrænsninger, dette arbejde giver værktøjer til at udføre nøjagtig og enkel patient-til-billede registrering i AR-procedurer ved at kombinere AR-teknologi og 3DP.
Protokollen er generisk og kan anvendes på enhver medicinsk billedbehandling modalitet eller patient. Som et eksempel, et reelt klinisk tilfælde af en patient, der lider af distale ben sarkom er tilvejebragt for at illustrere metoden. Det første skridt beskriver, hvordan man nemt segmentere den berørte anatomi fra computertomografi (CT) medicinske billeder til at generere 3D virtuelle modeller. Bagefter, positionering af 3D-modeller udføres, så de nødvendige værktøjer og modeller er 3D-trykt. Endelig er den ønskede AR-app implementeret. Denne app giver mulighed for visualisering af patientens 3D-modeller overlagt på en smartphone kamera i realtid.

<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td>3D Printing material: Acrylonitrile Butadiene Styrene (ABS)</td>
			<td></td>
			<td></td>
			<td>Thermoplastic polymer material usually used in domestic 3D printers.</td>
		</tr>
		<tr>
			<td>3D Printing material: Polylactic Acid (PLA)</td>
			<td></td>
			<td></td>
			<td>Bioplastic material usually used in domestic 3D printers.</td>
		</tr>
		<tr>
			<td>3D Slicer</td>
			<td></td>
			<td></td>
			<td>Open-source software platform for medical image informatics, image processing, and three-dimensional visualization</td>
		</tr>
		<tr>
			<td>Android</td>
			<td>Alphabet, Inc.</td>
			<td></td>
			<td>Android is a mobile operating system developed by Google. It is based on a modified version of the Linux kernel and other open source software, and is designed primarily for touchscreen mobile devices such as smartphones and tablets.</td>
		</tr>
		<tr>
			<td>Autodesk Meshmixer</td>
			<td>Autodesk, Inc.</td>
			<td></td>
			<td>Meshmixer is state-of-the-art software for working with triangle meshes. Free software.</td>
		</tr>
		<tr>
			<td>iPhone OS</td>
			<td>Apple, Inc.</td>
			<td></td>
			<td>iPhone OS is a mobile operating system created and developed by Apple Inc. exclusively for its hardware.</td>
		</tr>
		<tr>
			<td>Ultimaker 3 Extended</td>
			<td>Ultimaker BV</td>
			<td></td>
			<td>Fused deposition modeling 3D printer.</td>
		</tr>
		<tr>
			<td>Unity</td>
			<td>Unity Technologies</td>
			<td></td>
			<td>Unity is a real-time development platform to create 3D, 2D VR &#38; AR visualizations for Games, Auto, Transportation, Film, Animation, Architecture, Engineering &#38; more. Free software.</td>
		</tr>
		<tr>
			<td>Xcode</td>
			<td>Apple, Inc.</td>
			<td></td>
			<td>Xcode is a complete developer toolset for creating apps for Mac, iPhone, iPad, Apple Watch, and Apple TV. Free software.</td>
		</tr>
	</tbody>
</table>

combining augmented reality and 3d printing to display patient models on a smartphone

Augmented Reality (AR) har et stort potentiale inden for uddannelse, træning og kirurgisk vejledning på det medicinske område. Kombinationen med tredimensionel (3D) udskrivning (3DP) åbner nye muligheder i kliniske applikationer. Selv om disse teknologier er vokset eksponentielt i de seneste år, er deres vedtagelse af læger stadig begrænset, da de kræver omfattende viden om ingeniør-og softwareudvikling. Derfor er formålet med denne protokol at beskrive en trinvis metode, der gør det muligt for uerfarne brugere at oprette en smartphone-app, som kombinerer AR og 3DP til visualisering af anatomiske 3D-modeller af patienter med en 3D-printet reference markør. Protokollen beskriver, hvordan du opretter virtuelle 3D-modeller af en patients anatomi, der er afledt af 3D-medicinske billeder. Derefter forklares det, hvordan du udfører positionering af 3D-modellerne med hensyn til markør referencer. Der er også vejledning i, hvordan du 3D udskriver de nødvendige værktøjer og modeller. Endelig er der angivet trin til installation af appen. Protokollen er baseret på gratis og multi-platform software og kan anvendes på enhver medicinsk billedbehandling modalitet eller patient. En alternativ tilgang er beskrevet for at give automatisk registrering mellem en 3D-printet model skabt fra en patients anatomi og de projekterede hologrammer. Som et eksempel, et klinisk tilfælde af en patient, der lider af distale ben sarkom er tilvejebragt for at illustrere metoden. Det forventes, at denne protokol vil fremskynde vedtagelsen af AR og 3DP teknologier af medicinske fagfolk.

Protokollen blev anvendt på data fra en patient, der lider af distale ben sarkom for at visualisere den berørte anatomiske region fra et 3D-perspektiv. Ved hjælp af den metode, der er beskrevet i afsnit 2, blev den del af den påvirkede knogle (her, skinneben og fibula) og tumor segmenteret fra patientens CT-scanning. Derefter, ved hjælp af segmentering værktøjer fra 3D slicer, to biomodels blev oprettet: knoglen (del af skinneben og fibula) (figur 1A) og tumor (figur 1B).
Dernæst blev de to 3D-modeller placeret stort set med hensyn til markøren for optimal visualisering. Begge tilstande beskrevet i afsnit 3 blev fulgt i dette eksempel. For visualiserings tilstand var modellerne centreret i markens øvre overflade (figur 2). For registreringstilstand blev markerings adapteren anbragt i knoglen (specifikt skinneben [figur 3]). Derefter blev en lille del af skinneben valgt til 3D-printet med en 3D-markerings adapter (figur 4). En ultimaker 3 udvidet 3D-printer med PLA materiale blev brugt til at oprette 3D-printede markører (figur 5A, B), markør holder base (figur 5C) for "visualisering" tilstand, og afsnittet af skinneben for "registrering" tilstand (figur 5D). Figur 5E viser, hvordan markøren var fastgjort til "visualisering" mode 3D-trykt base. Figur 5F viser den vedhæftede fil med "registrering"-tilstanden 3D-printet biomodel. Endelig blev Unity brugt til at oprette appen og implementere den på smartphonen.
Figur 6 viser, hvordan appen fungerede for tilstanden "visualisering". Hologrammet var nøjagtigt placeret i den øverste del af kuben som tidligere defineret. Figur 7 viser applikationen for "registrering"-tilstand, hvor appen placerede den komplette knogle model oven på den 3D-udskrevne sektion. Den endelige visualisering af hologrammer var klar og realistisk, vedligeholdt de reelle størrelser af biomodels, og positioneret præcist. Når du bruger smartphone applikationen, skal AR-markøren være synlig af kameraet, for at appen kan vise hologrammerne korrekt. Desuden skal lysforholdene i scenen være af god kvalitet og konstant for korrekt markør detektering. Dårlige lysforhold eller refleksioner på markør overfladen hindrer sporing af AR-mærket og forårsager funktionsfejl i appen.
Den tid, det kræver at oprette appen, afhænger af flere faktorer. Varigheden af afsnit 1 er begrænset af downloadhastigheden. Med hensyn til anatomi segmentering (afsnit 2), faktorer, der påvirker segmentering tid omfatter kompleksiteten af regionen og medicinsk billeddannelse modalitet (dvs., CT er let segmenteret, mens Mr er vanskeligere). For det repræsentative eksempel på skinneben, ca 10 min var forpligtet til at generere både 3D-modeller fra CT-scanning. Placering af biomodel (afsnit 3) er enkel og ligetil. Her tog det ca. 5 minutter at definere biomodel positionen med hensyn til AR-mærket. For 3D-udskrivnings trinnet er varigheden meget afhængig af den valgte tilstand. Den "dobbelte farve markør" blev fremstillet i høj kvalitet i en periode på 5 h og 20 min. Den "sticker markør" blev fremstillet i en periode på 1 h og 30 min, plus den tid, der kræves for at indsætte klistermærker. Det sidste trin for appudvikling kan være tidskrævende for dem, der ikke har nogen tidligere erfaring i Unity, men det kan nemt fuldføres efter protokol trinnene. Når AR-mærkerne har været 3D-printet, kan udviklingen af en helt ny AR-app udføres på mindre end 1 time. Denne varighed kan reduceres yderligere med yderligere erfaring.
<img alt="Figure 1" class="xfigimg" src="/files/ftp_upload/60618/60618fig01.jpg"> Figur 1: repræsentation af 3D-modeller skabt af et CT billede af en patient, der lider af distale ben sarkom. A) knoglevæv,derer repræsenteret i hvidt (skinneben og fibula). (B) tumor repræsenteret i rødt. <a href="https://www.jove.com/files/ftp_upload/60618/60618fig01large.jpg" target="_blank">Venligst klik her for at se en større version af dette tal.</a>
<img alt="Figure 2" class="xfigimg" src="/files/ftp_upload/60618/60618fig02.jpg"> Figur 2: resultater, der viser, hvordan "visualisering" mode i 3D slicer positioner de virtuelle 3D-modeller af knogle og tumor med hensyn til 3D-trykte markør reference. Patientens 3D-modeller (A) er placeret over den øverste flade af markør terningen (B). <a href="https://www.jove.com/files/ftp_upload/60618/60618fig02large.jpg" target="_blank">Venligst klik her for at se en større version af dette tal.</a>
<img alt="Figure 3" class="xfigimg" src="/files/ftp_upload/60618/60618fig03.jpg"> Figur 3: resultater, der viser, hvordan "registrering" mode i 3D slicer placerer de virtuelle 3D-modeller af knogle og tumor (A) med hensyn til 3D-trykt markør reference (B). Markør adapteren er fastgjort til knoglevæv modellen. <a href="https://www.jove.com/files/ftp_upload/60618/60618fig03large.jpg" target="_blank">Venligst klik her for at se en større version af dette tal.</a>
<img alt="Figure 4" class="xfigimg" src="/files/ftp_upload/60618/60618fig04.jpg"> Figur 4: lille del af knoglevæv og 3D-markerings adapter. De to komponenter kombineres derefter 3D-printet. <a href="https://www.jove.com/files/ftp_upload/60618/60618fig04large.jpg" target="_blank">Venligst klik her for at se en større version af dette tal.</a>
<img alt="Figure 5" class="xfigimg" src="/files/ftp_upload/60618/60618fig05.jpg"> Figur 5:3D-trykte værktøjer, der kræves til den endelige applikation. (A) "to Color Cube Marker" 3D-trykt med to farver af materialer. (B) "sticker Cube markør" 3D-trykt, med klistermærker indsat. (C) markør base Cube adapter. (D) del af patientens knoglevæv 3D model og markør terning adapter. (E) "mærkat kube markør", som er anbragt i markør-base-kube adapteren. (F) "to farve kube markør" anbragt i markerings adapteren, der er fastgjort til patientens anatomi. <a href="https://www.jove.com/files/ftp_upload/60618/60618fig05large.jpg" target="_blank">Venligst klik her for at se en større version af dette tal.</a>
<img alt="Figure 6" class="xfigimg" src="/files/ftp_upload/60618/60618fig06.jpg"> Figur 6: App vises, når du bruger tilstanden "visualisering". Patientens påvirkede anatomi 3D-modeller er placeret over den øvre overflade af 3D-printet terning. <a href="https://www.jove.com/files/ftp_upload/60618/60618fig06large.jpg" target="_blank">Venligst klik her for at se en større version af dette tal.</a>
<img alt="Figure 7" class="xfigimg" src="/files/ftp_upload/60618/60618fig07.jpg"> Figur 7: ar-visualisering, når du bruger tilstanden "registrering". Det 3D-printede mærke gør det muligt at registrere den 3D-printede biomodel med de virtuelle 3D-modeller. <a href="https://www.jove.com/files/ftp_upload/60618/60618fig07large.jpg" target="_blank">Venligst klik her for at se en større version af dette tal.</a>

Watch this Scientific Journal Video about Combining Augmented Reality and 3D Printing to Display Patient Models on a Smartphone at JoVE.com

Combining Augmented Reality and 3D Printing to Display Patient Models on a Smartphone

Præsenteret her er en metode til at designe en Augmented Reality smartphone ansøgning til visualisering af anatomiske tredimensionelle modeller af patienter ved hjælp af en 3D-trykt reference markør.

Kombination af Augmented Reality og 3D-udskrivning for at vise patient modeller på en smartphone

Augmented reality (AR) has great potential in education, training, and surgical guidance in the medical field. Its combination with three-dimensional (3D) ...

Denne protokol giver uerfarne brugere værktøjerne til at bringe augmented reality-løsninger ind i det medicinske område gennem opbygningen af deres egen smartphone app. Denne metode kombinerer augmented reality og 3D-udskrivning, hvilket giver mulighed for hurtig og nem visualisering af 3D-modeller, der er oprettet ved at basere data oven på et 3D-udskrevet referencemærke. Denne teknik kan anvendes på enhver medicinsk scenario, hvor en 3D-trykt reference kan være stift fastgjort til patienten.Visualisering af visuelle 3D-modeller skabt ved at basere data lokalisering, der er målrettet og kan også forbedre patienten Denne protokol er specielt designet til brugere uden forudgående kendskab til medicinsk billedbehandling eller softwareudvikling til støtte i brugen af augmented reality på det medicinske område. Hvis du vil oprette 3D-modeller af en patients anatomi, skal du først spore den medicinske billedfil i 3D-udsnitssoftwarevinduet og klikke på OK. Hvis du vil segmentere patientens anatomi, skal du gå til segmenteditormodulet i 3D-udsnitsværktøjet. Der oprettes automatisk en segmenteringsvare, når modulet indtastes.Vælg den ønskede diskenhed i mastervolumensektionen, og højreklik under billedet for at vælge Tilføj for at oprette et segment. I effektpanelet skal du vælge det mest bekvemme værktøj til målet og segmentere patientens medicinske billede. Hvis du vil eksportere segmenteringen i et 3D-modelfilformat, skal du åbne segmenteringsmodulet.Vælg eksportér og modeller i eksport-/importmodeller og labelmaps, og klik på eksport for at oprette 3D-modellen fra det segmenterede område. Klik på Gem, og vælg de elementer, der skal gemmes. Skift derefter 3D-modellens filformat til OBJ.Segmenteringen kan gentages for at skabe yderligere 3D-modeller af forskellige anatomiske områder. For positionering af en 3D-patientmodel i enhver position med hensyn til augmented reality-markøren skal du åbne AR Health-modelpositionsmodulet og vælge visualiseringstilstand. Klik på indlæsningsmarkørmodellen for at indlæse markøren for denne indstilling, ellipseknappen for at vælge stien til den gemte 3D-model og indlæs modellen for at indlæse modellen i 3D-udsnit.Klik på Udfør og centrer for at centrere alle modellerne i markøren. Brug 3D-modellernes placering, retning og skalering i forhold til mærket som ønsket. Vælg derefter stien til at gemme filerne og klik på gem modeller for at gemme modellerne på denne position.Hvis du vil kombinere augmented reality-markøren med en 3D-biomodel i en ønsket position, skal du åbne AR Health-modelpositionsmodulet, og i initialiseringssektionen skal du vælge registreringstilstanden. Klik på belastningsmærkemodel for at indlæse mærket for denne indstilling, og flyt 3D-modellerne, indtil de skærer hinanden med terbemærkets bærende struktur, hvilket ændrer højden på mærkebasen efter behov. Hvis du vil gemme modellen på denne placering, skal du vælge stien til lagring af filerne og klikke på Gem modeller.Hvis anatomimodellen er for stor, skal du indlæse biomodellen og støttestrukturen af terningmarkørmodellen i meshmixersoftwaren. Vælg begge modeller i objektbrowservinduet for at kombinere modellerne og bruge værktøjet til almindelig udskæring i redigeringsmenuen for at fjerne uønskede dele af modellen, der ikke udskrives i 3D. Hvis du vil gemme den model, der skal udskrives i 3D, skal du vælge fil og eksport og vælge det ønskede format.Hvis du vil udskrive de fysiske modeller, der kræves til det endelige augmented reality-program, skal du i 3D-printsoftwaren vælge et hvidt farvet materiale til TwoColorCuebMarker_white. obj fil og en sort farvet materiale til TwoColorCubeMarker_white. obj-fil.Brug derefter en dobbelt ekstruder 3D-printer til 3D-print af kubiskmarkøren i sort og hvid i høj kvalitet med en lille laghøjde. Hvis du vil designe en smartphone-app i Unity Engine, der omfatter 3D-modellerne, skal du åbne Vuforia Developer og oprette en konto. Vælg få udviklingsnøgle for at få en gratis udviklingslicensnøgle, og vælg og kopiér nøglen i licens managermenuen.For at konfigurere smartphonen skal du i Unity version 2019-applikationen under opbygningsindstillingerne i filmenuen vælge den rette platform til enheden. Hvis du vil aktivere Vuforia i projektet, skal du vælge rediger, projektindstilling, spillerindstillinger og XR-indstillinger og markere afkrydsningsfeltet Vuforia Augmented Reality Support. Hvis du vil oprette et augmented reality-kamera, skal du vælge menulinje, spilobjekt, Vuforia Engine og AR-kamera og importere Vuforia-komponenterne, når du bliver bedt om det.Hvis du vil føje Vuforia-licensnøglen til Vuforia-konfigurationsindstillinger, skal du vælge ressourcemappen, klikke på Vuforia-konfigurationen og indsætte licensnøglen i afsnittet applicensnøgle. Importer Vuforia-målfilen, der indeholder de filer, som Vuforia kræver for at registrere markørerne i Unity, og vælg menulinjen, spilobjektet, Vuforia Engine og multibilledet for at skabe et Vuforia-multimål. Klik på multimålet for at vælge den markørtype, der skal bruges til registrering, og vælg ARHealth_3dPrintedCube_30x30x30 i databaseindstillingen under multi-destinationsfunktionsmåde.I indstillingen multimål under multimålfunktionsfunktion skal du vælge enten TwoColorCubeMarker eller StickerCubeMarker afhængigt af markøren. Træk 3D-modellerne til mappen modeller, og træk mappen under multimålelementet. Modellerne skal blive synlige i Enhedslistens 3D-visningsscene.Hvis du vil ændre farverne på 3D-modellerne, skal du oprette nye materialer og tildele de nye materialer til modellerne. Hvis der findes et webcam, skal du klikke på Afspil for at teste programmet på computeren. Hvis markøren er synlig for webkameraet, skal det registreres, og 3D-modellerne skal vises i scenen.Hvis en Android-smartphone skal bruges til appudviklingen, skal du vælge buildindstillinger i Unity og vælge den tilsluttete telefon på listen. Gem derefter filen med et apk-filtypenavn, og lad processen afsluttes. Hvis appen installeres på en iOS-enhed, skal du vælge fil i buildindstillinger og gemme filen.For at visualisere appen skal du åbne appen på smartphonen og bruge smartphonekameraet til at se på markøren inde fra appen i en afstand af mindst 40 centimeter. Når appen registrerer markøren, skal de tidligere oprettede 3D-modeller vises på smartphoneskærmen på den nøjagtige placering, der er defineret under proceduren. Ved hjælp af metoden som påvist, denne del af det berørte skinneben og fibula fra en patient, der lider af distale ben sarkom og tumor blev segmenteret fra patientens CT-scanning.Ved hjælp af segmenteringsværktøjer, en biomodel blev oprettet for knoglen og en biomodel blev skabt til tumoren. I visualiseringstilstanden var modellerne centreret i markørens øverste fase. Til registreringstilstand blev markøradapteren placeret i skinnebenet, og en lille del af skinnebenet blev valgt til 3D-print med en 3D-markøradapter.Polylaktisk syre kan bruges til at skabe 3D trykte markører, markørholder baser og knogle sektioner som påvist. Her er en markør knyttet til en visualisering mode 3D trykt base og her den vedhæftede fil er vist med registrering mode 3D trykt biomodel. Denne repræsentation viser, hvordan appen fungerer i visualiseringstilstand med hologrammet præcist placeret i den øverste del af kuben som tidligere defineret.I registreringstilstand kan hele knoglemodellen placeres oven på den 3D-printede sektion med en klar og realistisk visualisering af markøren på knoglestedet. Hvis du vil bruge augmented reality til at visualisere vigtige patientoplysninger, skal du bruge flere softwareværktøjer, der er frit tilgængelige, samt adgang til en 3D-printer og smartphone. Denne procedure kan anvendes på enhver model fremstillet af medicinsk billeddannelse.Dens anvendelse kan udvides til andre interventioner såsom strålebehandling positionering af nål indsættelse. Vi udvider nu anvendelserne af denne udvikling til nye kliniske områder, herunder myofascial eller ortopædisk kirurgi. Vores indledende forskning er lovende, og kirurgen feedback er meget positiv.

Research

JoVE Journal

Medicine

Step By Step: Microsurgical training method combining two nonliving animal models

Trin for trin: Microsurgical træningsmetode kombinerer to ikke levende dyremodeller

The learning of microsurgical techniques and the maintenance of microsurgical skills have been traditionally based on the use of living animals, mainly ...

Smartphone Fundus Photography

Smartphone fundus photography is a simple technique to obtain ocular fundus pictures using a smartphone camera and a conventional handheld indirect ...

Integrating Augmented Reality Tools in Breast Cancer Related Lymphedema Prognostication and Diagnosis

Integration augmented reality værktøjer i brystkræft relaterede Lymphedema Prognostication og diagnose

Breast cancer related lymphedema (BCRL) is a detrimental condition characterized by fluid accumulation in the upper limb in breast cancer patients ...

Multicolor 3D Printing of Complex Intracranial Tumors in Neurosurgery

Flerfarvet 3D-udskrivning af komplekse intrakranielle tumorer i neurosurgery

Three-dimensional (3D) printing technologies offer the possibility of visualizing patient-specific pathologies in a physical model of correct dimensions. ...

3D Planning and Printing of Patient Specific Implants for Reconstruction of Bony Defects

3D planlægning og udskrivning af patientspecifikke implantater til rekonstruktion af knogledefekter

We are in the midst of the 3D era in most aspects of life, and especially in medicine. The surgical discipline is one of the major players in the medical ...

Treatment of Facial Deformities using 3D Planning and Printing of Patient-Specific Implants

Behandling af ansigtsdeformiteter ved hjælp af 3D-planlægning og udskrivning af patientspecifikke implantater

Technological advancements in surgical planning and patient-specific implants are constantly evolving. One can either adopt the technology to achieve ...

Combining 3D-Printing and Electrospinning to Manufacture Biomimetic Heart Valve Leaflets

Kombination af 3D-udskrivning og elektrospinding til fremstilling af biomimetiske hjerteklapfoldere

Electrospinning has become a widely used technique in cardiovascular tissue engineering as it offers the possibility to create (micro-)fibrous scaffolds ...

Augmented Reality Navigation-Guided Core Decompression for Osteonecrosis of Femoral Head

Augmented Reality Navigationsstyret kernedekompression til osteonekrose af lårbenshovedet

Osteonecrosis of the femoral head (ONFH) is a common joint disease in young and middle-aged patients, which seriously burdens their lives and work. For ...

3D Printing Model of a Patient's Specific Lumbar Vertebra

3D-printmodel af en patients specifikke lændehvirvel

Selective dorsal rhizotomy (SDR) is a difficult, risky, and sophisticated operation, in which a laminectomy should not only expose an adequate surgical ...

Plasma Polishing as a New Polishing Option to Reduce the Surface Roughness of Porous Titanium Alloy for 3D Printing

Plasmapolering som en ny poleringsmulighed for at reducere overfladeruheden af porøs titaniumlegering til 3D-udskrivning

Porous titanium alloy implants with simulated trabecular bone fabricated by 3D printing technology have broad prospects. However, due to the fact that ...