Name: combining augmented reality and 3d printing to display patient models on a smartphone
Uploaded: 2020-01-02T13:00:00
Duration: 9 min 26 s
Description: Watch this Scientific Journal Video about Combining Augmented Reality and 3D Printing to Display Patient Models on a Smartphone at JoVE.com

Denna rapport stöddes av projekten PI18/01625 och PI15/02121 (Ministerio de Ciencia, innovación y Universidades, Instituto de Salud Carlos III och Europeiska regionala utvecklingsfonden "Una Manera de hacer Europa") och IND2018/TIC-9753 (Comunidad de Madrid).

<ol>
	<li>Coles, T. R., John, N. W., Gould, D., Caldwell, D. G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Integrating+Haptics+with+Augmented+Reality+in+a+Femoral+Palpation+and+Needle+Insertion+Training+Simulation.">Integrating Haptics with Augmented Reality in a Femoral Palpation and Needle Insertion Training Simulation.</a> IEEE Transactions on Haptics. 4 (3), 199-209 (2011).</li><li>Pelargos, P. E., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Utilizing+virtual+and+augmented+reality+for+educational+and+clinical+enhancements+in+neurosurgery.">Utilizing virtual and augmented reality for educational and clinical enhancements in neurosurgery.</a> Journal of Clinical Neuroscience. 35, 1-4 (2017).</li><li>Abhari, K., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Training+for+Planning+Tumour+Resection:+Augmented+Reality+and+Human+Factors.">Training for Planning Tumour Resection: Augmented Reality and Human Factors.</a> IEEE Transactions on Biomedical Engineering. 62 (6), 1466-1477 (2015).</li><li>Uppot, R., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Implementing+Virtual+and+Augmented+Reality+Tools+for+Radiology+Education+and+Training,+Communication,+and+Clinical+Care.">Implementing Virtual and Augmented Reality Tools for Radiology Education and Training, Communication, and Clinical Care.</a> Radiology. 291, 182210 (2019).</li><li>Pratt, P., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Through+the+HoloLensTM+looking+glass:+augmented+reality+for+extremity+reconstruction+surgery+using+3D+vascular+models+with+perforating+vessels.">Through the HoloLensTM looking glass: augmented reality for extremity reconstruction surgery using 3D vascular models with perforating vessels.</a> European Radiology Experimental. 2 (1), 2 (2018).</li><li>Rose, A. S., Kim, H., Fuchs, H., Frahm, J. -. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Development+of+augmented-reality+applications+in+otolaryngology-head+and+neck+surgery.">Development of augmented-reality applications in otolaryngology-head and neck surgery.</a> The Laryngoscope. , (2019).</li><li>Zhou, C., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Robot-Assisted+Surgery+for+Mandibular+Angle+Split+Osteotomy+Using+Augmented+Reality:+Preliminary+Results+on+Clinical+Animal+Experiment.">Robot-Assisted Surgery for Mandibular Angle Split Osteotomy Using Augmented Reality: Preliminary Results on Clinical Animal Experiment.</a> Aesthetic Plastic Surgery. 41 (5), 1228-1236 (2017).</li><li>Heinrich, F., Joeres, F., Lawonn, K., Hansen, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Comparison+of+Projective+Augmented+Reality+Concepts+to+Support+Medical+Needle+Insertion.">Comparison of Projective Augmented Reality Concepts to Support Medical Needle Insertion.</a> IEEE Transactions on Visualization and Computer Graphics. 25 (6), 1 (2019).</li><li>Deng, W., Li, F., Wang, M., Song, Z. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Easy-to-Use+Augmented+Reality+Neuronavigation+Using+a+Wireless+Tablet+PC.">Easy-to-Use Augmented Reality Neuronavigation Using a Wireless Tablet PC.</a> Stereotactic and Functional Neurosurgery. 92 (1), 17-24 (2014).</li><li>Fan, Z., Weng, Y., Chen, G., Liao, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=3D+interactive+surgical+visualization+system+using+mobile+spatial+information+acquisition+and+autostereoscopic+display.">3D interactive surgical visualization system using mobile spatial information acquisition and autostereoscopic display.</a> Journal of Biomedical Informatics. 71, 154-164 (2017).</li><li>Arnal-Burr&#243;, J., P&#233;rez-Ma&#241;anes, R., Gallo-del-Valle, E., Igualada-Blazquez, C., Cuervas-Mons, M., Vaquero-Mart&#237;n, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Three+dimensional-printed+patient-specific+cutting+guides+for+femoral+varization+osteotomy:+Do+it+yourself.">Three dimensional-printed patient-specific cutting guides for femoral varization osteotomy: Do it yourself.</a> The Knee. 24 (6), 1359-1368 (2017).</li><li>Vaquero, J., Arnal, J., Perez-Ma&#241;anes, R., Calvo-Haro, J., Chana, F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=3D+patient-specific+surgical+printing+cutting+blocks+guides+and+spacers+for+open-+wedge+high+tibial+osteotomy+(HTO)+-+do+it+yourself.">3D patient-specific surgical printing cutting blocks guides and spacers for open- wedge high tibial osteotomy (HTO) - do it yourself.</a> Revue de Chirurgie Orthop&#233;dique et Traumatologique. 102, 131 (2016).</li><li>De La Pe&#241;a, A., De La Pe&#241;a-Brambila, J., P&#233;rez-De La Torre, J., Ochoa, M., Gallardo, G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Low-cost+customized+cranioplasty+using+a+3D+digital+printing+model:+a+case+report.">Low-cost customized cranioplasty using a 3D digital printing model: a case report.</a> 3D Printing in Medicine. 4 (1), 1-9 (2018).</li><li>Kamio, T., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Utilizing+a+low-cost+desktop+3D+printer+to+develop+a+"one-stop+3D+printing+lab"+for+oral+and+maxillofacial+surgery+and+dentistry+fields.">Utilizing a low-cost desktop 3D printer to develop a "one-stop 3D printing lab" for oral and maxillofacial surgery and dentistry fields.</a> 3D Printing in Medicine. 4 (1), 1-7 (2018).</li><li>Punyaratabandhu, T., Liacouras, P., Pairojboriboon, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Using+3D+models+in+orthopedic+oncology:+presenting+personalized+advantages+in+surgical+planning+and+intraoperative+outcomes.">Using 3D models in orthopedic oncology: presenting personalized advantages in surgical planning and intraoperative outcomes.</a> 3D Printing in Medicine. 4 (1), 1-13 (2018).</li><li>Wake, N., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Patient-specific+3D+printed+and+augmented+reality+kidney+and+prostate+cancer+models:+impact+on+patient+education.">Patient-specific 3D printed and augmented reality kidney and prostate cancer models: impact on patient education.</a> 3D Printing in Medicine. 5 (1), 1-8 (2019).</li><li>Barber, S. R., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Augmented+Reality,+Surgical+Navigation,+and+3D+Printing+for+Transcanal+Endoscopic+Approach+to+the+Petrous+Apex.">Augmented Reality, Surgical Navigation, and 3D Printing for Transcanal Endoscopic Approach to the Petrous Apex.</a> OTO Open: The Official Open Access Journal of the American Academy of Otolaryngology-Head and Neck Surgery Foundation. 2 (4), (2018).</li><li>Witowski, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Augmented+reality+and+three-dimensional+printing+in+percutaneous+interventions+on+pulmonary+arteries.">Augmented reality and three-dimensional printing in percutaneous interventions on pulmonary arteries.</a> Quantitative Imaging in Medicine and Surgery. 9 (1), (2019).</li><li>Moreta-Mart&#237;nez, R., Garc&#237;a-Mato, D., Garc&#237;a-Sevilla, M., P&#233;rez-Ma&#241;anes, R., Calvo-Haro, J., Pascau, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Augmented+reality+in+computer-assisted+interventions+based+on+patient-specific+3D+printed+reference.">Augmented reality in computer-assisted interventions based on patient-specific 3D printed reference.</a> Healthcare Technology Letters. , (2018).</li></ol>

Författarna har inget att avslöja.

AR har stor potential inom utbildning, yrkesutbildning och kirurgisk vägledning inom det medicinska området. Dess kombination med 3D-utskrifter öppnar kan öppna nya möjligheter i kliniska tillämpningar. Detta protokoll beskriver en metod som gör det möjligt för oerfarna användare att skapa en smartphone app som kombinerar AR och 3DP för visualisering av anatomiska 3D-modeller av patienter med 3D-tryckta referens markörer.
I allmänhet, en av de mest intressanta kliniska tillämpningar av AR och 3DP är att förbättra patient-till-läkare kommunikation genom att ge patienten ett annat perspektiv av ärendet, förbättra förklaringar av specifika sjukdomstillstånd eller behandlingar. En annan möjlig tillämpning inkluderar kirurgisk vägledning för mål lokalisering, där 3D-tryckta patientspecifika verktyg (med en referens AR-markör bifogas) kan placeras på stela strukturer (dvs. ben) och användas som referens för navigering. Denna ansökan är särskilt användbart för ortopediska och käkkirurgiska ingrepp, där benvävnad ytan är lätt att komma åt under operationen.
Protokollet inleds med avsnitt 1, som beskriver arbetsstations uppsättningen och de programvaruverktyg som behövs. Avsnitt 2 beskriver hur du använder 3D slicer programvara för att enkelt segmentera mål anatomies av patienten från någon medicinsk avbildning modalitet för att få 3D-modeller. Detta steg är avgörande, eftersom de virtuella 3D-modeller som skapats är de som visas i den slutliga AR ansökan.
I avsnitt 3 används 3D-slicer för att registrera de 3D-modeller som skapats i föregående avsnitt med en AR-markör. Under detta registreringsförfarande är patientens 3D-modeller effektivt och enkelt positionerade med avseende på AR-markören. Den position som definieras i det här avsnittet avgör hologram relativa position i den slutliga appen. Man tror att denna lösning minskar komplexiteten och multiplicerar de möjliga applikationerna. I avsnitt 3 beskrivs två olika alternativ för att definiera de rumsliga relationerna mellan modellerna och AR-markörerna: "visualisering" och "registrerings"-läge. Det första alternativet, "visualisering" läge, gör att 3D-modeller som ska placeras var som helst med avseende på markören och visas som hela biomodel. Detta läge ger ett realistiskt 3D-perspektiv av patientens anatomi och gör det möjligt att flytta och rotera Biomodels genom att flytta den spårade AR-markören. Det andra alternativet, "Registration"-Läget, gör det möjligt att fästa och kombinera en marköradapter till någon del av biomodel, som erbjuder en automatisk registreringsprocess. Med det här alternativet kan en liten del av 3D-modellen, inklusive marköradaptern, vara 3D-tryckt, och appen kan visa resten av modellen som ett hologram.
Avsnitt 4 innehåller riktlinjer för 3D-utskriftprocessen. Först kan användaren välja mellan två olika markörer: "Dual Color marker" och "klistermärke markör". Hela "Dual Color marker" kan 3D-tryckta men kräver en dubbel extruder 3D-skrivare. Om den här skrivaren inte är tillgänglig föreslås "klistermärkes markören". Detta är en enklare markör som kan erhållas genom 3D-utskrift kubiska strukturen, sedan klistra in bilder av kuben med klistermärke papper eller klistermärke lim. Dessutom var båda markörerna konstruerade med utökningsbara sektioner för att passa perfekt i en specifik adapter. Därför kan markören återanvändas i flera fall.
Avsnitt 5 beskriver processen för att skapa ett Unity-projekt för AR med hjälp av Vuforia Software Development Kit. Detta steg kan vara den svåraste delen för användare utan programmeringserfarenhet, men med dessa riktlinjer bör det vara lättare att få den slutliga ansökan som presenteras i avsnitt 6. Appen visar patientens virtuella modeller över smartphone-skärmen när kameran känner igen den 3D-utskrivna markören. För att appen ska kunna detektera 3D-markören krävs ett minsta avstånd på ca 40 cm eller mindre från telefonen till markören samt goda ljusförhållanden.
Den slutliga tillämpningen av detta protokoll tillåter användaren att välja de specifika Biomodels att visualisera och i vilka positioner. Appen kan dessutom utföra automatisk registrering av patient hologram med en 3D-tryckt markör och adapter som fästs på biomodel. Detta löser utmaningen att registrera virtuella modeller med miljön på ett direkt och bekvämt sätt. Dessutom, denna metod kräver inte breda kunskaper om medicinsk avbildning eller utveckling av programvara, inte är beroende av komplicerad hårdvara och dyr programvara, och kan genomföras under en kort tidsperiod. Det förväntas att denna metod kommer att bidra till att påskynda antagandet av AR och 3DP teknik av sjukvårdspersonal.

AR och 3DP är teknologier som ger ökande numrerar av applikationer i det medicinska området. När det gäller ar, dess interaktion med virtuella 3D-modeller och den verkliga miljön gynnar läkare i fråga om utbildning1,2,3, kommunikation och interaktioner med andra läkare4, och vägledning under kliniska interventioner5,6,7,8,9,10. Likaså har 3DP blivit en kraftfull lösning för läkare när de utvecklar patientspecifika anpassningsbara verktyg11,12,13 eller skapa 3D-modeller av patientens anatomi, vilket kan bidra till att förbättra preoperativ planering och kliniska interventioner14,15.
Både AR-och 3DP-tekniker bidrar till att förbättra orientering, vägledning och rumsliga färdigheter i medicinska ingrepp. Således är deras kombination nästa logiska steg. Tidigare arbete har visat att deras gemensamma användning kan öka värdet i patientutbildning16, underlätta förklaringar av medicinska tillstånd och föreslagen behandling, optimera kirurgiska arbetsflöde17,18 och förbättra patient-till-modell registrering19. Även om dessa teknologier har vuxit exponentiellt under de senaste åren, är deras antagande av läkare fortfarande begränsad, eftersom de kräver omfattande kunskap om ingenjörs-och programvaruutveckling. Därför är syftet med detta arbete att beskriva en stegvis metod som möjliggör användning av AR och 3DP av oerfarna användare utan behov av breda tekniska kunskaper.
Detta protokoll beskriver hur man utvecklar en AR smartphone app som gör det möjligt att överlägga en patient-baserad 3D-modell på en verklig miljö med hjälp av en 3D-tryckt markör spåras av smartphone kameran. Dessutom beskrivs ett alternativt tillvägagångssätt för att ge automatisk registrering mellan en 3D-tryckt biomodel (dvs. en 3D-modell som skapats från patientens anatomi) och de projicerade hologrammen. Protokollet som beskrivs är helt baserat på gratis och flera plattformar programvara.
I tidigare arbete har AR-registrering av patient till bild beräknats manuellt5 med Surface Recognition algoritmer10 eller har varit otillgänglig2. Dessa metoder har ansetts vara något begränsade när en korrekt registrering krävs19. För att övervinna dessa begränsningar, detta arbete ger verktyg för att utföra korrekt och enkel patient-till-bild registrering i AR förfaranden genom att kombinera AR-teknik och 3DP.
Protokollet är generiskt och kan tillämpas på alla medicinska avbildning modalitet eller patient. Som ett exempel, en verklig klinisk fall av en patient som lider av distala benet sarkom ges för att illustrera metoden. Det första steget beskriver hur du enkelt segmenterar den påverkade anatomin från datortomografi (CT) medicinska bilder för att generera 3D virtuella modeller. Efteråt, positionering av 3D-modeller utförs, då de nödvändiga verktygen och modellerna är 3D-tryckta. Slutligen distribueras den önskade AR-appen. Denna app möjliggör visualisering av patientens 3D-modeller överlagt på en smartphone-kamera i realtid.

<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td>3D Printing material: Acrylonitrile Butadiene Styrene (ABS)</td>
			<td></td>
			<td></td>
			<td>Thermoplastic polymer material usually used in domestic 3D printers.</td>
		</tr>
		<tr>
			<td>3D Printing material: Polylactic Acid (PLA)</td>
			<td></td>
			<td></td>
			<td>Bioplastic material usually used in domestic 3D printers.</td>
		</tr>
		<tr>
			<td>3D Slicer</td>
			<td></td>
			<td></td>
			<td>Open-source software platform for medical image informatics, image processing, and three-dimensional visualization</td>
		</tr>
		<tr>
			<td>Android</td>
			<td>Alphabet, Inc.</td>
			<td></td>
			<td>Android is a mobile operating system developed by Google. It is based on a modified version of the Linux kernel and other open source software, and is designed primarily for touchscreen mobile devices such as smartphones and tablets.</td>
		</tr>
		<tr>
			<td>Autodesk Meshmixer</td>
			<td>Autodesk, Inc.</td>
			<td></td>
			<td>Meshmixer is state-of-the-art software for working with triangle meshes. Free software.</td>
		</tr>
		<tr>
			<td>iPhone OS</td>
			<td>Apple, Inc.</td>
			<td></td>
			<td>iPhone OS is a mobile operating system created and developed by Apple Inc. exclusively for its hardware.</td>
		</tr>
		<tr>
			<td>Ultimaker 3 Extended</td>
			<td>Ultimaker BV</td>
			<td></td>
			<td>Fused deposition modeling 3D printer.</td>
		</tr>
		<tr>
			<td>Unity</td>
			<td>Unity Technologies</td>
			<td></td>
			<td>Unity is a real-time development platform to create 3D, 2D VR &#38; AR visualizations for Games, Auto, Transportation, Film, Animation, Architecture, Engineering &#38; more. Free software.</td>
		</tr>
		<tr>
			<td>Xcode</td>
			<td>Apple, Inc.</td>
			<td></td>
			<td>Xcode is a complete developer toolset for creating apps for Mac, iPhone, iPad, Apple Watch, and Apple TV. Free software.</td>
		</tr>
	</tbody>
</table>

combining augmented reality and 3d printing to display patient models on a smartphone

Augmented Reality (AR) har stor potential inom utbildning, yrkesutbildning och kirurgisk vägledning inom det medicinska området. Dess kombination med tredimensionell (3D) utskrift (3DP) öppnar nya möjligheter i kliniska tillämpningar. Även om dessa teknologier har vuxit exponentiellt under de senaste åren, är deras antagande av läkare fortfarande begränsad, eftersom de kräver omfattande kunskap om ingenjörs-och programvaruutveckling. Syftet med detta protokoll är därför att beskriva en steg-för-steg-metod som gör det möjligt för oerfarna användare att skapa en smartphone-app, som kombinerar AR och 3DP för visualisering av anatomiska 3D-modeller av patienter med en 3D-tryckt referens markör. Protokollet beskriver hur man skapar 3D virtuella modeller av patientens anatomi härrör från 3D medicinska bilder. Det förklarar sedan hur man utför positionering av 3D-modeller med avseende på markör referenser. Dessutom finns instruktioner för hur man 3D skriva ut nödvändiga verktyg och modeller. Slutligen finns åtgärder för att distribuera appen. Protokollet är baserat på fri och flera plattformar programvara och kan tillämpas på någon medicinsk avbildning modalitet eller patient. En alternativ metod beskrivs för att ge automatisk registrering mellan en 3D-tryckt modell som skapats från patientens anatomi och de projicerade hologrammen. Som ett exempel, en klinisk fall av en patient som lider av distala benet sarkom ges för att illustrera metoden. Det förväntas att detta protokoll kommer att påskynda införandet av AR-och 3DP-tekniker av sjukvårdspersonal.

Protokollet tillämpades på data från en patient som lider av distala bensarkom för att visualisera den påverkade anatomiska regionen från ett 3D-perspektiv. Med hjälp av den metod som beskrivs i avsnitt 2, var den del av det drabbade benet (här, skenbenet och vadben) och tumören segmenterade från patientens datortomografi. Sedan, med hjälp av segmenteringsverktyg från 3D slicer, två Biomodels skapades: benet (avsnitt av skenbenet och vadben) (figur 1A) och tumör (figur 1B).
Därefter var de två 3D-modellerna placerade praktiskt taget med avseende på markören för optimal visualisering. Båda lägena som beskrivs i avsnitt 3 följdes för det här exemplet. För visualiserings läge var modellerna centrerade i markörens övre yta (figur 2). För registreringsläget placerades markörens adapter i benet (särskilt skenbenet [figur 3]). Därefter valdes en liten del av skenbenet till att vara 3D-tryckt med en 3D-markör adapter (figur 4). En Ultimaker 3 utökad 3D-skrivare med PLA material användes för att skapa 3D-tryckta markörer (figur 5A, B), markör hållare bas (figur 5C) för "visualisering"-läge, och avsnitt av skenbenet för "registrering"-läge (figur 5D). Figur 5E visar hur markören var kopplad till "visualiserings läget" 3D-tryckt bas. Figur 5F visar tillbehöret med "Registration"-läget 3D-tryckt biomodel. Slutligen användes Unity för att skapa appen och distribuera den på din smartphone.
Figur 6 visar hur appen fungerade för "visualiserings läge". Hologrammet var korrekt placerat i den övre delen av kuben som tidigare definierats. Figur 7 visar programmet för "Registration"-Läget, där appen placerade den kompletta ben modellen ovanpå den 3D-tryckta sektionen. Den slutliga visualiseringen av hologrammen var klar och realistisk, behöll de verkliga storlekarna av Biomodels, och positionerade exakt. När du använder smartphoneapplikationen måste AR-markören synas av kameran för att appen ska kunna visa hologrammen på rätt sätt. Dessutom måste ljusförhållandena i scenen vara av god kvalitet och konstant för korrekt markör detektering. Dåliga ljusförhållanden eller reflektioner på markör ytan hindrar spårningen av AR-markören och orsakar felaktig funktion i appen.
Den tid som krävs för att skapa appen beror på flera faktorer. Varaktigheten för avsnitt 1 begränsas av nedladdningshastigheten. När det gäller anatomi segmentering (avsnitt 2), faktorer som påverkar segmenteringstid inkluderar komplexiteten i regionen och medicinsk avbildning modalitet (dvs., CT är lätt segmenterad, medan MRI är svårare). För det representativa exemplet på skenbenet krävdes ca 10 min för att generera både 3D-modeller från datortomografi. Biomodel positionering (avsnitt 3) är enkelt och okomplicerat. Här tog det ca 5 min att definiera biomodel position med avseende på AR markör. För steget 3D-utskrift är varaktigheten mycket beroende av det valda läget. "Dual Color marker" tillverkades med hög kvalitet under en period av 5 h och 20 min. Den "klistermärke markör" tillverkades i en period av 1 h och 30 min, plus den tid som krävs för att klistra in klistermärken. Det sista steget för apputveckling kan vara tidskrävande för dem som saknar tidigare erfarenhet av enhet, men det kan enkelt slutföras efter protokoll stegen. När AR-markörerna har blivit 3D-tryckta kan utvecklingen av en helt ny AR-app utföras på mindre än 1 h. Denna varaktighet kan minskas ytterligare med ytterligare erfarenhet.
<img alt="Figure 1" class="xfigimg" src="/files/ftp_upload/60618/60618fig01.jpg"> Figur 1: representation av 3D-modeller som skapats från en CT-bild av en patient som lider av distala bensarkom. (A) benvävnad som representeras i vitt (skenben och vadben). B) tumör som representeras i rött. <a href="https://www.jove.com/files/ftp_upload/60618/60618fig01large.jpg" target="_blank">Vänligen klicka här för att se en större version av denna siffra.</a>
<img alt="Figure 2" class="xfigimg" src="/files/ftp_upload/60618/60618fig02.jpg"> Figur 2: resultat som visar hur "visualisering" läge i 3D slicer positioner virtuella 3D-modeller av ben och tumör med avseende på 3D-tryckt markör referens. Patientens 3D-modeller (a) är placerade ovanför markör kubens övre yta (B). <a href="https://www.jove.com/files/ftp_upload/60618/60618fig02large.jpg" target="_blank">Vänligen klicka här för att se en större version av denna siffra.</a>
<img alt="Figure 3" class="xfigimg" src="/files/ftp_upload/60618/60618fig03.jpg"> Figur 3: resultat som visar hur "registrering"-läget i 3D-slicer placerar de virtuella 3D-modellerna av benet och tumören (a) med avseende på 3D-tryckt markör referens (B). Märkadaptern är kopplad till benvävnads modellen. <a href="https://www.jove.com/files/ftp_upload/60618/60618fig03large.jpg" target="_blank">Vänligen klicka här för att se en större version av denna siffra.</a>
<img alt="Figure 4" class="xfigimg" src="/files/ftp_upload/60618/60618fig04.jpg"> Figur 4: liten del av benvävnaden och 3D-märkningsadaptern. De två komponenterna kombineras sedan 3D-tryckt. <a href="https://www.jove.com/files/ftp_upload/60618/60618fig04large.jpg" target="_blank">Vänligen klicka här för att se en större version av denna siffra.</a>
<img alt="Figure 5" class="xfigimg" src="/files/ftp_upload/60618/60618fig05.jpg"> Figur 5:3D-tryckta verktyg som krävs för den slutliga applikationen. (A) "två Color Cube marker" 3D-tryckt med två färger av material. (B) "klistermärke kub markör" 3D-tryckt, med klistermärken klistras. C) kubadapter för markörbas. (D) avsnitt av patientens benvävnad 3D-modell och markör kub adapter. (E) "klistermärke kub markör" placerad i kuben bas kub adapter. (F) "två Color Cube-markörer" placerade i marköradaptern fäst vid patientens anatomi. <a href="https://www.jove.com/files/ftp_upload/60618/60618fig05large.jpg" target="_blank">Vänligen klicka här för att se en större version av denna siffra.</a>
<img alt="Figure 6" class="xfigimg" src="/files/ftp_upload/60618/60618fig06.jpg"> Bild 6: app display när du använder "visualisering"-läge. Patientens påverkade anatomi 3D-modeller är placerade ovanför den övre sidan av den 3D-tryckta kuben. <a href="https://www.jove.com/files/ftp_upload/60618/60618fig06large.jpg" target="_blank">Vänligen klicka här för att se en större version av denna siffra.</a>
<img alt="Figure 7" class="xfigimg" src="/files/ftp_upload/60618/60618fig07.jpg"> Figur 7: ar visualisering när du använder "Registration"-läget. Den 3D-tryckta markören möjliggör registrering av den 3D-tryckta biomodel med virtuella 3D-modeller. <a href="https://www.jove.com/files/ftp_upload/60618/60618fig07large.jpg" target="_blank">Vänligen klicka här för att se en större version av denna siffra.</a>

Watch this Scientific Journal Video about Combining Augmented Reality and 3D Printing to Display Patient Models on a Smartphone at JoVE.com

Combining Augmented Reality and 3D Printing to Display Patient Models on a Smartphone

Presenteras här är en metod för att utforma en förstärkt verklighet smartphone ansökan om visualisering av anatomiska tredimensionella modeller av patienter som använder en 3D-tryckt referens markör.

Kombinera förstärkt verklighet och 3D-utskrifter för att Visa patient modeller på en smartphone

Augmented reality (AR) has great potential in education, training, and surgical guidance in the medical field. Its combination with three-dimensional (3D) ...

Detta protokoll ger oerfarna användare verktygen för att få augmented reality-lösningar i det medicinska området genom att bygga sin egen smartphone-app. Denna metod kombinerar förstärkt verklighet och 3D-utskrift möjliggör en snabb och enkel visualisering av 3D-modeller som skapats från att basera data ovanpå en 3D-tryckt referensmarkör. Denna teknik kan tillämpas på alla medicinska scenario där en 3D-tryckt referens kan vara stelt fäst vid patienten.Visualiseringen av visuella 3D-modeller som skapats från att basera datalokalisering som är riktad och kan också förbättra patienten Detta protokoll har utformats särskilt för användare utan förkunskaper i medicinsk bildbehandling eller programvaruutveckling till stöd i användningen av förstärkt verklighet inom det medicinska området. För att skapa 3D-modeller av en patients anatomi, först spåra den medicinska bilden filen i 3D-slicer mjukvarufönstret och klicka på OK. För att segmentera patientens anatomi går du till segmentredigerarmodulen i 3D-skivare. En segmenteringsartikel kommer att skapas automatiskt vid in i modulen.Välj önskad volym i huvudvolymavsnittet och högerklicka under bilden för att välja lägg till för att skapa ett segment. I effektpanelen väljer du det mest praktiska verktyget för målet och segmenterar den medicinska bilden av patienten. Om du vill exportera segmenteringen i ett 3D-modellfilformat öppnar du modulen segmentations.I export/import-modeller och etikettkartor väljer du export och modeller och klickar på export för att skapa 3D-modellen från det segmenterade området. Klicka på Spara och markera de element som ska sparas. Ändra sedan filformatet för 3D-modellen till OBJ.Segmenteringen kan upprepas för att skapa ytterligare 3D-modeller av olika anatomiska regioner. För positionering av en 3D-patientmodell vid vilken position som helst med avseende på augmented reality-markören, öppna AR Health-modellpositionsmodulen och välj visualiseringsläge. Klicka på load marker model för att läsa in markören för det här alternativet, knappen ellips för att välja banan för den sparade 3D-modellen och ladda modell för att läsa in modellen i 3D-utsnitt.Klicka på Finish och centrera för att centrera alla modeller inom markören. Använd glidlisterna för att justera 3D-modellernas position, orientering och skalning med avseende på markören enligt önskemål. Välj sedan sökvägen för att lagra filerna och klicka på spara modeller för att spara modellerna på denna position.För att kombinera augmented reality-markören med en 3D-biomodell vid varje önskad position, öppna AR Health-modellpositionsmodulen och i initieringsavsnittet väljer du registreringsläget. Klicka på ladda markör modell för att läsa in markören för det här alternativet och flytta 3D-modellerna tills de skär med den stödjande strukturen för kuben markör, ändra höjden på markören bas vid behov. Om du vill spara modellen på den här positionen väljer du sökvägen för att lagra filerna och klickar på spara modeller.Om anatomimodellen är för stor, ladda biomodeln och bärande strukturen för kubmarkörmodellen i nätblandarens programvara. Markera båda modellerna i objektwebbläsarefönstret för att kombinera modellerna och använda det vanliga snittverktyget från redigeringsmenyn för att ta bort oönskade avsnitt av modellen som inte kommer att 3D-skrivas ut. Om du vill spara den modell som ska skrivas ut 3D väljer du fil och exporterar och väljer önskat format.För att 3D-utskrift de fysiska modeller som krävs för den slutliga augmented reality ansökan, i 3D-utskriftsprogram, välj en vit färgad material för TwoColorCuebMarker_white. obj fil och en svart färgad material för TwoColorCubeMarker_white. obj fil.Använd sedan en dubbel extruder 3D-skrivare till 3D skriva ut kubik markören i svartvitt i hög kvalitet läge med ett litet lager höjd. För att designa en smartphone-app i Unity Engine som innehåller 3D-modellerna, öppna Vuforia Developer och skapa ett konto. Välj hämta utvecklingsnyckel för att erhålla en fri utveckling licensnyckel och i licenshanteraren menyn välja och kopiera nyckeln.För att ställa in smartphone, i Unity version 2019 ansökan, under bygga inställningar i filen menyn välja lämplig plattform för enheten. Om du vill aktivera Vuforia i projektet väljer du redigera, projektinställning, spelarinställningar och XR-inställningar och markerar rutan med etiketten Vuforia Augmented Reality Support. För att skapa en kamera för förstärkt verklighet väljer du menyrad, spelobjekt, Vuforia Engine och AR-kamera och importerar Vuforia-komponenterna när du uppmanas att göra det.Om du vill lägga till Vuforia-licensnyckeln i Konfigurationsinställningarna för Vuforia väljer du mappen för resurser, klickar på Vuforia-konfiguration och klistrar in licensnyckeln i avsnittet för applicensnyckel. Importera Vuforia målfilen som innehåller de filer som Vuforia kräver för att upptäcka markörerna i Unity och välj menyrad, spelobjekt, Vuforia Engine, och multi bild för att skapa en Vuforia multi mål. Klicka på multimålet för att välja den markörtyp som ska användas för identifiering och i databasalternativet under multimålsbeteende väljer du ARHealth_3dPrintedCube_30x30x30.I alternativet multi mål under multi mål beteende, välj antingen TwoColorCubeMarker eller StickerCubeMarker beroende på markören. Dra 3D-modellerna till mappen modeller och dra mappen under objektet med flera mål. Modellerna ska bli synliga i Unity 3D-vyscenen.Om du vill ändra färgerna på 3D-modellerna skapar du nya material och tilldelar modellerna de nya materialen. Om det finns en webbkamera klickar du på play för att testa programmet på datorn. Om markören är synlig för webbkameran ska den upptäckas och 3D-modellerna ska visas i scenen.Om en Android-smartphone kommer att användas för apputvecklingen väljer du bygginställningar i Unity och väljer den anslutna telefonen från listan. Spara sedan filen med en apk-förlängning och låt processen avslutas. Om appen kommer att distribueras på en iOS-enhet väljer du fil i build-inställningar och sparar filen.För att visualisera appen öppnar du appen på smarttelefonen och använder smartphone-kameran för att titta på markören inifrån appen på ett avstånd på minst 40 centimeter. När appen upptäcker markören ska de tidigare skapade 3D-modellerna visas på smartphone-skärmen på den exakta plats som definierats under proceduren. Med hjälp av metoden som visat, denna del av den drabbade skenbenet och vadbenet från en patient som lider av distala ben sarkom och tumör var segmenterade från patientens CT-skanning.Med hjälp av segmenteringsverktygen skapades en biomodell för benet och en biomodell skapades för tumören. För visualiseringsläge var modellerna centrerade i markörens övre fas. För registreringsläge placerades marköradaptern i skenbenet och en liten sektion av skenbenet valdes ut för att vara 3D-tryckt med en 3D-marköradapter.Polylactic syra kan användas för att skapa de 3D tryckta markörer, markör hållare baser och ben sektioner som visas. Här en markör är fäst vid en visualisering läge 3D tryckt bas och här bifogad fil visas med registreringen läge 3D tryckt biomodell. Den här representationen visar hur appen fungerar i visualiseringsläge med hologrammet exakt placerat i den övre delen av kuben som tidigare definierats.I registreringsläge kan den kompletta benmodellen placeras ovanpå det 3D-tryckta avsnittet med en tydlig och realistisk visualisering av markören på benplatsen. För att använda förstärkt verklighet för att visualisera viktig patientinformation behöver du flera programvaruverktyg som är fritt tillgängliga samt tillgång till en 3D-skrivare och smartphone. Detta förfarande kan tillämpas på någon modell som erhållits från medicinsk bildbehandling.Dess användning kan utvidgas till andra insatser såsom strålbehandling positionering av nål insättningspunkten. Vi utökar nu tillämpningarna av denna utveckling till nya kliniska områden inklusive myofascial eller ortopedisk kirurgi. Vår inledande forskning är lovande och kirurgen feedback är mycket positiv.

Research

JoVE Journal

Medicine

Step By Step: Microsurgical training method combining two nonliving animal models

Steg för steg: Mikroträningsmetod som kombinerar två icke-levande djurmodeller

The learning of microsurgical techniques and the maintenance of microsurgical skills have been traditionally based on the use of living animals, mainly ...

Smartphone Fundus Photography

Smartphone fundus photography is a simple technique to obtain ocular fundus pictures using a smartphone camera and a conventional handheld indirect ...

Integrating Augmented Reality Tools in Breast Cancer Related Lymphedema Prognostication and Diagnosis

Integrera Augmented Reality Tools in Breast Cancer Related Lymfödem Prognostication and Diagnosis

Breast cancer related lymphedema (BCRL) is a detrimental condition characterized by fluid accumulation in the upper limb in breast cancer patients ...

Multicolor 3D Printing of Complex Intracranial Tumors in Neurosurgery

Multicolor 3D utskrift av komplexa intrakraniella tumörer i neurokirurgi

Three-dimensional (3D) printing technologies offer the possibility of visualizing patient-specific pathologies in a physical model of correct dimensions. ...

3D Planning and Printing of Patient Specific Implants for Reconstruction of Bony Defects

3D Planering och utskrift av patientspecifika implantat för rekonstruktion av beniga defekter

We are in the midst of the 3D era in most aspects of life, and especially in medicine. The surgical discipline is one of the major players in the medical ...

Treatment of Facial Deformities using 3D Planning and Printing of Patient-Specific Implants

Behandling av ansiktsmissbildningar med hjälp av 3D-planering och tryckning av patientspecifika implantat

Technological advancements in surgical planning and patient-specific implants are constantly evolving. One can either adopt the technology to achieve ...

Combining 3D-Printing and Electrospinning to Manufacture Biomimetic Heart Valve Leaflets

Kombinera 3D-utskrift och elektrospinning för att tillverka biomimetiska hjärtklaffbroschyrer

Electrospinning has become a widely used technique in cardiovascular tissue engineering as it offers the possibility to create (micro-)fibrous scaffolds ...

Augmented Reality Navigation-Guided Core Decompression for Osteonecrosis of Femoral Head

Augmented Reality Navigation-guidad kärndekompression för osteonekros av lårbenshuvudet

Osteonecrosis of the femoral head (ONFH) is a common joint disease in young and middle-aged patients, which seriously burdens their lives and work. For ...

3D Printing Model of a Patient's Specific Lumbar Vertebra

3D-utskriftsmodell av en patients specifika ländkota

Selective dorsal rhizotomy (SDR) is a difficult, risky, and sophisticated operation, in which a laminectomy should not only expose an adequate surgical ...

Plasma Polishing as a New Polishing Option to Reduce the Surface Roughness of Porous Titanium Alloy for 3D Printing

Plasmapolering som ett nytt poleringsalternativ för att minska ytjämnheten hos porös titanlegering för 3D-utskrift

Porous titanium alloy implants with simulated trabecular bone fabricated by 3D printing technology have broad prospects. However, due to the fact that ...