Name: combining augmented reality and 3d printing to display patient models on a smartphone
Uploaded: 2020-01-02T13:00:00
Duration: 9 min 26 s
Description: Watch this Scientific Journal Video about Combining Augmented Reality and 3D Printing to Display Patient Models on a Smartphone at JoVE.com

Denne rapporten ble støttet av prosjekter PI18/01625 og PI15/02121 (Ministerio de Ciencia, Differensialaksen y universidades, Instituto de salud Carlos III og European Regional Development Fund "UNA manera de hacer Europa") og IND2018/TIC-9753 (Comunidad de Madrid).

<ol>
	<li>Coles, T. R., John, N. W., Gould, D., Caldwell, D. G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Integrating+Haptics+with+Augmented+Reality+in+a+Femoral+Palpation+and+Needle+Insertion+Training+Simulation.">Integrating Haptics with Augmented Reality in a Femoral Palpation and Needle Insertion Training Simulation.</a> IEEE Transactions on Haptics. 4 (3), 199-209 (2011).</li><li>Pelargos, P. E., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Utilizing+virtual+and+augmented+reality+for+educational+and+clinical+enhancements+in+neurosurgery.">Utilizing virtual and augmented reality for educational and clinical enhancements in neurosurgery.</a> Journal of Clinical Neuroscience. 35, 1-4 (2017).</li><li>Abhari, K., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Training+for+Planning+Tumour+Resection:+Augmented+Reality+and+Human+Factors.">Training for Planning Tumour Resection: Augmented Reality and Human Factors.</a> IEEE Transactions on Biomedical Engineering. 62 (6), 1466-1477 (2015).</li><li>Uppot, R., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Implementing+Virtual+and+Augmented+Reality+Tools+for+Radiology+Education+and+Training,+Communication,+and+Clinical+Care.">Implementing Virtual and Augmented Reality Tools for Radiology Education and Training, Communication, and Clinical Care.</a> Radiology. 291, 182210 (2019).</li><li>Pratt, P., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Through+the+HoloLensTM+looking+glass:+augmented+reality+for+extremity+reconstruction+surgery+using+3D+vascular+models+with+perforating+vessels.">Through the HoloLensTM looking glass: augmented reality for extremity reconstruction surgery using 3D vascular models with perforating vessels.</a> European Radiology Experimental. 2 (1), 2 (2018).</li><li>Rose, A. S., Kim, H., Fuchs, H., Frahm, J. -. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Development+of+augmented-reality+applications+in+otolaryngology-head+and+neck+surgery.">Development of augmented-reality applications in otolaryngology-head and neck surgery.</a> The Laryngoscope. , (2019).</li><li>Zhou, C., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Robot-Assisted+Surgery+for+Mandibular+Angle+Split+Osteotomy+Using+Augmented+Reality:+Preliminary+Results+on+Clinical+Animal+Experiment.">Robot-Assisted Surgery for Mandibular Angle Split Osteotomy Using Augmented Reality: Preliminary Results on Clinical Animal Experiment.</a> Aesthetic Plastic Surgery. 41 (5), 1228-1236 (2017).</li><li>Heinrich, F., Joeres, F., Lawonn, K., Hansen, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Comparison+of+Projective+Augmented+Reality+Concepts+to+Support+Medical+Needle+Insertion.">Comparison of Projective Augmented Reality Concepts to Support Medical Needle Insertion.</a> IEEE Transactions on Visualization and Computer Graphics. 25 (6), 1 (2019).</li><li>Deng, W., Li, F., Wang, M., Song, Z. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Easy-to-Use+Augmented+Reality+Neuronavigation+Using+a+Wireless+Tablet+PC.">Easy-to-Use Augmented Reality Neuronavigation Using a Wireless Tablet PC.</a> Stereotactic and Functional Neurosurgery. 92 (1), 17-24 (2014).</li><li>Fan, Z., Weng, Y., Chen, G., Liao, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=3D+interactive+surgical+visualization+system+using+mobile+spatial+information+acquisition+and+autostereoscopic+display.">3D interactive surgical visualization system using mobile spatial information acquisition and autostereoscopic display.</a> Journal of Biomedical Informatics. 71, 154-164 (2017).</li><li>Arnal-Burr&#243;, J., P&#233;rez-Ma&#241;anes, R., Gallo-del-Valle, E., Igualada-Blazquez, C., Cuervas-Mons, M., Vaquero-Mart&#237;n, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Three+dimensional-printed+patient-specific+cutting+guides+for+femoral+varization+osteotomy:+Do+it+yourself.">Three dimensional-printed patient-specific cutting guides for femoral varization osteotomy: Do it yourself.</a> The Knee. 24 (6), 1359-1368 (2017).</li><li>Vaquero, J., Arnal, J., Perez-Ma&#241;anes, R., Calvo-Haro, J., Chana, F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=3D+patient-specific+surgical+printing+cutting+blocks+guides+and+spacers+for+open-+wedge+high+tibial+osteotomy+(HTO)+-+do+it+yourself.">3D patient-specific surgical printing cutting blocks guides and spacers for open- wedge high tibial osteotomy (HTO) - do it yourself.</a> Revue de Chirurgie Orthop&#233;dique et Traumatologique. 102, 131 (2016).</li><li>De La Pe&#241;a, A., De La Pe&#241;a-Brambila, J., P&#233;rez-De La Torre, J., Ochoa, M., Gallardo, G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Low-cost+customized+cranioplasty+using+a+3D+digital+printing+model:+a+case+report.">Low-cost customized cranioplasty using a 3D digital printing model: a case report.</a> 3D Printing in Medicine. 4 (1), 1-9 (2018).</li><li>Kamio, T., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Utilizing+a+low-cost+desktop+3D+printer+to+develop+a+"one-stop+3D+printing+lab"+for+oral+and+maxillofacial+surgery+and+dentistry+fields.">Utilizing a low-cost desktop 3D printer to develop a "one-stop 3D printing lab" for oral and maxillofacial surgery and dentistry fields.</a> 3D Printing in Medicine. 4 (1), 1-7 (2018).</li><li>Punyaratabandhu, T., Liacouras, P., Pairojboriboon, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Using+3D+models+in+orthopedic+oncology:+presenting+personalized+advantages+in+surgical+planning+and+intraoperative+outcomes.">Using 3D models in orthopedic oncology: presenting personalized advantages in surgical planning and intraoperative outcomes.</a> 3D Printing in Medicine. 4 (1), 1-13 (2018).</li><li>Wake, N., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Patient-specific+3D+printed+and+augmented+reality+kidney+and+prostate+cancer+models:+impact+on+patient+education.">Patient-specific 3D printed and augmented reality kidney and prostate cancer models: impact on patient education.</a> 3D Printing in Medicine. 5 (1), 1-8 (2019).</li><li>Barber, S. R., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Augmented+Reality,+Surgical+Navigation,+and+3D+Printing+for+Transcanal+Endoscopic+Approach+to+the+Petrous+Apex.">Augmented Reality, Surgical Navigation, and 3D Printing for Transcanal Endoscopic Approach to the Petrous Apex.</a> OTO Open: The Official Open Access Journal of the American Academy of Otolaryngology-Head and Neck Surgery Foundation. 2 (4), (2018).</li><li>Witowski, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Augmented+reality+and+three-dimensional+printing+in+percutaneous+interventions+on+pulmonary+arteries.">Augmented reality and three-dimensional printing in percutaneous interventions on pulmonary arteries.</a> Quantitative Imaging in Medicine and Surgery. 9 (1), (2019).</li><li>Moreta-Mart&#237;nez, R., Garc&#237;a-Mato, D., Garc&#237;a-Sevilla, M., P&#233;rez-Ma&#241;anes, R., Calvo-Haro, J., Pascau, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Augmented+reality+in+computer-assisted+interventions+based+on+patient-specific+3D+printed+reference.">Augmented reality in computer-assisted interventions based on patient-specific 3D printed reference.</a> Healthcare Technology Letters. , (2018).</li></ol>

Forfatterne har ingenting å avsløre.

AR har et stort potensiale for utdanning, opplæring og kirurgisk veiledning i det medisinske feltet. Kombinasjonen med 3D-utskrift åpner kan åpne nye muligheter i kliniske applikasjoner. Denne protokollen beskriver en metodikk som gjør det mulig for uerfarne brukere å lage en smarttelefon app som kombinerer AR og 3DP for visualisering av anatomiske 3D-modeller av pasienter med 3D-trykt referanse markører.
Generelt, en av de mest interessante kliniske anvendelser av AR og 3DP er å forbedre pasient-til-lege kommunikasjon ved å gi pasienten et annet perspektiv på saken, bedre forklaringer av spesifikke medisinske tilstander eller behandlinger. Et annet mulig program inkluderer kirurgisk veiledning for lokalisering av mål, der 3D-trykte pasientspesifikke verktøy (med en referanse AR-markør vedlagt) kan plasseres på stive konstruksjoner (dvs. bein) og brukes som referanse for navigering. Dette programmet er spesielt nyttig for ortopediske og Maxillofacial kirurgiske prosedyrer, der bein vev overflaten er lett tilgjengelig under operasjonen.
Protokollen starter med del 1, som beskriver arbeidsstasjons oppsettet og programvare verktøyene som er nødvendige. § 2 beskriver hvordan du bruker 3D slicer programvare for enkelt å segmentere målet anatomi av pasienten fra enhver medisinsk imaging modalitet å få 3D-modeller. Dette trinnet er avgjørende, som den virtuelle 3D-modeller som er opprettet er de som vises i den endelige AR programmet.
I del 3 brukes 3D-slicer til å registrere 3D-modellene som ble opprettet i forrige avsnitt med et AR-merke. I løpet av denne registreringsprosedyren er pasientens 3D-modeller effektivt og bare plassert med hensyn til AR-markøren. Plasseringen som er definert i denne delen, bestemmer den relative plasseringen av hologram i den endelige appen. Det antas at denne løsningen reduserer kompleksiteten og multipliserer de mulige programmene. Del 3 beskriver to ulike alternativer for å definere romlige relasjoner mellom modellene og AR markører: "visualisering" og "registrering" modus. Det første alternativet, "visualisering" modus, gjør at 3D-modeller for å bli plassert hvor som helst med hensyn til markøren og vises som hele biomodel. Denne modusen gir et realistisk 3D-perspektiv på pasientens anatomi og tillater flytting og rotering av biomodels ved å flytte det sporede AR-merket. Det andre alternativet, "registrering"-modus, gjør det mulig å feste og kombinere en markør adapter til en hvilken som helst del av biomodel, som tilbyr en automatisk registreringsprosess. Med dette alternativet kan en liten del av 3D-modellen, inkludert markør adapteren, være 3D-trykt, og appen kan vise resten av modellen som et hologram.
Del 4 inneholder retningslinjer for prosessen for 3D-utskrift. Først, kan brukeren velge mellom to forskjellige markører: den "dual Color markør" og "klistremerke markør". Hele "dual Color markør" kan være 3D-trykt, men krever en dual Ekstruder 3D-skriver. Hvis denne skriveren ikke er tilgjengelig, foreslås "klistremerke". Dette er en enklere markør som kan fås ved 3D-utskrift av kubisk struktur, og deretter lime inn bilder av kuben med klistremerke papir eller klistremerke lim. Videre ble begge markører utformet med utvidbare seksjoner for å passe perfekt i en bestemt adapter. Dermed kan markøren gjenbrukes i flere tilfeller.
Del 5 beskriver prosessen med å opprette et Unity-prosjekt for AR ved hjelp av Vuforia programvareutviklingssett. Dette trinnet kan være den vanskeligste delen for brukere uten erfaring med programmering, men med disse retningslinjene, bør det være lettere å få det endelige programmet som er presentert i § 6. Appen viser pasientens virtuelle modeller over smarttelefonskjermen når kameraet gjenkjenner den 3D-trykte markøren. For at appen skal kunne gjenkjenne 3D-markøren, er det nødvendig med en minimumsavstand på ca. 40 cm eller mindre fra telefonen til markøren samt gode lysforhold.
Den endelige anvendelsen av denne protokollen gjør det mulig for brukeren å velge den spesifikke biomodels å visualisere og i hvilke posisjoner. Vedkommende kan appen utføre automatisk registrering av pasient hologram ved å bruke en 3D-trykt markør og adapter festet til biomodel. Dette løser utfordringen med å registrere virtuelle modeller med miljøet på en direkte og praktisk måte. Videre er denne metodikken ikke krever bred kunnskap om medisinsk bildebehandling eller programvareutvikling, er ikke avhengig av komplekse maskinvare og kostbar programvare, og kan implementeres over en kort tidsperiode. Det er forventet at denne metoden vil bidra til å akselerere innføringen av AR og 3DP teknologier av medisinske fagfolk.

AR og 3DP er teknologier som gir økende antall søknader i det medisinske feltet. I tilfelle av AR, sitt samspill med virtuelle 3D-modeller og det virkelige miljøet fordeler leger i forhold til utdanning og opplæring1,2,3, kommunikasjon og interaksjoner med andre leger4, og veiledning i kliniske intervensjoner5,6,7,8,9,10. Likeledes har 3DP blitt en kraftig løsning for leger når utvikle pasient-spesifikke passelig verktøy11,12,13 eller lage 3D-modeller av en pasients anatomi, som kan bidra til å forbedre preoperativ planlegging og kliniskeintervensjoner 14,15.
Både AR-og 3DP-teknologier bidrar til å forbedre orientering, veiledning og romlige ferdigheter i medisinske prosedyrer; Dermed er deres kombinasjon det neste logiske skritt. Tidligere arbeid har vist at deres felles bruk kan øke verdien i pasientens utdanning16, tilrettelegge forklaringer av medisinske tilstander og foreslått behandling, optimalisere kirurgisk arbeidsflyt17,18 og forbedre pasient-til-modell registrering19. Selv om disse teknologiene har vokst eksponentielt de siste årene, er deres adopsjon av leger fortsatt begrenset, siden de krever omfattende kunnskap om prosjektering og programvareutvikling. Hensikten med dette arbeidet er derfor å beskrive en trinnvis metode som gjør det mulig å bruke AR og 3DP av uerfarne brukere uten behov for bred teknisk kunnskap.
Denne protokollen beskriver hvordan du utvikler en AR Smartphone app som gjør at superimposing av enhver pasient-basert 3D-modell på et reelt miljø ved hjelp av en 3D-trykt markør spores av smarttelefonen kameraet. I tillegg er en alternativ tilnærming beskrevet for å gi automatisk registrering mellom en 3D-trykt biomodel (dvs. en 3D-modell opprettet fra pasientens anatomi) og den projiserte hologrammer. Protokollen beskrevet er helt og holdent basert på ledig og mange--plattform programvare.
I tidligere arbeid har AR pasient-til-bilde-registrering blitt beregnet manuelt5 med algoritmer for overflate gjenkjenning10 eller har vært utilgjengelig2. Disse metodene har blitt betraktet som noe begrenset når en nøyaktig registrering kreves19. For å overkomme disse begrensningene gir dette arbeidet verktøy for å utføre nøyaktig og enkel registrering av pasient til bilde i AR-prosedyrer ved å kombinere AR-teknologi og 3DP.
Protokollen er generisk og kan brukes på alle medisinske Imaging modalitet eller pasient. Som et eksempel, en ekte klinisk tilfelle av en pasient som lider av sarkom Ben er gitt for å illustrere metodikken. Det første trinnet beskriver hvordan du enkelt kan segmentere den berørte anatomien fra beregnede tomografi (CT) medisinske bilder til å generere virtuelle 3D-modeller. Etterpå, posisjonering av 3D-modeller er utført, så de nødvendige verktøy og modeller er 3D-trykt. Til slutt distribueres den ønskede AR-appen. Dette programmet gjør det mulig for visualisering av pasienten 3D-modeller kledde på en smarttelefonkamera i sanntid.

<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td>3D Printing material: Acrylonitrile Butadiene Styrene (ABS)</td>
			<td></td>
			<td></td>
			<td>Thermoplastic polymer material usually used in domestic 3D printers.</td>
		</tr>
		<tr>
			<td>3D Printing material: Polylactic Acid (PLA)</td>
			<td></td>
			<td></td>
			<td>Bioplastic material usually used in domestic 3D printers.</td>
		</tr>
		<tr>
			<td>3D Slicer</td>
			<td></td>
			<td></td>
			<td>Open-source software platform for medical image informatics, image processing, and three-dimensional visualization</td>
		</tr>
		<tr>
			<td>Android</td>
			<td>Alphabet, Inc.</td>
			<td></td>
			<td>Android is a mobile operating system developed by Google. It is based on a modified version of the Linux kernel and other open source software, and is designed primarily for touchscreen mobile devices such as smartphones and tablets.</td>
		</tr>
		<tr>
			<td>Autodesk Meshmixer</td>
			<td>Autodesk, Inc.</td>
			<td></td>
			<td>Meshmixer is state-of-the-art software for working with triangle meshes. Free software.</td>
		</tr>
		<tr>
			<td>iPhone OS</td>
			<td>Apple, Inc.</td>
			<td></td>
			<td>iPhone OS is a mobile operating system created and developed by Apple Inc. exclusively for its hardware.</td>
		</tr>
		<tr>
			<td>Ultimaker 3 Extended</td>
			<td>Ultimaker BV</td>
			<td></td>
			<td>Fused deposition modeling 3D printer.</td>
		</tr>
		<tr>
			<td>Unity</td>
			<td>Unity Technologies</td>
			<td></td>
			<td>Unity is a real-time development platform to create 3D, 2D VR &#38; AR visualizations for Games, Auto, Transportation, Film, Animation, Architecture, Engineering &#38; more. Free software.</td>
		</tr>
		<tr>
			<td>Xcode</td>
			<td>Apple, Inc.</td>
			<td></td>
			<td>Xcode is a complete developer toolset for creating apps for Mac, iPhone, iPad, Apple Watch, and Apple TV. Free software.</td>
		</tr>
	</tbody>
</table>

combining augmented reality and 3d printing to display patient models on a smartphone

Augmented Reality (AR) har stort potensial i utdanning, opplæring og kirurgisk veiledning i det medisinske feltet. Kombinasjonen med tredimensjonal (3D) utskrift (3DP) åpner nye muligheter i kliniske applikasjoner. Selv om disse teknologiene har vokst eksponentielt de siste årene, er deres adopsjon av leger fortsatt begrenset, siden de krever omfattende kunnskap om prosjektering og programvareutvikling. Hensikten med denne protokollen er derfor å beskrive en trinnvis metodikk som gjør det mulig for uerfarne brukere å lage en smarttelefon-app, som kombinerer AR og 3DP for visualisering av anatomiske 3D-modeller av pasienter med en 3D-trykt referanse markør. Protokollen beskriver hvordan du oppretter 3D virtuelle modeller av pasientens anatomi avledet fra 3D medisinske bilder. Det forklarer deretter hvordan du utfører posisjonering av 3D-modeller med hensyn til markør referanser. Også gitt er instruksjoner for hvordan du 3D skrive ut de nødvendige verktøy og modeller. Til slutt, fremgangsmåten for å distribuere programmet er gitt. Protokollen er basert på gratis og multi-plattform programvare og kan brukes til alle medisinske Imaging modalitet eller pasient. En alternativ tilnærming er beskrevet for å gi automatisk registrering mellom en 3D-trykt modell opprettet fra pasientens anatomi og den projiserte hologrammer. Som et eksempel, er et klinisk tilfelle av en pasient som lider av sarkom Ben er gitt for å illustrere metodikken. Det er forventet at denne protokollen vil akselerere innføringen av AR og 3DP teknologier av medisinske fagfolk.

Protokollen ble brukt på data fra en pasient som lider av sarkom Ben, for å visualisere den berørte anatomiske regionen fra et 3D-perspektiv. Ved hjelp av metoden beskrevet i del 2, den delen av de berørte bein (her, Tibia og fibula) og tumor var segmentert fra pasientens CT scan. Deretter bruker segmentering verktøy fra 3D slicer, to biomodels ble opprettet: benet (del av Tibia og fibula) (figur 1A) og tumor (figur 1B).
Deretter ble de to 3D-modellene plassert praktisk talt med hensyn til markør for optimal visualisering. Begge moduser beskrevet i avsnitt 3 ble fulgt for dette eksempelet. For visualiserings modus var modellene sentrert i den øvre delen av markøren (figur 2). For registreringsmodus ble markør adapteren plassert i benet (spesielt Tibia [Figur 3]). Deretter ble en liten del av Tibia valgt til å bli 3D-trykt med en 3D markør adapter (Figur 4). En Ultimaker 3 utvidet 3D-skriver med PLA materiale ble brukt til å lage 3D-trykte markører(figur 5A, B), markør holderen Base (figur 5C) for "visualisering"-modus, og del av Tibia for "registrering" modus (figur 5D). Figur 5E viser hvordan markøren ble festet til "visualisering" modus 3D-trykt base. Figur 5F viser vedlegget med "Registration"-modus 3D-trykt biomodel. Til slutt ble Unity brukt til å opprette appen og distribuere den på smarttelefonen.
Figur 6 viser hvordan appen jobbet for "visualisering" modus. Hologram var nøyaktig plassert i den øvre delen av kuben som tidligere definert. Figur 7 viser programmet for "registrering" modus, der app plassert hele bein modellen på toppen av 3D-trykt delen. Den endelige visualiseringen av hologrammer var klar og realistisk, opprettholdt den virkelige størrelsen på biomodels, og posisjonert nøyaktig. Når du bruker smarttelefon programmet, må AR-markøren være synlig av kameraet for at appen skal kunne vise hologrammer på riktig måte. I tillegg må lysforholdene i scenen være av god kvalitet og konstant for riktig markør deteksjon. Dårlige lysforhold eller refleksjoner på markøren overflaten hindrer sporing av AR markør og forårsake feil i programmet.
Tiden det tar å opprette appen, avhenger av flere faktorer. Varigheten av del 1 er begrenset av nedlastingshastigheten. Når det gjelder anatomi segmentering (del 2), faktorer som påvirker segmentering tid inkluderer kompleksiteten i regionen og medisinsk imaging modalitet (dvs. CT er lett segmentert, mens MRI er vanskeligere). For representative eksempel på Tibia, ca 10 min var nødvendig for å generere både 3D-modeller fra CT scan. Biomodel posisjonering (avsnitt 3) er enkel og grei. Her tok det ca 5 min å definere biomodel posisjon med hensyn til AR markør. For trinnet 3D-utskrift er varigheten svært avhengig av den valgte modusen. Den "dual Color markør" ble produsert ved høy kvalitet i en periode på 5 h og 20 min. Den "klistremerke markør" ble produsert i en periode på 1 t og 30 min, pluss den tiden som kreves for å lime inn klistremerkene. Det siste trinnet for utvikling av apper kan være tidkrevende for de som ikke har noen tidligere erfaring i Unity, men det kan enkelt gjennomføres etter protokoll trinnene. Når AR-markørene har blitt trykt i 3D, kan utviklingen av en helt ny AR-app utføres på mindre enn 1 time. Denne varigheten kan reduseres ytterligere med ekstra erfaring.
<img alt="Figure 1" class="xfigimg" src="/files/ftp_upload/60618/60618fig01.jpg"> Figur 1: representasjon av 3D-modeller som er opprettet fra et CT-bilde av en pasient som lider av den sarkom ben. (A) benvev representert i hvitt (Tibia og fibula). (B) tumor representert i rødt. <a href="https://www.jove.com/files/ftp_upload/60618/60618fig01large.jpg" target="_blank">Vennligst klikk her for å se en større versjon av dette tallet.</a>
<img alt="Figure 2" class="xfigimg" src="/files/ftp_upload/60618/60618fig02.jpg"> Figur 2: resultater som viser hvordan "visualisering" modus i 3D slicer posisjoner den virtuelle 3D-modeller av bein og tumor med hensyn til 3D-trykt markør referanse. Pasientens 3D-modeller (A) er plassert over den øvre delen av merke kuben (B). <a href="https://www.jove.com/files/ftp_upload/60618/60618fig02large.jpg" target="_blank">Vennligst klikk her for å se en større versjon av dette tallet.</a>
<img alt="Figure 3" class="xfigimg" src="/files/ftp_upload/60618/60618fig03.jpg"> Figur 3: resultater som viser hvordan "registrering"-modus i 3D-slicer plasserer de virtuelle 3D-modellene av benet og svulsten (A) med hensyn til 3D-trykt markør referanse (B). Markør adapteren er festet til Ben vevs modellen. <a href="https://www.jove.com/files/ftp_upload/60618/60618fig03large.jpg" target="_blank">Vennligst klikk her for å se en større versjon av dette tallet.</a>
<img alt="Figure 4" class="xfigimg" src="/files/ftp_upload/60618/60618fig04.jpg"> Figur 4: liten del av benvevet og 3D markør adapter. De to komponentene kombineres deretter 3D-trykt. <a href="https://www.jove.com/files/ftp_upload/60618/60618fig04large.jpg" target="_blank">Vennligst klikk her for å se en større versjon av dette tallet.</a>
<img alt="Figure 5" class="xfigimg" src="/files/ftp_upload/60618/60618fig05.jpg"> Figur 5:3D-trykte verktøy som kreves for det endelige programmet. (A) "to farge kube markør" 3D-trykt med to farger av materialer. (B) "klistremerke Cube markør" 3D-trykt, med klistremerker limt inn. (C) markør base Cube adapter. (D) delen av pasientens benvev 3D modell og markør Cube adapter. (E) "klistremerke Cube markør" plassert i markøren basen kuben adapter. (F) "to farge kube markør" plassert i markør adapter festet til pasientens anatomi. <a href="https://www.jove.com/files/ftp_upload/60618/60618fig05large.jpg" target="_blank">Vennligst klikk her for å se en større versjon av dette tallet.</a>
<img alt="Figure 6" class="xfigimg" src="/files/ftp_upload/60618/60618fig06.jpg"> Figur 6: App skjerm når du bruker "visualisering" modus. Pasientens berørte anatomi 3D-modeller er plassert over den øvre forsiden av den 3D-utskrevne kuben. <a href="https://www.jove.com/files/ftp_upload/60618/60618fig06large.jpg" target="_blank">Vennligst klikk her for å se en større versjon av dette tallet.</a>
<img alt="Figure 7" class="xfigimg" src="/files/ftp_upload/60618/60618fig07.jpg"> Figur 7: AR visualisering når du bruker "registrering" modus. Med 3D-trykt markør kan du registrere 3D-trykte biomodel med de virtuelle 3D-modellene. <a href="https://www.jove.com/files/ftp_upload/60618/60618fig07large.jpg" target="_blank">Vennligst klikk her for å se en større versjon av dette tallet.</a>

Watch this Scientific Journal Video about Combining Augmented Reality and 3D Printing to Display Patient Models on a Smartphone at JoVE.com

Combining Augmented Reality and 3D Printing to Display Patient Models on a Smartphone

Presentert her er en metode for å designe en utvidet virkelighet Smartphone program for visualisering av anatomiske tredimensjonale modeller av pasienter ved hjelp av en 3D-trykt referanse markør.

Kombinere utvidet virkelighet og 3D-utskrift for å vise pasient modeller på en smarttelefon

Augmented reality (AR) has great potential in education, training, and surgical guidance in the medical field. Its combination with three-dimensional (3D) ...

Denne protokollen gir uerfarne brukere verktøyene for å bringe løsninger for utvidet virkelighet inn i det medisinske feltet gjennom byggingen av sin egen smarttelefonapp. Denne metoden kombinerer utvidet virkelighet og 3D-utskrift, slik at en rask og enkel visualisering av 3D-modeller som er opprettet fra å basere data på toppen av en 3D-trykt referansemarkør. Denne teknikken kan brukes på ethvert medisinsk scenario der en 3D-trykt referanse kan festes stivt til pasienten.Visualisering av visuelle 3D-modeller laget av basere data lokalisering som er målrettet og kan også forbedre pasienten Denne protokollen er spesielt utviklet for brukere uten forkunnskaper om medisinsk bildebehandling eller programvareutvikling for å hjelpe til med bruk av utvidet virkelighet i det medisinske feltet. Hvis du vil opprette 3D-modeller av pasientens anatomi, må du først spore den medisinske bildefilen i 3D Slicer-programvarevinduet og klikke på OK. For å segmentere pasientens anatomi, gå til segmentredigeringsmodulen i 3D Slicer. Et segmenteringselement opprettes automatisk når du går inn i modulen.Velg ønsket volum i hovedvolumdelen, og høyreklikk under bildet for å velge legg til for å opprette et segment. I effektpanelet velger du det mest praktiske verktøyet for målet og segmenterer pasientens medisinske bilde. Hvis du vil eksportere segmenteringen i et filformat for 3D-modell, åpner du segmenteringsmodulen.I eksport-/importmodeller og etikettkart velger du eksport og modeller, og klikker eksporter for å opprette 3D-modellen fra segmentert område. Klikk lagre, og velg elementene som skal lagres. Deretter endrer du filformatet til 3D-modellen til OBJ.Segmenteringen kan gjentas for å skape flere 3D-modeller av forskjellige anatomiske regioner. For posisjonering av en 3D-pasientmodell i enhver posisjon med hensyn til markør for utvidet virkelighet, åpne AR Health-modellposisjonsmodulen og velg visualiseringsmodus. Klikk lastmarkørmodell for å laste inn markøren for dette alternativet, ellipseknappen for å velge banen til den lagrede 3D-modellen, og laste inn modellen for å laste inn modellen i 3D Slicer.Klikk fullfør og midtstilt for å midtstille alle modellene i markøren. Bruk lysbildestolper til å justere posisjonen, retningen og skaleringen av 3D-modellene med hensyn til markøren etter ønske. Velg deretter banen for å lagre filene og klikk lagre modeller for å lagre modellene på denne posisjonen.Hvis du vil kombinere den utvidede virkelighetsmarkøren med en 3D-biomodell i ønsket posisjon, åpner du AR Health-modellposisjonsmodulen og velger registreringsmodus i initialiseringsdelen. Klikk lastmarkørmodell for å laste markøren for dette alternativet og flytte 3D-modellene til de krysser med støttestrukturen til kubemarkøren, og endrer høyden på markørbasen etter behov. Hvis du vil lagre modellen på denne posisjonen, velger du banen for å lagre filene og klikker lagre modeller.Hvis anatomimodellen er for stor, laster du biomodellen og støttestrukturen til kubemarkørmodellen i mesh-mikserprogramvaren. Velg begge modellene i objektnettleservinduet for å kombinere modellene og bruke det vanlige snittverktøyet fra redigeringsmenyen til å fjerne uønskede deler av modellen som ikke skal skrives ut 3D. Hvis du vil lagre modellen som skal skrives ut 3D, velger du fil og eksporterer og velger ønsket format.Hvis du vil skrive ut de fysiske modellene som kreves for det endelige programmet for utvidet virkelighet, velger du et hvitt farget materiale for TwoColorCuebMarker_white i 3D-utskriftsprogramvaren. obj fil og en svart farget materiale for TwoColorCubeMarker_white. obj-filen.Bruk deretter en dobbel ekstruder 3D-skriver til å skrive ut kubikkmarkøren i svart-hvitt i høy kvalitetsmodus med en liten laghøyde. Hvis du vil utforme en smarttelefonapp i Unity Engine som inkluderer 3D-modellene, åpner du Vuforia Developer og oppretter en konto. Velg få utviklingsnøkkel for å få en gratis utviklingslisensnøkkel, og velg og kopier nøkkelen i lisensbehandlermenyen.Hvis du vil konfigurere smarttelefonen, velger du riktig plattform for enheten under byggeinnstillinger under byggeinnstillinger i filmenyen i Unity-programmet. Hvis du vil aktivere Vuforia i prosjektet, velger du rediger, prosjektinnstilling, spillerinnstillinger og XR-innstillinger og merker av i boksen merket Vuforia Augmented Reality Support. Hvis du vil opprette et kamera med utvidet virkelighet, velger du menylinjen, spillobjektet, Vuforia Engine- og AR-kameraet og importerer Vuforia-komponentene når du blir bedt om det.Hvis du vil legge til Vuforia-lisensnøkkelen i Konfigurasjonsinnstillinger for Vuforia, velger du ressursmappen, klikker Vuforia-konfigurasjon og limer inn lisensnøkkelen i delen applisensnøkkel. Importer Vuforia-målfilen som inneholder filene som Vuforia krever for å oppdage markørene til Unity og velg menylinje, spillobjekt, Vuforia Engine og multibilde for å opprette et Vuforia multimål. Klikk på multimålet for å velge markørtypen som skal brukes til gjenkjenning, og velg i databasealternativet under virkemåte med flere mål ARHealth_3dPrintedCube_30x30x30.I alternativet for flere mål under virkemåte med flere mål velger du enten TwoColorCubeMarker eller StickerCubeMarker, avhengig av markøren. Dra 3D-modellene inn i modellmappen, og dra mappen under elementet med flere mål. Modellene skal bli synlige i Unity 3D-visningsscenen.Hvis du vil endre fargene på 3D-modellene, oppretter du nye materialer og tilordner de nye materialene til modellene. Hvis et webkamera er tilgjengelig, klikker du spill av for å teste programmet på datamaskinen. Hvis markøren er synlig for webkameraet, bør den oppdages og 3D-modellene skal vises i scenen.Hvis en Android-smarttelefon skal brukes til apputviklingen, velger du byggeinnstillinger i Unity og velger den tilkoblede telefonen fra listen. Lagre deretter filen med en apk-utvidelse og la prosessen fullføres. Hvis appen skal distribueres på en iOS-enhet, velger du fil i byggeinnstillinger og lagrer filen.Hvis du vil visualisere appen, åpner du appen på smarttelefonen og bruker smarttelefonkameraet til å se på markøren fra appen med en minimumsavstand på 40 centimeter. Når appen oppdager markøren, skal de tidligere opprettede 3D-modellene vises på smarttelefonskjermen på det nøyaktige stedet som er definert under prosedyren. Ved hjelp av metoden som demonstrert, ble denne delen av den berørte tibia og fibula fra en pasient som lider av distal bensarkom og svulst segmentert fra pasientens CT-skanning.Ved hjelp av segmenteringsverktøyene ble en biomodell opprettet for beinet og en biomodell ble opprettet for svulsten. For visualiseringsmodus var modellene sentrert i den øvre fasen av markøren. For registreringsmodus ble markøradapteren plassert i tibia og en liten del av tibia ble valgt til å være 3D trykt med en 3D-markøradapter.Polylaktisk syre kan brukes til å lage 3D-trykte markører, markørholderbaser og beinseksjoner som vist. Her er en markør festet til en visualiseringsmodus 3D-trykt base, og her vises vedlegget med registreringsmodus 3D-trykt biomodell. Denne representasjonen viser hvordan appen fungerer i visualiseringsmodus med hologramet nøyaktig plassert i den øvre delen av kuben som tidligere definert.I registreringsmodus kan den komplette beinmodellen plasseres på toppen av 3D-trykt seksjon med en klar og realistisk visualisering av markøren på beinstedet. Hvis du vil bruke utvidet virkelighet til å visualisere viktig pasientinformasjon, trenger du flere programvareverktøy som er fritt tilgjengelige, samt tilgang til en 3D-skriver og smarttelefon. Denne prosedyren kan brukes på en hvilken som helst modell hentet fra medisinsk bildebehandling.Bruken kan utvides til andre inngrep som strålebehandling posisjonering av nål innsetting. Vi utvider nå anvendelsene av denne utviklingen til nye kliniske områder, inkludert myofascial eller ortopedisk kirurgi. Vår første forskning er lovende og kirurgen tilbakemeldinger er svært positive.

Research

JoVE Journal

Medicine

Step By Step: Microsurgical training method combining two nonliving animal models

Step By Step: Mikrotreningsmetode som kombinerer to nonliving dyremodeller

The learning of microsurgical techniques and the maintenance of microsurgical skills have been traditionally based on the use of living animals, mainly ...

Smartphone Fundus Photography

Smartphone fundus photography is a simple technique to obtain ocular fundus pictures using a smartphone camera and a conventional handheld indirect ...

Integrating Augmented Reality Tools in Breast Cancer Related Lymphedema Prognostication and Diagnosis

Integrere augmented reality verktøy i brystkreft relatert lymfødem prognose og diagnose

Breast cancer related lymphedema (BCRL) is a detrimental condition characterized by fluid accumulation in the upper limb in breast cancer patients ...

Multicolor 3D Printing of Complex Intracranial Tumors in Neurosurgery

Flerfarget 3D-utskrift av komplekse intrakraniell svulster i nevrokirurgi

Three-dimensional (3D) printing technologies offer the possibility of visualizing patient-specific pathologies in a physical model of correct dimensions. ...

3D Planning and Printing of Patient Specific Implants for Reconstruction of Bony Defects

3D Planlegging og utskrift av pasientspesifikke implantater for rekonstruksjon av bendefekter

We are in the midst of the 3D era in most aspects of life, and especially in medicine. The surgical discipline is one of the major players in the medical ...

Treatment of Facial Deformities using 3D Planning and Printing of Patient-Specific Implants

Behandling av ansiktsdeformiteter ved hjelp av 3D-planlegging og utskrift av pasientspesifikke implantater

Technological advancements in surgical planning and patient-specific implants are constantly evolving. One can either adopt the technology to achieve ...

Combining 3D-Printing and Electrospinning to Manufacture Biomimetic Heart Valve Leaflets

Kombinere 3D-printing og elektrospinning for å produsere biomimetiske hjerteklaffbrosjyrer

Electrospinning has become a widely used technique in cardiovascular tissue engineering as it offers the possibility to create (micro-)fibrous scaffolds ...

Augmented Reality Navigation-Guided Core Decompression for Osteonecrosis of Femoral Head

Augmented Reality navigasjonsstyrt kjernedekompresjon for osteonekrose av lårhode

Osteonecrosis of the femoral head (ONFH) is a common joint disease in young and middle-aged patients, which seriously burdens their lives and work. For ...

3D Printing Model of a Patient's Specific Lumbar Vertebra

3D-utskriftsmodell av pasientens spesifikke lumbale vertebra

Selective dorsal rhizotomy (SDR) is a difficult, risky, and sophisticated operation, in which a laminectomy should not only expose an adequate surgical ...

Plasma Polishing as a New Polishing Option to Reduce the Surface Roughness of Porous Titanium Alloy for 3D Printing

Plasmapolering som et nytt poleringsalternativ for å redusere overflateruheten til porøs titanlegering for 3D-utskrift

Porous titanium alloy implants with simulated trabecular bone fabricated by 3D printing technology have broad prospects. However, due to the fact that ...