Name: combining augmented reality and 3d printing to display patient models on a smartphone
Uploaded: 2020-01-02T13:00:00
Duration: 9 min 26 s
Description: Watch this Scientific Journal Video about Combining Augmented Reality and 3D Printing to Display Patient Models on a Smartphone at JoVE.com

Dit verslag werd gesteund door projecten PI18/01625 en PI15/02121 (Ministerio de Ciencia, Innovación y Universidades, Instituto de Salud Carlos III en Europees Fonds voor regionale ontwikkeling "una manera de hacer Europa") en IND2018/TIC-9753 (Comunidad de Madrid).

<ol>
	<li>Coles, T. R., John, N. W., Gould, D., Caldwell, D. G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Integrating+Haptics+with+Augmented+Reality+in+a+Femoral+Palpation+and+Needle+Insertion+Training+Simulation.">Integrating Haptics with Augmented Reality in a Femoral Palpation and Needle Insertion Training Simulation.</a> IEEE Transactions on Haptics. 4 (3), 199-209 (2011).</li><li>Pelargos, P. E., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Utilizing+virtual+and+augmented+reality+for+educational+and+clinical+enhancements+in+neurosurgery.">Utilizing virtual and augmented reality for educational and clinical enhancements in neurosurgery.</a> Journal of Clinical Neuroscience. 35, 1-4 (2017).</li><li>Abhari, K., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Training+for+Planning+Tumour+Resection:+Augmented+Reality+and+Human+Factors.">Training for Planning Tumour Resection: Augmented Reality and Human Factors.</a> IEEE Transactions on Biomedical Engineering. 62 (6), 1466-1477 (2015).</li><li>Uppot, R., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Implementing+Virtual+and+Augmented+Reality+Tools+for+Radiology+Education+and+Training,+Communication,+and+Clinical+Care.">Implementing Virtual and Augmented Reality Tools for Radiology Education and Training, Communication, and Clinical Care.</a> Radiology. 291, 182210 (2019).</li><li>Pratt, P., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Through+the+HoloLensTM+looking+glass:+augmented+reality+for+extremity+reconstruction+surgery+using+3D+vascular+models+with+perforating+vessels.">Through the HoloLensTM looking glass: augmented reality for extremity reconstruction surgery using 3D vascular models with perforating vessels.</a> European Radiology Experimental. 2 (1), 2 (2018).</li><li>Rose, A. S., Kim, H., Fuchs, H., Frahm, J. -. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Development+of+augmented-reality+applications+in+otolaryngology-head+and+neck+surgery.">Development of augmented-reality applications in otolaryngology-head and neck surgery.</a> The Laryngoscope. , (2019).</li><li>Zhou, C., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Robot-Assisted+Surgery+for+Mandibular+Angle+Split+Osteotomy+Using+Augmented+Reality:+Preliminary+Results+on+Clinical+Animal+Experiment.">Robot-Assisted Surgery for Mandibular Angle Split Osteotomy Using Augmented Reality: Preliminary Results on Clinical Animal Experiment.</a> Aesthetic Plastic Surgery. 41 (5), 1228-1236 (2017).</li><li>Heinrich, F., Joeres, F., Lawonn, K., Hansen, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Comparison+of+Projective+Augmented+Reality+Concepts+to+Support+Medical+Needle+Insertion.">Comparison of Projective Augmented Reality Concepts to Support Medical Needle Insertion.</a> IEEE Transactions on Visualization and Computer Graphics. 25 (6), 1 (2019).</li><li>Deng, W., Li, F., Wang, M., Song, Z. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Easy-to-Use+Augmented+Reality+Neuronavigation+Using+a+Wireless+Tablet+PC.">Easy-to-Use Augmented Reality Neuronavigation Using a Wireless Tablet PC.</a> Stereotactic and Functional Neurosurgery. 92 (1), 17-24 (2014).</li><li>Fan, Z., Weng, Y., Chen, G., Liao, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=3D+interactive+surgical+visualization+system+using+mobile+spatial+information+acquisition+and+autostereoscopic+display.">3D interactive surgical visualization system using mobile spatial information acquisition and autostereoscopic display.</a> Journal of Biomedical Informatics. 71, 154-164 (2017).</li><li>Arnal-Burr&#243;, J., P&#233;rez-Ma&#241;anes, R., Gallo-del-Valle, E., Igualada-Blazquez, C., Cuervas-Mons, M., Vaquero-Mart&#237;n, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Three+dimensional-printed+patient-specific+cutting+guides+for+femoral+varization+osteotomy:+Do+it+yourself.">Three dimensional-printed patient-specific cutting guides for femoral varization osteotomy: Do it yourself.</a> The Knee. 24 (6), 1359-1368 (2017).</li><li>Vaquero, J., Arnal, J., Perez-Ma&#241;anes, R., Calvo-Haro, J., Chana, F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=3D+patient-specific+surgical+printing+cutting+blocks+guides+and+spacers+for+open-+wedge+high+tibial+osteotomy+(HTO)+-+do+it+yourself.">3D patient-specific surgical printing cutting blocks guides and spacers for open- wedge high tibial osteotomy (HTO) - do it yourself.</a> Revue de Chirurgie Orthop&#233;dique et Traumatologique. 102, 131 (2016).</li><li>De La Pe&#241;a, A., De La Pe&#241;a-Brambila, J., P&#233;rez-De La Torre, J., Ochoa, M., Gallardo, G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Low-cost+customized+cranioplasty+using+a+3D+digital+printing+model:+a+case+report.">Low-cost customized cranioplasty using a 3D digital printing model: a case report.</a> 3D Printing in Medicine. 4 (1), 1-9 (2018).</li><li>Kamio, T., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Utilizing+a+low-cost+desktop+3D+printer+to+develop+a+"one-stop+3D+printing+lab"+for+oral+and+maxillofacial+surgery+and+dentistry+fields.">Utilizing a low-cost desktop 3D printer to develop a "one-stop 3D printing lab" for oral and maxillofacial surgery and dentistry fields.</a> 3D Printing in Medicine. 4 (1), 1-7 (2018).</li><li>Punyaratabandhu, T., Liacouras, P., Pairojboriboon, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Using+3D+models+in+orthopedic+oncology:+presenting+personalized+advantages+in+surgical+planning+and+intraoperative+outcomes.">Using 3D models in orthopedic oncology: presenting personalized advantages in surgical planning and intraoperative outcomes.</a> 3D Printing in Medicine. 4 (1), 1-13 (2018).</li><li>Wake, N., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Patient-specific+3D+printed+and+augmented+reality+kidney+and+prostate+cancer+models:+impact+on+patient+education.">Patient-specific 3D printed and augmented reality kidney and prostate cancer models: impact on patient education.</a> 3D Printing in Medicine. 5 (1), 1-8 (2019).</li><li>Barber, S. R., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Augmented+Reality,+Surgical+Navigation,+and+3D+Printing+for+Transcanal+Endoscopic+Approach+to+the+Petrous+Apex.">Augmented Reality, Surgical Navigation, and 3D Printing for Transcanal Endoscopic Approach to the Petrous Apex.</a> OTO Open: The Official Open Access Journal of the American Academy of Otolaryngology-Head and Neck Surgery Foundation. 2 (4), (2018).</li><li>Witowski, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Augmented+reality+and+three-dimensional+printing+in+percutaneous+interventions+on+pulmonary+arteries.">Augmented reality and three-dimensional printing in percutaneous interventions on pulmonary arteries.</a> Quantitative Imaging in Medicine and Surgery. 9 (1), (2019).</li><li>Moreta-Mart&#237;nez, R., Garc&#237;a-Mato, D., Garc&#237;a-Sevilla, M., P&#233;rez-Ma&#241;anes, R., Calvo-Haro, J., Pascau, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Augmented+reality+in+computer-assisted+interventions+based+on+patient-specific+3D+printed+reference.">Augmented reality in computer-assisted interventions based on patient-specific 3D printed reference.</a> Healthcare Technology Letters. , (2018).</li></ol>

De auteurs hebben niets te onthullen.

AR heeft een groot potentieel in onderwijs, opleiding en chirurgische begeleiding op medisch gebied. De combinatie met 3D Printing opent kan nieuwe mogelijkheden in klinische toepassingen te openen. Dit protocol beschrijft een methodologie die onervaren gebruikers in staat stelt om een smartphone-app te maken die AR en 3DP combineert voor de visualisatie van anatomische 3D-modellen van patiënten met 3D-gedrukte referentie markeringen.
Over het algemeen is een van de meest interessante klinische toepassingen van AR en 3DP het verbeteren van patiënt-naar-arts communicatie door de patiënt een ander perspectief van de zaak te geven, waardoor de uitleg van specifieke medische aandoeningen of behandelingen wordt verbeterd. Een andere mogelijke toepassing omvat chirurgische richtlijnen voor doel lokalisatie, waarin 3D-gedrukte patiënt-specifieke hulpmiddelen (met een referentie AR-marker bevestigd) kunnen worden geplaatst op stijve structuren (d.w.z. botten) en worden gebruikt als referentie voor navigatie. Deze toepassing is vooral nuttig voor orthopedische en maxillofaciale chirurgische ingrepen, waarbij botweefsel oppervlak gemakkelijk toegankelijk is tijdens chirurgie.
Het protocol begint met sectie 1, met een beschrijving van de werkstations en software tools die nodig zijn. In sectie 2 wordt beschreven hoe u 3D-Slicersoftware gebruiken om eenvoudig doel anatomieën van de patiënt te segmenteren van elke medische beeldvormings modaliteit om 3D-modellen te verkrijgen. Deze stap is cruciaal, omdat de virtuele 3D-modellen die zijn gemaakt in de uiteindelijke AR-toepassing worden weergegeven.
In sectie 3 wordt 3D slicer gebruikt om de 3D-modellen te registreren die in de vorige sectie zijn gemaakt met een AR-markering. Tijdens deze registratieprocedure zijn de 3D-modellen van de patiënt efficiënt en eenvoudig gepositioneerd ten opzichte van de AR-marker. De positie die in deze sectie is gedefinieerd, bepaalt de relatieve positie van het hologram in de uiteindelijke app. Er wordt aangenomen dat deze oplossing vermindert de complexiteit en vermenigvuldigt de mogelijke toepassingen. Sectie 3 beschrijft twee verschillende opties voor het definiëren van de ruimtelijke relaties tussen de modellen en AR-Markeringen: "Visualisatie" en "registratie"-modus. Met de eerste optie, de modus "Visualisatie", kunnen de 3D-modellen overal worden gepositioneerd met betrekking tot de marker en worden weergegeven als de hele biomodel. Deze modus biedt een realistisch, 3D-perspectief van de anatomie van de patiënt en maakt verplaatsen en roteren van de biomodels mogelijk door de bijgehouden AR-marker te verplaatsen. De tweede optie, "registratie" modus, maakt het mogelijk om een marker adapter aan te maken en te combineren met elk onderdeel van de biomodel, en biedt een automatisch registratieproces. Met deze optie kan een klein gedeelte van het 3D-model, inclusief de marker-adapter, 3D-geprint zijn en de app kan de rest van het model als hologram weergeven.
Sectie 4 bevat richtlijnen voor het 3D-afdrukproces. Ten eerste kan de gebruiker kiezen tussen twee verschillende markers: de "Dual Color marker" en "sticker marker". De hele "Dual Color marker" kan 3D-geprint zijn, maar vereist een dubbele extruder 3D-printer. In het geval dat deze printer niet beschikbaar is, wordt de "sticker marker" voorgesteld. Dit is een eenvoudigere marker die kan worden verkregen door het 3D-printen van de kubieke structuur, dan het plakken van de afbeeldingen van de kubus met sticker papier of sticker lijm. Bovendien zijn beide markers ontworpen met uitbreidbare secties om perfect in een specifieke adapter te passen. Zo kan de marker in verschillende gevallen opnieuw worden gebruikt.
In sectie 5 wordt het proces beschreven voor het maken van een Unity-project voor AR met de Vuforia Software Development Kit. Deze stap kan het moeilijkste deel zijn voor gebruikers zonder programmeerervaring, maar met deze richtlijnen moet het gemakkelijker zijn om de definitieve toepassing te verkrijgen die wordt weergegeven in sectie 6. De app geeft de virtuele modellen van de patiënt weer via het scherm van de smartphone wanneer de camera de 3D-gedrukte marker herkent. Om de app de 3D-marker te kunnen detecteren, is een minimale afstand van ongeveer 40 cm of minder van de telefoon naar de marker en goede lichtomstandigheden vereist.
De uiteindelijke toepassing van dit protocol stelt de gebruiker in staat om de specifieke biomodels te kiezen om te visualiseren en in welke posities. De app kan automatisch een patiënt-hologram registratie uitvoeren met behulp van een 3D-gedrukte marker en adapter die is bevestigd aan de biomodel. Dit lost de uitdaging van het registreren van virtuele modellen met de omgeving op een directe en gemakkelijke manier. Bovendien, deze methodologie vereist geen brede kennis van medische beeldvorming of software ontwikkeling, is niet afhankelijk van complexe hardware en dure software, en kan worden geïmplementeerd in een korte periode. Verwacht wordt dat deze methode zal helpen versnellen de aanneming van AR en 3DP technologieën door medische professionals.

AR en 3DP zijn technologieën die een toenemend aantal toepassingen op medisch gebied bieden. In het geval van AR, de interactie met virtuele 3D-modellen en de echte omgeving voordelen artsen met betrekking tot onderwijs en opleiding1,2,3, communicatie en interacties met andere artsen4, en begeleiding tijdens klinische interventies5,6,7,8,9,10. Evenzo is 3DP uitgegroeid tot een krachtige oplossing voor artsen bij het ontwikkelen van patiënt-specifieke aanpasbare hulpmiddelen11,12,13 of het creëren van 3D-modellen van de anatomie van een patiënt, die kunnen helpen bij het verbeteren van preoperatieve planning en klinische interventies14,15.
Zowel AR-als 3DP-technologieën helpen bij het verbeteren van oriëntatie, begeleiding en ruimtelijke vaardigheden in medische procedures; de combinatie is dus de volgende logische stap. Vorig werk heeft aangetoond dat hun gezamenlijk gebruik de waarde kan verhogen in patiëntenonderwijs16, het vergemakkelijken van verklaringen van medische aandoeningen en voorgestelde behandeling, het optimaliseren van chirurgische workflow17,18 en het verbeteren van de patiënt-naar-modelregistratie19. Hoewel deze technologieën de afgelopen jaren exponentieel zijn gegroeid, is hun adoptie door artsen nog steeds beperkt, omdat ze uitgebreide kennis van engineering en software ontwikkeling vereisen. Daarom is het doel van dit werk om een stapsgewijze methodologie te beschrijven die het gebruik van AR en 3DP door onervaren gebruikers mogelijk maakt zonder de noodzaak van brede technische kennis.
Dit protocol beschrijft hoe u een AR-smartphone-app ontwikkelen die het mogelijk maakt om elk op de patiënt gebaseerd 3D-model op een echte omgeving te zetten met behulp van een 3D-geprinte marker die wordt bijgehouden door de smartphone camera. Daarnaast wordt een alternatieve aanpak beschreven om automatische registratie te bieden tussen een 3D-geprinte biomodel (d.w.z. een 3D-model gemaakt op basis van de anatomie van een patiënt) en de geprojecteerde hologrammen. Het beschreven protocol is volledig gebaseerd op gratis en multi-platform software.
In het vorige werk is de AR-patiënt-naar-beeldregistratie handmatig berekend5 met oppervlak herkenning algoritmen10 of is niet beschikbaar2. Deze methoden zijn enigszins beperkt als een nauwkeurige registratie vereist is19. Om deze beperkingen te overwinnen, biedt dit werktools om nauwkeurige en eenvoudige registratie van patiënt tot beeld in AR-procedures uit te voeren door AR-technologie en 3DP te combineren.
Het protocol is generiek en kan worden toegepast op elke medische beeldvormende modaliteit of patiënt. Als voorbeeld, een echte klinische geval van een patiënt die lijdt aan distale been Sarcoom is ter illustratie van de methodologie. De eerste stap beschrijft hoe u eenvoudig de aangetaste anatomie segmenteer van computertomografie (CT) medische beelden om virtuele 3D-modellen te genereren. Daarna wordt de positionering van de 3D-modellen uitgevoerd, dan zijn de vereiste gereedschappen en modellen 3D-geprint. Ten slotte wordt de gewenste AR-app geïmplementeerd. Deze app maakt het mogelijk om de visualisatie van de patiënt 3D-modellen op een smartphone camera in real-time te overlegden.

<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td>3D Printing material: Acrylonitrile Butadiene Styrene (ABS)</td>
			<td></td>
			<td></td>
			<td>Thermoplastic polymer material usually used in domestic 3D printers.</td>
		</tr>
		<tr>
			<td>3D Printing material: Polylactic Acid (PLA)</td>
			<td></td>
			<td></td>
			<td>Bioplastic material usually used in domestic 3D printers.</td>
		</tr>
		<tr>
			<td>3D Slicer</td>
			<td></td>
			<td></td>
			<td>Open-source software platform for medical image informatics, image processing, and three-dimensional visualization</td>
		</tr>
		<tr>
			<td>Android</td>
			<td>Alphabet, Inc.</td>
			<td></td>
			<td>Android is a mobile operating system developed by Google. It is based on a modified version of the Linux kernel and other open source software, and is designed primarily for touchscreen mobile devices such as smartphones and tablets.</td>
		</tr>
		<tr>
			<td>Autodesk Meshmixer</td>
			<td>Autodesk, Inc.</td>
			<td></td>
			<td>Meshmixer is state-of-the-art software for working with triangle meshes. Free software.</td>
		</tr>
		<tr>
			<td>iPhone OS</td>
			<td>Apple, Inc.</td>
			<td></td>
			<td>iPhone OS is a mobile operating system created and developed by Apple Inc. exclusively for its hardware.</td>
		</tr>
		<tr>
			<td>Ultimaker 3 Extended</td>
			<td>Ultimaker BV</td>
			<td></td>
			<td>Fused deposition modeling 3D printer.</td>
		</tr>
		<tr>
			<td>Unity</td>
			<td>Unity Technologies</td>
			<td></td>
			<td>Unity is a real-time development platform to create 3D, 2D VR &#38; AR visualizations for Games, Auto, Transportation, Film, Animation, Architecture, Engineering &#38; more. Free software.</td>
		</tr>
		<tr>
			<td>Xcode</td>
			<td>Apple, Inc.</td>
			<td></td>
			<td>Xcode is a complete developer toolset for creating apps for Mac, iPhone, iPad, Apple Watch, and Apple TV. Free software.</td>
		</tr>
	</tbody>
</table>

combining augmented reality and 3d printing to display patient models on a smartphone

Augmented Reality (AR) heeft een groot potentieel in onderwijs, training en chirurgische begeleiding op medisch gebied. De combinatie met driedimensionaal (3D) printen (3DP) opent nieuwe mogelijkheden in klinische toepassingen. Hoewel deze technologieën de afgelopen jaren exponentieel zijn gegroeid, is hun adoptie door artsen nog steeds beperkt, omdat ze uitgebreide kennis van engineering en software ontwikkeling vereisen. Daarom is het doel van dit protocol om een stapsgewijze methodologie te beschrijven waarmee onervaren gebruikers een smartphone-app kunnen maken, die AR en 3DP combineert voor de visualisatie van anatomische 3D-modellen van patiënten met een 3D-gedrukte referentie marker. In het protocol wordt beschreven hoe u 3D-virtuele modellen maakt van de anatomie van een patiënt die is afgeleid van 3D-medische beelden. Vervolgens wordt uitgelegd hoe u de positionering van de 3D-modellen met betrekking tot marker referenties uit te voeren. Ook zijn er instructies voor het afdrukken van de vereiste gereedschappen en modellen in 3D. Ten slotte worden de stappen voor het implementeren van de app geleverd. Het protocol is gebaseerd op gratis en multi-platform software en kan worden toegepast op elke medische beeldvormende modaliteit of patiënt. Een alternatieve aanpak wordt beschreven om automatische registratie te bieden tussen een 3D-geprint model gemaakt van de anatomie van een patiënt en de geprojecteerde hologrammen. Als voorbeeld is een klinisch geval van een patiënt die lijdt aan distale been Sarcoom de methodologie te illustreren. Naar verwachting zal dit protocol de invoering van AR-en 3DP-technologieën door medische professionals versnellen.

Het protocol werd toegepast op gegevens van een patiënt die lijdt aan distale been Sarcoom om het aangetaste anatomische gebied vanuit een 3D-perspectief te visualiseren. Met behulp van de in punt 2 beschreven methode werden het deel van het aangetaste bot (hier, het scheenbeen en het kuitbeen) en de tumor gesegmenteerd van de CT-scan van de patiënt. Vervolgens, met behulp van de segmentatie tools van 3D slicer, werden twee biomodels gemaakt: het bot (deel van hetscheenbeen en kuitbeen) (Figuur 1A) en tumor (Figuur 1B).
Vervolgens werden de twee 3D-modellen vrijwel gepositioneerd met betrekking tot de marker voor optimale visualisatie. Voor dit voorbeeld zijn beide modi beschreven in sectie 3 gevolgd. Voor de visualisatie modus werden de modellen gecentreerd in het bovenvlak van de marker (Figuur 2). Voor de registratiemodus werd de marker adapter in het bot geplaatst (met name de Tibia [Figuur 3]). Vervolgens werd een klein deel van de Tibia geselecteerd om te worden 3D-bedrukt met een 3D marker adapter (Figuur 4). Een ultimaker 3 Extended 3D-printer met Pla-materiaal werd gebruikt voor het maken van de 3D-gedrukte markeringen (Figuur 5A, B), marker houder basis (Figuur 5C) voor de "Visualisatie"-modus, en sectie van de Tibia voor "registratie"-modus (Figuur 5D). Afbeelding 5E toont hoe de marker is bevestigd aan de "Visualisatie" modus 3D-gedrukte basis. Figuur 5F toont de bijlage met de "registratie" modus 3D-gedrukte biomodel. Ten slotte werd Unity gebruikt om de app te maken en deze op de smartphone te implementeren.
Afbeelding 6 toont hoe de app werkte voor de modus "Visualisatie". Het hologram is nauwkeurig in het bovenste gedeelte van de kubus gelegen, zoals eerder gedefinieerd. Afbeelding 7 toont de toepassing voor de "registratie"-modus, waarin de app het volledige botmodel boven op het 3D-geprinte gedeelte plaatste. De uiteindelijke visualisatie van de hologrammen was helder en realistisch, handhaafde de echte maten van de biomodels, en gepositioneerd nauwkeurig. Bij het gebruik van de smartphone applicatie moet de AR marker zichtbaar zijn door de camera voor de app om de hologrammen correct weer te geven. Bovendien moeten de lichtomstandigheden in de scène van goede kwaliteit zijn en constant zijn voor een goede marker detectie. Slechte lichtomstandigheden of reflecties op het markerings oppervlak belemmeren het volgen van de AR-marker en veroorzaken een storing van de app.
De tijd die nodig is om de app te maken, is afhankelijk van verschillende factoren. De duur van sectie 1 wordt beperkt door de download snelheid. Met betrekking tot de anatomie segmentatie (sectie 2), factoren beïnvloeden segmentatie tijd omvatten complexiteit van de regio en medische beeldvorming modaliteit (dat wil zeggen, CT is gemakkelijk gesegmenteerd, terwijl MRI moeilijker is). Voor het representatieve voorbeeld van de Tibia was ongeveer 10 minuten nodig om beide 3D-modellen van de CT-scan te genereren. Biomodel positionering (paragraaf 3) is eenvoudig en ongecompliceerd. Hier duurde het ongeveer 5 minuten om de biomodel positie te definiëren ten opzichte van de AR marker. Voor de 3D-afdruk stap is de duur sterk afhankelijk van de geselecteerde modus. De "Dual Color marker" werd geproduceerd in een hoge kwaliteit in een periode van 5 h en 20 min. De "sticker marker" werd vervaardigd in een periode van 1 h en 30 min, plus de tijd die nodig is om de stickers te plakken. De laatste stap voor app-ontwikkeling kan tijdrovend zijn voor mensen met geen eerdere ervaring in Unity, maar het kan eenvoudig worden voltooid na de stappen van het protocol. Zodra de AR-markers 3D-geprint zijn, kan de ontwikkeling van een geheel nieuwe AR-app in minder dan 1 uur worden uitgevoerd. Deze duur kan verder worden verminderd met extra ervaring.
<img alt="Figure 1" class="xfigimg" src="/files/ftp_upload/60618/60618fig01.jpg"> Figuur 1: weergave van 3D-modellen gemaakt op basis van een CT-beeld van een patiënt die lijdt aan distale been Sarcoom. A) botweefsel, vertegenwoordigd in wit (Tibia en kuitbeen). B) de in het rood vertegenwoordigde tumor. <a href="https://www.jove.com/files/ftp_upload/60618/60618fig01large.jpg" target="_blank">Klik hier om een grotere versie van dit cijfer te bekijken.</a>
<img alt="Figure 2" class="xfigimg" src="/files/ftp_upload/60618/60618fig02.jpg"> Figuur 2: resultaten die laten zien hoe de modus "Visualisatie" in 3D-slicer de virtuele 3D-modellen van het bot en de tumor positioneert met betrekking tot de referentie voor 3D-gedrukte markeringen. De 3D-modellen van de patiënt (a) staan boven het bovenvlak van de markerings kubus (B). <a href="https://www.jove.com/files/ftp_upload/60618/60618fig02large.jpg" target="_blank">Klik hier om een grotere versie van dit cijfer te bekijken.</a>
<img alt="Figure 3" class="xfigimg" src="/files/ftp_upload/60618/60618fig03.jpg"> Figuur 3: resultaten die laten zien hoe de "registratie"-modus in 3D-slicer de virtuele 3D-modellen van het bot en de tumor (A) positioneert met betrekking tot 3D-gedrukte marker Referentie (B). De marker adapter is bevestigd aan het botweefsel model. <a href="https://www.jove.com/files/ftp_upload/60618/60618fig03large.jpg" target="_blank">Klik hier om een grotere versie van dit cijfer te bekijken.</a>
<img alt="Figure 4" class="xfigimg" src="/files/ftp_upload/60618/60618fig04.jpg"> Figuur 4: klein deel van het botweefsel en de 3D-markerings adapter. De twee componenten worden gecombineerd dan 3D-geprint. <a href="https://www.jove.com/files/ftp_upload/60618/60618fig04large.jpg" target="_blank">Klik hier om een grotere versie van dit cijfer te bekijken.</a>
<img alt="Figure 5" class="xfigimg" src="/files/ftp_upload/60618/60618fig05.jpg"> Afbeelding 5:3D-gedrukte gereedschappen die nodig zijn voor de uiteindelijke toepassing. (A) "Two Color Cube marker" 3D-bedrukt met twee kleuren van materialen. (B) "sticker kubus marker" 3D-geprint, met stickers geplakt. C) adapter voor marker-basiskubus. D) gedeelte van het botweefsel 3D-model en de marker Cube adapter van de patiënt. (E) "sticker Cube marker" in de marker base Cube adapter. F) "tweekleurige kubus markering" geplaatst in de marker adapter die is bevestigd aan de anatomie van de patiënt. <a href="https://www.jove.com/files/ftp_upload/60618/60618fig05large.jpg" target="_blank">Klik hier om een grotere versie van dit cijfer te bekijken.</a>
<img alt="Figure 6" class="xfigimg" src="/files/ftp_upload/60618/60618fig06.jpg"> Afbeelding 6: app-weergave bij gebruik van de modus "Visualisatie". De aangetaste anatomie 3D-modellen van de patiënt bevinden zich boven het bovenvlak van de 3D-gedrukte kubus. <a href="https://www.jove.com/files/ftp_upload/60618/60618fig06large.jpg" target="_blank">Klik hier om een grotere versie van dit cijfer te bekijken.</a>
<img alt="Figure 7" class="xfigimg" src="/files/ftp_upload/60618/60618fig07.jpg"> Afbeelding 7: AR-visualisatie bij gebruik van de "registratie"-modus. De 3D-gedrukte marker maakt registratie van de 3D-gedrukte biomodel mogelijk met de virtuele 3D-modellen. <a href="https://www.jove.com/files/ftp_upload/60618/60618fig07large.jpg" target="_blank">Klik hier om een grotere versie van dit cijfer te bekijken.</a>

Watch this Scientific Journal Video about Combining Augmented Reality and 3D Printing to Display Patient Models on a Smartphone at JoVE.com

Combining Augmented Reality and 3D Printing to Display Patient Models on a Smartphone

Hier gepresenteerd is een methode om een Augmented Reality smartphone applicatie te ontwerpen voor de visualisatie van anatomische driedimensionale modellen van patiënten die een 3D-gedrukte referentie marker gebruiken.

Augmented Reality en 3D-printen combineren om patiënt modellen op een smartphone weer te geven

Augmented reality (AR) has great potential in education, training, and surgical guidance in the medical field. Its combination with three-dimensional (3D) ...

Dit protocol biedt onervaren gebruikers de tools om augmented reality-oplossingen in het medische veld te brengen door het bouwen van hun eigen smartphone-app. Deze methode combineert augmented reality en 3D-printen, waardoor een snelle en eenvoudige visualisatie van 3D-modellen die zijn gemaakt op basis van gegevens op basis van een 3D-geprinte referentiemarker. Deze techniek kan worden toegepast op elk medisch scenario waarin een 3D-geprinte referentie stevig aan de patiënt kan worden bevestigd.De visualisatie van visuele 3D-modellen gemaakt van baserende datalokalisatie die is gericht en kan ook de patiënt verbeteren Dit protocol is speciaal ontworpen voor gebruikers zonder voorkennis van medische beeldvorming of softwareontwikkeling om te helpen bij het gebruik van augmented reality in het medische veld. Als u 3D-modellen van de anatomie van een patiënt wilt maken, volgt u eerst het medisch afbeeldingsbestand in het 3D Slicer-softwarevenster en klikt u op OK. Als u de anatomie van de patiënt wilt segmenteren, gaat u naar de segmenteditormodule in 3D Slicer. Bij het invoeren van de module wordt automatisch een segmentatieitem gemaakt.Selecteer het gewenste volume in de sectie hoofdvolume en klik met de rechtermuisknop onder de afbeelding om toevoegen te selecteren om een segment te maken. Selecteer in het effectenpaneel het handigste gereedschap voor het doel en segmenteer het medische beeld van de patiënt. Als u de segmentatie wilt exporteren in een bestandsindeling met 3D-modellen, opent u de module segmentaties.Selecteer in export-/importmodellen en labelmaps exporteren en modellen en klik op exporteren om het 3D-model te maken vanuit het gesegmenteerde gebied. Klik op Opslaan en selecteer de elementen die moeten worden opgeslagen. Wijzig vervolgens de bestandsindeling van het 3D-model in OBJ.De segmentatie kan worden herhaald om extra 3D-modellen van verschillende anatomische gebieden te maken. Open de AR Health-modelpositiemodule en selecteer visualisatiemodus voor het positioneren van een 3D-patiëntmodel op elke positie met betrekking tot de augmented reality-marker. Klik op laadmarkeringsmodel om de markering voor deze optie te laden, de ovlipseknop om het pad van het opgeslagen 3D-model te selecteren en het model te laden om het model in 3D-segmenter te laden.Klik op afwerking en midden om alle modellen in de markering te centreren. Gebruik de schuifbalken om de positie, oriëntatie en schaling van de 3D-modellen aan te passen ten opzichte van de markering naar wens. Selecteer vervolgens het pad om de bestanden op te slaan en klik op modellen opslaan om de modellen op deze positie op te slaan.Als u de augmented reality-marker wilt combineren met een 3D-biomodel op elke gewenste positie, opent u de AR Health-modelpositiemodule en selecteert u in de initialisatiesectie de registratiemodus. Klik op het markeringsmodel laden om de markering voor deze optie te laden en verplaats de 3D-modellen totdat ze elkaar kruisen met de draagstructuur van de kubusmarkering, waarbij de hoogte van de markeringsbasis zo nodig wordt gewijzigd. Als u het model op deze positie wilt opslaan, selecteert u het pad om de bestanden op te slaan en klikt u op modellen opslaan.Als het anatomiemodel te groot is, laadt u het biomodel en de ondersteunende structuur van het kubusmarkeringsmodel in de meshmixersoftware. Selecteer beide modellen in het browservenster van het object om de modellen te combineren en gebruik het gereedschap Gewoon uitsnijdwerk in het bewerkingsmenu om ongewenste delen van het model te verwijderen die niet worden afgedrukt. Als u het model wilt opslaan dat 3D-geprint moet worden, selecteert u bestand en exporteert en selecteert u de gewenste indeling.Om de fysieke modellen af te drukken die nodig zijn voor de uiteindelijke augmented reality-toepassing, selecteert u in de 3D-printsoftware een wit gekleurd materiaal voor de TwoColorCuebMarker_white. obj-bestand en een zwart gekleurd materiaal voor de TwoColorCubeMarker_white. obj-bestand.Gebruik vervolgens een dubbele extruder 3D-printer om de kubieke markering in zwart-wit in de hoge kwaliteit met een kleine laaghoogte af te drukken. Als u een smartphone-app wilt ontwerpen in Unity Engine met de 3D-modellen, opent u Vuforia Developer en maakt u een account aan. Selecteer ontwikkelsleutel ophalen om een gratis licentiesleutel voor ontwikkeling te verkrijgen en selecteer en kopieer de sleutel in het menu licentiebeheer.Als u de smartphone wilt instellen, selecteert u in de Unity-versie 2019-toepassing onder de build-instellingen in het bestandsmenu het juiste platform voor het apparaat. Als u Vuforia wilt inschakelen voor het project, selecteert u bewerken, projectinstellingen, instellingen voor spelers en XR-instellingen en schakelt u het vakje vuforia Augmented Reality Support in. Als u een augmented reality-camera wilt maken, selecteert u menubalk, gameobject, Vuforia Engine en AR-camera en importeert u de Vuforia-componenten wanneer daarom wordt gevraagd.Als u de Vuforia-licentiesleutel wilt toevoegen aan de configuratie-instellingen van Vuforia, selecteert u de resourcesmap, klikt u op Vuforia-configuratie en plakt u de licentiesleutel in de sectie app-licentiesleutel. Importeer het Vuforia-doelbestand met de bestanden die Vuforia nodig heeft om de markeringen te detecteren in Unity en selecteer menubalk, gameobject, Vuforia Engine en multi-image om een Vuforia-multidoel te maken. Klik op het meerdere doel om het markeringstype te selecteren dat wordt gebruikt voor detectie en selecteer in de databaseoptie onder multidoelgedrag ARHealth_3dPrintedCube_30x30x30.Selecteer in de optie multitarget onder multidoelgedrag twocolorcubemarker of StickerCubeMarker, afhankelijk van de markering. Sleep de 3D-modellen naar de map modellen en sleep de map onder het item met meerdere doelobjecten. De modellen moeten zichtbaar worden in de Unity 3D-weergavescène.Als u de kleuren van de 3D-modellen wilt wijzigen, maakt u nieuwe materialen en wijst u de nieuwe materialen toe aan de modellen. Als er een webcam beschikbaar is, klikt u op afspelen om de toepassing op de computer te testen. Als de markering zichtbaar is voor de webcam, moet deze worden gedetecteerd en moeten de 3D-modellen in de scène worden weergegeven.Als een Android-smartphone wordt gebruikt voor de ontwikkeling van de app, selecteert u build-instellingen in Unity en selecteert u de aangesloten telefoon in de lijst. Sla vervolgens het bestand op met een apk-extensie en laat het proces worden voltooid. Als de app wordt geïmplementeerd op een iOS-apparaat, selecteert u bestand in build-instellingen en slaat u het bestand op.Om de app te visualiseren, opent u de app op de smartphone en gebruikt u de smartphonecamera om de markering vanuit de app op een minimale afstand van 40 centimeter te bekijken. Zodra de app de markering detecteert, moeten de eerder gemaakte 3D-modellen op het smartphonescherm worden weergegeven op de exacte locatie die tijdens de procedure is gedefinieerd. Met behulp van de methode zoals aangetoond, dit deel van het getroffen scheenbeen en kuitbeen van een patiënt die lijden aan distale been sarcoom en tumor werden gesegmenteerd van ct-scan van de patiënt.Met behulp van de segmentatietools werd één biomodel gemaakt voor het bot en werd één biomodel gemaakt voor de tumor. Voor de visualisatiemodus waren de modellen gecentreerd in de bovenste fase van de markering. Voor de registratiemodus werd de markeradapter in het scheenbeen geplaatst en werd een klein deel van het scheenbeen geselecteerd om 3D-geprint te zijn met een 3D-markeringsadapter.Polymelkzuur kan worden gebruikt om de 3D-geprinte markers, marker houder bases en botsecties te maken, zoals aangetoond. Hier wordt een markering bevestigd aan een visualisatiewijze 3D-geprinte basis en hier wordt de bijlage weergegeven met de registratiemodus 3D-geprint biomodel. Deze weergave laat zien hoe de app werkt in visualisatiemodus met het hologram nauwkeurig gelegen in het bovenste deel van de kubus zoals eerder gedefinieerd.In de registratiemodus kan het volledige botmodel bovenop de 3D-geprinte sectie worden geplaatst met een duidelijke en realistische visualisatie van de markering op de botsite. Om augmented reality te gebruiken om belangrijke patiëntinformatie te visualiseren, hebt u verschillende softwaretools nodig die vrij beschikbaar zijn, evenals toegang tot een 3D-printer en smartphone. Deze procedure kan worden toegepast op elk model verkregen uit medische beeldvorming.Het gebruik ervan kan worden uitgebreid tot andere interventies, zoals bestraling van naaldinbrengen. We breiden de toepassingen van deze ontwikkeling nu uit naar nieuwe klinische gebieden, waaronder myofasciale of orthopedische chirurgie. Ons eerste onderzoek is veelbelovend en de feedback van de chirurg is zeer positief.

Research

JoVE Journal

Medicine

Step By Step: Microsurgical training method combining two nonliving animal models

Stap voor Stap: Microchirurgische trainingsmethode het combineren van twee niet-levende dierlijke modellen

The learning of microsurgical techniques and the maintenance of microsurgical skills have been traditionally based on the use of living animals, mainly ...

Smartphone Fundus Photography

Smartphone fundus photography is a simple technique to obtain ocular fundus pictures using a smartphone camera and a conventional handheld indirect ...

Integrating Augmented Reality Tools in Breast Cancer Related Lymphedema Prognostication and Diagnosis

Integratie van Augmented Reality Tools in borstkanker gerelateerde lymfoedeem prognosticatie en diagnose

Breast cancer related lymphedema (BCRL) is a detrimental condition characterized by fluid accumulation in the upper limb in breast cancer patients ...

Multicolor 3D Printing of Complex Intracranial Tumors in Neurosurgery

Multicolor 3D printen van complexe intracraniële tumoren in Neurochirurgie

Three-dimensional (3D) printing technologies offer the possibility of visualizing patient-specific pathologies in a physical model of correct dimensions. ...

3D Planning and Printing of Patient Specific Implants for Reconstruction of Bony Defects

3D-planning en -print van patiëntspecifieke implantaten voor de reconstructie van bony-defecten

We are in the midst of the 3D era in most aspects of life, and especially in medicine. The surgical discipline is one of the major players in the medical ...

Treatment of Facial Deformities using 3D Planning and Printing of Patient-Specific Implants

Behandeling van gezichtsmisvormingen met behulp van 3D-planning en afdrukken van patiëntspecifieke implantaten

Technological advancements in surgical planning and patient-specific implants are constantly evolving. One can either adopt the technology to achieve ...

Combining 3D-Printing and Electrospinning to Manufacture Biomimetic Heart Valve Leaflets

3D-printen en elektrospinning combineren om biomimetische hartklepfolders te produceren

Electrospinning has become a widely used technique in cardiovascular tissue engineering as it offers the possibility to create (micro-)fibrous scaffolds ...

Augmented Reality Navigation-Guided Core Decompression for Osteonecrosis of Femoral Head

Augmented Reality Navigatie-geleide Kerndecompressie voor Osteonecrose van Heupkop

Osteonecrosis of the femoral head (ONFH) is a common joint disease in young and middle-aged patients, which seriously burdens their lives and work. For ...

3D Printing Model of a Patient's Specific Lumbar Vertebra

3D-printmodel van de specifieke lendenwervel van een patiënt

Selective dorsal rhizotomy (SDR) is a difficult, risky, and sophisticated operation, in which a laminectomy should not only expose an adequate surgical ...

Plasma Polishing as a New Polishing Option to Reduce the Surface Roughness of Porous Titanium Alloy for 3D Printing

Plasmapolijsten als een nieuwe polijstoptie om de oppervlakteruwheid van poreuze titaniumlegering voor 3D-printen te verminderen

Porous titanium alloy implants with simulated trabecular bone fabricated by 3D printing technology have broad prospects. However, due to the fact that ...