Name: combining augmented reality and 3d printing to display patient models on a smartphone
Uploaded: 2020-01-02T13:00:00
Duration: 9 min 26 s
Description: Watch this Scientific Journal Video about Combining Augmented Reality and 3D Printing to Display Patient Models on a Smartphone at JoVE.com

Ce rapport a été soutenu par les projets PI18/01625 et PI15/02121 (Ministerio de Ciencia, Innovacion y Universidades, Instituto de Salud Carlos III et European Regional Development Fund "Una manera de hacer Europa") et IND2018/TIC-9753 (Comunidad de Madrid).

<ol>
	<li>Coles, T. R., John, N. W., Gould, D., Caldwell, D. G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Integrating+Haptics+with+Augmented+Reality+in+a+Femoral+Palpation+and+Needle+Insertion+Training+Simulation.">Integrating Haptics with Augmented Reality in a Femoral Palpation and Needle Insertion Training Simulation.</a> IEEE Transactions on Haptics. 4 (3), 199-209 (2011).</li><li>Pelargos, P. E., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Utilizing+virtual+and+augmented+reality+for+educational+and+clinical+enhancements+in+neurosurgery.">Utilizing virtual and augmented reality for educational and clinical enhancements in neurosurgery.</a> Journal of Clinical Neuroscience. 35, 1-4 (2017).</li><li>Abhari, K., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Training+for+Planning+Tumour+Resection:+Augmented+Reality+and+Human+Factors.">Training for Planning Tumour Resection: Augmented Reality and Human Factors.</a> IEEE Transactions on Biomedical Engineering. 62 (6), 1466-1477 (2015).</li><li>Uppot, R., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Implementing+Virtual+and+Augmented+Reality+Tools+for+Radiology+Education+and+Training,+Communication,+and+Clinical+Care.">Implementing Virtual and Augmented Reality Tools for Radiology Education and Training, Communication, and Clinical Care.</a> Radiology. 291, 182210 (2019).</li><li>Pratt, P., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Through+the+HoloLensTM+looking+glass:+augmented+reality+for+extremity+reconstruction+surgery+using+3D+vascular+models+with+perforating+vessels.">Through the HoloLensTM looking glass: augmented reality for extremity reconstruction surgery using 3D vascular models with perforating vessels.</a> European Radiology Experimental. 2 (1), 2 (2018).</li><li>Rose, A. S., Kim, H., Fuchs, H., Frahm, J. -. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Development+of+augmented-reality+applications+in+otolaryngology-head+and+neck+surgery.">Development of augmented-reality applications in otolaryngology-head and neck surgery.</a> The Laryngoscope. , (2019).</li><li>Zhou, C., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Robot-Assisted+Surgery+for+Mandibular+Angle+Split+Osteotomy+Using+Augmented+Reality:+Preliminary+Results+on+Clinical+Animal+Experiment.">Robot-Assisted Surgery for Mandibular Angle Split Osteotomy Using Augmented Reality: Preliminary Results on Clinical Animal Experiment.</a> Aesthetic Plastic Surgery. 41 (5), 1228-1236 (2017).</li><li>Heinrich, F., Joeres, F., Lawonn, K., Hansen, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Comparison+of+Projective+Augmented+Reality+Concepts+to+Support+Medical+Needle+Insertion.">Comparison of Projective Augmented Reality Concepts to Support Medical Needle Insertion.</a> IEEE Transactions on Visualization and Computer Graphics. 25 (6), 1 (2019).</li><li>Deng, W., Li, F., Wang, M., Song, Z. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Easy-to-Use+Augmented+Reality+Neuronavigation+Using+a+Wireless+Tablet+PC.">Easy-to-Use Augmented Reality Neuronavigation Using a Wireless Tablet PC.</a> Stereotactic and Functional Neurosurgery. 92 (1), 17-24 (2014).</li><li>Fan, Z., Weng, Y., Chen, G., Liao, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=3D+interactive+surgical+visualization+system+using+mobile+spatial+information+acquisition+and+autostereoscopic+display.">3D interactive surgical visualization system using mobile spatial information acquisition and autostereoscopic display.</a> Journal of Biomedical Informatics. 71, 154-164 (2017).</li><li>Arnal-Burr&#243;, J., P&#233;rez-Ma&#241;anes, R., Gallo-del-Valle, E., Igualada-Blazquez, C., Cuervas-Mons, M., Vaquero-Mart&#237;n, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Three+dimensional-printed+patient-specific+cutting+guides+for+femoral+varization+osteotomy:+Do+it+yourself.">Three dimensional-printed patient-specific cutting guides for femoral varization osteotomy: Do it yourself.</a> The Knee. 24 (6), 1359-1368 (2017).</li><li>Vaquero, J., Arnal, J., Perez-Ma&#241;anes, R., Calvo-Haro, J., Chana, F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=3D+patient-specific+surgical+printing+cutting+blocks+guides+and+spacers+for+open-+wedge+high+tibial+osteotomy+(HTO)+-+do+it+yourself.">3D patient-specific surgical printing cutting blocks guides and spacers for open- wedge high tibial osteotomy (HTO) - do it yourself.</a> Revue de Chirurgie Orthop&#233;dique et Traumatologique. 102, 131 (2016).</li><li>De La Pe&#241;a, A., De La Pe&#241;a-Brambila, J., P&#233;rez-De La Torre, J., Ochoa, M., Gallardo, G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Low-cost+customized+cranioplasty+using+a+3D+digital+printing+model:+a+case+report.">Low-cost customized cranioplasty using a 3D digital printing model: a case report.</a> 3D Printing in Medicine. 4 (1), 1-9 (2018).</li><li>Kamio, T., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Utilizing+a+low-cost+desktop+3D+printer+to+develop+a+"one-stop+3D+printing+lab"+for+oral+and+maxillofacial+surgery+and+dentistry+fields.">Utilizing a low-cost desktop 3D printer to develop a "one-stop 3D printing lab" for oral and maxillofacial surgery and dentistry fields.</a> 3D Printing in Medicine. 4 (1), 1-7 (2018).</li><li>Punyaratabandhu, T., Liacouras, P., Pairojboriboon, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Using+3D+models+in+orthopedic+oncology:+presenting+personalized+advantages+in+surgical+planning+and+intraoperative+outcomes.">Using 3D models in orthopedic oncology: presenting personalized advantages in surgical planning and intraoperative outcomes.</a> 3D Printing in Medicine. 4 (1), 1-13 (2018).</li><li>Wake, N., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Patient-specific+3D+printed+and+augmented+reality+kidney+and+prostate+cancer+models:+impact+on+patient+education.">Patient-specific 3D printed and augmented reality kidney and prostate cancer models: impact on patient education.</a> 3D Printing in Medicine. 5 (1), 1-8 (2019).</li><li>Barber, S. R., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Augmented+Reality,+Surgical+Navigation,+and+3D+Printing+for+Transcanal+Endoscopic+Approach+to+the+Petrous+Apex.">Augmented Reality, Surgical Navigation, and 3D Printing for Transcanal Endoscopic Approach to the Petrous Apex.</a> OTO Open: The Official Open Access Journal of the American Academy of Otolaryngology-Head and Neck Surgery Foundation. 2 (4), (2018).</li><li>Witowski, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Augmented+reality+and+three-dimensional+printing+in+percutaneous+interventions+on+pulmonary+arteries.">Augmented reality and three-dimensional printing in percutaneous interventions on pulmonary arteries.</a> Quantitative Imaging in Medicine and Surgery. 9 (1), (2019).</li><li>Moreta-Mart&#237;nez, R., Garc&#237;a-Mato, D., Garc&#237;a-Sevilla, M., P&#233;rez-Ma&#241;anes, R., Calvo-Haro, J., Pascau, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Augmented+reality+in+computer-assisted+interventions+based+on+patient-specific+3D+printed+reference.">Augmented reality in computer-assisted interventions based on patient-specific 3D printed reference.</a> Healthcare Technology Letters. , (2018).</li></ol>

Les auteurs n'ont rien à révéler.

AR détient un grand potentiel dans l'éducation, la formation et l'orientation chirurgicale dans le domaine médical. Sa combinaison avec l'impression 3D ouvre peut ouvrir de nouvelles possibilités dans les applications cliniques. Ce protocole décrit une méthodologie qui permet aux utilisateurs inexpérimentés de créer une application smartphone combinant AR et 3DP pour la visualisation de modèles 3D anatomiques de patients avec des marqueurs de référence imprimés en 3D.
En général, l'une des applications cliniques les plus intéressantes de l'AR et de la 3DP est d'améliorer la communication patient-médecin en donnant au patient une perspective différente du cas, en améliorant les explications de conditions médicales ou de traitements spécifiques. Une autre application possible comprend des conseils chirurgicaux pour la localisation ciblée, dans lequel les outils 3D-imprimés spécifiques au patient (avec un marqueur AR de référence attaché) peuvent être placés sur des structures rigides (c.-à-d., os) et utilisés comme référence pour la navigation. Cette application est particulièrement utile pour les interventions chirurgicales orthopédiques et maxillo-faciales, dans lesquelles la surface du tissu osseux est facilement accessible pendant la chirurgie.
Le protocole commence par la section 1, décrivant la configuration du poste de travail et les outils logiciels nécessaires. La section 2 décrit comment utiliser le logiciel 3D Slicer pour segmenter facilement les anatomies cibles du patient à partir de toute modalité d'imagerie médicale pour obtenir des modèles 3D. Cette étape est cruciale, car les modèles 3D virtuels créés sont ceux affichés dans l'application AR finale.
Dans la section 3, le slicer 3D est utilisé pour enregistrer les modèles 3D créés dans la section précédente avec un marqueur AR. Au cours de cette procédure d'enregistrement, les modèles 3D des patients sont positionnés efficacement et simplement par rapport au marqueur AR. La position définie dans cette section déterminera la position relative de l'hologramme dans l'application finale. On pense que cette solution réduit la complexité et multiplie les applications possibles. La section 3 décrit deux options différentes pour définir les relations spatiales entre les modèles et les marqueurs AR : le mode « visualisation » et « enregistrement ». La première option, le mode « visualisation », permet aux modèles 3D d'être positionnés n'importe où par rapport au marqueur et affichés comme l'ensemble du biomodèle. Ce mode offre une perspective réaliste et 3D de l'anatomie du patient et permet de déplacer et de tourner les biomodèles en déplaçant le marqueur AR suivi. La deuxième option, le mode « enregistrement », permet l'attachement et la combinaison d'un adaptateur de marqueur à n'importe quelle partie du biomodèle, offrant un processus d'enregistrement automatique. Avec cette option, une petite section du modèle 3D, y compris l'adaptateur de marqueur, peut être imprimée en 3D, et l'application peut afficher le reste du modèle sous forme d'hologramme.
La section 4 fournit des lignes directrices pour le processus d'impression 3D. Tout d'abord, l'utilisateur peut choisir entre deux marqueurs différents: le "marqueur de double couleur" et "marqueur d'autocollant". L'ensemble "marqueur de double couleur" peut être imprimé en 3D, mais nécessite une double imprimante 3D extrudeur. Dans le cas où cette imprimante n'est pas disponible, le « marqueur d'autocollants » est proposé. Il s'agit d'un marqueur plus simple qui peut être obtenu par l'impression 3D de la structure cubique, puis coller les images du cube avec du papier autocollant ou de la colle autocollant. En outre, les deux marqueurs ont été conçus avec des sections extensibles pour s'adapter parfaitement dans un adaptateur spécifique. Ainsi, le marqueur peut être réutilisé dans plusieurs cas.
La section 5 décrit le processus de création d'un projet Unity pour AR à l'aide du kit de développement logiciel Vuforia. Cette étape peut être la partie la plus difficile pour les utilisateurs qui n'ont aucune expérience en programmation, mais avec ces lignes directrices, il devrait être plus facile d'obtenir la demande finale qui est présentée à la section 6. L'application affiche les modèles virtuels du patient sur l'écran du smartphone lorsque l'appareil photo reconnaît le marqueur imprimé en 3D. Pour que l'application détecte le marqueur 3D, une distance minimale d'environ 40 cm ou moins entre le téléphone et le marqueur est nécessaire ainsi que de bonnes conditions d'éclairage.
L'application finale de ce protocole permet à l'utilisateur de choisir les biomodèles spécifiques à visualiser et dans quelles positions. En outre, l'application peut effectuer l'enregistrement automatique patient-hologramme à l'aide d'un marqueur imprimé en 3D et d'un adaptateur attaché au biomodèle. Cela résout le défi d'enregistrer les modèles virtuels avec l'environnement d'une manière directe et pratique. En outre, cette méthodologie ne nécessite pas une connaissance approfondie de l'imagerie médicale ou du développement de logiciels, ne dépend pas de matériel complexe et de logiciels coûteux, et peut être mise en œuvre sur une courte période de temps. On s'attend à ce que cette méthode contribue à accélérer l'adoption des technologies AR et 3DP par les professionnels de la santé.

AR et 3DP sont des technologies qui fournissent un nombre croissant d'applications dans le domaine médical. Dans le cas de ar, son interaction avec les modèles 3D virtuels et l'environnement réel profite aux médecins en ce qui concerne l'éducation et la formation1,2,3, communication et interactions avec d'autres médecins4, et des conseils lors des interventions cliniques5,6,7,8,9,10. De même, 3DP est devenu une solution puissante pour les médecins lors du développement d'outils personnalisables spécifiques au patient11,12,13 ou la création de modèles 3D de l'anatomie d'un patient, qui peut aider à améliorer la planification préopératoire et les interventions cliniques14,15.
Les technologies AR et 3DP aident à améliorer l'orientation, l'orientation et les compétences spatiales dans les procédures médicales; ainsi, leur combinaison est la prochaine étape logique. Des travaux antérieurs ont démontré que leur utilisation conjointe peut augmenter la valeur dans l'éducation des patients16, faciliter les explications des conditions médicales et le traitement proposé, l'optimisation du flux de travail chirurgical17,18 et l'amélioration de l'enregistrement patient-à-modèle19. Bien que ces technologies aient connu une croissance exponentielle au cours des dernières années, leur adoption par les médecins est encore limitée, car elles nécessitent une connaissance approfondie de l'ingénierie et du développement de logiciels. Par conséquent, le but de ce travail est de décrire une méthodologie étape par étape qui permet l'utilisation de AR et 3DP par des utilisateurs inexpérimentés sans avoir besoin de vastes connaissances techniques.
Ce protocole décrit comment développer une application pour smartphone AR qui permet de superposer n'importe quel modèle 3D basé sur le patient sur un environnement réel à l'aide d'un marqueur imprimé en 3D suivi par la caméra du smartphone. En outre, une approche alternative est décrite pour fournir l'enregistrement automatique entre un biomodèle imprimé en 3D (c.-à-d., un modèle 3D créé à partir de l'anatomie d'un patient) et les hologrammes projetés. Le protocole décrit est entièrement basé sur des logiciels gratuits et multiplateformes.
Dans les travaux précédents, ar patient-à-image enregistrement a été calculé manuellement5 avec des algorithmes de reconnaissance de surface10 ou a été indisponible2. Ces méthodes ont été considérées comme quelque peu limitées lorsqu'un enregistrement précis est requis19. Pour surmonter ces limites, ce travail fournit des outils pour effectuer l'enregistrement précis et simple patient-à-image dans les procédures AR en combinant la technologie AR et 3DP.
Le protocole est générique et peut être appliqué à toute modalité d'imagerie médicale ou le patient. Par exemple, un vrai cas clinique d'un patient souffrant de sarcome de jambe distale est fourni pour illustrer la méthodologie. La première étape décrit comment segmenter facilement l'anatomie affectée à partir d'images médicales de tomographie calculée (CT) pour générer des modèles virtuels 3D. Par la suite, le positionnement des modèles 3D est effectué, puis les outils et modèles requis sont imprimés en 3D. Enfin, l'application AR souhaitée est déployée. Cette application permet la visualisation des modèles 3D patients superposés sur un appareil photo smartphone en temps réel.

<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td>3D Printing material: Acrylonitrile Butadiene Styrene (ABS)</td>
			<td></td>
			<td></td>
			<td>Thermoplastic polymer material usually used in domestic 3D printers.</td>
		</tr>
		<tr>
			<td>3D Printing material: Polylactic Acid (PLA)</td>
			<td></td>
			<td></td>
			<td>Bioplastic material usually used in domestic 3D printers.</td>
		</tr>
		<tr>
			<td>3D Slicer</td>
			<td></td>
			<td></td>
			<td>Open-source software platform for medical image informatics, image processing, and three-dimensional visualization</td>
		</tr>
		<tr>
			<td>Android</td>
			<td>Alphabet, Inc.</td>
			<td></td>
			<td>Android is a mobile operating system developed by Google. It is based on a modified version of the Linux kernel and other open source software, and is designed primarily for touchscreen mobile devices such as smartphones and tablets.</td>
		</tr>
		<tr>
			<td>Autodesk Meshmixer</td>
			<td>Autodesk, Inc.</td>
			<td></td>
			<td>Meshmixer is state-of-the-art software for working with triangle meshes. Free software.</td>
		</tr>
		<tr>
			<td>iPhone OS</td>
			<td>Apple, Inc.</td>
			<td></td>
			<td>iPhone OS is a mobile operating system created and developed by Apple Inc. exclusively for its hardware.</td>
		</tr>
		<tr>
			<td>Ultimaker 3 Extended</td>
			<td>Ultimaker BV</td>
			<td></td>
			<td>Fused deposition modeling 3D printer.</td>
		</tr>
		<tr>
			<td>Unity</td>
			<td>Unity Technologies</td>
			<td></td>
			<td>Unity is a real-time development platform to create 3D, 2D VR &#38; AR visualizations for Games, Auto, Transportation, Film, Animation, Architecture, Engineering &#38; more. Free software.</td>
		</tr>
		<tr>
			<td>Xcode</td>
			<td>Apple, Inc.</td>
			<td></td>
			<td>Xcode is a complete developer toolset for creating apps for Mac, iPhone, iPad, Apple Watch, and Apple TV. Free software.</td>
		</tr>
	</tbody>
</table>

combining augmented reality and 3d printing to display patient models on a smartphone

La réalité augmentée (AR) a un grand potentiel dans l'éducation, la formation, et l'orientation chirurgicale dans le domaine médical. Sa combinaison avec l'impression tridimensionnelle (3D) (3DP) ouvre de nouvelles possibilités dans les applications cliniques. Bien que ces technologies aient connu une croissance exponentielle au cours des dernières années, leur adoption par les médecins est encore limitée, car elles nécessitent une connaissance approfondie de l'ingénierie et du développement de logiciels. Par conséquent, le but de ce protocole est de décrire une méthodologie étape par étape permettant aux utilisateurs inexpérimentés de créer une application smartphone, qui combine AR et 3DP pour la visualisation des modèles 3D anatomiques des patients avec un marqueur de référence imprimé en 3D. Le protocole décrit comment créer des modèles virtuels 3D de l'anatomie d'un patient dérivés d'images médicales 3D. Il explique ensuite comment effectuer le positionnement des modèles 3D en ce qui concerne les références de marqueurs. Sont également fournies des instructions sur la façon d'imprimer en 3D les outils et les modèles requis. Enfin, des étapes pour déployer l'application sont fournies. Le protocole est basé sur un logiciel gratuit et multiplateforme et peut être appliqué à toute modalité d'imagerie médicale ou le patient. Une approche alternative est décrite pour fournir l'enregistrement automatique entre un modèle 3D-imprimé créé à partir de l'anatomie d'un patient et les hologrammes projetés. Par exemple, un cas clinique d'un patient souffrant de sarcome de jambe distale est fourni pour illustrer la méthodologie. On s'attend à ce que ce protocole accélère l'adoption des technologies AR et 3DP par les professionnels de la santé.

Le protocole a été appliqué aux données d'un patient souffrant du sarcome distal de jambe afin de visualiser la région anatomique affectée d'une perspective 3D. Utilisant la méthode décrite dans la section 2, la partie de l'os affecté (ici, le tibia et le péroné) et la tumeur ont été segmentées du balayage de CT du patient. Puis, à l'aide des outils de segmentation de 3D Slicer, deux biomodèles ont été créés : l'os (section du tibia et du péroné) (Figure 1A) et la tumeur (Figure 1B).
Ensuite, les deux modèles 3D ont été positionnés virtuellement par rapport au marqueur pour une visualisation optimale. Les deux modes décrits à la section 3 ont été suivis pour cet exemple. Pour le mode de visualisation, les modèles étaient centrés sur la face supérieure du marqueur (Figure 2). Pour le mode d'enregistrement, l'adaptateur marqueur a été placé dans l'os (en particulier, le tibia [figure 3]). Ensuite, une petite section du tibia a été sélectionnée pour être imprimée en 3D avec un adaptateur de marqueur 3D (Figure 4). Une imprimante 3D allongée Ultimaker 3 avec du matériel PLA a été utilisée pour créer les marqueurs imprimés en 3D (Figure 5A, B), base de porte-marqueurs ( Figure5C) pour le mode « visualisation » et section du tibia pour le mode « enregistrement » (figure 5D). La figure 5E montre comment le marqueur a été fixé à la base imprimée en 3D en mode « visualisation ». La figure 5F montre la pièce jointe avec le biomodel imprimé en 3D en mode « enregistrement ». Enfin, Unity a été utilisé pour créer l'application et la déployer sur le smartphone.
La figure 6 montre comment l'application a fonctionné pour le mode « visualisation ». L'hologramme a été localisé avec précision dans la partie supérieure du cube tel que défini précédemment. La figure 7 montre l'application pour le mode « enregistrement », dans lequel l'application a placé le modèle complet d'os sur le dessus de la section imprimée en 3D. La visualisation finale des hologrammes était claire et réaliste, maintenait les tailles réelles des biomodèles, et positionné avec précision. Lors de l'utilisation de l'application smartphone, le marqueur AR doit être visible par la caméra pour l'application pour afficher correctement les hologrammes. En outre, les conditions de lumière dans la scène doivent être de bonne qualité et constantes pour la détection appropriée des marqueurs. Les mauvaises conditions de lumière ou les reflets sur la surface du marqueur entravent le suivi du marqueur AR et provoquent un mauvais fonctionnement de l'application.
Le temps nécessaire à la création de l'application dépend de plusieurs facteurs. La durée de la section 1 est limitée par la vitesse de téléchargement. En ce qui concerne la segmentation de l'anatomie (section 2), les facteurs affectant le temps de segmentation comprennent la complexité de la région et la modalité de l'imagerie médicale (c.-à-d. que la tomodensitométrie est facilement segmentée, tandis que l'IRM est plus difficile). Pour l'exemple représentatif du tibia, environ 10 min a été nécessaire pour générer les deux modèles 3D à partir de la tomodensitome. Le positionnement des biomodèles (section 3) est simple et simple. Ici, il a fallu environ 5 min pour définir la position du biomodèle par rapport au marqueur AR. Pour l'étape d'impression 3D, la durée dépend fortement du mode sélectionné. Le « marqueur à double couleur » a été fabriqué à haute qualité en 5 h et 20 min. Le « marqueur d'autocollants » a été fabriqué en 1 h et 30 min, plus le temps nécessaire pour coller les autocollants. La dernière étape pour le développement d'applications peut prendre beaucoup de temps pour ceux qui n'ont pas d'expérience préalable dans Unity, mais elle peut être facilement complétée après les étapes du protocole. Une fois que les marqueurs AR ont été imprimés en 3D, le développement d'une application AR entièrement nouvelle peut être effectué en moins de 1 h. Cette durée peut être encore réduite avec une expérience supplémentaire.
<img alt="Figure 1" class="xfigimg" src="/files/ftp_upload/60618/60618fig01.jpg"> Figure 1 : Représentation des modèles 3D créés à partir d'une image de CT d'un patient souffrant du sarcome distal de jambe. (A) Tissu osseux représenté en blanc (tibia et péroné). (B) Tumeur représentée en rouge. <a href="https://www.jove.com/files/ftp_upload/60618/60618fig01large.jpg" target="_blank">Veuillez cliquer ici pour voir une version plus grande de ce chiffre.</a>
<img alt="Figure 2" class="xfigimg" src="/files/ftp_upload/60618/60618fig02.jpg"> Figure 2 : Résultats montrant comment le mode « visualisation » dans le Slicer 3D positionne les modèles 3D virtuels de l'os et de la tumeur par rapport à la référence de marqueur 3D-imprimée. Les modèles 3D patients (A) sont positionnés au-dessus de la face supérieure du cube de marqueur (B). <a href="https://www.jove.com/files/ftp_upload/60618/60618fig02large.jpg" target="_blank">Veuillez cliquer ici pour voir une version plus grande de ce chiffre.</a>
<img alt="Figure 3" class="xfigimg" src="/files/ftp_upload/60618/60618fig03.jpg"> Figure 3 : Résultats montrant comment le mode « enregistrement » en tranche 3D positionne les modèles 3D virtuels de l'os et de la tumeur (A) en ce qui concerne la référence de marqueur imprimée en 3D (B). L'adaptateur marqueur est fixé au modèle de tissu osseux. <a href="https://www.jove.com/files/ftp_upload/60618/60618fig03large.jpg" target="_blank">Veuillez cliquer ici pour voir une version plus grande de ce chiffre.</a>
<img alt="Figure 4" class="xfigimg" src="/files/ftp_upload/60618/60618fig04.jpg"> Figure 4 : Petite section du tissu osseux et adaptateur de marqueur 3D. Les deux composants sont combinés puis imprimés en 3D. <a href="https://www.jove.com/files/ftp_upload/60618/60618fig04large.jpg" target="_blank">Veuillez cliquer ici pour voir une version plus grande de ce chiffre.</a>
<img alt="Figure 5" class="xfigimg" src="/files/ftp_upload/60618/60618fig05.jpg"> Figure 5 : Outils imprimés en 3D requis pour l'application finale. (A) "Deux marqueurs cube de couleur" imprimé en 3D avec deux couleurs de matériaux. (B) "Sticker cube marker" imprimé en 3D, avec des autocollants collés. (C) Adaptateur de cube de base marqueur. (D) Section du modèle 3D de tissu osseux du patient et adaptateur de cube de marqueur. (E) "Marqueur cube d'autocollant" placé dans l'adaptateur de cube de base marqueur. (F) "Deux marqueurs de cube de couleur" placés dans l'adaptateur de marqueur attaché à l'anatomie du patient. <a href="https://www.jove.com/files/ftp_upload/60618/60618fig05large.jpg" target="_blank">Veuillez cliquer ici pour voir une version plus grande de ce chiffre.</a>
<img alt="Figure 6" class="xfigimg" src="/files/ftp_upload/60618/60618fig06.jpg"> Figure 6 : Affichage de l'application lors de l'utilisation du mode « visualisation ». Les modèles 3D affectés d'anatomie du patient sont placés au-dessus de la face supérieure du cube 3D-imprimé. <a href="https://www.jove.com/files/ftp_upload/60618/60618fig06large.jpg" target="_blank">Veuillez cliquer ici pour voir une version plus grande de ce chiffre.</a>
<img alt="Figure 7" class="xfigimg" src="/files/ftp_upload/60618/60618fig07.jpg"> Figure 7 : Visualisation AR lors de l'utilisation du mode « enregistrement ». Le marqueur imprimé en 3D permet l'enregistrement du biomodèle imprimé en 3D avec les modèles 3D virtuels. <a href="https://www.jove.com/files/ftp_upload/60618/60618fig07large.jpg" target="_blank">Veuillez cliquer ici pour voir une version plus grande de ce chiffre.</a>

Watch this Scientific Journal Video about Combining Augmented Reality and 3D Printing to Display Patient Models on a Smartphone at JoVE.com

Combining Augmented Reality and 3D Printing to Display Patient Models on a Smartphone (Video) | JoVE

Présenté ici est une méthode pour concevoir une application smartphone réalité augmentée pour la visualisation des modèles anatomiques en trois dimensions des patients à l'aide d'un marqueur de référence imprimé en 3D.

Combiner la réalité augmentée et l'impression 3D pour afficher les modèles de patients sur un smartphone

Augmented reality (AR) has great potential in education, training, and surgical guidance in the medical field. Its combination with three-dimensional (3D) ...

Ce protocole donne aux utilisateurs inexpérimentés les outils nécessaires pour apporter des solutions de réalité augmentée dans le domaine médical grâce à la construction de leur propre application smartphone. Cette méthode combine la réalité augmentée et l’impression 3D permettant une visualisation rapide et facile des modèles 3D créés à partir de données de base sur le dessus d’un marqueur de référence imprimé 3D. Cette technique peut être appliquée à n’importe quel scénario médical dans lequel une référence imprimée en 3D peut être fixée de façon rigide au patient.La visualisation de modèles visuels 3D créés à partir de la localisation des données de base qui est ciblée et peut également améliorer le patient Ce protocole a été spécifiquement conçu pour les utilisateurs sans connaissance préalable de l’imagerie médicale ou le développement de logiciels pour aider à l’utilisation de la réalité augmentée dans le domaine médical. Pour créer des modèles 3D de l’anatomie d’un patient, suivez d’abord le fichier d’image médicale dans la fenêtre logicielle 3D Slicer et cliquez sur OK. Pour segmenter l’anatomie du patient, rendez-vous au module d’éditeur de segment en trancheur 3D. Un élément de segmentation sera créé automatiquement lors de l’entrée du module.Sélectionnez le volume désiré dans la section volume maître et cliquez à droite en dessous de l’image pour sélectionner ajouter pour créer un segment. Dans le panneau d’effets, sélectionnez l’outil le plus pratique pour la cible et segmentez l’image médicale du patient. Pour exporter la segmentation dans un format de fichier modèle 3D, ouvrez le module segmentations.Dans les modèles d’exportation/importation et les cartes d’étiquettes, sélectionnez l’exportation et les modèles et cliquez sur l’exportation pour créer le modèle 3D à partir de la zone segmentée. Cliquez sur enregistrer et sélectionner les éléments à enregistrer. Ensuite, modifiez le format de fichier du modèle 3D en OBJ.La segmentation peut être répétée pour créer des modèles 3D supplémentaires de différentes régions anatomiques. Pour le positionnement d’un modèle patient 3D à n’importe quelle position par rapport au marqueur de réalité augmentée, ouvrez le module de position du modèle AR Health et sélectionnez le mode de visualisation. Cliquez sur le modèle de marqueur de charge pour charger le marqueur de cette option, le bouton ellipsis pour sélectionner le chemin du modèle 3D enregistré, et le modèle de charge pour charger le modèle en trancheur 3D.Cliquez sur la finition et le centre pour centrer tous les modèles dans le marqueur. Utilisez les barres de diapositives pour ajuster la position, l’orientation et l’échelle des modèles 3D par rapport au marqueur souhaité. Sélectionnez ensuite le chemin pour stocker les fichiers et cliquez sur enregistrer les modèles pour enregistrer les modèles à cette position.Pour combiner le marqueur de réalité augmentée avec un biomodel 3D à n’importe quelle position désirée, ouvrez le module de position du modèle AR Health et dans la section initialisation sélectionnez le mode d’enregistrement. Cliquez sur le modèle marqueur de charge pour charger le marqueur de cette option et déplacer les modèles 3D jusqu’à ce qu’ils se croisent avec la structure de soutien du marqueur cube, en modifiant la hauteur de la base de marqueur si nécessaire. Pour enregistrer le modèle à cette position, sélectionnez le chemin pour stocker les fichiers et cliquez sur enregistrer les modèles.Si le modèle d’anatomie est trop grand, chargez le biomodel et la structure de soutien du modèle de marqueur cube dans le logiciel de mélangeur de maille. Sélectionnez les deux modèles dans la fenêtre du navigateur objet pour combiner les modèles et utilisez l’outil de coupe ordinaire du menu de modification pour supprimer toutes les sections indésirables du modèle qui ne seront pas imprimées en 3D. Pour enregistrer le modèle à imprimer en 3D, sélectionnez le fichier et exportez et sélectionnez le format désiré.Pour imprimer en 3D les modèles physiques nécessaires à l’application finale de réalité augmentée, dans le logiciel d’impression 3D, sélectionnez un matériau de couleur blanche pour TwoColorCuebMarker_white. fichier obj et un matériau de couleur noire pour le TwoColorCubeMarker_white. fichier obj.Utilisez ensuite une imprimante 3D à double extrème pour imprimer en 3D le marqueur cubique en noir et blanc en mode haute qualité avec une petite hauteur de couche. Pour concevoir une application smartphone dans Unity Engine qui inclut les modèles 3D, ouvrez Vuforia Developer et créez un compte. Sélectionnez obtenir la clé de développement pour obtenir une clé de licence de développement gratuit et dans le menu gestionnaire de licence sélectionnez et copiez la clé.Pour configurer le smartphone, dans l’application Unity version 2019, sous les paramètres de construction dans le menu de fichiers sélectionnez la plate-forme appropriée pour l’appareil. Pour activer Vuforia dans le projet, sélectionnez modifier, définir le projet, les paramètres des joueurs et les paramètres XR et coché la case vuforia augmente la prise en charge de la réalité. Pour créer une caméra de réalité augmentée, sélectionnez la barre de menu, l’objet de jeu, le moteur Vuforia et la caméra AR et importez les composants Vuforia lorsqu’ils sont invités.Pour ajouter la clé de licence Vuforia dans les paramètres de configuration Vuforia, sélectionnez le dossier ressources, cliquez sur la configuration Vuforia et collez la clé de licence dans la section clé de licence de l’application. Importez le fichier cible Vuforia contenant les fichiers dont Vuforia a besoin pour détecter les marqueurs dans Unity et sélectionnez la barre de menu, l’objet de jeu, le moteur Vuforia et l’image multi pour créer une cible multi Vuforia. Cliquez sur la cible multi pour sélectionner le type de marqueur qui sera utilisé pour la détection et dans l’option de base de données sous un comportement multi-cibles, sélectionnez ARHealth_3dPrintedCube_30x30x30.Dans l’option multi-cibles sous un comportement multi-cibles, sélectionnez TwoColorCubeMarker ou StickerCubeMarker selon le marqueur. Faites glisser les modèles 3D dans le dossier des modèles et faites glisser le dossier sous l’élément cible multi. Les modèles doivent devenir visibles dans la scène de vue Unity 3D.Pour changer les couleurs des modèles 3D, créez de nouveaux matériaux et assignez les nouveaux matériaux aux modèles. Si une webcam est disponible, cliquez sur lire pour tester l’application sur l’ordinateur. Si le marqueur est visible à la webcam, il doit être détecté et les modèles 3D doivent apparaître dans la scène.Si un smartphone Android sera utilisé pour le développement de l’application, sélectionnez les paramètres de build dans Unity et sélectionnez le téléphone branché de la liste. Ensuite, enregistrez le fichier avec une extension apk et laissez le processus se terminer. Si l’application sera déployée sur un appareil iOS, sélectionnez le fichier dans les paramètres de build et enregistrez le fichier.Pour visualiser l’application, ouvrez l’application sur le smartphone et utilisez l’appareil photo du smartphone pour regarder le marqueur de l’intérieur de l’application à une distance minimale de 40 centimètres. Une fois que l’application détecte le marqueur, les modèles 3D précédemment créés doivent apparaître sur l’écran du smartphone à l’emplacement exact défini pendant la procédure. Utilisant la méthode comme démontré, cette partie du tibia et du péroné affectés d’un patient souffrant du sarcome et de la tumeur distal de jambe ont été segmentées du patient' balayage de CT de s.Utilisant les outils de segmentation, un biomodel a été créé pour l’os et un biomodel a été créé pour la tumeur. Pour le mode visualisation, les modèles étaient centrés dans la phase supérieure du marqueur. Pour le mode d’enregistrement, l’adaptateur marqueur a été placé dans le tibia et une petite section du tibia a été sélectionnée pour être imprimée en 3D avec un adaptateur marqueur 3D.L’acide polylactique peut être utilisé pour créer les marqueurs imprimés 3D, les bases des porte-marqueurs et les sections osseuses comme démontré. Ici, un marqueur est attaché à une base imprimée en mode visualisation 3D et ici la pièce jointe est affichée avec le mode d’enregistrement biomodel imprimé 3D. Cette représentation montre comment l’application fonctionne en mode visualisation avec l’hologramme situé avec précision dans la partie supérieure du cube telle qu’elle a été définie précédemment.En mode enregistrement, le modèle osseux complet peut être placé au-dessus de la section imprimée en 3D avec une visualisation claire et réaliste du marqueur sur le site osseux. Pour utiliser la réalité augmentée pour visualiser des informations importantes sur les patients, vous aurez besoin de plusieurs outils logiciels qui sont librement disponibles ainsi que l’accès à une imprimante 3D et smartphone. Cette procédure peut être appliquée à n’importe quel modèle obtenu à partir de l’imagerie médicale.Son utilisation peut être étendue à d’autres interventions telles que le positionnement par radiothérapie de l’insertion d’aiguilles. Nous étendons maintenant les applications de ce développement dans de nouveaux domaines cliniques, y compris la chirurgie myofasciale ou orthopédique. Nos recherches initiales sont prometteuses et les commentaires des chirurgiens sont très positifs.

Research

JoVE Journal

Medicine

Combining Augmented Reality and 3D Printing to Display Patient Models on a Smartphone

Step By Step: Microsurgical training method combining two nonliving animal models

Step By Step: Microsurgical training method combining two nonliving animal models (Video) | JoVE

Étape par étape: méthode de formation Microsurgical combinant deux modèles animaux inanimés

The learning of microsurgical techniques and the maintenance of microsurgical skills have been traditionally based on the use of living animals, mainly ...

Recherche

Médecine

Smartphone Fundus Photography

Smartphone Fundus Photography (Video) | JoVE

Photographie de fonds de téléphones intelligents

Smartphone fundus photography is a simple technique to obtain ocular fundus pictures using a smartphone camera and a conventional handheld indirect ...

Integrating Augmented Reality Tools in Breast Cancer Related Lymphedema Prognostication and Diagnosis

Integrating Augmented Reality Tools in Breast Cancer Related Lymphedema Prognostication and Diagnosis (Video) | JoVE

Intégration d’outils de réalité augmentée dans le diagnostic et le diagnostic liés au cancer du sein

Breast cancer related lymphedema (BCRL) is a detrimental condition characterized by fluid accumulation in the upper limb in breast cancer patients ...

Multicolor 3D Printing of Complex Intracranial Tumors in Neurosurgery

Multicolor 3D Printing of Complex Intracranial Tumors in Neurosurgery (Video) | JoVE

Impression 3D multicolore des tumeurs intracrâniennes complexes en neurochirurgie

Three-dimensional (3D) printing technologies offer the possibility of visualizing patient-specific pathologies in a physical model of correct dimensions. ...

3D Planning and Printing of Patient Specific Implants for Reconstruction of Bony Defects

3D Planning and Printing of Patient Specific Implants for Reconstruction of Bony Defects (Video) | JoVE

Planification et impression 3D d’implants spécifiques aux patients pour la reconstruction des défauts osseux

We are in the midst of the 3D era in most aspects of life, and especially in medicine. The surgical discipline is one of the major players in the medical ...

Treatment of Facial Deformities using 3D Planning and Printing of Patient-Specific Implants

Treatment of Facial Deformities using 3D Planning and Printing of Patient-Specific Implants (Video) | JoVE

Traitement des déformations faciales à l’aide de la planification 3D et de l’impression d’implants spécifiques au patient

Technological advancements in surgical planning and patient-specific implants are constantly evolving. One can either adopt the technology to achieve ...

Creation of a High-Fidelity, Low-Cost, Intraosseous Line Placement Task Trainer via 3D Printing

Creation of a High-Fidelity, Low-Cost, Intraosseous Line Placement Task Trainer via 3D Printing (Video) | JoVE

Création d’un formateur de tâches de placement de ligne haute fidélité, économique et intraosseuse via l’impression 3D

The description of procedural task trainers includes their use as a training tool to hone technical skills through repetition and rehearsal of procedures ...

Combining 3D-Printing and Electrospinning to Manufacture Biomimetic Heart Valve Leaflets

Combining 3D-Printing and Electrospinning to Manufacture Biomimetic Heart Valve Leaflets (Video) | JoVE

Combinaison de l’impression 3D et de l’électrofilage pour fabriquer des feuillets valvulaires cardiaques biomimétiques

Electrospinning has become a widely used technique in cardiovascular tissue engineering as it offers the possibility to create (micro-)fibrous scaffolds ...

Augmented Reality Navigation-Guided Core Decompression for Osteonecrosis of Femoral Head

Augmented Reality Navigation-Guided Core Decompression for Osteonecrosis of Femoral Head (Video) | JoVE

Décompression du noyau guidée par navigation en réalité augmentée pour l’ostéonécrose de la tête fémorale

Osteonecrosis of the femoral head (ONFH) is a common joint disease in young and middle-aged patients, which seriously burdens their lives and work. For ...

3D Printing Model of a Patient's Specific Lumbar Vertebra

3D Printing Model of a Patient's Specific Lumbar Vertebra (Video) | JoVE

Modèle d’impression 3D de la vertèbre lombaire spécifique d’un patient

Selective dorsal rhizotomy (SDR) is a difficult, risky, and sophisticated operation, in which a laminectomy should not only expose an adequate surgical ...