Name: combining augmented reality and 3d printing to display patient models on a smartphone
Uploaded: 2020-01-02T13:00:00
Duration: 9 min 26 s
Description: Watch this Scientific Journal Video about Combining Augmented Reality and 3D Printing to Display Patient Models on a Smartphone at JoVE.com

דו ח זה נתמך על ידי פרויקטים PI18/01625 ו PI15/02121 (Ministerio de ciencia, חדשנות האוניברסיטה, המכון דה salud קרלוס השלישי והאירופי לפיתוח אזורי הקרן "אונה סון נרה דה האג") ו IND2018/טיק-9753 (comunidad דה מדריד).

<ol>
	<li>Coles, T. R., John, N. W., Gould, D., Caldwell, D. G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Integrating+Haptics+with+Augmented+Reality+in+a+Femoral+Palpation+and+Needle+Insertion+Training+Simulation.">Integrating Haptics with Augmented Reality in a Femoral Palpation and Needle Insertion Training Simulation.</a> IEEE Transactions on Haptics. 4 (3), 199-209 (2011).</li><li>Pelargos, P. E., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Utilizing+virtual+and+augmented+reality+for+educational+and+clinical+enhancements+in+neurosurgery.">Utilizing virtual and augmented reality for educational and clinical enhancements in neurosurgery.</a> Journal of Clinical Neuroscience. 35, 1-4 (2017).</li><li>Abhari, K., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Training+for+Planning+Tumour+Resection:+Augmented+Reality+and+Human+Factors.">Training for Planning Tumour Resection: Augmented Reality and Human Factors.</a> IEEE Transactions on Biomedical Engineering. 62 (6), 1466-1477 (2015).</li><li>Uppot, R., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Implementing+Virtual+and+Augmented+Reality+Tools+for+Radiology+Education+and+Training,+Communication,+and+Clinical+Care.">Implementing Virtual and Augmented Reality Tools for Radiology Education and Training, Communication, and Clinical Care.</a> Radiology. 291, 182210 (2019).</li><li>Pratt, P., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Through+the+HoloLensTM+looking+glass:+augmented+reality+for+extremity+reconstruction+surgery+using+3D+vascular+models+with+perforating+vessels.">Through the HoloLensTM looking glass: augmented reality for extremity reconstruction surgery using 3D vascular models with perforating vessels.</a> European Radiology Experimental. 2 (1), 2 (2018).</li><li>Rose, A. S., Kim, H., Fuchs, H., Frahm, J. -. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Development+of+augmented-reality+applications+in+otolaryngology-head+and+neck+surgery.">Development of augmented-reality applications in otolaryngology-head and neck surgery.</a> The Laryngoscope. , (2019).</li><li>Zhou, C., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Robot-Assisted+Surgery+for+Mandibular+Angle+Split+Osteotomy+Using+Augmented+Reality:+Preliminary+Results+on+Clinical+Animal+Experiment.">Robot-Assisted Surgery for Mandibular Angle Split Osteotomy Using Augmented Reality: Preliminary Results on Clinical Animal Experiment.</a> Aesthetic Plastic Surgery. 41 (5), 1228-1236 (2017).</li><li>Heinrich, F., Joeres, F., Lawonn, K., Hansen, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Comparison+of+Projective+Augmented+Reality+Concepts+to+Support+Medical+Needle+Insertion.">Comparison of Projective Augmented Reality Concepts to Support Medical Needle Insertion.</a> IEEE Transactions on Visualization and Computer Graphics. 25 (6), 1 (2019).</li><li>Deng, W., Li, F., Wang, M., Song, Z. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Easy-to-Use+Augmented+Reality+Neuronavigation+Using+a+Wireless+Tablet+PC.">Easy-to-Use Augmented Reality Neuronavigation Using a Wireless Tablet PC.</a> Stereotactic and Functional Neurosurgery. 92 (1), 17-24 (2014).</li><li>Fan, Z., Weng, Y., Chen, G., Liao, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=3D+interactive+surgical+visualization+system+using+mobile+spatial+information+acquisition+and+autostereoscopic+display.">3D interactive surgical visualization system using mobile spatial information acquisition and autostereoscopic display.</a> Journal of Biomedical Informatics. 71, 154-164 (2017).</li><li>Arnal-Burr&#243;, J., P&#233;rez-Ma&#241;anes, R., Gallo-del-Valle, E., Igualada-Blazquez, C., Cuervas-Mons, M., Vaquero-Mart&#237;n, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Three+dimensional-printed+patient-specific+cutting+guides+for+femoral+varization+osteotomy:+Do+it+yourself.">Three dimensional-printed patient-specific cutting guides for femoral varization osteotomy: Do it yourself.</a> The Knee. 24 (6), 1359-1368 (2017).</li><li>Vaquero, J., Arnal, J., Perez-Ma&#241;anes, R., Calvo-Haro, J., Chana, F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=3D+patient-specific+surgical+printing+cutting+blocks+guides+and+spacers+for+open-+wedge+high+tibial+osteotomy+(HTO)+-+do+it+yourself.">3D patient-specific surgical printing cutting blocks guides and spacers for open- wedge high tibial osteotomy (HTO) - do it yourself.</a> Revue de Chirurgie Orthop&#233;dique et Traumatologique. 102, 131 (2016).</li><li>De La Pe&#241;a, A., De La Pe&#241;a-Brambila, J., P&#233;rez-De La Torre, J., Ochoa, M., Gallardo, G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Low-cost+customized+cranioplasty+using+a+3D+digital+printing+model:+a+case+report.">Low-cost customized cranioplasty using a 3D digital printing model: a case report.</a> 3D Printing in Medicine. 4 (1), 1-9 (2018).</li><li>Kamio, T., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Utilizing+a+low-cost+desktop+3D+printer+to+develop+a+"one-stop+3D+printing+lab"+for+oral+and+maxillofacial+surgery+and+dentistry+fields.">Utilizing a low-cost desktop 3D printer to develop a "one-stop 3D printing lab" for oral and maxillofacial surgery and dentistry fields.</a> 3D Printing in Medicine. 4 (1), 1-7 (2018).</li><li>Punyaratabandhu, T., Liacouras, P., Pairojboriboon, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Using+3D+models+in+orthopedic+oncology:+presenting+personalized+advantages+in+surgical+planning+and+intraoperative+outcomes.">Using 3D models in orthopedic oncology: presenting personalized advantages in surgical planning and intraoperative outcomes.</a> 3D Printing in Medicine. 4 (1), 1-13 (2018).</li><li>Wake, N., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Patient-specific+3D+printed+and+augmented+reality+kidney+and+prostate+cancer+models:+impact+on+patient+education.">Patient-specific 3D printed and augmented reality kidney and prostate cancer models: impact on patient education.</a> 3D Printing in Medicine. 5 (1), 1-8 (2019).</li><li>Barber, S. R., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Augmented+Reality,+Surgical+Navigation,+and+3D+Printing+for+Transcanal+Endoscopic+Approach+to+the+Petrous+Apex.">Augmented Reality, Surgical Navigation, and 3D Printing for Transcanal Endoscopic Approach to the Petrous Apex.</a> OTO Open: The Official Open Access Journal of the American Academy of Otolaryngology-Head and Neck Surgery Foundation. 2 (4), (2018).</li><li>Witowski, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Augmented+reality+and+three-dimensional+printing+in+percutaneous+interventions+on+pulmonary+arteries.">Augmented reality and three-dimensional printing in percutaneous interventions on pulmonary arteries.</a> Quantitative Imaging in Medicine and Surgery. 9 (1), (2019).</li><li>Moreta-Mart&#237;nez, R., Garc&#237;a-Mato, D., Garc&#237;a-Sevilla, M., P&#233;rez-Ma&#241;anes, R., Calvo-Haro, J., Pascau, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Augmented+reality+in+computer-assisted+interventions+based+on+patient-specific+3D+printed+reference.">Augmented reality in computer-assisted interventions based on patient-specific 3D printed reference.</a> Healthcare Technology Letters. , (2018).</li></ol>

. למחברים אין מה לגלות

AR מחזיקה בפוטנציאל רב בחינוך, הכשרה וכירורגי בתחום הרפואי. השילוב עם הדפסה תלת-ממדית עשוי לפתוח אפשרויות חדשות ביישומים קליניים. פרוטוקול זה מתאר מתודולוגיה המאפשרת למשתמשים לא מנוסים ליצור app smartphone המשלב AR ו 3DP עבור ויזואליזציה של מודלים אנטומיים תלת-ממדיים של חולים עם 3Dp-מודפס סמנים הפניה.
באופן כללי, אחד היישומים הקליניים המעניינים ביותר של AR ו-3DP הוא לשפר את התקשורת מטופל לרופא על ידי מתן המטופל פרספקטיבה שונה של המקרה, שיפור הסברים של מצבים רפואיים ספציפיים או טיפולים. יישום אחר אפשרי כולל הדרכה כירורגית ללוקליזציה היעד, שבו מודפס 3D כלים ספציפיים לחולה (עם התייחסות AR סמן מחובר) ניתן להציב על מבנים קשיחים (כלומר, עצם) ומשמש כהפניה לניווט. יישום זה שימושי במיוחד עבור אורתופדיה והליכים כירורגי הפנים, שבו משטח רקמת העצם ניתן לגשת בקלות במהלך הניתוח.
הפרוטוקול מתחיל בסעיף 1, המתאר את כלי הגדרת תחנת העבודה והתוכנה הנחוצים. סעיף 2 מתאר כיצד להשתמש בתוכנה מבצעה תלת-ממד כדי לפלח בקלות את האנטומיות היעד של המטופל מכל הדמיה רפואית מודאליות כדי להשיג דגמי תלת-ממד. שלב זה הוא קריטי, כמו דגמי תלת-ממד וירטואליים שנוצרו הם אלה המוצגים ביישום AR הסופי.
בסעיף 3, האפשרות ' פריסה תלת-ממדית ' משמשת לרישום דגמי תלת-ממד שנוצרו במקטע הקודם באמצעות סמן AR. במהלך הליך רישום זה, מודלים תלת-ממדיים מטופלים באופן יעיל ופשוט ממוקמים ביחס לסמן AR. המיקום המוגדר בסעיף זה יקבע את המיקום היחסי של ההולוגרמה באפליקציה הסופית. הוא האמין כי פתרון זה מפחית את המורכבות ומכפיל את היישומים האפשריים. סעיף 3 מתאר שתי אפשרויות שונות כדי להגדיר את הקשרים המרחבית בין המודלים ו-AR סמנים: "ויזואליזציה" ו "רישום" מצב. האפשרות הראשונה, "ויזואליזציה" מצב, מאפשר לדגמי תלת-ממד להיות ממוקם בכל מקום ביחס לסמן ומוצג כמו ביואודל כולו. מצב זה מספק מציאותית, 3D פרספקטיבה של האנטומיה של המטופל מאפשר לנוע וסיבוב של ביודלים על ידי הזזת סמן AR מעקב. האפשרות השנייה, "רישום" מצב, מאפשר חיבור ושילוב של מתאם סמן לכל חלק של ביואודל, המציע תהליך ההרשמה אוטומטית. באמצעות אפשרות זו, קטע קטן של דגם תלת-ממד, כולל מתאם סמן, יכול להיות מודפס 3D, והאפליקציה יכולה להציג את שאר הדגם כהולוגרמה.
סעיף 4 מספק קווים מנחים לתהליך הדפסת תלת-ממד. ראשית, המשתמש יכול לבחור בין שני סמנים שונים: "סמן הצבע הכפול" ו "סמן מדבקה". כל "סמן צבע כפול" יכול להיות 3D-מודפס, אך דורש מדפסת תלת-ממד כפול מכבש. במקרה שמדפסת זו אינה זמינה, מוצע "סמן המדבקה". זהו סמן פשוט שניתן להשיג על ידי 3D-הדפסת מבנה מעוקב, ולאחר מכן הדבקת תמונות של הקוביה עם נייר מדבקה או דבק מדבקה. יתר על כן, שני סמנים עוצבו עם מקטעים הניתן להרחבה כדי להתאים באופן מושלם במתאם ספציפי. לפיכך, ניתן לעשות שימוש חוזר בסמן במספר מקרים.
סעיף 5 מתאר את התהליך ליצירת פרויקט אחדות עבור AR באמצעות ערכת הפיתוח של התוכנה Vuforia. שלב זה עשוי להיות החלק הקשה ביותר עבור משתמשים ללא ניסיון תיכנות, אך עם הנחיות אלה, זה צריך להיות קל יותר להשיג את היישום הסופי המוצג בסעיף 6. האפליקציה מציגה מודלים וירטואליים של המטופל מעל מסך הטלפון החכם כאשר המצלמה מזהה את הסמן 3D-מודפס. כדי app לזהות את סמן 3D, מרחק מינימלי של כ 40 ס"מ או פחות מהטלפון אל הסמן, כמו גם תנאי תאורה טובים נדרשים.
היישום הסופי של פרוטוקול זה מאפשר למשתמש לבחור את הסמנים הספציפיים כדי להמחיש ובאילו תנוחות. עם זאת, האפליקציה יכולה לבצע רישום אוטומטי הולוגרמה המטופל באמצעות סמן 3D מודפס ומתאם מצורף ביואודל. זה פותר את האתגר של רישום מודלים וירטואליים עם הסביבה באופן ישיר ונוח. יתרה מזאת, מתודולוגיה זו אינה דורשת ידע נרחב על הדמיה או פיתוח תוכנה רפואית, אינה תלויה בחומרה מורכבת ובתוכנה יקרה, וניתן ליישם אותה במשך זמן קצר. הוא צפוי כי שיטה זו תסייע להאיץ אימוץ של טכנולוגיות AR ו 3DP על ידי אנשי מקצוע רפואיים.

AR ו-3DP הם טכנולוגיות המספקים מספר גדל והולך של יישומים בתחום הרפואי. במקרה של AR, האינטראקציה שלה עם דגמי תלת-ממד וירטואליים והסביבה האמיתית מטבות לרופאים לגבי חינוך והכשרה1,2,3, תקשורת ואינטראקציות עם רופאים אחרים4, והדרכה במהלך התערבויות קליניות5,6,7,8,9,10. כמו כן, 3dp הפך לפתרון רב עוצמה עבור רופאים כאשר פיתוח כלים ספציפיים ללקוח להתאמה אישית11,12,13 או יצירת דגמי תלת-ממד של האנטומיה של החולה, אשר יכול לעזור לשפר את תכנון preאופרטיבית התערבויות קליניות14,15.
הן טכנולוגיות AR ו-3DP לעזור לשפר את האוריינטציה, הדרכה, ומיומנויות מרחבית בהליכים רפואיים; לכן, השילוב שלהם הוא הצעד הלוגי הבא. העבודה הקודמת הוכיחה כי השימוש המשותף שלהם יכול להגדיל את הערך בחינוך החולה16, הקלה על הסברים של מצבים רפואיים הציע טיפול, אופטימיזציה של זרימת עבודה כירורגית17,18 ושיפור מטופל לדגם הרישום19. למרות שטכנולוגיות אלה גדלו באופן אקספוננציאלי בשנים האחרונות, האימוץ שלהם על ידי רופאים עדיין מוגבל, שכן הם דורשים ידע נרחב של הנדסה ופיתוח תוכנה. לכן, מטרת העבודה היא לתאר מתודולוגיה צעד-אחר-צעד המאפשרת שימוש ב-AR ו-3DP על-ידי משתמשים לא מנוסים, ללא צורך בידע טכני רחב.
פרוטוקול זה מתאר כיצד לפתח app החכם AR המאפשר את המרשים של כל מודל 3D מבוסס החולה על סביבת העולם האמיתי באמצעות סמן 3D מודפס מעקב על ידי מצלמת הטלפון החכם. בנוסף, גישה חלופית מתוארת כדי לספק רישום אוטומטי בין 3D מודפס ביודל (כלומר, דגם תלת-ממד שנוצר מתוך האנטומיה של המטופל) ואת הולוגרמות מוקרן. הפרוטוקול המתואר מבוסס לחלוטין על תוכנה חופשית ומרובת פלטפורמות.
בעבודה קודמת, הרישום מטופל לתמונה חושב באופן ידני5 עם אלגוריתמים של זיהוי פני שטח10 או לא זמין2. שיטות אלה נחשבו מוגבלות במקצת כאשר נדרש רישום מדויק19. כדי להתגבר על מגבלות אלה, עבודה זו מספקת כלים לביצוע רישום מדויק ופשוט לתמונה בהליכים AR על ידי שילוב טכנולוגיית AR ו 3DP.
הפרוטוקול הוא גנרי וניתן להחילו על כל הדמיה רפואית או מטופל. כדוגמה, מקרה קליני אמיתי של חולה הסובל סרקומה של הרגל המרוחק מסופק כדי להמחיש את המתודולוגיה. השלב הראשון מתאר כיצד לפלח בקלות את האנטומיה המושפעת מטומוגרפיה ממוחשבת (CT) כדי ליצור מודלים וירטואליים תלת-ממדיים. לאחר מכן, המיקום של דגמי תלת-ממד מבוצע, ולאחר מכן הכלים והמודלים הדרושים הם תלת-ממד מודפסים. לבסוף, יישום AR הרצוי נפרס. יישום זה מאפשר ויזואליזציה של מודלים 3D החולה המצופים במצלמת הטלפון החכם בזמן אמת.

<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td>3D Printing material: Acrylonitrile Butadiene Styrene (ABS)</td>
			<td></td>
			<td></td>
			<td>Thermoplastic polymer material usually used in domestic 3D printers.</td>
		</tr>
		<tr>
			<td>3D Printing material: Polylactic Acid (PLA)</td>
			<td></td>
			<td></td>
			<td>Bioplastic material usually used in domestic 3D printers.</td>
		</tr>
		<tr>
			<td>3D Slicer</td>
			<td></td>
			<td></td>
			<td>Open-source software platform for medical image informatics, image processing, and three-dimensional visualization</td>
		</tr>
		<tr>
			<td>Android</td>
			<td>Alphabet, Inc.</td>
			<td></td>
			<td>Android is a mobile operating system developed by Google. It is based on a modified version of the Linux kernel and other open source software, and is designed primarily for touchscreen mobile devices such as smartphones and tablets.</td>
		</tr>
		<tr>
			<td>Autodesk Meshmixer</td>
			<td>Autodesk, Inc.</td>
			<td></td>
			<td>Meshmixer is state-of-the-art software for working with triangle meshes. Free software.</td>
		</tr>
		<tr>
			<td>iPhone OS</td>
			<td>Apple, Inc.</td>
			<td></td>
			<td>iPhone OS is a mobile operating system created and developed by Apple Inc. exclusively for its hardware.</td>
		</tr>
		<tr>
			<td>Ultimaker 3 Extended</td>
			<td>Ultimaker BV</td>
			<td></td>
			<td>Fused deposition modeling 3D printer.</td>
		</tr>
		<tr>
			<td>Unity</td>
			<td>Unity Technologies</td>
			<td></td>
			<td>Unity is a real-time development platform to create 3D, 2D VR &#38; AR visualizations for Games, Auto, Transportation, Film, Animation, Architecture, Engineering &#38; more. Free software.</td>
		</tr>
		<tr>
			<td>Xcode</td>
			<td>Apple, Inc.</td>
			<td></td>
			<td>Xcode is a complete developer toolset for creating apps for Mac, iPhone, iPad, Apple Watch, and Apple TV. Free software.</td>
		</tr>
	</tbody>
</table>

combining augmented reality and 3d printing to display patient models on a smartphone

מציאות רבודה (AR) יש פוטנציאל רב בתחום החינוך, ההכשרה וההדרכה הכירורגית בשדה הרפואי. השילוב שלה עם תלת מימדי (3D) הדפסה (3 DP) פותח אפשרויות חדשות ביישומים קליניים. למרות שטכנולוגיות אלה גדלו באופן אקספוננציאלי בשנים האחרונות, האימוץ שלהם על ידי רופאים עדיין מוגבל, שכן הם דורשים ידע נרחב של הנדסה ופיתוח תוכנה. לכן, המטרה של פרוטוקול זה היא לתאר מתודולוגיה צעד אחר צעד המאפשרת למשתמשים לא מנוסים ליצור app smartphone, אשר משלבת AR ו 3DP עבור ויזואליזציה של מודלים אנטומיים תלת-ממדיים של חולים עם סמן 3Dp-הפניה מודפס. הפרוטוקול מתאר כיצד ליצור 3D מודלים וירטואליים של האנטומיה של החולה נגזר תמונות רפואיות 3D. לאחר מכן הוא מסביר כיצד לבצע מיקום של דגמי תלת-ממד ביחס להפניית סמן. מסופקים גם הוראות כיצד 3D להדפיס את הכלים הדרושים ומודלים. לבסוף, צעדים לפריסת האפליקציה מסופקים. הפרוטוקול מבוסס על תוכנה חופשית ומרובת פלטפורמות והוא יכול להיות מיושם על כל הדמיה רפואית מודאלית או חולה. גישה חלופית מתוארת על מנת לספק רישום אוטומטי בין מודל תלת-ממדי שנוצר מהאנטומיה של המטופל לבין הולוגרמות המתוכננות. לדוגמה, מקרה קליני של חולה הסובל מסרקומה של הרגל המרוחק מסופק כדי להמחיש את המתודולוגיה. הוא צפוי כי פרוטוקול זה יהיה להאיץ את אימוץ טכנולוגיות AR ו 3DP על ידי אנשי מקצוע רפואיים.

הפרוטוקול הוחל על נתונים מחולה סובל סרקומה של הרגל המרוחק כדי להמחיש את האזור האנטומי מושפע מנקודת מבט תלת-ממדית. באמצעות השיטה המתוארת בסעיף 2, החלק של העצם המושפע (כאן, השוקה והפיבולה) והגידול היו מחולקים מסריקת ה-CT של המטופל. לאחר מכן, באמצעות כלי פילוח מתוך מבצעה 3D, שני ביודלים נוצרו: העצם (קטע של השוקה ופיבולה) (איור 1A) וגידול (איור 1B).
לאחר מכן, שני דגמי תלת-ממד הוצבו כמעט ביחס לסמן להדמיה אופטימלית. שני המצבים המתוארים בסעיף 3 באו לדוגמה זו. במצב הדמיה, המודלים התרכזו בפנים העליונים של הסמן (איור 2). עבור מצב ההרשמה, מתאם סמן היה ממוקם בעצם (במיוחד, השוקה [איור 3]). לאחר מכן, קטע קטן של השוקה נבחר להיות 3D-מודפס עם מתאם סמן 3D (איור 4). Ultimaker 3 המורחבת מדפסת תלת-ממד עם חומר PLA שימש כדי ליצור את הסמנים 3d-מודפס (איור 5A, B), סמן בסיס המחזיק (איור 5ג) עבור "ויזואליזציה" מצב, וסעיף של השוקה למצב "רישום" (איור 5ד). איור 5E מראה כיצד הסמן הוצמד לבסיס המודפס בתלת-ממד של מצב "חזותי". איור 5F מציג את הקובץ המצורף עם "רישום" מצב תלת-ממד מודפס בצורת ביודל. לבסוף, אחדות שימש כדי ליצור את האפליקציה ולפרוס אותו על הטלפון החכם.
איור 6 מראה כיצד האפליקציה עבדה עבור מצב "ויזואליזציה". ההולוגרמה הייתה ממוקמת באופן מדויק בחלק העליון של הקוביה כפי שהוגדר קודם לכן. איור 7 מציג את היישום עבור "רישום" מצב, שבו האפליקציה ממוקם מודל העצם השלם על גבי מקטע 3d-המודפס. ההדמיה הסופית של הולוגרמות היתה ברורה ומציאותית, שמרה על הגדלים האמיתיים של ביודלים, ומוצבים במדויק. בעת שימוש ביישום הטלפון החכם, סמן AR צריך להיות גלוי על ידי המצלמה עבור app כדי להציג כראוי את הולוגרמות. בנוסף, תנאי האור בסצינה חייב להיות באיכות טובה וקבוע עבור זיהוי סמן הנכון. תנאי אור רע או השתקפויות על פני השטח סמן לעכב את המעקב של סמן AR ולגרום לתקלה של האפליקציה.
הזמן הנדרש כדי ליצור את האפליקציה תלוי במספר גורמים. משך פרק 1 מוגבל על-ידי מהירות ההורדה. לגבי פילוח אנטומיה (סעיף 2), גורמים המשפיעים על זמן פילוח כוללים את המורכבות של האזור ואת מודאליות הדמיה רפואית (כלומר, CT מחולק בקלות, בעוד MRI קשה יותר). עבור הדוגמה הנציגה של השוקה, כ 10 דקות נדרש כדי ליצור שני דגמי תלת-ממד מסריקת ה-CT. מיצוב ביואודל (סעיף 3) הוא פשוט וישיר. כאן, זה לקח כ 5 דקות כדי להגדיר את המיקום ביואודל ביחס סמן AR. עבור שלב ההדפסה התלת-ממדי, המשך תלוי מאוד במצב שנבחר. "סמן צבע כפול" יוצרו באיכות גבוהה בתקופה של 5 h ו 20 דקות. "סמן מדבקה" יוצרו בתקופה של 1 h ו 30 דקות, בתוספת הזמן הנדרש כדי להדביק את המדבקות. השלב האחרון עבור פיתוח app יכול להיות זמן רב עבור אלה ללא ניסיון קודם באחדות, אבל זה יכול להסתיים בקלות בעקבות שלבי הפרוטוקול. לאחר סמנים AR כבר מודפס 3D, פיתוח של יישום AR חדש לחלוטין ניתן לבצע בפחות מ 1 h. משך זה יכול להיות מופחת עוד יותר עם ניסיון נוסף.
<img alt="Figure 1" class="xfigimg" src="/files/ftp_upload/60618/60618fig01.jpg"> איור 1: ייצוג של דגמי תלת-ממד שנוצרו מתמונת CT של חולה הסובל מסרקומה של הרגל המרוחק. (א) רקמת עצם מיוצגת בלבן (שוקהופיבולה). (ב) הגידול המיוצג באדום. <a href="https://www.jove.com/files/ftp_upload/60618/60618fig01large.jpg" target="_blank">אנא לחץ כאן כדי להציג גירסה גדולה יותר של איור זה.</a>
<img alt="Figure 2" class="xfigimg" src="/files/ftp_upload/60618/60618fig02.jpg"> איור 2: התוצאות המציגות כיצד "ויזואליזציה" מצב מבצעה 3D ממקם את דגמי 3D וירטואלי של העצם והגידול ביחס 3d-מודפס סמן הפניה. דגמי תלת-ממד המטופלים (A) ממוקמים מעל הפנים העליונות של קוביית הסמן (B). <a href="https://www.jove.com/files/ftp_upload/60618/60618fig02large.jpg" target="_blank">אנא לחץ כאן כדי להציג גירסה גדולה יותר של איור זה.</a>
<img alt="Figure 3" class="xfigimg" src="/files/ftp_upload/60618/60618fig03.jpg"> איור 3: התוצאות המציגות כיצד "רישום" מצב בפורס תלת-ממד ממקם את דגמי התלת-ממד הווירטואליים של העצם והגידול (A) ביחס להפניית סמן תלת-ממד (B). מתאם הסמן מוצמד למודל רקמת העצם. <a href="https://www.jove.com/files/ftp_upload/60618/60618fig03large.jpg" target="_blank">אנא לחץ כאן כדי להציג גירסה גדולה יותר של איור זה.</a>
<img alt="Figure 4" class="xfigimg" src="/files/ftp_upload/60618/60618fig04.jpg"> איור 4: קטע קטן של רקמת העצם ו 3D מתאם סמן. שני הרכיבים משולבים לאחר מכן 3D מודפס. <a href="https://www.jove.com/files/ftp_upload/60618/60618fig04large.jpg" target="_blank">אנא לחץ כאן כדי להציג גירסה גדולה יותר של איור זה.</a>
<img alt="Figure 5" class="xfigimg" src="/files/ftp_upload/60618/60618fig05.jpg"> איור 5: כלים מודפסים תלת-ממדיים הדרושים לאפליקציה הסופית. (א) "שני מסמן קוביית צבע" 3d-מודפס עם שני צבעים של חומרים. (ב) "מדבקה קוביית מסמן" 3d-מודפס, עם מדבקות מודבקות. (ג) סמן בסיס קוביית מתאם. (ד) קטע של רקמת העצם של החולה 3d דגם ומתאם קוביית סמן. (ה) "סמן קוביית מדבקה" ממוקם במתאם קוביית הבסיס של הסמן. (ו) "שני סמן קוביית צבע" ממוקם במתאם סמן המצורפת האנטומיה של המטופל. <a href="https://www.jove.com/files/ftp_upload/60618/60618fig05large.jpg" target="_blank">אנא לחץ כאן כדי להציג גירסה גדולה יותר של איור זה.</a>
<img alt="Figure 6" class="xfigimg" src="/files/ftp_upload/60618/60618fig06.jpg"> איור 6: האפליקציה מוצגת בעת שימוש במצב "ויזואליזציה". מושפע החולה מודלים 3D האנטומיה ממוקמות מעל הפנים העליונות של קוביית מודפס 3D. <a href="https://www.jove.com/files/ftp_upload/60618/60618fig06large.jpg" target="_blank">אנא לחץ כאן כדי להציג גירסה גדולה יותר של איור זה.</a>
<img alt="Figure 7" class="xfigimg" src="/files/ftp_upload/60618/60618fig07.jpg"> איור 7: הדמיית AR בעת שימוש במצב "רישום". הסמן מודפס 3D מאפשר רישום של 3D-מודפס ביואודל עם דגמי תלת-ממד וירטואליים. <a href="https://www.jove.com/files/ftp_upload/60618/60618fig07large.jpg" target="_blank">אנא לחץ כאן כדי להציג גירסה גדולה יותר של איור זה.</a>

Watch this Scientific Journal Video about Combining Augmented Reality and 3D Printing to Display Patient Models on a Smartphone at JoVE.com

Combining Augmented Reality and 3D Printing to Display Patient Models on a Smartphone

הציג כאן היא שיטה לעצב יישום החכם המציאות הרבודה עבור ויזואליזציה של מודלים אנטומיים תלת ממדיים של חולים באמצעות סמן הפניה 3D מודפס.

שילוב מציאות רבודה והדפסה 3D כדי להציג מודלים החולה על הטלפון החכם

Augmented reality (AR) has great potential in education, training, and surgical guidance in the medical field. Its combination with three-dimensional (3D) ...

פרוטוקול זה מעניק למשתמשים לא מנוסים את הכלים להביא פתרונות מציאות רבודה לתחום הרפואי באמצעות בניית אפליקציית סמארטפון משלהם. שיטה זו משלבת מציאות רבודה והדפסה תלת-ממדית המאפשרת תצוגה חזותית מהירה וקלה של מודלים תלת-ממדיים שנוצרו מבססים נתונים על גבי סמן ייחוס מודפס בתלת-ממד. טכניקה זו יכולה להיות מיושמת על כל תרחיש רפואי שבו הפניה מודפסת 3D ניתן לצרף בקשיחות למטופל.הדמיה של מודלים חזותיים תלת-ממדיים שנוצרו מבססים לוקליזציה של נתונים הממוקדת וגם יכולה לשפר את המטופל פרוטוקול זה תוכנן במיוחד עבור משתמשים ללא ידע מוקדם בהדמיה רפואית או בפיתוח תוכנה כדי לסייע בשימוש במציאות רבודה בתחום הרפואי. ליצירת מודלים תלת-ממדים של האנטומיה של המטופל, תחילה עקוב אחר קובץ התמונה הרפואית בחלון התוכנה של כלי פריסה תלת-ממד ולחץ על אישור. כדי למקטע את האנטומיה של המטופל, עבור אל מודול עורך המקטעים ב- 3D Slicer. פריט פילוח ייווצר באופן אוטומטי בעת הזנת המודול.בחר את אמצעי האחסון הרצוי במקטע אמצעי האחסון הראשי ולחץ באמצעות לחצן העכבר הימני מתחת לתמונה כדי לבחור הוסף כדי ליצור מקטע. בלוח האפקטים, בחרו בכלי הנוח ביותר ליעד וקטעו את התמונה הרפואית של המטופל. לייצוא הפילוח בתבנית קובץ של דגם תלת-ממד, פתחו את מודול הפילוח.במודלים של ייצוא/ייבוא ומפות תוויות, בחרו 'ייצוא' ו'דגמים' ולחצו על 'ייצוא' ליצירת דגם תלת-ממד מהאזור המפולח. לחץ על שמור ובחר את הרכיבים לשמירה. לאחר מכן שנה את תבנית הקובץ של דגם תלת-ממד ל- OBJ.ניתן לחזור על הפילוח כדי ליצור מודלים תלת-ממדיים נוספים של אזורים אנטומיים שונים. למיקום מודל מטופל תלת-ממד בכל עמדה ביחס לסמן המציאות הרבודה, פתחו את מודול המיקום של מודל AR Health ובחרו מצב הדמיה. לחצו על 'טען דגם סמן' כדי לטעון את הסמן לאפשרות זו, על לחצן שלוש הנקודות לבחירת הנתיב של דגם תלת-ממד שנשמר, טענו את הדגם לטעינת הדגם ב-3D Slicer.לחץ על סיום ומרכז למרכז את כל הדגמים בתוך הסמן. השתמשו בפסי השקופיות להתאמת המיקום, הכיוון וההידרג של דגמי תלת-ממד ביחס לסמן כרצונך. לאחר מכן בחר את הנתיב לאחסון הקבצים ולחץ על שמור מודלים כדי לשמור את הדגמים במיקום זה.כדי לשלב את סמן המציאות הרבודה עם ביומודל תלת-ממד בכל מיקום רצוי, פתח את מודול המיקום של מודל AR Health ובסעיף האתחול בחר את מצב הרישום. לחצו על דגם סמן הטעינה כדי לטעון את הסמן לאפשרות זו והזיזו את דגמי ה-3D עד להם מצטלבים עם המבנה התומך של סמן הקוביה, משנים את גובה בסיס הסמן לפי הצורך. כדי לשמור את המודל במיקום זה, בחר את הנתיב לאחסון הקבצים ולחץ על שמור מודלים.אם מודל האנטומיה גדול מדי, טען את המודול והמבנה התומך של מודל סמן הקוביה בתוכנת מערבל רשת. בחרו בשני הדגמים בחלון דפדפן העצם כדי לשלב את הדגמים ולהשתמש בכלי החיתוך הפשוט מתפריט העריכה כדי להסיר חלקים לא רצויים של הדגם שלא יודפסו בתלת-ממד. לשמירת הדגם להדפסה בתלת-ממד, בחרו קובץ וייצא ובחרו בתבנית הרצויה.להדפסה תלת-ממדית של הדגמים הפיזיים הדרושים ליישום המציאות הרבודה הסופית, בתוכנת ההדפסה בתלת-ממד, בחרו חומר בצבע לבן TwoColorCuebMarker_white. קובץ obj וחומר בצבע שחור עבור TwoColorCubeMarker_white. קובץ obj.לאחר מכן השתמשו במדפסת תלת-ממד כפולה להדפסה תלת-ממדית של הסמן המעוקב בשחור-לבן במצב באיכות גבוהה עם גובה שכבה קטן. כדי לעצב אפליקציית סמארטפון ב-Unity Engine הכוללת את דגמי ה-3D, פתחו את Vuforia Developer וצורו חשבון. בחר לקבל מפתח פיתוח כדי לקבל מפתח רישיון פיתוח חינם בתפריט מנהל הרשיון לבחור ולהעתיק את המפתח.כדי להגדיר את הטלפון החכם, ביישום Unity גרסה 2019, תחת הגדרות לבנות בתפריט הקובץ בחר את הפלטפורמה המתאימה עבור המכשיר. כדי להפוך את Vuforia לזמין בפרוייקט, בחר עריכה, הגדרת פרוייקט, הגדרות נגן והגדרות XR וסמן את התיבה שכותרתה תמיכה במציאות רבודה של Vuforia. כדי ליצור מצלמת מציאות רבודה, בחר שורת תפריטים, אובייקט משחק, מנוע Vuforia ומצלמת AR וייבא את רכיבי Vuforia כשתתבקש לעשות זאת.כדי להוסיף את מפתח הרשיון של Vuforia להגדרות התצורה של Vuforia, בחר את תיקיית המשאבים, לחץ על תצורת Vuforia והדבק את מפתח הרשיון במקטע מפתח רשיון האפליקציה. יבא את קובץ היעד של Vuforia המכיל את הקבצים שוופיוריה דורשת כדי לזהות את סמנים לתוך אחדות ובחר שורת תפריטים, אובייקט משחק, מנוע Vuforia, ותמונה מרובה כדי ליצור יעד רב Vuforia. לחץ על היעד הרב כדי לבחור את סוג הסמן שישמש לזיהוי ובאפשרות מסד הנתונים תחת אופן פעולה מרובה יעדים, בחר ARHealth_3dPrintedCube_30x30x30.באפשרות מרובת היעדים תחת אופן פעולה מרובה יעדים, בחרו TwoColorCubeMarker או StickerCubeMarker בהתאם לסמן. גררו את דגמי ה-3D לתיקיית הדגמים וגרורו את התיקייה מתחת לפריט מרובה היעדים. הדגמים אמורים להפוך לגלויים בסצנת התצוגה של Unity 3D.לשינוי הצבעים של דגמי תלת-ממד, צרו חומרים חדשים והקצאת החומרים החדשים לדגמים. אם מצלמת אינטרנט זמינה, לחץ על הפעל כדי לבדוק את היישום במחשב. אם הסמן גלוי למצלמת האינטרנט, יש לזהות אותו ודגמי תלת-ממד אמורים להופיע בסצנה.אם טלפון חכם של Android ישמש לפיתוח האפליקציה, בחר הגדרות Build ב- Unity ובחר את הטלפון המחובר מהרשימה. לאחר מכן שמרו את הקובץ עם סיומת APK ואפשרו לתהליך להסתיים. אם האפליקציה תיפרס במכשיר iOS, בחר קובץ בהגדרות הבנייה ושמור את הקובץ.כדי להמחיש את האפליקציה, פתחו את האפליקציה בסמארטפון ולהשתמש במצלמת הסמארטפון כדי להסתכל על הסמן מתוך האפליקציה במרחק מינימלי של 40 ס"מ. ברגע שהאפליקציה מזהה את הסמן, דגמי תלת-ממד שנוצרו בעבר אמורים להופיע על מסך הסמארטפון במיקום המדויק שהוגדר במהלך ההליך. באמצעות השיטה כפי שהוכח, חלק זה של השוקה וה שוקית המושפעים מחולה הסובל מסרקומה של רגל דיסטלית וגידול היו מפולחים מסריקת CT של המטופל.באמצעות כלי פילוח, ביו מודל אחד נוצר עבור העצם ביו מודל אחד נוצר עבור הגידול. עבור מצב פריט חזותי, המודלים היו מרוכזים בשלב העליון של הסמן. עבור מצב רישום, מתאם הסמן היה ממוקם השוקה קטע קטן של השוקה נבחר להיות מודפס 3D עם מתאם סמן 3D.חומצה פולילקטית ניתן להשתמש כדי ליצור סמנים מודפסים 3D, בסיסי מחזיק סמן ומקטעי עצם כפי שהודגם. כאן סמן מצורף לבסיס מודפס 3D מצב הדמיה וכאן הקובץ המצורף מוצג עם ביו מודל מודפס 3D מצב רישום. ייצוג זה מראה כיצד האפליקציה פועלת במצב תצוגה חזותית כאשר ההולוגרמה ממוקמת במדויק בחלק העליון של הקוביה כפי שהוגדר קודם לכן.במצב רישום, מודל העצם המלא יכול להיות ממוקם על גבי החלק המודפס 3D עם הדמיה ברורה ומציאותית של הסמן באתר העצם. כדי להשתמש במציאות רבודה כדי לדמיין מידע חשוב על המטופל, תזדקק למספר כלי תוכנה הזמינים באופן חופשי, כמו גם גישה למדפסת תלת-ממד ולטלפון חכם. הליך זה יכול להיות מיושם על כל מודל המתקבל הדמיה רפואית.השימוש בו יכול להיות מורחב התערבויות אחרות כגון מיצוב הקרנות של החדרת מחט. אנו מרחיבים כעת את היישומים של התפתחות זו לתחומים קליניים חדשים כולל ניתוח מיופאסיאלי או אורתופדי. המחקר הראשוני שלנו מבטיח והמשוב המנתח הוא חיובי מאוד.

Research

JoVE Journal

Medicine

Step By Step: Microsurgical training method combining two nonliving animal models

צעד אחר צעד: שיטת אימון Microsurgical שילוב של שני מודלים של בעלי חיים דוממים

The learning of microsurgical techniques and the maintenance of microsurgical skills have been traditionally based on the use of living animals, mainly ...

Smartphone Fundus Photography

צילומי פונדוס

Smartphone fundus photography is a simple technique to obtain ocular fundus pictures using a smartphone camera and a conventional handheld indirect ...

Integrating Augmented Reality Tools in Breast Cancer Related Lymphedema Prognostication and Diagnosis

שילוב כלים מציאות רבודה בסרטן השד הקשורים ימפתית תחזיות ואבחון

Breast cancer related lymphedema (BCRL) is a detrimental condition characterized by fluid accumulation in the upper limb in breast cancer patients ...

Multicolor 3D Printing of Complex Intracranial Tumors in Neurosurgery

Multicolor 3D הדפסה של גידולים בתוך-גולגולתי מורכב בנוירוכירורגיה

Three-dimensional (3D) printing technologies offer the possibility of visualizing patient-specific pathologies in a physical model of correct dimensions. ...

3D Planning and Printing of Patient Specific Implants for Reconstruction of Bony Defects

תכנון והדפסה של שתלים ספציפיים לחולה לשיקום מומים גרמיות

We are in the midst of the 3D era in most aspects of life, and especially in medicine. The surgical discipline is one of the major players in the medical ...

Treatment of Facial Deformities using 3D Planning and Printing of Patient-Specific Implants

טיפול מומים פנים באמצעות תכנון תלת-ממד והדפסה של שתלים ספציפיים למטופל

Technological advancements in surgical planning and patient-specific implants are constantly evolving. One can either adopt the technology to achieve ...

Combining 3D-Printing and Electrospinning to Manufacture Biomimetic Heart Valve Leaflets

שילוב של הדפסה תלת-ממדית ואלקטרוספינינג לייצור עלוני מסתם לב ביומימטיים

Electrospinning has become a widely used technique in cardiovascular tissue engineering as it offers the possibility to create (micro-)fibrous scaffolds ...

Augmented Reality Navigation-Guided Core Decompression for Osteonecrosis of Femoral Head

מציאות רבודה ניווט מונחה ניווט דקומפרסיה ליבה עבור אוסטאונקרוזיס של ראש הירך

Osteonecrosis of the femoral head (ONFH) is a common joint disease in young and middle-aged patients, which seriously burdens their lives and work. For ...

3D Printing Model of a Patient's Specific Lumbar Vertebra

מודל הדפסה תלת מימדית של החוליה המותנית הספציפית של המטופל

Selective dorsal rhizotomy (SDR) is a difficult, risky, and sophisticated operation, in which a laminectomy should not only expose an adequate surgical ...

Plasma Polishing as a New Polishing Option to Reduce the Surface Roughness of Porous Titanium Alloy for 3D Printing

ליטוש פלזמה כאפשרות ליטוש חדשה להפחתת חספוס פני השטח של סגסוגת טיטניום נקבובית להדפסה תלת-ממדית

Porous titanium alloy implants with simulated trabecular bone fabricated by 3D printing technology have broad prospects. However, due to the fact that ...