Name: combining augmented reality and 3d printing to display patient models on a smartphone
Uploaded: 2020-01-02T13:00:00
Duration: 9 min 26 s
Description: Watch this Scientific Journal Video about Combining Augmented Reality and 3D Printing to Display Patient Models on a Smartphone at JoVE.com

이 보고서는 프로젝트 PI18/01625 및 PI15/02121 (장관 드 시엔시아, 이노바시온 y Universidades, 인스티투토 드 살루드 카를로스 III 및 유럽 지역 개발 기금 "우나 마네라 드 hacer Europa") 및 IND2018/TIC-9753 (Comuni de Madrid)에 의해 지원되었다.

<ol>
	<li>Coles, T. R., John, N. W., Gould, D., Caldwell, D. G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Integrating+Haptics+with+Augmented+Reality+in+a+Femoral+Palpation+and+Needle+Insertion+Training+Simulation.">Integrating Haptics with Augmented Reality in a Femoral Palpation and Needle Insertion Training Simulation.</a> IEEE Transactions on Haptics. 4 (3), 199-209 (2011).</li><li>Pelargos, P. E., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Utilizing+virtual+and+augmented+reality+for+educational+and+clinical+enhancements+in+neurosurgery.">Utilizing virtual and augmented reality for educational and clinical enhancements in neurosurgery.</a> Journal of Clinical Neuroscience. 35, 1-4 (2017).</li><li>Abhari, K., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Training+for+Planning+Tumour+Resection:+Augmented+Reality+and+Human+Factors.">Training for Planning Tumour Resection: Augmented Reality and Human Factors.</a> IEEE Transactions on Biomedical Engineering. 62 (6), 1466-1477 (2015).</li><li>Uppot, R., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Implementing+Virtual+and+Augmented+Reality+Tools+for+Radiology+Education+and+Training,+Communication,+and+Clinical+Care.">Implementing Virtual and Augmented Reality Tools for Radiology Education and Training, Communication, and Clinical Care.</a> Radiology. 291, 182210 (2019).</li><li>Pratt, P., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Through+the+HoloLensTM+looking+glass:+augmented+reality+for+extremity+reconstruction+surgery+using+3D+vascular+models+with+perforating+vessels.">Through the HoloLensTM looking glass: augmented reality for extremity reconstruction surgery using 3D vascular models with perforating vessels.</a> European Radiology Experimental. 2 (1), 2 (2018).</li><li>Rose, A. S., Kim, H., Fuchs, H., Frahm, J. -. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Development+of+augmented-reality+applications+in+otolaryngology-head+and+neck+surgery.">Development of augmented-reality applications in otolaryngology-head and neck surgery.</a> The Laryngoscope. , (2019).</li><li>Zhou, C., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Robot-Assisted+Surgery+for+Mandibular+Angle+Split+Osteotomy+Using+Augmented+Reality:+Preliminary+Results+on+Clinical+Animal+Experiment.">Robot-Assisted Surgery for Mandibular Angle Split Osteotomy Using Augmented Reality: Preliminary Results on Clinical Animal Experiment.</a> Aesthetic Plastic Surgery. 41 (5), 1228-1236 (2017).</li><li>Heinrich, F., Joeres, F., Lawonn, K., Hansen, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Comparison+of+Projective+Augmented+Reality+Concepts+to+Support+Medical+Needle+Insertion.">Comparison of Projective Augmented Reality Concepts to Support Medical Needle Insertion.</a> IEEE Transactions on Visualization and Computer Graphics. 25 (6), 1 (2019).</li><li>Deng, W., Li, F., Wang, M., Song, Z. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Easy-to-Use+Augmented+Reality+Neuronavigation+Using+a+Wireless+Tablet+PC.">Easy-to-Use Augmented Reality Neuronavigation Using a Wireless Tablet PC.</a> Stereotactic and Functional Neurosurgery. 92 (1), 17-24 (2014).</li><li>Fan, Z., Weng, Y., Chen, G., Liao, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=3D+interactive+surgical+visualization+system+using+mobile+spatial+information+acquisition+and+autostereoscopic+display.">3D interactive surgical visualization system using mobile spatial information acquisition and autostereoscopic display.</a> Journal of Biomedical Informatics. 71, 154-164 (2017).</li><li>Arnal-Burr&#243;, J., P&#233;rez-Ma&#241;anes, R., Gallo-del-Valle, E., Igualada-Blazquez, C., Cuervas-Mons, M., Vaquero-Mart&#237;n, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Three+dimensional-printed+patient-specific+cutting+guides+for+femoral+varization+osteotomy:+Do+it+yourself.">Three dimensional-printed patient-specific cutting guides for femoral varization osteotomy: Do it yourself.</a> The Knee. 24 (6), 1359-1368 (2017).</li><li>Vaquero, J., Arnal, J., Perez-Ma&#241;anes, R., Calvo-Haro, J., Chana, F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=3D+patient-specific+surgical+printing+cutting+blocks+guides+and+spacers+for+open-+wedge+high+tibial+osteotomy+(HTO)+-+do+it+yourself.">3D patient-specific surgical printing cutting blocks guides and spacers for open- wedge high tibial osteotomy (HTO) - do it yourself.</a> Revue de Chirurgie Orthop&#233;dique et Traumatologique. 102, 131 (2016).</li><li>De La Pe&#241;a, A., De La Pe&#241;a-Brambila, J., P&#233;rez-De La Torre, J., Ochoa, M., Gallardo, G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Low-cost+customized+cranioplasty+using+a+3D+digital+printing+model:+a+case+report.">Low-cost customized cranioplasty using a 3D digital printing model: a case report.</a> 3D Printing in Medicine. 4 (1), 1-9 (2018).</li><li>Kamio, T., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Utilizing+a+low-cost+desktop+3D+printer+to+develop+a+"one-stop+3D+printing+lab"+for+oral+and+maxillofacial+surgery+and+dentistry+fields.">Utilizing a low-cost desktop 3D printer to develop a "one-stop 3D printing lab" for oral and maxillofacial surgery and dentistry fields.</a> 3D Printing in Medicine. 4 (1), 1-7 (2018).</li><li>Punyaratabandhu, T., Liacouras, P., Pairojboriboon, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Using+3D+models+in+orthopedic+oncology:+presenting+personalized+advantages+in+surgical+planning+and+intraoperative+outcomes.">Using 3D models in orthopedic oncology: presenting personalized advantages in surgical planning and intraoperative outcomes.</a> 3D Printing in Medicine. 4 (1), 1-13 (2018).</li><li>Wake, N., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Patient-specific+3D+printed+and+augmented+reality+kidney+and+prostate+cancer+models:+impact+on+patient+education.">Patient-specific 3D printed and augmented reality kidney and prostate cancer models: impact on patient education.</a> 3D Printing in Medicine. 5 (1), 1-8 (2019).</li><li>Barber, S. R., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Augmented+Reality,+Surgical+Navigation,+and+3D+Printing+for+Transcanal+Endoscopic+Approach+to+the+Petrous+Apex.">Augmented Reality, Surgical Navigation, and 3D Printing for Transcanal Endoscopic Approach to the Petrous Apex.</a> OTO Open: The Official Open Access Journal of the American Academy of Otolaryngology-Head and Neck Surgery Foundation. 2 (4), (2018).</li><li>Witowski, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Augmented+reality+and+three-dimensional+printing+in+percutaneous+interventions+on+pulmonary+arteries.">Augmented reality and three-dimensional printing in percutaneous interventions on pulmonary arteries.</a> Quantitative Imaging in Medicine and Surgery. 9 (1), (2019).</li><li>Moreta-Mart&#237;nez, R., Garc&#237;a-Mato, D., Garc&#237;a-Sevilla, M., P&#233;rez-Ma&#241;anes, R., Calvo-Haro, J., Pascau, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Augmented+reality+in+computer-assisted+interventions+based+on+patient-specific+3D+printed+reference.">Augmented reality in computer-assisted interventions based on patient-specific 3D printed reference.</a> Healthcare Technology Letters. , (2018).</li></ol>

저자는 공개 할 것이 없다.

AR은 의료 분야에서 교육, 훈련 및 외과 지도분야에서 큰 잠재력을 가지고 있습니다. 3D 프린팅오픈과의 결합은 임상 응용 분야에서 새로운 가능성을 열어줄 수 있습니다. 이 프로토콜은 경험이 없는 사용자가 3D 인쇄 참조 마커를 사용하는 환자의 해부학적 3D 모델을 시각화하기 위해 AR과 3DP를 결합한 스마트폰 앱을 만들 수 있는 방법론을 설명합니다.
일반적으로 AR 및 3DP의 가장 흥미로운 임상 응용 중 하나는 환자에게 사례의 다른 관점을 제공하여 환자 간 의사 소통을 개선하고 특정 의료 조건 또는 치료에 대한 설명을 개선하는 것입니다. 또 다른 가능한 응용 프로그램은 대상 지역화를위한 외과 지침을 포함, 있는 3D 인쇄 환자 특정 도구 (참조 AR 마커 부착) 강성 구조에 배치 할 수 있습니다 (즉, 뼈) 탐색을위한 참조로 사용. 이 응용 프로그램은 정형 외과 및 악안면 수술 절차에 특히 유용합니다, 있는 뼈 조직 표면은 수술 중에 쉽게 액세스 할 수 있습니다.
프로토콜은 워크스테이션 설정 및 필요한 소프트웨어 도구를 설명하는 섹션 1로 시작합니다. 섹션 2는 3D 슬라이서 소프트웨어를 사용하여 모든 의료 이미징 양식에서 환자의 표적 해부학을 쉽게 분할하여 3D 모델을 얻는 방법을 설명합니다. 이 단계는 최종 AR 응용 프로그램에 표시되는 가상 3D 모델이기 때문에 매우 중요합니다.
섹션 3에서 3D 슬라이서를 사용하여 이전 섹션에서 만든 3D 모델을 AR 마커로 등록합니다. 이 등록 절차 동안, 환자 3D 모델은 AR 마커에 대하여 효율적이고 간단하게 배치된다. 이 섹션에 정의된 위치는 최종 앱에서 홀로그램 상대적 위치를 결정합니다. 이 솔루션은 복잡성을 줄이고 가능한 응용 프로그램을 곱한 것으로 생각됩니다. 섹션 3에서는 모델과 AR 마커 간의 공간 관계를 정의하는 두 가지 옵션인 "시각화" 및 "등록" 모드를 설명합니다. 첫 번째 옵션인 "시각화" 모드를 사용하면 3D 모델을 마커와 관련하여 어디에나 배치하고 전체 바이오 모델로 표시할 수 있습니다. 이 모드는 환자의 해부학의 현실적인 3D 관점을 제공하고 추적 된 AR 마커를 이동하여 바이오 모델의 이동 및 회전을 할 수 있습니다. 두 번째 옵션인 "등록" 모드는 마커 어댑터를 바이오 모델의 모든 부분에 부착하고 결합하여 자동 등록 프로세스를 제공합니다. 이 옵션을 사용하면 마커 어댑터를 포함한 3D 모델의 작은 섹션을 3D 인쇄할 수 있으며 앱은 모델의 나머지 부분을 홀로그램으로 표시할 수 있습니다.
섹션 4는 3D 인쇄 프로세스에 대한 지침을 제공합니다. 첫째, 사용자는 "듀얼 컬러 마커"와 "스티커 마커"의 두 가지 마커 중에서 선택할 수 있습니다. 전체 "듀얼 컬러 마커"는 3D 인쇄할 수 있지만 이중 압출기 3D 프린터가 필요합니다. 이 프린터를 사용할 수 없는 경우 "스티커 마커"가 제안됩니다. 이것은 입방 구조를 3D 인쇄한 다음 스티커 용지 또는 스티커 접착제로 큐브의 이미지를 붙여 넣기로 얻을 수있는 간단한 마커입니다. 또한 두 마커 모두 특정 어댑터에 완벽하게 맞도록 확장 가능한 섹션으로 설계되었습니다. 따라서, 마커는 여러 경우에 재사용될 수 있다.
섹션 5에서는 Vuforia 소프트웨어 개발 키트를 사용하여 AR용 Unity 프로젝트를 만드는 프로세스를 설명합니다. 이 단계는 프로그래밍 경험이 없는 사용자에게 가장 어려운 부분일 수 있지만 이 지침에서는 섹션 6에 제시된 최종 응용 프로그램을 쉽게 얻을 수 있습니다. 카메라가 3D 인쇄 마커를 인식하면 앱이 스마트폰 화면에 환자의 가상 모델을 표시합니다. 앱이 3D 마커를 감지하기 위해서는 휴대폰에서 마커까지 약 40cm 이하의 최소 거리와 양호한 조명 조건이 필요합니다.
이 프로토콜의 최종 적용을 통해 사용자는 시각화할 특정 바이오 모델과 위치를 선택할 수 있습니다. 추가적으로, 앱은 바이오 모델에 부착된 3D 프린팅 마커 및 어댑터를 사용하여 자동 환자 홀로그램 등록을 수행할 수 있다. 이렇게 하면 직접적이고 편리한 방식으로 가상 모델을 환경에 등록해야 하는 과제를 해결할 수 있습니다. 또한, 이 방법론은 의료 영상 또는 소프트웨어 개발에 대한 광범위한 지식을 필요로하지 않으며, 복잡한 하드웨어 및 고가의 소프트웨어에 의존하지 않으며, 짧은 기간 동안 구현 될 수있다. 이 방법은 의료 전문가에 의해 AR 및 3DP 기술의 채택을 가속화하는 데 도움이 될 것으로 예상된다.

AR 및 3DP는 의료 분야에서 점점 더 많은 응용 분야를 제공하는 기술입니다. AR의 경우, 가상 3D 모델과의 상호작용및 실제 환경은 교육 및훈련1, 2,3,의사소통 및 다른 의사와의 상호작용4,임상개입 시 안내5,6,7,8,9,10. 마찬가지로, 3DP는 환자 별 사용자 정의 도구11,12,13을 개발하거나 수술 전 계획 및 임상 개입을 개선하는 데 도움이 될 수있는 환자의 해부학의 3D 모델을 만들 때 의사를위한 강력한 솔루션이되었습니다14,15.
AR 및 3DP 기술은 모두 의료 절차의 방향, 지도 및 공간 기술을 향상시키는 데 도움이됩니다. 따라서, 그들의 조합은 다음 논리적 단계입니다. 이전 연구는 그들의 공동 사용이 환자 교육(16)에서가치를 증가시킬 수 있음을 입증했다, 의료 조건 및 제안 된 치료에 대한 설명을 용이하게, 수술 워크플로우 최적화17,18 및 환자 대 모델 등록개선 19. 이러한 기술은 최근 몇 년 동안 기하급수적으로 증가했지만 엔지니어링 및 소프트웨어 개발에 대한 광범위한 지식이 필요하기 때문에 의사의 채택은 여전히 제한적입니다. 따라서 이 작업의 목적은 광범위한 기술 지식 없이경험이 없는 사용자가 AR 및 3DP를 사용할 수 있는 단계별 방법론을 설명하는 것입니다.
이 프로토콜은 스마트폰 카메라에서 추적하는 3D 인쇄 마커를 사용하여 환자 기반 3D 모델을 실제 환경에 중첩할 수 있는 AR 스마트폰 앱을 개발하는 방법을 설명합니다. 또한, 대체 접근법은 3D 인쇄 된 생체 모델 (즉, 환자의 해부학에서 생성 된 3D 모델)과 투영 된 홀로그램 사이의 자동 등록을 제공하기 위해 설명됩니다. 설명된 프로토콜은 전적으로 무료 및 다중 플랫폼 소프트웨어를 기반으로 합니다.
전작에서 AR 환자 대 이미지 등록은 표면 인식알고리즘(10)을 사용하여 수동으로5를 계산했거나 사용할 수 없는2. 이러한 방법은 정확한 등록이 필요한 경우 다소 제한된 것으로 간주되었습니다19. 이러한 한계를 극복하기 위해 이 작업은 AR 기술과 3DP를 결합하여 AR 절차에서 정확하고 간단한 환자 대 이미지 등록을 수행할 수 있는 도구를 제공합니다.
프로토콜은 일반적이고 어떤 의학 화상 진찰 양식 또는 환자에 적용될 수 있습니다. 일례로, 말단 다리 육종으로 고통받는 환자의 실제 임상 사례는 방법론을 설명하기 위해 제공된다. 첫 번째 단계는 3D 가상 모델을 생성하기 위해 컴퓨터 단층 촬영 (CT) 의료 이미지에서 영향을받는 해부학을 쉽게 분할하는 방법을 설명합니다. 그 후 3D 모델의 위치 지정이 수행된 다음 필요한 도구와 모델이 3D 인쇄됩니다. 마지막으로 원하는 AR 앱이 배포됩니다. 이 응용 프로그램은 실시간으로 스마트 폰 카메라에 오버레이 환자 3D 모델의 시각화를 할 수 있습니다.

<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td>3D Printing material: Acrylonitrile Butadiene Styrene (ABS)</td>
			<td></td>
			<td></td>
			<td>Thermoplastic polymer material usually used in domestic 3D printers.</td>
		</tr>
		<tr>
			<td>3D Printing material: Polylactic Acid (PLA)</td>
			<td></td>
			<td></td>
			<td>Bioplastic material usually used in domestic 3D printers.</td>
		</tr>
		<tr>
			<td>3D Slicer</td>
			<td></td>
			<td></td>
			<td>Open-source software platform for medical image informatics, image processing, and three-dimensional visualization</td>
		</tr>
		<tr>
			<td>Android</td>
			<td>Alphabet, Inc.</td>
			<td></td>
			<td>Android is a mobile operating system developed by Google. It is based on a modified version of the Linux kernel and other open source software, and is designed primarily for touchscreen mobile devices such as smartphones and tablets.</td>
		</tr>
		<tr>
			<td>Autodesk Meshmixer</td>
			<td>Autodesk, Inc.</td>
			<td></td>
			<td>Meshmixer is state-of-the-art software for working with triangle meshes. Free software.</td>
		</tr>
		<tr>
			<td>iPhone OS</td>
			<td>Apple, Inc.</td>
			<td></td>
			<td>iPhone OS is a mobile operating system created and developed by Apple Inc. exclusively for its hardware.</td>
		</tr>
		<tr>
			<td>Ultimaker 3 Extended</td>
			<td>Ultimaker BV</td>
			<td></td>
			<td>Fused deposition modeling 3D printer.</td>
		</tr>
		<tr>
			<td>Unity</td>
			<td>Unity Technologies</td>
			<td></td>
			<td>Unity is a real-time development platform to create 3D, 2D VR &#38; AR visualizations for Games, Auto, Transportation, Film, Animation, Architecture, Engineering &#38; more. Free software.</td>
		</tr>
		<tr>
			<td>Xcode</td>
			<td>Apple, Inc.</td>
			<td></td>
			<td>Xcode is a complete developer toolset for creating apps for Mac, iPhone, iPad, Apple Watch, and Apple TV. Free software.</td>
		</tr>
	</tbody>
</table>

combining augmented reality and 3d printing to display patient models on a smartphone

증강 현실(AR)은 의료 분야에서 교육, 훈련 및 외과 지도분야에서 큰 잠재력을 가지고 있습니다. 3차원(3D) 프린팅(3DP)과의 결합은 임상 응용 분야에서 새로운 가능성을 열어줍니다. 이러한 기술은 최근 몇 년 동안 기하급수적으로 증가했지만 엔지니어링 및 소프트웨어 개발에 대한 광범위한 지식이 필요하기 때문에 의사의 채택은 여전히 제한적입니다. 따라서, 이 프로토콜의 목적은 경험이 없는 사용자가 3D 프린팅 참조 마커를 가진 환자의 해부학적 3D 모델의 시각화를 위해 AR과 3DP를 결합한 스마트폰 앱을 만들 수 있도록 하는 단계별 방법론을 설명하는 것이다. 이 프로토콜은 3D 의료 이미지에서 파생된 환자의 해부학의 3D 가상 모델을 만드는 방법을 설명합니다. 그런 다음 마커 참조와 관련하여 3D 모델의 위치 지정을 수행하는 방법을 설명합니다. 또한 필요한 도구 와 모델을 3D 인쇄하는 방법에 대한 지침이 제공됩니다. 마지막으로 앱을 배포하는 단계가 제공됩니다. 이 프로토콜은 무료 및 다중 플랫폼 소프트웨어를 기반으로 하며 모든 의료 영상 양식 또는 환자에 적용할 수 있습니다. 다른 접근법은 환자의 해부학에서 만든 3D 인쇄 모델과 투영 된 홀로그램 사이에 자동 등록을 제공하기 위해 설명됩니다. 일례로, 말단 다리 육종으로 고통받는 환자의 임상 사례는 방법론을 설명하기 위해 제공된다. 이 프로토콜은 의료 전문가에 의해 AR 및 3DP 기술의 채택을 가속화 할 것으로 예상된다.

이 프로토콜은 3D 관점에서 영향을받는 해부학 적 영역을 시각화하기 위해 말단 다리 육종으로 고통받는 환자의 데이터에 적용되었습니다. 섹션 2에 기재된 방법을 사용하여, 영향을 받은 뼈의 부분(여기서, 경골 및 비골) 및 종양은 환자의 CT 스캔으로부터 분별로 분할되었다. 이어서, 3D 슬라이서로부터의 세분화 도구를 사용하여, 두 개의 생체 모델이 생성되었다: 뼈(경골 및 비골의 단면도)(도 1A)및 종양(도1B).
다음으로, 두 개의 3D 모델은 최적의 시각화를 위해 마커와 관련하여 사실상 배치되었다. 섹션 3에 설명된 두 모드가 이 예제를 따랐습니다. 시각화 모드의 경우 모델은 마커의 위쪽 면에 중심을 두게됩니다(그림 2). 등록 모드의 경우, 마커 어댑터는 골격에 위치하였다(구체적으로, 경골[도3]). 이어서, 경골의 작은 부분을 3D 마커 어댑터로 3D 프린팅하도록 선택하였다(도4). PLA 재질을 가진 Ultimaker 3 확장 3D 프린터는 "시각화" 모드및 "등록" 모드에 대한 경골의섹션(그림5D)에대한 3D 프린팅 마커(그림5A, B),마커 홀더 베이스(그림5C)를생성하는데 사용되었다. 그림 5E는 마커가 "시각화" 모드 3D 인쇄 베이스에 부착된 방법을 보여줍니다. 그림 5F는 "등록" 모드 3D 프린팅 바이오모델과 함께 부착물을 나타낸다. 마지막으로 Unity는 앱을 만들고 스마트폰에 배포하는 데 사용되었습니다.
그림 6은 앱이 "시각화" 모드에서 어떻게 작동했는지 보여줍니다. 홀로그램은 이전에 정의된 바와 같이 큐브의 상부에 정확하게 위치했다. 그림 7은 앱이 3D 인쇄 섹션 위에 전체 골격 모델을 배치한 "등록" 모드에 대한 응용 프로그램을 보여 주며, 이 모드를 보여 주어 있습니다. 홀로그램의 최종 시각화는 명확하고 현실적이며, 생체 모델의 실제 크기를 유지하고 정확하게 배치되었습니다. 스마트폰 애플리케이션을 사용하는 경우 앱이 홀로그램을 올바르게 표시하려면 카메라로 AR 마커를 표시해야 합니다. 또한 적절한 마커 감지를 위해 장면의 조명 조건은 양호하고 일정해야 합니다. 마커 표면의 불량 조도 또는 반사는 AR 마커의 추적을 방해하고 앱의 오작동을 유발합니다.
앱을 만드는 데 필요한 시간은 여러 가지 요인에 따라 다릅니다. 섹션 1의 기간은 다운로드 속도에 의해 제한됩니다. 해부학 세분화에 관해서는 (섹션 2), 세분화 시간에 영향을 미치는 요인은 지역 및 의료 이미징 양식의 복잡성을 포함 (즉, CT는 쉽게 분할, MRI는 더 어려운 동안). 경골의 대표적인 예로, CT 스캔으로부터 두 3D 모델을 생성하는 데 약 10분이 필요했습니다. 바이오 모델 포지셔닝(섹션 3)은 간단하고 간단합니다. 여기서, AR 마커에 대하여 생체모델 위치를 정의하는 데 약 5분이 걸렸다. 3D 프린팅 단계의 경우 기간은 선택한 모드에 따라 크게 달라집니다. "듀얼 컬러 마커"는 5시간 20분 동안 고품질로 제조되었습니다. "스티커 마커"는 1 시간 30 분의 기간과 스티커붙여넣기에 필요한 시간으로 제작되었습니다. 앱 개발을 위한 마지막 단계는 Unity에서 이전에 경험이 없는 사람들에게는 시간이 많이 소요될 수 있지만 프로토콜 단계에 따라 쉽게 완료할 수 있습니다. AR 마커가 3D 인쇄되면 완전히 새로운 AR 앱의 개발이 1시간 이내에 수행될 수 있습니다. 이 기간은 추가 경험으로 더 줄일 수 있습니다.
<img alt="Figure 1" class="xfigimg" src="/files/ftp_upload/60618/60618fig01.jpg"> 그림 1: 말단 다리 육종으로 고통받는 환자의 CT 이미지에서 생성 된 3D 모델의 표현. (A)흰색 (경골 및 비골)으로 표현 된 뼈 조직. (B)종양은 빨간색으로 나타낸다. <a href="https://www.jove.com/files/ftp_upload/60618/60618fig01large.jpg" target="_blank">이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.</a>
<img alt="Figure 2" class="xfigimg" src="/files/ftp_upload/60618/60618fig02.jpg"> 그림 2: 3D 슬라이서의 "시각화" 모드가 3D 프린팅 마커 참조와 관련하여 뼈와 종양의 가상 3D 모델을 어떻게 배치하는지 보여주는 결과. 환자 3D모델(A)은마커큐브(B)의상부 면 위에 위치한다. <a href="https://www.jove.com/files/ftp_upload/60618/60618fig02large.jpg" target="_blank">이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.</a>
<img alt="Figure 3" class="xfigimg" src="/files/ftp_upload/60618/60618fig03.jpg"> 도 3: 3D 슬라이서에서 "등록" 모드가 3D 프린팅 마커 참조(B)와 관련하여 뼈 및 종양(A)의 가상 3D 모델을 어떻게 배치하는지 보여주는 결과. 마커 어댑터는 뼈 조직 모델에 부착됩니다. <a href="https://www.jove.com/files/ftp_upload/60618/60618fig03large.jpg" target="_blank">이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.</a>
<img alt="Figure 4" class="xfigimg" src="/files/ftp_upload/60618/60618fig04.jpg"> 그림 4: 뼈 조직의 작은 부분과 3D 마커 어댑터. 두 구성 요소가 결합된 다음 3D 인쇄됩니다. <a href="https://www.jove.com/files/ftp_upload/60618/60618fig04large.jpg" target="_blank">이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.</a>
<img alt="Figure 5" class="xfigimg" src="/files/ftp_upload/60618/60618fig05.jpg"> 그림 5: 최종 어플리케이션에 필요한 3D 인쇄 도구. (A)「 2 색 큐브 마커 」를 3D 인쇄 하 고 2 가지 색상의 소재를 가지고 있습니다. (B)"스티커 큐브 마커"3D 인쇄, 스티커 붙여 넣기. (C)마커 베이스 큐브 어댑터. (D)환자의 뼈 조직 3D 모델 및 마커 큐브 어댑터의 섹션. (E)마커 베이스 큐브 어댑터에 배치된 "스티커 큐브 마커"입니다. (F)환자의 해부학에 부착된 마커 어댑터에 "2색 큐브 마커"를 놓습니다. <a href="https://www.jove.com/files/ftp_upload/60618/60618fig05large.jpg" target="_blank">이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.</a>
<img alt="Figure 6" class="xfigimg" src="/files/ftp_upload/60618/60618fig06.jpg"> 그림 6: "시각화" 모드를 사용할 때 앱이 표시됩니다. 환자의 영향을 받는 해부학 3D 모델은 3D 인쇄 큐브의 윗면 위에 위치합니다. <a href="https://www.jove.com/files/ftp_upload/60618/60618fig06large.jpg" target="_blank">이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.</a>
<img alt="Figure 7" class="xfigimg" src="/files/ftp_upload/60618/60618fig07.jpg"> 그림 7: "등록" 모드를 사용할 때 AR 시각화. 3D 프린팅 마커를 사용하면 가상 3D 모델로 3D 인쇄 된 바이오 모델을 등록 할 수 있습니다. <a href="https://www.jove.com/files/ftp_upload/60618/60618fig07large.jpg" target="_blank">이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.</a>

Watch this Scientific Journal Video about Combining Augmented Reality and 3D Printing to Display Patient Models on a Smartphone at JoVE.com

Combining Augmented Reality and 3D Printing to Display Patient Models on a Smartphone

여기에 제시된 것은 3D 프린팅 참조 마커를 사용하여 환자의 해부학적 3차원 모델의 시각화를 위한 증강 현실 스마트폰 애플리케이션을 설계하는 방법이다.

증강 현실과 3D 프린팅을 결합하여 스마트폰에 환자 모델 표시

Augmented reality (AR) has great potential in education, training, and surgical guidance in the medical field. Its combination with three-dimensional (3D) ...

이 프로토콜은 경험이 없는 사용자에게 자신의 스마트 폰 앱 구축을 통해 의료 분야에 증강 현실 솔루션을 가져올 수있는 도구를 제공합니다. 이 방법은 증강 현실과 3D 프린팅을 결합하여 3D 인쇄 참조 마커 위에 데이터를 기반으로 만든 3D 모델을 빠르고 쉽게 시각화할 수 있습니다. 이 기술은 3D 인쇄 된 참조가 환자에게 엄격하게 부착 될 수있는 모든 의료 시나리오에 적용 될 수 있습니다.대상 데이터 현지화로 만든 시각적 3D 모델의 시각화는 환자를 향상시킬 수 있으며 환자를 향상시킬 수 있는 이 프로토콜은 의료 분야에서 증강 현실의 사용을 돕기 위해 의료 영상 이나 소프트웨어 개발에 대한 사전 지식이없는 사용자를 위해 특별히 설계되었습니다. 환자의 해부학의 3D 모델을 만들려면 먼저 의료 이미지 파일을 3D 슬라이서 소프트웨어 창으로 추적하고 확인을 클릭합니다. 환자의 해부학을 세분화하려면 3D 슬라이서의 세그먼트 편집기 모듈로 이동하십시오. 모듈에 들어서면 세분화 항목이 자동으로 만들어집니다.마스터 볼륨 섹션에서 원하는 볼륨을 선택하고 이미지 아래를 마우스 오른쪽 단추로 클릭하여 세그먼트를 만들기 위해 추가를 선택합니다. 효과 패널에서 대상에 가장 편리한 도구를 선택하고 환자의 의료 이미지를 분할합니다. 3D 모델 파일 형식으로 세분화를 내보내려면 세분화 모듈을 엽니다.내보내기/가져오기 모델 및 레이블맵에서 내보내기 및 모델을 선택하고 내보내기를 클릭하여 분할된 영역에서 3D 모델을 만듭니다. 저장할 요소를 클릭하고 저장할 요소를 선택합니다. 그런 다음 3D 모델의 파일 형식을 OBJ로 변경합니다.세분화는 상이한 해부학 적 영역의 추가 3D 모델을 만들기 위해 반복 될 수있다. 증강 현실 마커와 관련하여 임의의 위치에서 3D 환자 모델의 포지셔닝을 위해 AR Health 모델 위치 모듈을 열고 시각화 모드를 선택합니다. 로드 마커 모델을 클릭하여 이 옵션의 마커를 로드하고, 타원 버튼은 저장된 3D 모델의 경로를 선택하고 모델을 로드하여 모델을 3D 슬라이서에 로드합니다.마무리를 클릭하고 가운데를 클릭하여 마커 내의 모든 모델을 중심으로 합니다. 슬라이드 막대를 사용하여 원하는 대로 마커와 관련하여 3D 모델의 위치, 방향 및 배율을 조정합니다. 그런 다음 파일을 저장하는 경로를 선택하고 모델을 저장하여 모델을 이 위치에 저장합니다.증강 현실 마커를 원하는 위치에서 3D 바이오모델과 결합하려면 AR Health 모델 위치 모듈을 열고 초기화 섹션에서 등록 모드를 선택합니다. 로드 마커 모델을 클릭하여 이 옵션에 대한 마커를 로드하고 큐브 마커의 지지 구조와 교차할 때까지 3D 모델을 이동하여 필요에 따라 마커 베이스의 높이를 수정합니다. 이 위치에 모델을 저장하려면 파일을 저장하는 경로를 선택하고 모델을 저장합니다.해부학 모델이 너무 크면 메쉬 믹서 소프트웨어에 큐브 마커 모델의 바이오 모델 및 지지 구조를 로드합니다. 개체 브라우저 창에서 두 모델을 모두 선택하여 모델을 결합하고 편집 메뉴에서 일반 절단 도구를 사용하여 3D 인쇄되지 않는 모델의 원치 않는 섹션을 제거합니다. 모델을 3D 인쇄로 저장하려면 파일을 선택하고 내보내고 원하는 형식을 선택합니다.최종 증강 현실 응용 프로그램에 필요한 물리적 모델을 3D 인쇄하려면 3D 프린팅 소프트웨어에서 TwoColorCuebMarker_white 흰색 소재를 선택합니다. obj 파일과 TwoColorCubeMarker_white 대한 검은 색 재료. obj 파일.그런 다음 듀얼 압출기 3D 프린터를 사용하여 입방 마커를 작은 층 높이로 고품질 모드로 흑백으로 3D 인쇄합니다. 3D 모델이 포함된 Unity 엔진에서 스마트폰 앱을 디자인하려면 부포리아 개발자를 열고 계정을 만듭니다. 개발 키를 선택하여 무료 개발 라이센스 키를 가져오고 라이센스 관리자 메뉴에서 키를 선택하고 복사합니다.스마트폰을 설정하려면 Unity 버전 2019 응용 프로그램에서 파일 메뉴의 빌드 설정에서 장치에 적합한 플랫폼을 선택합니다. Vuforia를 프로젝트에 활성화하려면 편집, 프로젝트 설정, 플레이어 설정 및 XR 설정을 선택하고 Vuforia 증강 현실 지원이라는 상자레이블을 선택합니다. 증강 현실 카메라를 만들려면 메뉴 표시줄, 게임 오브젝트, 부포리아 엔진 및 AR 카메라를 선택하고 메시지가 표시되면 부포리아 부품을 가져옵니다.Vuforia 사용권 키를 Vuforia 구성 설정에 추가하려면 리소스 폴더를 선택하고 Vuforia 구성을 클릭하고 라이센스 키를 앱 라이센스 키 섹션에 붙여 넣습니다. Vuforia가 Unity로 마커를 감지하고 메뉴 표시줄, 게임 오브젝트, 부포리아 엔진 및 멀티 이미지를 선택하여 Vuforia 다중 대상을 생성하는 데 필요한 파일이 포함된 Vuforia 대상 파일을 가져옵니다. 다중 대상을 클릭하여 탐지에 사용할 마커 유형을 선택하고 다중 대상 동작 에서 데이터베이스 옵션에서 ARHealth_3dPrintedCube_30x30x30 선택합니다.다중 대상 동작 아래의 다중 대상 옵션에서 마커에 따라 TwoColorCubeMarker 또는 스티커큐브마커를 선택합니다. 3D 모델을 모델 폴더로 드래그하고 여러 대상 항목 아래의 폴더를 드래그합니다. 모델은 Unity 3D 뷰 장면에서 표시되어야 합니다.3D 모델의 색상을 변경하려면 새 재질을 만들고 모델에 새 재질을 할당합니다. 웹캠을 사용할 수 있는 경우 재생을 클릭하여 컴퓨터에서 응용 프로그램을 테스트합니다. 마커가 웹캠에 표시되는 경우 감지해야 하며 3D 모델이 장면에 나타나야 합니다.Android 스마트폰이 앱 개발에 사용되는 경우 Unity에서 빌드 설정을 선택하고 목록에서 연결된 휴대폰을 선택합니다. 그런 다음 APK 확장으로 파일을 저장하고 프로세스가 완료되도록 합니다. 앱이 iOS 장치에 배포될 경우 빌드 설정에서 파일을 선택하고 파일을 저장합니다.응용 프로그램을 시각화하려면, 스마트 폰에서 응용 프로그램을 열고 40 센티미터의 최소 거리에서 응용 프로그램 내에서 마커를보고 스마트 폰 카메라를 사용합니다. 앱이 마커를 감지하면 이전에 만든 3D 모델이 프로시저 중에 정의된 정확한 위치에 스마트폰 화면에 표시되어야 합니다. 입증 된 방법을 사용하여, 말강 다리 육종및 종양으로 고통받는 환자에서 영향을받는 경골과 비골의이 부분은 환자의 CT 스캔에서 분할되었다.세분화 도구를 사용하여 뼈용바이오모델 1개를 생성하고 종양용바이오모델 1개를 생성했다. 시각화 모드의 경우 모델은 마커의 상층에서 중심을 지정했습니다. 등록 모드의 경우, 마커 어댑터는 경골에 위치하였고 경골의 작은 단면은 3D 마커 어댑터로 3D 인쇄하도록 선택되었다.폴리락산은 입증된 바와 같이 3D 인쇄 마커, 마커 홀더 베이스 및 뼈 섹션을 만드는 데 사용할 수 있습니다. 여기서 마커는 시각화 모드 3D 인쇄베이스에 부착되어 있으며, 여기에 부착물은 등록 모드 3D 인쇄 바이오모델로 도시된다. 이 표현은 이전에 정의된 대로 큐브의 상부에 정확하게 위치한 홀로그램을 통해 앱이 시각화 모드에서 작동하는 방식을 보여줍니다.등록 모드에서는 전체 골격 모델을 뼈 부위의 마커의 명확하고 사실적인 시각화와 함께 3D 인쇄 섹션 위에 배치할 수 있습니다. 증강 현실을 사용하여 중요한 환자 정보를 시각화하려면 3D 프린터 및 스마트폰에 자유롭게 액세스할 수 있는 여러 소프트웨어 도구가 필요합니다. 이 절차는 의료 영상에서 얻은 모든 모델에 적용 될 수있다.그것의 사용은 바늘 삽입의 방사선 요법 포지셔닝과 같은 그밖 내정간섭으로 확장될 수 있습니다. 우리는 지금 근막 수술 또는 정형 외과수술을 포함하여 새로운 임상 지역으로 이 발달의 응용을 확장하고 있습니다. 우리의 초기 연구는 유망하고 외과 의사의 피드백은 매우 긍정적이다.

Research

JoVE Journal

Medicine

Step By Step: Microsurgical training method combining two nonliving animal models

단계적으로 두 생명이 동물 모델을 결합 미세 수술 훈련 방법

The learning of microsurgical techniques and the maintenance of microsurgical skills have been traditionally based on the use of living animals, mainly ...

연구

의학

Smartphone Fundus Photography

스마트 폰 안저 사진

Smartphone fundus photography is a simple technique to obtain ocular fundus pictures using a smartphone camera and a conventional handheld indirect ...

Integrating Augmented Reality Tools in Breast Cancer Related Lymphedema Prognostication and Diagnosis

유방암 관련 림프부종 예후 및 진단에 증강 현실 도구를 통합

Breast cancer related lymphedema (BCRL) is a detrimental condition characterized by fluid accumulation in the upper limb in breast cancer patients ...

Multicolor 3D Printing of Complex Intracranial Tumors in Neurosurgery

신경 외과에서 복잡한 두개내 종양의 다색 3D 프린팅

Three-dimensional (3D) printing technologies offer the possibility of visualizing patient-specific pathologies in a physical model of correct dimensions. ...

3D Planning and Printing of Patient Specific Implants for Reconstruction of Bony Defects

뼈 결함의 재건을위한 환자 특정 임플란트의 3D 계획 및 인쇄

We are in the midst of the 3D era in most aspects of life, and especially in medicine. The surgical discipline is one of the major players in the medical ...

Treatment of Facial Deformities using 3D Planning and Printing of Patient-Specific Implants

환자 별 임플란트의 3D 계획 및 인쇄를 이용한 안면 기형 치료

Technological advancements in surgical planning and patient-specific implants are constantly evolving. One can either adopt the technology to achieve ...

Combining 3D-Printing and Electrospinning to Manufacture Biomimetic Heart Valve Leaflets

3D 프린팅과 전기방사를 결합하여 생체모방 심장 판막 전단지 제조

Electrospinning has become a widely used technique in cardiovascular tissue engineering as it offers the possibility to create (micro-)fibrous scaffolds ...

Augmented Reality Navigation-Guided Core Decompression for Osteonecrosis of Femoral Head

증강 현실 탐색 유도 대퇴골 머리의 골괴사에 대한 코어 감압

Osteonecrosis of the femoral head (ONFH) is a common joint disease in young and middle-aged patients, which seriously burdens their lives and work. For ...

3D Printing Model of a Patient's Specific Lumbar Vertebra

환자의 특정 요추의 3D 프린팅 모델

Selective dorsal rhizotomy (SDR) is a difficult, risky, and sophisticated operation, in which a laminectomy should not only expose an adequate surgical ...

Plasma Polishing as a New Polishing Option to Reduce the Surface Roughness of Porous Titanium Alloy for 3D Printing

3D 프린팅을 위한 다공성 티타늄 합금의 표면 거칠기를 줄이기 위한 새로운 연마 옵션으로서의 플라즈마 연마

Porous titanium alloy implants with simulated trabecular bone fabricated by 3D printing technology have broad prospects. However, due to the fact that ...