Name: combining augmented reality and 3d printing to display patient models on a smartphone
Uploaded: 2020-01-02T13:00:00
Duration: 9 min 26 s
Description: Watch this Scientific Journal Video about Combining Augmented Reality and 3D Printing to Display Patient Models on a Smartphone at JoVE.com

このレポートは、プロジェクトPI18/01625およびPI15/02121(大臣デシエンシア、イノヴァシオン・イ・ウニベルシダーデス、インスティトゥート・デ・サルド・カルロス3世、欧州地域開発基金「ウナ・マネラ・デ・ハセル・エウロパ」)およびIND2018/TIC-9753(コミュニダード・デ・マドリード)によって支援されました。

<ol>
	<li>Coles, T. R., John, N. W., Gould, D., Caldwell, D. G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Integrating+Haptics+with+Augmented+Reality+in+a+Femoral+Palpation+and+Needle+Insertion+Training+Simulation.">Integrating Haptics with Augmented Reality in a Femoral Palpation and Needle Insertion Training Simulation.</a> IEEE Transactions on Haptics. 4 (3), 199-209 (2011).</li><li>Pelargos, P. E., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Utilizing+virtual+and+augmented+reality+for+educational+and+clinical+enhancements+in+neurosurgery.">Utilizing virtual and augmented reality for educational and clinical enhancements in neurosurgery.</a> Journal of Clinical Neuroscience. 35, 1-4 (2017).</li><li>Abhari, K., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Training+for+Planning+Tumour+Resection:+Augmented+Reality+and+Human+Factors.">Training for Planning Tumour Resection: Augmented Reality and Human Factors.</a> IEEE Transactions on Biomedical Engineering. 62 (6), 1466-1477 (2015).</li><li>Uppot, R., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Implementing+Virtual+and+Augmented+Reality+Tools+for+Radiology+Education+and+Training,+Communication,+and+Clinical+Care.">Implementing Virtual and Augmented Reality Tools for Radiology Education and Training, Communication, and Clinical Care.</a> Radiology. 291, 182210 (2019).</li><li>Pratt, P., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Through+the+HoloLensTM+looking+glass:+augmented+reality+for+extremity+reconstruction+surgery+using+3D+vascular+models+with+perforating+vessels.">Through the HoloLensTM looking glass: augmented reality for extremity reconstruction surgery using 3D vascular models with perforating vessels.</a> European Radiology Experimental. 2 (1), 2 (2018).</li><li>Rose, A. S., Kim, H., Fuchs, H., Frahm, J. -. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Development+of+augmented-reality+applications+in+otolaryngology-head+and+neck+surgery.">Development of augmented-reality applications in otolaryngology-head and neck surgery.</a> The Laryngoscope. , (2019).</li><li>Zhou, C., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Robot-Assisted+Surgery+for+Mandibular+Angle+Split+Osteotomy+Using+Augmented+Reality:+Preliminary+Results+on+Clinical+Animal+Experiment.">Robot-Assisted Surgery for Mandibular Angle Split Osteotomy Using Augmented Reality: Preliminary Results on Clinical Animal Experiment.</a> Aesthetic Plastic Surgery. 41 (5), 1228-1236 (2017).</li><li>Heinrich, F., Joeres, F., Lawonn, K., Hansen, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Comparison+of+Projective+Augmented+Reality+Concepts+to+Support+Medical+Needle+Insertion.">Comparison of Projective Augmented Reality Concepts to Support Medical Needle Insertion.</a> IEEE Transactions on Visualization and Computer Graphics. 25 (6), 1 (2019).</li><li>Deng, W., Li, F., Wang, M., Song, Z. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Easy-to-Use+Augmented+Reality+Neuronavigation+Using+a+Wireless+Tablet+PC.">Easy-to-Use Augmented Reality Neuronavigation Using a Wireless Tablet PC.</a> Stereotactic and Functional Neurosurgery. 92 (1), 17-24 (2014).</li><li>Fan, Z., Weng, Y., Chen, G., Liao, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=3D+interactive+surgical+visualization+system+using+mobile+spatial+information+acquisition+and+autostereoscopic+display.">3D interactive surgical visualization system using mobile spatial information acquisition and autostereoscopic display.</a> Journal of Biomedical Informatics. 71, 154-164 (2017).</li><li>Arnal-Burr&#243;, J., P&#233;rez-Ma&#241;anes, R., Gallo-del-Valle, E., Igualada-Blazquez, C., Cuervas-Mons, M., Vaquero-Mart&#237;n, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Three+dimensional-printed+patient-specific+cutting+guides+for+femoral+varization+osteotomy:+Do+it+yourself.">Three dimensional-printed patient-specific cutting guides for femoral varization osteotomy: Do it yourself.</a> The Knee. 24 (6), 1359-1368 (2017).</li><li>Vaquero, J., Arnal, J., Perez-Ma&#241;anes, R., Calvo-Haro, J., Chana, F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=3D+patient-specific+surgical+printing+cutting+blocks+guides+and+spacers+for+open-+wedge+high+tibial+osteotomy+(HTO)+-+do+it+yourself.">3D patient-specific surgical printing cutting blocks guides and spacers for open- wedge high tibial osteotomy (HTO) - do it yourself.</a> Revue de Chirurgie Orthop&#233;dique et Traumatologique. 102, 131 (2016).</li><li>De La Pe&#241;a, A., De La Pe&#241;a-Brambila, J., P&#233;rez-De La Torre, J., Ochoa, M., Gallardo, G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Low-cost+customized+cranioplasty+using+a+3D+digital+printing+model:+a+case+report.">Low-cost customized cranioplasty using a 3D digital printing model: a case report.</a> 3D Printing in Medicine. 4 (1), 1-9 (2018).</li><li>Kamio, T., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Utilizing+a+low-cost+desktop+3D+printer+to+develop+a+"one-stop+3D+printing+lab"+for+oral+and+maxillofacial+surgery+and+dentistry+fields.">Utilizing a low-cost desktop 3D printer to develop a "one-stop 3D printing lab" for oral and maxillofacial surgery and dentistry fields.</a> 3D Printing in Medicine. 4 (1), 1-7 (2018).</li><li>Punyaratabandhu, T., Liacouras, P., Pairojboriboon, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Using+3D+models+in+orthopedic+oncology:+presenting+personalized+advantages+in+surgical+planning+and+intraoperative+outcomes.">Using 3D models in orthopedic oncology: presenting personalized advantages in surgical planning and intraoperative outcomes.</a> 3D Printing in Medicine. 4 (1), 1-13 (2018).</li><li>Wake, N., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Patient-specific+3D+printed+and+augmented+reality+kidney+and+prostate+cancer+models:+impact+on+patient+education.">Patient-specific 3D printed and augmented reality kidney and prostate cancer models: impact on patient education.</a> 3D Printing in Medicine. 5 (1), 1-8 (2019).</li><li>Barber, S. R., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Augmented+Reality,+Surgical+Navigation,+and+3D+Printing+for+Transcanal+Endoscopic+Approach+to+the+Petrous+Apex.">Augmented Reality, Surgical Navigation, and 3D Printing for Transcanal Endoscopic Approach to the Petrous Apex.</a> OTO Open: The Official Open Access Journal of the American Academy of Otolaryngology-Head and Neck Surgery Foundation. 2 (4), (2018).</li><li>Witowski, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Augmented+reality+and+three-dimensional+printing+in+percutaneous+interventions+on+pulmonary+arteries.">Augmented reality and three-dimensional printing in percutaneous interventions on pulmonary arteries.</a> Quantitative Imaging in Medicine and Surgery. 9 (1), (2019).</li><li>Moreta-Mart&#237;nez, R., Garc&#237;a-Mato, D., Garc&#237;a-Sevilla, M., P&#233;rez-Ma&#241;anes, R., Calvo-Haro, J., Pascau, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Augmented+reality+in+computer-assisted+interventions+based+on+patient-specific+3D+printed+reference.">Augmented reality in computer-assisted interventions based on patient-specific 3D printed reference.</a> Healthcare Technology Letters. , (2018).</li></ol>

著者たちは何も開示する必要はない。

ARは、医療分野における教育、トレーニング、外科指導において大きな可能性を秘めています。3Dプリンティングとの組み合わせは、臨床応用に新たな可能性を開く可能性があります。このプロトコルは、経験の浅いユーザーが3Dプリントされた参照マーカーを持つ患者の解剖学的3Dモデルの可視化のためのARと3DPを組み合わせたスマートフォンアプリを作成することを可能にする方法論を記述します。
一般に、ARおよび3DPの最も興味深い臨床応用の1つは、患者に症例の異なる視点を与えることによって患者と医師間のコミュニケーションを改善し、特定の病状または治療の説明を改善することである。別の可能なアプリケーションには、ターゲットローカリゼーションのための外科的ガイダンスが含まれており、3Dプリントされた患者固有のツール(参照ARマーカーが取り付けられたもの)を剛体構造(すなわち、骨)に配置し、ナビゲーションの参照として使用することができます。このアプリケーションは、手術中に骨組織表面に容易にアクセスできる整形外科および顎顔面外科的処置に特に有用である。
プロトコルはセクション 1 から始まり、ワークステーションのセットアップと必要なソフトウェア ツールについて説明します。セクション2では、3Dスライサーソフトウェアを使用して、任意の医療画像モダリティから患者のターゲット解剖学を容易にセグメント化し、3Dモデルを得る方法について説明します。作成された仮想 3D モデルは最終的な AR アプリケーションに表示されるため、この手順は非常に重要です。
セクション 3 では、3D スライサーを使用して、前のセクションで作成した 3D モデルを AR マーカーに登録します。この登録手順の間に、忍耐強い3DモデルはARマーカーに対して効率的に、単に置かされる。このセクションで定義した位置によって、最終的なアプリのホログラム相対位置が決まります。このソリューションは、複雑さを軽減し、可能なアプリケーションを乗算すると考えられています。セクション 3 では、モデルと AR マーカー間の空間リレーションシップを定義する 2 つの異なるオプションについて説明します。最初のオプションである「ビジュアライゼーション」モードでは、マーカーに対して任意の場所に 3D モデルを配置し、バイオモデル全体として表示できます。このモードは、患者の解剖学の現実的な3D視点を提供し、追跡されたARマーカーを動かすことによってバイオモデルの移動および回転を可能にする。2番目のオプション「登録」モードでは、バイオモデルの任意の部分にマーカーアダプタをアタッチして組み合わせ、自動登録プロセスを提供します。このオプションを使用すると、マーカー アダプタを含む 3D モデルの小さなセクションを 3D プリントでき、アプリはモデルの残りの部分をホログラムとして表示できます。
セクション 4 では、3D 印刷プロセスのガイドラインを示します。まず、ユーザーは「デュアルカラーマーカー」と「ステッカーマーカー」の2つの異なるマーカーの間で選択することができます。全体の「デュアルカラーマーカー」は3Dプリントすることができますが、デュアル押出機3Dプリンタが必要です。このプリンタが利用できない場合は、「ステッカーマーカー」を提案します。これは、立方体構造を3Dプリントし、ステッカー用紙またはステッカーの接着剤で立方体の画像を貼り付けることによって得ることができる簡単なマーカーです。さらに、両方のマーカーは、特定のアダプターに完全に収まるように拡張可能なセクションで設計されました。したがって、マーカーは、いくつかのケースで再利用することができます。
セクション 5 では、Vuforia ソフトウェア開発キットを使用して AR の Unity プロジェクトを作成するプロセスについて説明します。この手順は、プログラミング経験のないユーザーにとって最も難しい部分ですが、これらのガイドラインでは、セクション 6 で説明する最終的なアプリケーションを入手する方が簡単です。アプリは、カメラが3Dプリントマーカーを認識すると、スマートフォン画面上に患者の仮想モデルを表示します。アプリが3Dマーカーを検出するためには、電話機からマーカーまでの最低距離が約40cm以下、良好な照明条件が必要です。
このプロトコルの最終的な適用は、ユーザーが視覚化する特定のバイオモデルを選択し、どの位置で追加的に、アプリは、バイオモデルに取り付けられた3Dプリントマーカーとアダプタを使用して、患者ホログラムの自動登録を実行することができます。これにより、仮想モデルを環境に直接便利に登録するという課題が解決されます。さらに、この方法論は、医療画像やソフトウェア開発に関する広範な知識を必要とせず、複雑なハードウェアや高価なソフトウェアに依存せず、短期間で実装することができます。この方法は、医療従事者によるARおよび3DP技術の採用を加速させることが期待されます。

ARと3DPは、医療分野での応用数を増やす技術です。ARの場合、仮想3Dモデルとの相互作用および実際の環境は、教育および訓練1、2、3、他の医師とのコミュニケーションおよび相互作用に関して医師に利益をもたらす4、および臨床介入中のガイダンス5、6、7、8、9、10である。同様に、3DPは、患者固有のカスタマイズ可能なツール11、12、13を開発する場合、または患者の解剖学の3Dモデルを作成する際に医師のための強力なソリューションとなり、術前計画および臨床介入を改善するのに役立ちます14、15。
AR技術と3DP技術はいずれも、医療処置におけるオリエンテーション、ガイダンス、空間的スキルの向上に役立ちます。したがって、これらの組み合わせは次の論理的なステップです。以前の研究は、彼らの共同使用が患者教育16における価値を高めることができることを実証し、病状および提案された治療の説明を容易にし、外科的ワークフロー17、18を最適化し、患者からモデルへの登録19を改善する。これらの技術は近年飛躍的に成長していますが、工学やソフトウェア開発に関する広範な知識を必要とするため、医師の採用はまだ限られています。そこで、この作業の目的は、広範な技術知識を必要とせずに、経験の浅いユーザーによるARおよび3DPの使用を可能にする段階的な方法論を記述することです。
このプロトコルは、スマートフォンのカメラで追跡された3Dプリントマーカーを使用して、患者ベースの3Dモデルを現実世界の環境に重ね合わせることができるARスマートフォンアプリを開発する方法を説明します。さらに、3Dプリントされたバイオモデル(すなわち、患者の解剖学から作成された3Dモデル)と投影ホログラムとの間に自動登録を提供する代替アプローチが記載されています。説明されているプロトコルは、完全に無料のマルチプラットフォームソフトウェアに基づいています。
以前の研究では、AR患者から画像への登録は、表面認識アルゴリズム10で手動で5を計算されているか、2を使用できませんでした。これらの方法は、正確な登録が必要な場合にはやや制限されていると考えられています19.これらの制限を克服するために、この作業はAR技術と3DPを組み合わせることでAR手順で正確かつ簡単な患者から画像への登録を行うためのツールを提供します。
プロトコルは一般的であり、任意の医療画像モダリティまたは患者に適用することができます。一例として、遠位脚肉腫に罹患している患者の実際の臨床症例が方法論を例示するために提供される。最初のステップでは、3D仮想モデルを生成するために、コンピューター断層撮影(CT)医療画像から影響を受ける解剖学を簡単にセグメント化する方法について説明します。その後、3D モデルの位置決めが実行され、必要なツールとモデルが 3D プリントされます。最後に、目的の AR アプリがデプロイされます。このアプリは、リアルタイムでスマートフォンのカメラにオーバーレイ忍耐強い3Dモデルの可視化を可能にします。

<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td>3D Printing material: Acrylonitrile Butadiene Styrene (ABS)</td>
			<td></td>
			<td></td>
			<td>Thermoplastic polymer material usually used in domestic 3D printers.</td>
		</tr>
		<tr>
			<td>3D Printing material: Polylactic Acid (PLA)</td>
			<td></td>
			<td></td>
			<td>Bioplastic material usually used in domestic 3D printers.</td>
		</tr>
		<tr>
			<td>3D Slicer</td>
			<td></td>
			<td></td>
			<td>Open-source software platform for medical image informatics, image processing, and three-dimensional visualization</td>
		</tr>
		<tr>
			<td>Android</td>
			<td>Alphabet, Inc.</td>
			<td></td>
			<td>Android is a mobile operating system developed by Google. It is based on a modified version of the Linux kernel and other open source software, and is designed primarily for touchscreen mobile devices such as smartphones and tablets.</td>
		</tr>
		<tr>
			<td>Autodesk Meshmixer</td>
			<td>Autodesk, Inc.</td>
			<td></td>
			<td>Meshmixer is state-of-the-art software for working with triangle meshes. Free software.</td>
		</tr>
		<tr>
			<td>iPhone OS</td>
			<td>Apple, Inc.</td>
			<td></td>
			<td>iPhone OS is a mobile operating system created and developed by Apple Inc. exclusively for its hardware.</td>
		</tr>
		<tr>
			<td>Ultimaker 3 Extended</td>
			<td>Ultimaker BV</td>
			<td></td>
			<td>Fused deposition modeling 3D printer.</td>
		</tr>
		<tr>
			<td>Unity</td>
			<td>Unity Technologies</td>
			<td></td>
			<td>Unity is a real-time development platform to create 3D, 2D VR &#38; AR visualizations for Games, Auto, Transportation, Film, Animation, Architecture, Engineering &#38; more. Free software.</td>
		</tr>
		<tr>
			<td>Xcode</td>
			<td>Apple, Inc.</td>
			<td></td>
			<td>Xcode is a complete developer toolset for creating apps for Mac, iPhone, iPad, Apple Watch, and Apple TV. Free software.</td>
		</tr>
	</tbody>
</table>

combining augmented reality and 3d printing to display patient models on a smartphone

拡張現実(AR)は、医療分野における教育、訓練、外科指導において大きな可能性を秘めています。3次元(3D)印刷(3DP)との組み合わせは臨床応用の新しい可能性を開く。これらの技術は近年飛躍的に成長していますが、工学やソフトウェア開発に関する広範な知識を必要とするため、医師の採用はまだ限られています。したがって、このプロトコルの目的は、経験の浅いユーザーが3Dプリントされた参照マーカーを持つ患者の解剖学的3Dモデルの可視化のためにARと3DPを組み合わせたスマートフォンアプリを作成することを可能にするステップバイステップの方法論を記述することです。プロトコルは、3D医療画像から派生した患者の解剖学の3D仮想モデルを作成する方法を説明します。次に、マーカー参照に対して 3D モデルの位置決めを実行する方法について説明します。また、必要なツールとモデルを 3D 印刷する方法についても説明します。最後に、アプリを展開する手順を示します。プロトコルは自由で、マルチプラットフォームのソフトウェアに基づいており、任意の医療画像モダリティまたは患者に適用することができます。別のアプローチは、患者の解剖学から作成された3Dプリントモデルと投影ホログラムとの間の自動登録を提供するために記述されています。一例として、遠位脚肉腫に罹患している患者の臨床症例が方法論を例示するために提供される。このプロトコルは、医療専門家によるARおよび3DP技術の採用を加速することが期待されます。

このプロトコルは、3Dの観点から影響を受けた解剖学的領域を可視化するために、遠位脚肉腫に罹患している患者からのデータに適用された。セクション2に記載の方法を用いて、患部の骨の部分(ここでは、脛骨および脛骨)および腫瘍を患者のCTスキャンからセグメント化した。次いで、3Dスライサーのセグメンテーションツールを用いて、骨(脛骨と脛骨の断面)(図1A)と腫瘍(図1B)の2つのバイオモデルを作成した。
次に、2つの3Dモデルを、最適な可視化のためのマーカーに対して事実上配置した。この例では、セクション 3 で説明した両方のモードに従いました。視覚化モードでは、モデルはマーカーの上面の中央に配置されました (図 2)。登録モードの場合、マーカーアダプタは骨内に配置された(具体的には、脛骨[図3])。次に、脛骨の小さな部分を3Dマーカーアダプターで3Dプリントするように選択した(図4)。PLA材料を備えたUltimaker 3拡張3Dプリンタを使用して、3Dプリントマーカー(図5A、B)、「ビジュアライゼーション」モードのマーカーホルダーベース(図5C)、および「登録」モードの脛骨のセクションを作成しました(図5D)。図5Eは、マーカーが「ビジュアリゼーション」モードの3Dプリントベースにどのように取り付けられたかを示しています。図5Fは、「登録」モードの3Dプリントバイオモデルを用いた添付ファイルを示す。最後に、Unity を使用してアプリを作成し、スマートフォンに展開しました。
図 6は、アプリが "視覚化" モードでどのように機能したかを示しています。ホログラムは、前に定義したようにキューブの上部に正確に配置されました。図 7は、アプリが 3D 印刷セクションの上に完全なボーン モデルを配置した "登録" モードのアプリケーションを示しています。ホログラムの最終的な可視化は明確かつ現実的であり、バイオモデルの実際のサイズを維持し、正確に配置しました。スマートフォンアプリケーションを使用する場合、ホログラムを正しく表示するには、アプリがカメラでARマーカーを表示する必要があります。さらに、シーン内の光条件は、適切なマーカー検出のために良好な品質と一定である必要があります。マーカー表面の不良光状態や反射は、ARマーカーの追跡を妨げ、アプリの誤動作を引き起こします。
アプリの作成に必要な時間は、いくつかの要因によって異なります。セクション 1 の期間は、ダウンロード速度によって制限されます。解剖学的セグメンテーション(セクション2)に関して、セグメンテーション時間に影響を与える因子は、領域および医療画像モダリティの複雑さを含む(すなわち、CTは容易にセグメント化され、MRIはより困難である)。脛骨の代表的な例では、CTスキャンから両方の3Dモデルを生成するために約10分が必要でした。バイオモデルの位置決め(セクション3)は簡単で簡単です。ここで、ARマーカーに対するバイオモデル位置を定義するのに約5分かかった。3D 印刷ステップでは、継続時間は選択したモードに大きく依存します。「デュアルカラーマーカー」は、5時間20分の期間で高品質で製造されました。「ステッカーマーカー」は1時間30分の期間に製造され、ステッカーの貼り付けに要した時間を加えた。アプリ開発の最後の手順は、Unity での経験がないユーザーにとっては時間がかかる場合がありますが、プロトコルの手順に従って簡単に完了できます。ARマーカーが3Dプリントされると、全く新しいARアプリの開発を1時間未満で行うことができます。この期間は、追加の経験でさらに短縮することができます。
<img alt="Figure 1" class="xfigimg" src="/files/ftp_upload/60618/60618fig01.jpg"> 図1:遠位脚肉腫に罹患した患者のCT画像から作成された3Dモデルの表現(A)白色(脛骨および脛骨)で表される骨組織。(B)赤色で表される腫瘍。<a href="https://www.jove.com/files/ftp_upload/60618/60618fig01large.jpg" target="_blank">この図の大きなバージョンを表示するには、ここをクリックしてください。</a>
<img alt="Figure 2" class="xfigimg" src="/files/ftp_upload/60618/60618fig02.jpg"> 図2:3Dスライサーの「可視化」モードが、3Dプリントマーカー参照に対して骨と腫瘍の仮想3Dモデルをどのように配置するかを示す結果。患者の3Dモデル(A)はマーカー立方体の上面の上方に配置される(B)。<a href="https://www.jove.com/files/ftp_upload/60618/60618fig02large.jpg" target="_blank">この図の大きなバージョンを表示するには、ここをクリックしてください。</a>
<img alt="Figure 3" class="xfigimg" src="/files/ftp_upload/60618/60618fig03.jpg"> 図3:3Dスライサーの「登録」モードが、3Dプリントマーカー参照(B)に対して骨と腫瘍(A)の仮想3Dモデルをどのように配置するかを示す結果。マーカーアダプターは骨組織モデルに付着する。<a href="https://www.jove.com/files/ftp_upload/60618/60618fig03large.jpg" target="_blank">この図の大きなバージョンを表示するには、ここをクリックしてください。</a>
<img alt="Figure 4" class="xfigimg" src="/files/ftp_upload/60618/60618fig04.jpg"> 図4:骨組織と3Dマーカーアダプターの小さなセクション。2 つのコンポーネントが組み合わされ、次に 3D プリントされます。<a href="https://www.jove.com/files/ftp_upload/60618/60618fig04large.jpg" target="_blank">この図の大きなバージョンを表示するには、ここをクリックしてください。</a>
<img alt="Figure 5" class="xfigimg" src="/files/ftp_upload/60618/60618fig05.jpg"> 図 5: 最終的なアプリケーションに必要な 3D 印刷ツール(A)「2色立方マーカー」2色の素材で3Dプリント。(B)「ステッカーキューブマーカー」3Dプリント、ステッカー貼り付け。(C) マーカーベースキューブアダプタ。(D)患者の骨組織3Dモデルおよびマーカー立方体アダプタのセクション。(E)マーカーベースキューブアダプタに配置された「ステッカーキューブマーカー」。(F)患者の解剖学に付着したマーカーアダプターに配置された「2色立方マーカー」。<a href="https://www.jove.com/files/ftp_upload/60618/60618fig05large.jpg" target="_blank">この図の大きなバージョンを表示するには、ここをクリックしてください。</a>
<img alt="Figure 6" class="xfigimg" src="/files/ftp_upload/60618/60618fig06.jpg"> 図6:「ビジュアライゼーション」モードを使用した場合のアプリ表示患者の影響を受けた解剖学の3Dモデルは3Dプリントされた立方体の上面の上に置かれている。<a href="https://www.jove.com/files/ftp_upload/60618/60618fig06large.jpg" target="_blank">この図の大きなバージョンを表示するには、ここをクリックしてください。</a>
<img alt="Figure 7" class="xfigimg" src="/files/ftp_upload/60618/60618fig07.jpg"> 図7:「登録」モードを使用した場合のAR可視化3Dプリントマーカーは、仮想3Dモデルで3Dプリントバイオモデルの登録を可能にします。<a href="https://www.jove.com/files/ftp_upload/60618/60618fig07large.jpg" target="_blank">この図の大きなバージョンを表示するには、ここをクリックしてください。</a>

Watch this Scientific Journal Video about Combining Augmented Reality and 3D Printing to Display Patient Models on a Smartphone at JoVE.com

Combining Augmented Reality and 3D Printing to Display Patient Models on a Smartphone (Video) | JoVE

ここでは、3Dプリントされた基準マーカーを用いた患者の解剖学的三次元モデルの可視化のための拡張現実スマートフォンアプリケーションを設計する方法である。

拡張現実と3Dプリンティングを組み合わせてスマートフォンに患者モデルを表示

Augmented reality (AR) has great potential in education, training, and surgical guidance in the medical field. Its combination with three-dimensional (3D) ...

このプロトコルは、経験の浅いユーザーに、自分のスマートフォンアプリの構築を通じて医療分野に拡張現実ソリューションをもたらすツールを提供します。この方法は、拡張現実と3D印刷を組み合わせることで、3Dプリントされたリファレンスマーカーの上に基づいてデータを基に作成された3Dモデルを素早く簡単に視覚化できます。この技術は、3Dプリントされた参照を患者に厳密に取り付けることができるあらゆる医療シナリオに適用することができる。ターゲットと患者を改善することができるデータローカリゼーションの基礎から作成された視覚的な3Dモデルの可視化 このプロトコルは、医療分野での拡張現実の使用を支援するために、医療画像やソフトウェア開発の予備知識を持たないユーザーのために特別に設計されています。患者の解剖学の3Dモデルを作成するには、最初に医療画像ファイルを3Dスライサーソフトウェアウィンドウに追跡し、[OK]をクリックします。患者の解剖学を分割するには、3Dスライサーのセグメントエディタモジュールに移動します。セグメンテーションアイテムは、モジュールの入力時に自動的に作成されます。マスターボリュームセクションで目的のボリュームを選択し、イメージの下を右クリックして[追加]を選択してセグメントを作成します。効果パネルで、ターゲットに最も便利なツールを選択し、患者の医療画像をセグメント化します。セグメンテーションを 3D モデル ファイル形式でエクスポートするには、セグメンテーション モジュールを開きます。[エクスポート/インポート モデルおよびラベルマップ]で、[エクスポート]および[モデル]を選択し、[エクスポート]をクリックして、セグメント化された領域から 3D モデルを作成します。保存をクリックし、保存する要素を選択します。次に、3D モデルのファイル形式を OBJ に変更します。セグメンテーションを繰り返して、異なる解剖学的領域の追加の3Dモデルを作成することができます。拡張現実マーカーに関する任意の位置での 3D 患者モデルの位置指定については、AR Health モデル位置モジュールを開き、視覚化モードを選択します。[マーカー モデルのロード] をクリックしてこのオプションのマーカーをロードし、省略記号ボタンをクリックして保存した 3D モデルのパスを選択し、モデルをロードして 3D スライサーにモデルをロードします。[完了]をクリックし、マーカー内のすべてのモデルを中央に配置します。スライド バーを使用して、マーカーに対する 3D モデルの位置、方向、およびスケーリングを調整します。次に、ファイルを保存するパスを選択し、[モデルを保存]をクリックして、この位置にモデルを保存します。拡張現実マーカーと 3D バイオモデルを任意の位置に結合するには、AR Health モデル位置モジュールを開き、初期化セクションで登録モードを選択します。[マーカー モデルのロード] をクリックしてこのオプションのマーカーをロードし、3D モデルが立方体マーカーの支持構造と交差するまで移動し、必要に応じてマーカー ベースの高さを変更します。この位置にモデルを保存するには、ファイルを保存するパスを選択し、[モデルを保存]をクリックします。解剖モデルが大きすぎる場合は、メッシュミキサーソフトウェアでキューブマーカーモデルのバイオモデルと支持構造をロードします。オブジェクト ブラウザ ウィンドウで両方のモデルを選択してモデルを結合し、編集メニューのプレーン カット ツールを使用して、3D プリントされないモデルの不要なセクションを削除します。3D プリントするモデルを保存するには、ファイルを選択してエクスポートし、目的の形式を選択します。最終的な拡張現実アプリケーションに必要な物理モデルを 3D 印刷するには、3D 印刷ソフトウェアで、TwoColorCuebMarker_whiteの白色の素材を選択します。obj ファイルとTwoColorCubeMarker_whiteの黒色のマテリアル。obj ファイル。次に、デュアル押出機3Dプリンタを使用して、小さなレイヤーの高さで高品質モードで黒と白で立方体マーカーを3Dプリントします。3D モデルを含む Unity Engine でスマートフォン アプリを設計するには、Vuforia デベロッパーを開いてアカウントを作成します。無償開発ライセンス キーを取得するには、[開発キーの取得] を選択し、ライセンス マネージャーのメニューでキーを選択してコピーします。スマートフォンを設定するには、Unity バージョン 2019 アプリケーションで、ファイル メニューのビルド設定で、デバイスに適したプラットフォームを選択します。Vuforia をプロジェクトに入れられるようにするには、編集、プロジェクト設定、プレーヤー設定、XR 設定を選択し、Vuforia 拡張現実サポートのラベルの付いたチェックボックスをオンにします。拡張現実カメラを作成するには、メニューバー、ゲームオブジェクト、Vuforiaエンジン、ARカメラを選択し、プロンプトが表示されたらVuforiaコンポーネントをインポートします。Vuforia の構成設定に Vuforia ライセンス キーを追加するには、リソース フォルダーを選択し、Vuforia の構成をクリックして、ライセンス キーをアプリ のライセンス キー セクションに貼り付けます。Vuforiaがマーカーを検出するために必要なファイルを含むVuforiaターゲットファイルをUnityにインポートし、メニューバー、ゲームオブジェクト、Vuforiaエンジン、マルチ画像を選択してVuforiaマルチターゲットを作成します。マルチ ターゲットをクリックして検出に使用するマーカーの種類を選択し、マルチ ターゲットの動作のデータベース オプションで[ARHealth_3dPrintedCube_30x30x30] を選択します。マルチターゲットの動作の[マルチターゲット]オプションで、マーカーに応じて[2色キューブマーカー]または[ステッカーキューブマーカー]を選択します。3D モデルをモデル フォルダにドラッグし、マルチターゲット アイテムの下にフォルダをドラッグします。モデルは Unity 3D ビュー シーンに表示されます。3D モデルの色を変更するには、新しいマテリアルを作成し、新しいマテリアルをモデルに割り当てます。Web カメラが利用可能な場合は、[再生] をクリックして、コンピューター上でアプリケーションをテストします。マーカーが Web カメラに表示されている場合は、マーカーが検出され、3D モデルがシーンに表示されます。Android スマートフォンをアプリ開発に使用する場合は、Unity でビルド設定を選択し、リストから接続された電話機を選択します。その後、apk拡張子を付けてファイルを保存し、プロセスを終了させます。アプリが iOS デバイスに展開される場合は、ビルド設定でファイルを選択し、ファイルを保存します。アプリを視覚化するには、スマートフォンでアプリを開き、スマートフォンのカメラを使用して、最低40センチメートルの距離でアプリ内からマーカーを見ます。アプリがマーカーを検出すると、以前に作成した3Dモデルが、手順中に定義された正確な位置にスマートフォン画面に表示されます。実証された方法を用いて、遠位脚肉腫および腫瘍に罹患した患者からの罹患した脛骨および脛骨のこの部分を、患者のCTスキャンからセグメント化した。セグメンテーションツールを使用して、骨に1つのバイオモデルを作成し、腫瘍に対して1つのバイオモデルを作成しました。視覚化モードでは、モデルはマーカーの上のフェーズに中央揃えされていました。登録モードでは、マーカーアダプタを脛刺に配置し、脛部の小さな部分を3Dマーカーアダプタで3Dプリントするように選択しました。ポリ乳酸は、3Dプリントマーカー、マーカーホルダーベース、骨切片を作成するために使用できます。ここでは、マーカーがビジュアライゼーションモード3Dプリントベースにアタッチされ、ここでは登録モード3Dプリントバイオモデルで添付ファイルが表示されます。この表現は、以前に定義されたように、ホログラムがキューブの上部に正確に配置された視覚化モードでアプリがどのように動作するかを示しています。登録モードでは、完全なボーンモデルは、骨部位のマーカーの明確で現実的な視覚化を用いて、3Dプリントされたセクションの上に配置することができます。拡張現実を使用して重要な患者情報を視覚化するには、3Dプリンタやスマートフォンへのアクセスだけでなく、自由に利用できるいくつかのソフトウェアツールが必要です。この手順は、医療画像から得られる任意のモデルに適用することができる。その使用は、針の挿入の放射線療法の位置のような他の介入に拡張することができる。私たちは今、この開発の応用を筋形外科手術や整形外科手術を含む新しい臨床分野に拡大しています。私たちの最初の研究は有望であり、外科医のフィードバックは非常に肯定的です。

Research

JoVE Journal

Medicine

Combining Augmented Reality and 3D Printing to Display Patient Models on a Smartphone

Step By Step: Microsurgical training method combining two nonliving animal models

Step By Step: Microsurgical training method combining two nonliving animal models (Video) | JoVE

2非生物の動物モデルを組み合わせた顕微トレーニング方法：ステップバイステップ

The learning of microsurgical techniques and the maintenance of microsurgical skills have been traditionally based on the use of living animals, mainly ...

Smartphone Fundus Photography

Smartphone Fundus Photography (Video) | JoVE

スマートフォン眼底撮影

Smartphone fundus photography is a simple technique to obtain ocular fundus pictures using a smartphone camera and a conventional handheld indirect ...

Integrating Augmented Reality Tools in Breast Cancer Related Lymphedema Prognostication and Diagnosis

Integrating Augmented Reality Tools in Breast Cancer Related Lymphedema Prognostication and Diagnosis (Video) | JoVE

乳癌関連リンパ浮腫予後診断における拡張現実ツールの統合

Breast cancer related lymphedema (BCRL) is a detrimental condition characterized by fluid accumulation in the upper limb in breast cancer patients ...

Multicolor 3D Printing of Complex Intracranial Tumors in Neurosurgery

Multicolor 3D Printing of Complex Intracranial Tumors in Neurosurgery (Video) | JoVE

脳神経外科における複雑頭蓋内腫瘍の多色3D印刷

Three-dimensional (3D) printing technologies offer the possibility of visualizing patient-specific pathologies in a physical model of correct dimensions. ...

3D Planning and Printing of Patient Specific Implants for Reconstruction of Bony Defects

3D Planning and Printing of Patient Specific Implants for Reconstruction of Bony Defects (Video) | JoVE

骨の欠陥の再構築のための患者特有のインプラントの3D計画と印刷

We are in the midst of the 3D era in most aspects of life, and especially in medicine. The surgical discipline is one of the major players in the medical ...

Treatment of Facial Deformities using 3D Planning and Printing of Patient-Specific Implants

Treatment of Facial Deformities using 3D Planning and Printing of Patient-Specific Implants (Video) | JoVE

患者固有インプラントの3D計画・印刷による顔面変形の治療

Technological advancements in surgical planning and patient-specific implants are constantly evolving. One can either adopt the technology to achieve ...

Creation of a High-Fidelity, Low-Cost, Intraosseous Line Placement Task Trainer via 3D Printing

Creation of a High-Fidelity, Low-Cost, Intraosseous Line Placement Task Trainer via 3D Printing (Video) | JoVE

3Dプリンティングによる高忠実度、低コストの骨内ライン配置タスクトレーナーの作成

The description of procedural task trainers includes their use as a training tool to hone technical skills through repetition and rehearsal of procedures ...

Combining 3D-Printing and Electrospinning to Manufacture Biomimetic Heart Valve Leaflets

Combining 3D-Printing and Electrospinning to Manufacture Biomimetic Heart Valve Leaflets (Video) | JoVE

3Dプリンティングとエレクトロスピニングを組み合わせて、生体模倣心臓弁リーフレットを製造

Electrospinning has become a widely used technique in cardiovascular tissue engineering as it offers the possibility to create (micro-)fibrous scaffolds ...

Augmented Reality Navigation-Guided Core Decompression for Osteonecrosis of Femoral Head

Augmented Reality Navigation-Guided Core Decompression for Osteonecrosis of Femoral Head (Video) | JoVE

大腿骨頭の骨壊死のための拡張現実ナビゲーションガイドコア減圧

Osteonecrosis of the femoral head (ONFH) is a common joint disease in young and middle-aged patients, which seriously burdens their lives and work. For ...

3D Printing Model of a Patient's Specific Lumbar Vertebra

3D Printing Model of a Patient's Specific Lumbar Vertebra (Video) | JoVE

患者の特定の腰椎の3Dプリントモデル

Selective dorsal rhizotomy (SDR) is a difficult, risky, and sophisticated operation, in which a laminectomy should not only expose an adequate surgical ...