Name: combining augmented reality and 3d printing to display patient models on a smartphone
Uploaded: 2020-01-02T13:00:00
Duration: 9 min 26 s
Description: Watch this Scientific Journal Video about Combining Augmented Reality and 3D Printing to Display Patient Models on a Smartphone at JoVE.com

Este relatório contou com o apoio dos projetos PI18/01625 e PI15/02121 (Ministerio de Ciencia, Innovación y Universidades, Instituto de Salud Carlos III e Fundo Europeu de Desenvolvimento Regional "Una manera de hacer Europa") e IND2018/TIC-9753 (Comunidad de Madrid).

<ol>
	<li>Coles, T. R., John, N. W., Gould, D., Caldwell, D. G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Integrating+Haptics+with+Augmented+Reality+in+a+Femoral+Palpation+and+Needle+Insertion+Training+Simulation.">Integrating Haptics with Augmented Reality in a Femoral Palpation and Needle Insertion Training Simulation.</a> IEEE Transactions on Haptics. 4 (3), 199-209 (2011).</li><li>Pelargos, P. E., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Utilizing+virtual+and+augmented+reality+for+educational+and+clinical+enhancements+in+neurosurgery.">Utilizing virtual and augmented reality for educational and clinical enhancements in neurosurgery.</a> Journal of Clinical Neuroscience. 35, 1-4 (2017).</li><li>Abhari, K., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Training+for+Planning+Tumour+Resection:+Augmented+Reality+and+Human+Factors.">Training for Planning Tumour Resection: Augmented Reality and Human Factors.</a> IEEE Transactions on Biomedical Engineering. 62 (6), 1466-1477 (2015).</li><li>Uppot, R., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Implementing+Virtual+and+Augmented+Reality+Tools+for+Radiology+Education+and+Training,+Communication,+and+Clinical+Care.">Implementing Virtual and Augmented Reality Tools for Radiology Education and Training, Communication, and Clinical Care.</a> Radiology. 291, 182210 (2019).</li><li>Pratt, P., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Through+the+HoloLensTM+looking+glass:+augmented+reality+for+extremity+reconstruction+surgery+using+3D+vascular+models+with+perforating+vessels.">Through the HoloLensTM looking glass: augmented reality for extremity reconstruction surgery using 3D vascular models with perforating vessels.</a> European Radiology Experimental. 2 (1), 2 (2018).</li><li>Rose, A. S., Kim, H., Fuchs, H., Frahm, J. -. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Development+of+augmented-reality+applications+in+otolaryngology-head+and+neck+surgery.">Development of augmented-reality applications in otolaryngology-head and neck surgery.</a> The Laryngoscope. , (2019).</li><li>Zhou, C., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Robot-Assisted+Surgery+for+Mandibular+Angle+Split+Osteotomy+Using+Augmented+Reality:+Preliminary+Results+on+Clinical+Animal+Experiment.">Robot-Assisted Surgery for Mandibular Angle Split Osteotomy Using Augmented Reality: Preliminary Results on Clinical Animal Experiment.</a> Aesthetic Plastic Surgery. 41 (5), 1228-1236 (2017).</li><li>Heinrich, F., Joeres, F., Lawonn, K., Hansen, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Comparison+of+Projective+Augmented+Reality+Concepts+to+Support+Medical+Needle+Insertion.">Comparison of Projective Augmented Reality Concepts to Support Medical Needle Insertion.</a> IEEE Transactions on Visualization and Computer Graphics. 25 (6), 1 (2019).</li><li>Deng, W., Li, F., Wang, M., Song, Z. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Easy-to-Use+Augmented+Reality+Neuronavigation+Using+a+Wireless+Tablet+PC.">Easy-to-Use Augmented Reality Neuronavigation Using a Wireless Tablet PC.</a> Stereotactic and Functional Neurosurgery. 92 (1), 17-24 (2014).</li><li>Fan, Z., Weng, Y., Chen, G., Liao, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=3D+interactive+surgical+visualization+system+using+mobile+spatial+information+acquisition+and+autostereoscopic+display.">3D interactive surgical visualization system using mobile spatial information acquisition and autostereoscopic display.</a> Journal of Biomedical Informatics. 71, 154-164 (2017).</li><li>Arnal-Burr&#243;, J., P&#233;rez-Ma&#241;anes, R., Gallo-del-Valle, E., Igualada-Blazquez, C., Cuervas-Mons, M., Vaquero-Mart&#237;n, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Three+dimensional-printed+patient-specific+cutting+guides+for+femoral+varization+osteotomy:+Do+it+yourself.">Three dimensional-printed patient-specific cutting guides for femoral varization osteotomy: Do it yourself.</a> The Knee. 24 (6), 1359-1368 (2017).</li><li>Vaquero, J., Arnal, J., Perez-Ma&#241;anes, R., Calvo-Haro, J., Chana, F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=3D+patient-specific+surgical+printing+cutting+blocks+guides+and+spacers+for+open-+wedge+high+tibial+osteotomy+(HTO)+-+do+it+yourself.">3D patient-specific surgical printing cutting blocks guides and spacers for open- wedge high tibial osteotomy (HTO) - do it yourself.</a> Revue de Chirurgie Orthop&#233;dique et Traumatologique. 102, 131 (2016).</li><li>De La Pe&#241;a, A., De La Pe&#241;a-Brambila, J., P&#233;rez-De La Torre, J., Ochoa, M., Gallardo, G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Low-cost+customized+cranioplasty+using+a+3D+digital+printing+model:+a+case+report.">Low-cost customized cranioplasty using a 3D digital printing model: a case report.</a> 3D Printing in Medicine. 4 (1), 1-9 (2018).</li><li>Kamio, T., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Utilizing+a+low-cost+desktop+3D+printer+to+develop+a+"one-stop+3D+printing+lab"+for+oral+and+maxillofacial+surgery+and+dentistry+fields.">Utilizing a low-cost desktop 3D printer to develop a "one-stop 3D printing lab" for oral and maxillofacial surgery and dentistry fields.</a> 3D Printing in Medicine. 4 (1), 1-7 (2018).</li><li>Punyaratabandhu, T., Liacouras, P., Pairojboriboon, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Using+3D+models+in+orthopedic+oncology:+presenting+personalized+advantages+in+surgical+planning+and+intraoperative+outcomes.">Using 3D models in orthopedic oncology: presenting personalized advantages in surgical planning and intraoperative outcomes.</a> 3D Printing in Medicine. 4 (1), 1-13 (2018).</li><li>Wake, N., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Patient-specific+3D+printed+and+augmented+reality+kidney+and+prostate+cancer+models:+impact+on+patient+education.">Patient-specific 3D printed and augmented reality kidney and prostate cancer models: impact on patient education.</a> 3D Printing in Medicine. 5 (1), 1-8 (2019).</li><li>Barber, S. R., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Augmented+Reality,+Surgical+Navigation,+and+3D+Printing+for+Transcanal+Endoscopic+Approach+to+the+Petrous+Apex.">Augmented Reality, Surgical Navigation, and 3D Printing for Transcanal Endoscopic Approach to the Petrous Apex.</a> OTO Open: The Official Open Access Journal of the American Academy of Otolaryngology-Head and Neck Surgery Foundation. 2 (4), (2018).</li><li>Witowski, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Augmented+reality+and+three-dimensional+printing+in+percutaneous+interventions+on+pulmonary+arteries.">Augmented reality and three-dimensional printing in percutaneous interventions on pulmonary arteries.</a> Quantitative Imaging in Medicine and Surgery. 9 (1), (2019).</li><li>Moreta-Mart&#237;nez, R., Garc&#237;a-Mato, D., Garc&#237;a-Sevilla, M., P&#233;rez-Ma&#241;anes, R., Calvo-Haro, J., Pascau, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Augmented+reality+in+computer-assisted+interventions+based+on+patient-specific+3D+printed+reference.">Augmented reality in computer-assisted interventions based on patient-specific 3D printed reference.</a> Healthcare Technology Letters. , (2018).</li></ol>

Os autores não têm nada a divulgar.

Ar tem grande potencial em educação, treinamento e orientação cirúrgica na área médica. Sua combinação com a impressão 3D abre pode abrir novas possibilidades em aplicações clínicas. Este protocolo descreve uma metodologia que permite que usuários inexperientes criem um aplicativo de smartphone que combine RA e 3DP para a visualização de modelos 3D anatômicos de pacientes com marcadores de referência impressos em 3D.
Em geral, uma das aplicações clínicas mais interessantes de AR e 3DP é melhorar a comunicação paciente-médico, dando ao paciente uma perspectiva diferente do caso, melhorando as explicações de condições médicas ou tratamentos específicos. Outra possível aplicação inclui orientação cirúrgica para localização de destino, na qual ferramentas específicas do paciente impressas em 3D (com um marcador de AR de referência anexado) podem ser colocadas em estruturas rígidas (ou seja, osso) e usadas como referência para navegação. Esta aplicação é especialmente útil para procedimentos cirúrgicos ortopédicos e maxilofaciais, em que a superfície do tecido ósseo é facilmente acessada durante a cirurgia.
O protocolo começa com a seção 1, descrevendo a configuração da estação de trabalho e as ferramentas de software necessárias. A Seção 2 descreve como usar o software 3D Slicer para segmentar facilmente as anatomias alvo do paciente de qualquer modalidade de imagem médica para obter modelos 3D. Esta etapa é crucial, pois os modelos 3D virtuais criados são aqueles exibidos no aplicativo ar final.
Na seção 3, o Cortador 3D é usado para registrar os modelos 3D criados na seção anterior com um marcador de RA. Durante este procedimento de registro, os modelos 3D do paciente são posicionados eficientemente e simplesmente com respeito ao marcador do AR. A posição definida nesta seção determinará a posição relativa do holograma no aplicativo final. Acredita-se que esta solução reduz a complexidade e multiplica as possíveis aplicações. A Seção 3 descreve duas opções diferentes para definir as relações espaciais entre os modelos e marcadores de RA: modo "visualização" e "registro". A primeira opção, o modo "visualização", permite que os modelos 3D sejam posicionados em qualquer lugar com relação ao marcador e exibidos como todo o biomodelo. Este modo fornece uma perspectiva 3D realista da anatomia do paciente e permite mover e girar dos biomodelos movendo o marcador de RA rastreado. A segunda opção, o modo "registro", permite o anexo e a combinação de um adaptador de marcador a qualquer parte do biomodelo, oferecendo um processo de registro automático. Com esta opção, uma pequena seção do modelo 3D, incluindo o adaptador de marcador, pode ser impressa em 3D, e o aplicativo pode exibir o resto do modelo como um holograma.
A Seção 4 fornece diretrizes para o processo de impressão 3D. Primeiro, o usuário pode escolher entre dois marcadores diferentes: o "marcador de cor dupla" e o "marcador de adesivos". Todo o "marcador de cores duplas" pode ser impresso em 3D, mas requer uma impressora 3D extrusora dupla. Caso esta impressora não esteja disponível, o "marcador de adesivos" é proposto. Este é um marcador mais simples que pode ser obtido pela impressão 3D da estrutura cúbica, em seguida, colar as imagens do cubo com papel adesivo ou cola adesivo. Além disso, ambos os marcadores foram projetados com seções extensíveis para se encaixar perfeitamente em um adaptador específico. Assim, o marcador pode ser reutilizado em vários casos.
A Seção 5 descreve o processo para criar um projeto Unity para AR usando o kit de desenvolvimento de software Vuforia. Esta etapa pode ser a parte mais difícil para os usuários sem experiência de programação, mas com essas diretrizes, deve ser mais fácil obter o aplicativo final que é apresentado na seção 6. O aplicativo exibe os modelos virtuais do paciente sobre a tela do smartphone quando a câmera reconhece o marcador impresso em 3D. Para que o aplicativo detecte o marcador 3D, uma distância mínima de aproximadamente 40 cm ou menos do telefone para o marcador, bem como boas condições de iluminação são necessárias.
A aplicação final deste protocolo permite ao usuário escolher os biomodelos específicos para visualizar e em quais posições. Addtionally, o app pode executar o registo automático do paciente-hologram usando um marcador e um adaptador 3D-impressos unidos ao biomodel. Isso resolve o desafio de registrar modelos virtuais com o ambiente de forma direta e conveniente. Além disso, essa metodologia não requer amplo conhecimento de imagens médicas ou desenvolvimento de software, não depende de hardware complexo e software caro e pode ser implementada em um curto período de tempo. Espera-se que este método ajude a acelerar a adoção de tecnologias ar e 3DP por profissionais médicos.

AR e 3DP são tecnologias que fornecem um número crescente de aplicações na área médica. No caso da AR, sua interação com modelos virtuais 3D e o ambiente real beneficia os médicos em relação à educação e formação1,2,3,comunicação e interações com outros médicos4,e orientação durante intervenções clínicas5,6,7,8,9,10. Da mesma forma, o 3DP tornou-se uma solução poderosa para os médicos ao desenvolver ferramentas personalizáveis específicas do paciente11,12,13 ou criar modelos 3D de anatomia de um paciente, o que pode ajudar a melhorar o planejamento pré-operatório e as intervenções clínicas14,15.
As tecnologias AR e 3DP ajudam a melhorar a orientação, a orientação e as habilidades espaciais nos procedimentos médicos; assim, sua combinação é o próximo passo lógico. Trabalhos anteriores demonstraram que seu uso conjunto pode aumentar o valor na educação do paciente16,facilitando explicações de condições médicas e tratamento proposto, otimizando o fluxo de trabalho cirúrgico17,18 e melhorando o registro de paciente para modelo19. Embora essas tecnologias tenham crescido exponencialmente nos últimos anos, sua adoção por médicos ainda é limitada, uma vez que exigem um amplo conhecimento de engenharia e desenvolvimento de software. Portanto, o objetivo deste trabalho é descrever uma metodologia passo a passo que permita o uso de RA e 3DP por usuários inexperientes sem a necessidade de amplo conhecimento técnico.
Este protocolo descreve como desenvolver um aplicativo de smartphone AR que permite a sobreversão de qualquer modelo 3D baseado em pacientes em um ambiente do mundo real usando um marcador impresso em 3D rastreado pela câmera do smartphone. Além disso, uma abordagem alternativa é descrita para fornecer registro automático entre um biomodelo impresso em 3D (ou seja, um modelo 3D criado a partir da anatomia de um paciente) e os hologramas projetados. O protocolo descrito é inteiramente baseado em software gratuito e multiplataforma.
Em trabalhos anteriores, o registro de RA paciente-imagem foi calculado manualmente5 com algoritmos de reconhecimento de superfície10 ou não estava disponível2. Estes métodos têm sido considerados um pouco limitados quando um registro preciso é necessário19. Para superar essas limitações, esse trabalho fornece ferramentas para realizar registro preciso e simples de paciente para imagem nos procedimentos de RA, combinando tecnologia ar e 3DP.
O protocolo é genérico e pode ser aplicado a qualquer modalidade de imagem médica ou paciente. Como exemplo, um caso clínico real de um paciente que sofre de sarcoma de perna distal é fornecido para ilustrar a metodologia. O primeiro passo descreve como segmentar facilmente a anatomia afetada a partir de imagens médicas de tomografia computadorizada (TC) para gerar modelos virtuais 3D. Posteriormente, o posicionamento dos modelos 3D é realizado, em seguida, as ferramentas e modelos necessários são impressos em 3D. Finalmente, o aplicativo AR desejado é implantado. Este aplicativo permite a visualização de modelos 3D do paciente sobrepostos em uma câmera de smartphone em tempo real.

<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td>3D Printing material: Acrylonitrile Butadiene Styrene (ABS)</td>
			<td></td>
			<td></td>
			<td>Thermoplastic polymer material usually used in domestic 3D printers.</td>
		</tr>
		<tr>
			<td>3D Printing material: Polylactic Acid (PLA)</td>
			<td></td>
			<td></td>
			<td>Bioplastic material usually used in domestic 3D printers.</td>
		</tr>
		<tr>
			<td>3D Slicer</td>
			<td></td>
			<td></td>
			<td>Open-source software platform for medical image informatics, image processing, and three-dimensional visualization</td>
		</tr>
		<tr>
			<td>Android</td>
			<td>Alphabet, Inc.</td>
			<td></td>
			<td>Android is a mobile operating system developed by Google. It is based on a modified version of the Linux kernel and other open source software, and is designed primarily for touchscreen mobile devices such as smartphones and tablets.</td>
		</tr>
		<tr>
			<td>Autodesk Meshmixer</td>
			<td>Autodesk, Inc.</td>
			<td></td>
			<td>Meshmixer is state-of-the-art software for working with triangle meshes. Free software.</td>
		</tr>
		<tr>
			<td>iPhone OS</td>
			<td>Apple, Inc.</td>
			<td></td>
			<td>iPhone OS is a mobile operating system created and developed by Apple Inc. exclusively for its hardware.</td>
		</tr>
		<tr>
			<td>Ultimaker 3 Extended</td>
			<td>Ultimaker BV</td>
			<td></td>
			<td>Fused deposition modeling 3D printer.</td>
		</tr>
		<tr>
			<td>Unity</td>
			<td>Unity Technologies</td>
			<td></td>
			<td>Unity is a real-time development platform to create 3D, 2D VR &#38; AR visualizations for Games, Auto, Transportation, Film, Animation, Architecture, Engineering &#38; more. Free software.</td>
		</tr>
		<tr>
			<td>Xcode</td>
			<td>Apple, Inc.</td>
			<td></td>
			<td>Xcode is a complete developer toolset for creating apps for Mac, iPhone, iPad, Apple Watch, and Apple TV. Free software.</td>
		</tr>
	</tbody>
</table>

combining augmented reality and 3d printing to display patient models on a smartphone

A realidade aumentada (AR) tem um grande potencial em educação, treinamento e orientação cirúrgica na área médica. Sua combinação com impressão tridimensional (3D) (3DP) abre novas possibilidades em aplicações clínicas. Embora essas tecnologias tenham crescido exponencialmente nos últimos anos, sua adoção por médicos ainda é limitada, uma vez que exigem um amplo conhecimento de engenharia e desenvolvimento de software. Portanto, o objetivo deste protocolo é descrever uma metodologia passo a passo que permite aos usuários inexperientes criar um aplicativo de smartphone, que combina AR e 3DP para a visualização de modelos 3D anatômicos de pacientes com um marcador de referência impresso em 3D. O protocolo descreve como criar modelos virtuais 3D da anatomia de um paciente derivado s a partir de imagens médicas 3D. Em seguida, explica como executar o posicionamento dos modelos 3D em relação a referências de marcadores. Também são fornecidas instruções sobre como imprimir em 3D as ferramentas e modelos necessários. Finalmente, são fornecidas etapas para implantar o aplicativo. O protocolo é baseado em software gratuito e multiplataforma e pode ser aplicado a qualquer modalidade de imagem médica ou paciente. Uma abordagem alternativa é descrita para fornecer registro automático entre um modelo impresso em 3D criado a partir da anatomia de um paciente e dos hologramas projetados. Como exemplo, um caso clínico de um paciente que sofre de sarcoma de perna distal é fornecido para ilustrar a metodologia. Espera-se que este protocolo acelere a adoção de tecnologias ar e 3DP por profissionais médicos.

O protocolo foi aplicado aos dados de um paciente que sofre do sarcoma distal do pé a fim visualizar a região anatômica afetada de uma perspectiva 3D. Utilizando o método descrito na seção 2, a porção do osso afetado (aqui, a tíbia e a fíbula) e o tumor foram segmentados a partir da tomografia computadorizada do paciente. Em seguida, utilizando as ferramentas de segmentação do Cortador 3D, foram criados dois biomodelos: o osso (seção da tíbia e da fíbula) (Figura 1A)e tumor(Figura 1B).
Em seguida, os dois modelos 3D foram posicionados virtualmente no que diz respeito ao marcador para a visualização ideal. Ambos os modos descritos na seção 3 foram seguidos para este exemplo. Para o modo de visualização, os modelos foram centrados na face superior do marcador(Figura 2). Para o modo de inscrição, o adaptador marcador foi posicionado no osso (especificamente, a tíbia [Figura 3]). Em seguida, uma pequena seção da tíbia foi selecionada para ser impressa em 3D com um adaptador de marcador 3D (Figura 4). Uma impressora 3D estendida ultimaker 3 com material PLA foi usada para criar os marcadores impressos em 3D(Figura 5A, B),base titular do marcador(Figura 5C)para o modo de "visualização", e seção da tíbia para o modo "registro"(Figura 5D). A Figura 5E mostra como o marcador foi anexado à base impressa em 3D do modo de "visualização". A Figura 5F mostra o anexo com o biomodelo impresso em 3D do modo "registro". Finalmente, unity foi usado para criar o aplicativo e implantá-lo no smartphone.
A figura 6 mostra como o aplicativo funcionou para o modo de "visualização". O holograma foi localizado com precisão na parte superior do cubo, como definido anteriormente. A figura 7 mostra o aplicativo para o modo "registro", no qual o aplicativo posicionou o modelo ósseo completo em cima da seção impressa em 3D. A visualização final dos hologramas foi clara e realista, manteve os tamanhos reais dos biomodelos e posicionou com precisão. Ao usar o aplicativo do smartphone, o marcador ar precisa ser visível pela câmera para o aplicativo para exibir corretamente os hologramas. Além disso, as condições de luz na cena devem ser de boa qualidade e constantes para a detecção adequada do marcador. Más condições de luz ou reflexos na superfície do marcador dificultam o rastreamento do marcador de RA e causam mau funcionamento do aplicativo.
O tempo necessário para criar o aplicativo depende de vários fatores. A duração da seção 1 é limitada pela velocidade de download. Em relação à segmentação por anatomia (seção 2), os fatores que afetam o tempo de segmentação incluem complexidade da região e modalidade de imagem médica (ou seja, a TC é facilmente segmentada, enquanto a RM é mais difícil). Para o exemplo representativo da tíbia, foram necessários aproximadamente 10 min para gerar ambos os modelos 3D a partir da tomografia computadorizada. O posicionamento do biomodelo (seção 3) é simples e direto. Aqui, levou aproximadamente 5 min para definir a posição do biomodelo em relação ao marcador ar. Para a etapa de impressão 3D, a duração é altamente dependente do modo selecionado. O "marcador de cores duplas" foi fabricado em alta qualidade em um período de 5 h e 20 min. O "marcador de adesivos" foi fabricado em um período de 1h e 30 min, além do tempo necessário para colar os adesivos. A etapa final para o desenvolvimento do aplicativo pode ser demorada para aqueles sem experiência anterior no Unity, mas pode ser facilmente concluída seguindo as etapas do protocolo. Uma vez que os marcadores de RA foram impressos em 3D, o desenvolvimento de um aplicativo ar inteiramente novo pode ser realizado em menos de 1 h. Esta duração pode ser reduzida ainda mais com experiência adicional.
<img alt="Figure 1" class="xfigimg" src="/files/ftp_upload/60618/60618fig01.jpg"> Figura 1: Representação de modelos 3D criados a partir de uma imagem de TC de um paciente que sofre de sarcoma de perna distal. (A)Tecido ósseo representado em branco (tíbia e fíbula). (B)Tumor representado em vermelho. <a href="https://www.jove.com/files/ftp_upload/60618/60618fig01large.jpg" target="_blank">Clique aqui para ver uma versão maior deste número.</a>
<img alt="Figure 2" class="xfigimg" src="/files/ftp_upload/60618/60618fig02.jpg"> Figura 2: Resultados mostrando como o modo de "visualização" no 3D Slicer posiciona os modelos 3D virtuais do osso e do tumor em relação à referência de marcador impresso em 3D. Os modelos 3D do paciente(A)estão posicionados acima da face superior do cubo marcador (B). <a href="https://www.jove.com/files/ftp_upload/60618/60618fig02large.jpg" target="_blank">Clique aqui para ver uma versão maior deste número.</a>
<img alt="Figure 3" class="xfigimg" src="/files/ftp_upload/60618/60618fig03.jpg"> Figura 3: Resultados mostrando como o modo "registro" no 3D Slicer posiciona os modelos virtuais 3D do osso e tumor (A) no que diz respeito à referência do marcador impresso em 3D (B). O adaptador do marcador é unido ao modelo do tecido do osso. <a href="https://www.jove.com/files/ftp_upload/60618/60618fig03large.jpg" target="_blank">Clique aqui para ver uma versão maior deste número.</a>
<img alt="Figure 4" class="xfigimg" src="/files/ftp_upload/60618/60618fig04.jpg"> Figura 4: Pequena seção do tecido ósseo e adaptador de marcador 3D. Os dois componentes são combinados então impressos em 3D. <a href="https://www.jove.com/files/ftp_upload/60618/60618fig04large.jpg" target="_blank">Clique aqui para ver uma versão maior deste número.</a>
<img alt="Figure 5" class="xfigimg" src="/files/ftp_upload/60618/60618fig05.jpg"> Figura 5: ferramentas impressas em 3D necessárias para a aplicação final. (A)"Marcador de cubo de duas cores" impresso em 3D com duas cores de materiais. (B) "Marcador do cubo adesivo" impresso em 3D, com adesivos colados. (C)Adaptador do cubo de base do marcador. (D)Seção do modelo 3D do tecido ósseo do paciente e adaptador do cubo marcador. (E)"Marcador do cubo adesivo" colocado no adaptador do cubo de base marcador. (F) "Dois marcador cubo de cor" colocado no adaptador marcador ligado à anatomia do paciente. <a href="https://www.jove.com/files/ftp_upload/60618/60618fig05large.jpg" target="_blank">Clique aqui para ver uma versão maior deste número.</a>
<img alt="Figure 6" class="xfigimg" src="/files/ftp_upload/60618/60618fig06.jpg"> Figura 6: Exibição do aplicativo ao usar o modo de "visualização". Os modelos 3D de anatomia afetados pelo paciente estão posicionados acima da face superior do cubo impresso em 3D. <a href="https://www.jove.com/files/ftp_upload/60618/60618fig06large.jpg" target="_blank">Clique aqui para ver uma versão maior deste número.</a>
<img alt="Figure 7" class="xfigimg" src="/files/ftp_upload/60618/60618fig07.jpg"> Figura 7: visualização de RA ao usar o modo "registro". O marcador impresso em 3D permite o registro do biomodelo impresso em 3D com os modelos 3D virtuais. <a href="https://www.jove.com/files/ftp_upload/60618/60618fig07large.jpg" target="_blank">Clique aqui para ver uma versão maior deste número.</a>

Watch this Scientific Journal Video about Combining Augmented Reality and 3D Printing to Display Patient Models on a Smartphone at JoVE.com

Combining Augmented Reality and 3D Printing to Display Patient Models on a Smartphone

Apresentado aqui é um método para projetar um aplicativo de smartphone de realidade aumentada para a visualização de modelos tridimensionais anatômicos de pacientes usando um marcador de referência impresso em 3D.

Combinando realidade aumentada e impressão 3D para exibir modelos de pacientes em um smartphone

Augmented reality (AR) has great potential in education, training, and surgical guidance in the medical field. Its combination with three-dimensional (3D) ...

Este protocolo dá aos usuários inexperientes as ferramentas para trazer soluções de realidade aumentada para o campo médico através da construção de seu próprio aplicativo para smartphones. Este método combina realidade aumentada e impressão 3D permitindo uma visualização rápida e fácil de modelos 3D criados a partir de dados de base em cima de um marcador de referência impresso em 3D. Esta técnica pode ser aplicada a qualquer cenário médico no qual uma referência impressa em 3D possa ser rigidamente ligada ao paciente.A visualização de modelos visuais 3D criados a partir da localização de dados que é direcionada e também pode melhorar o paciente Este protocolo foi projetado especificamente para usuários sem conhecimento prévio de imagem médica ou desenvolvimento de software para auxiliar no uso da realidade aumentada no campo médico. Para criar modelos 3D de anatomia de um paciente, primeiro rastreie o arquivo de imagem médica na janela de software 3D Slicer e clique em OK. Para segmentar a anatomia do paciente, vá para o módulo de editor de segmento em 3D Slicer. Um item de segmentação será criado automaticamente ao entrar no módulo.Selecione o volume desejado na seção de volume mestre e clique com o botão direito do mouse abaixo da imagem para selecionar adicionar para criar um segmento. No painel de efeitos, selecione a ferramenta mais conveniente para o alvo e segmente a imagem médica do paciente. Para exportar a segmentação em um formato de arquivo modelo 3D, abra o módulo de segmentações.Nos modelos de exportação/importação e labelmaps, selecione exportação e modelos e clique em exportar para criar o modelo 3D a partir da área segmentada. Clique em salvar e selecione os elementos a serem salvos. Em seguida, altere o formato de arquivo do modelo 3D para OBJ.A segmentação pode ser repetida para criar modelos 3D adicionais de diferentes regiões anatômicas. Para o posicionamento de um modelo de paciente 3D em qualquer posição em relação ao marcador de realidade aumentada, abra o módulo de posição do modelo AR Health e selecione o modo de visualização. Clique no modelo de marcador de carga para carregar o marcador para esta opção, o botão elipse para selecionar o caminho do modelo 3D salvo e o modelo de carga para carregar o modelo em 3D Slicer.Clique em finalizar e centralizar para centralizar todos os modelos dentro do marcador. Use as barras de slides para ajustar a posição, orientação e dimensionamento dos modelos 3D em relação ao marcador conforme desejado. Em seguida, selecione o caminho para armazenar os arquivos e clique em salvar modelos para salvar os modelos nesta posição.Para combinar o marcador de realidade aumentada com um biomodel 3D em qualquer posição desejada, abra o módulo de posição do modelo AR Health e na seção de inicialização selecione a modalidade de registro. Clique no modelo de marcador de carga para carregar o marcador para esta opção e mova os modelos 3D até que eles se cruzem com a estrutura de suporte do marcador do cubo, modificando a altura da base do marcador conforme necessário. Para salvar o modelo nesta posição, selecione o caminho para armazenar os arquivos e clique em salvar modelos.Se o modelo de anatomia for muito grande, carregue o biomodel e a estrutura de suporte do modelo de marcador de cubo no software de misturador de malha. Selecione ambos os modelos na janela do navegador do objeto para combinar os modelos e use a ferramenta de corte simples do menu de edição para remover quaisquer seções indesejadas do modelo que não serão impressas em 3D. Para salvar o modelo a ser impresso em 3D, selecione arquivo e exportação e selecione o formato desejado.Para imprimir em 3D os modelos físicos necessários para o aplicativo final de realidade aumentada, no software de impressão 3D, selecione um material de cor branca para o TwoColorCuebMarker_white. arquivo obj e um material de cor preta para o TwoColorCubeMarker_white. arquivo obj.Em seguida, use uma impressora 3D de extrusão dupla para imprimir em 3D o marcador cúbico em preto e branco em modo de alta qualidade com uma pequena altura de camada. Para projetar um aplicativo para smartphone em Unity Engine que inclui os modelos 3D, abra o Desenvolvedor Vuforia e crie uma conta. Selecione obter a chave de desenvolvimento para obter uma chave de licença de desenvolvimento gratuita e no menu do gerenciador de licenças selecione e copie a chave.Para configurar o smartphone, no aplicativo Unity versão 2019, em configurações de compilação no menu de arquivos selecione a plataforma apropriada para o dispositivo. Para ativar o Vuforia no projeto, selecione editar, definir o projeto, as configurações do jogador e as configurações XR e verifique a caixa rotulada vuforia suporte de realidade aumentada. Para criar uma câmera de realidade aumentada, selecione a barra de menu, o objeto do jogo, o Vuforia Engine e a câmera AR e importe os componentes Vuforia quando solicitado.Para adicionar a chave de licença Vuforia às configurações de configuração vuforia, selecione a pasta de recursos, clique na configuração Vuforia e cole a chave de licença na seção de teclas de licença do aplicativo. Importe o arquivo de destino Vuforia contendo os arquivos que o Vuforia precisa para detectar os marcadores em Unity e selecionar barra de menu, objeto de jogo, Motor Vuforia e multi-imagem para criar um alvo multi Vuforia. Clique no alvo múltiplo para selecionar o tipo de marcador que será usado para detecção e na opção de banco de dados sob comportamento de vários alvos, selecione ARHealth_3dPrintedCube_30x30x30.Na opção multi-alvo sob comportamento de vários alvos, selecione TwoColorCubeMarker ou StickerCubeMarker, dependendo do marcador. Arraste os modelos 3D para a pasta de modelos e arraste a pasta sob o item multi-alvo. Os modelos devem ficar visíveis na cena de exibição Unity 3D.Para mudar as cores dos modelos 3D, crie novos materiais e atribua os novos materiais aos modelos. Se uma webcam estiver disponível, clique em reproduzir para testar o aplicativo no computador. Se o marcador estiver visível na webcam, ele deve ser detectado e os modelos 3D devem aparecer na cena.Se um smartphone Android for usado para o desenvolvimento do aplicativo, selecione configurações de compilação no Unity e selecione o telefone conectado da lista. Em seguida, salve o arquivo com uma extensão apk e permita que o processo termine. Se o aplicativo for implantado em um dispositivo iOS, selecione arquivo nas configurações de compilação e salve o arquivo.Para visualizar o aplicativo, abra o aplicativo no smartphone e use a câmera do smartphone para olhar o marcador de dentro do aplicativo a uma distância mínima de 40 centímetros. Uma vez que o aplicativo detecte o marcador, os modelos 3D criados anteriormente devem aparecer na tela do smartphone no local exato definido durante o procedimento. Utilizando o método como demonstrado, esta porção da tíbia e fíbula afetadas de um paciente que sofre de sarcoma distais da perna e tumor foram segmentadas a partir da tomografia computadorizada do paciente.Utilizando as ferramentas de segmentação, foi criado um biomodel para o osso e um biomodelo foi criado para o tumor. Para o modo de visualização, os modelos foram centrados na fase superior do marcador. Para o modo de registro, o adaptador de marcador foi posicionado na tíbia e uma pequena seção da tíbia foi selecionada para ser impressa em 3D com um adaptador de marcador 3D.O ácido polilático pode ser usado para criar os marcadores impressos em 3D, bases de suporte de marcadores e seções ósseas como demonstrado. Aqui um marcador é anexado a uma base impressa 3D do modo de visualização e aqui o anexo é mostrado com o modo de registro impresso em 3D biomodel. Esta representação mostra como o aplicativo funciona no modo de visualização com o holograma localizado com precisão na parte superior do cubo como definido anteriormente.No modo de registro, o modelo ósseo completo pode ser posicionado em cima da seção impressa em 3D com uma visualização clara e realista do marcador no local do osso. Para usar a realidade aumentada para visualizar informações importantes do paciente, você precisará de várias ferramentas de software que estão disponíveis gratuitamente, bem como acesso a uma impressora 3D e smartphone. Este procedimento pode ser aplicado a qualquer modelo obtido a partir de imagens médicas.Seu uso pode ser estendido a outras intervenções, como o posicionamento radioterapia da inserção da agulha. Estamos agora estendendo as aplicações deste desenvolvimento para novas áreas clínicas, incluindo cirurgia miofascial ou ortopédica. Nossa pesquisa inicial é promissora e o feedback do cirurgião é muito positivo.

Research

JoVE Journal

Medicine

Step By Step: Microsurgical training method combining two nonliving animal models

Passo a passo: método de treinamento Microsurgical combinação de dois modelos animais não vivos

The learning of microsurgical techniques and the maintenance of microsurgical skills have been traditionally based on the use of living animals, mainly ...

Medicina

Smartphone Fundus Photography

Smartphone fundus photography is a simple technique to obtain ocular fundus pictures using a smartphone camera and a conventional handheld indirect ...

Integrating Augmented Reality Tools in Breast Cancer Related Lymphedema Prognostication and Diagnosis

Integrando ferramentas de realidade aumentada no prognóstico e diagnóstico de linfofedema relacionadaao câncer de mama

Breast cancer related lymphedema (BCRL) is a detrimental condition characterized by fluid accumulation in the upper limb in breast cancer patients ...

Multicolor 3D Printing of Complex Intracranial Tumors in Neurosurgery

Impressão 3D multicolorida de tumores intracranianos complexos na neurocirurgia

Three-dimensional (3D) printing technologies offer the possibility of visualizing patient-specific pathologies in a physical model of correct dimensions. ...

3D Planning and Printing of Patient Specific Implants for Reconstruction of Bony Defects

Planejamento e impressão 3D de implantes específicos do paciente para reconstrução de defeitos ósseos

We are in the midst of the 3D era in most aspects of life, and especially in medicine. The surgical discipline is one of the major players in the medical ...

Treatment of Facial Deformities using 3D Planning and Printing of Patient-Specific Implants

Tratamento de deformidades faciais utilizando planejamento 3D e impressão de implantes específicos para pacientes

Technological advancements in surgical planning and patient-specific implants are constantly evolving. One can either adopt the technology to achieve ...

Combining 3D-Printing and Electrospinning to Manufacture Biomimetic Heart Valve Leaflets

Combinando impressão 3D e eletropinning para fabricar folhetos biomiméticos da válvula cardíaca

Electrospinning has become a widely used technique in cardiovascular tissue engineering as it offers the possibility to create (micro-)fibrous scaffolds ...

Augmented Reality Navigation-Guided Core Decompression for Osteonecrosis of Femoral Head

Descompressão do núcleo guiada pela navegação de realidade aumentada para osteonecrose da cabeça femoral

Osteonecrosis of the femoral head (ONFH) is a common joint disease in young and middle-aged patients, which seriously burdens their lives and work. For ...

3D Printing Model of a Patient's Specific Lumbar Vertebra

Modelo de impressão 3D da vértebra lombar específica de um paciente

Selective dorsal rhizotomy (SDR) is a difficult, risky, and sophisticated operation, in which a laminectomy should not only expose an adequate surgical ...

Plasma Polishing as a New Polishing Option to Reduce the Surface Roughness of Porous Titanium Alloy for 3D Printing

Polimento a plasma como uma nova opção de polimento para reduzir a rugosidade superficial da liga porosa de titânio para impressão 3D

Porous titanium alloy implants with simulated trabecular bone fabricated by 3D printing technology have broad prospects. However, due to the fact that ...