Name: a swin transformer-based model for thyroid nodule detection in ultrasound images
Uploaded: 2023-04-21T14:15:00
Description: Watch this Scientific Journal Video about A Swin Transformer-Based Model for Thyroid Nodule Detection in Ultrasound Images at JoVE.com

Este estudo foi apoiado pela Fundação Nacional de Ciências Naturais da China (Grant No.32101188) e pelo Projeto Geral do Departamento de Ciência e Tecnologia da Província de Sichuan (Grant No. 2021YFS0102), China.

Este estudo retrospectivo foi aprovado pelo comitê de revisão institucional do West China Hospital, Sichuan University, Sichuan, China, e a exigência de obtenção de consentimento informado foi dispensada.
1. Configuração do ambiente
<ol><li>Software de unidade de processamento gráfico (GPU)<ol><li>Para implementar aplicativos de aprendizado profundo, primeiro configure o ambiente relacionado à GPU. Baixe e instale softwares e drivers apropriados à GPU no site da GP...

<ol>
	<li>Grant, E. G., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Thyroid+ultrasound+reporting+lexicon:+White+paper+of+the+ACR+Thyroid+Imaging,+Reporting+and+Data+System+(TIRADS)+committee.">Thyroid ultrasound reporting lexicon: White paper of the ACR Thyroid Imaging, Reporting and Data System (TIRADS) committee.</a> Journal of the American College of Radiology. 12 (12 Pt A), 1272-1279 (2015).</li><li>Zhao, J., Zheng, W., Zhang, L., Tian, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Segmentation+of+ultrasound+images+of+thyroid+nodule+for+assisting+fine+needle+aspiration+cytology.">Segmentation of ultrasound images of thyroid nodule for assisting fine needle aspiration cytology.</a> Health Information Science and Systems. 1, 5 (2013).</li><li>Haugen, B. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=American+Thyroid+Association+management+guidelines+for+adult+patients+with+thyroid+nodules+and+differentiated+thyroid+cancer:+What+is+new+and+what+has+changed.">American Thyroid Association management guidelines for adult patients with thyroid nodules and differentiated thyroid cancer: What is new and what has changed.</a> Cancer. 123 (3), 372-381 (2017).</li><li>Shin, J. H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Ultrasonography+diagnosis+and+imaging-based+management+of+thyroid+nodules:+Revised+Korean+Society+of+Thyroid+Radiology+consensus+statement+and+recommendations.">Ultrasonography diagnosis and imaging-based management of thyroid nodules: Revised Korean Society of Thyroid Radiology consensus statement and recommendations.</a> Korean Journal of Radiology. 17 (3), 370-395 (2016).</li><li>Horvath, E., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=An+ultrasonogram+reporting+system+for+thyroid+nodules+stratifying+cancer+risk+for+clinical+management.">An ultrasonogram reporting system for thyroid nodules stratifying cancer risk for clinical management.</a> The Journal of Clinical Endocrinology &amp; Metabolism. 94 (5), 1748-1751 (2009).</li><li>Park, J. -. Y., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+proposal+for+a+thyroid+imaging+reporting+and+data+system+for+ultrasound+features+of+thyroid+carcinoma.">A proposal for a thyroid imaging reporting and data system for ultrasound features of thyroid carcinoma.</a> Thyroid. 19 (11), 1257-1264 (2009).</li><li>Moon, W. -. J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Benign+and+malignant+thyroid+nodules:+US+differentiation-Multicenter+retrospective+study.">Benign and malignant thyroid nodules: US differentiation-Multicenter retrospective study.</a> Radiology. 247 (3), 762-770 (2008).</li><li>Park, C. S., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Observer+variability+in+the+sonographic+evaluation+of+thyroid+nodules.">Observer variability in the sonographic evaluation of thyroid nodules.</a> Journal of Clinical Ultrasound. 38 (6), 287-293 (2010).</li><li>Kim, S. H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Observer+variability+and+the+performance+between+faculties+and+residents:+US+criteria+for+benign+and+malignant+thyroid+nodules.">Observer variability and the performance between faculties and residents: US criteria for benign and malignant thyroid nodules.</a> Korean Journal of Radiology. 11 (2), 149-155 (2010).</li><li>Choi, Y. J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+computer-aided+diagnosis+system+using+artificial+intelligence+for+the+diagnosis+and+characterization+of+thyroid+nodules+on+ultrasound:+initial+clinical+assessment.">A computer-aided diagnosis system using artificial intelligence for the diagnosis and characterization of thyroid nodules on ultrasound: initial clinical assessment.</a> Thyroid. 27 (4), 546-552 (2017).</li><li>Chang, T. -. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=The+role+of+computer-aided+detection+and+diagnosis+system+in+the+differential+diagnosis+of+thyroid+lesions+in+ultrasonography.">The role of computer-aided detection and diagnosis system in the differential diagnosis of thyroid lesions in ultrasonography.</a> Journal of Medical Ultrasound. 23 (4), 177-184 (2015).</li><li>Li, X. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Fully+convolutional+networks+for+ultrasound+image+segmentation+of+thyroid+nodules.">Fully convolutional networks for ultrasound image segmentation of thyroid nodules.</a> , 886-890 (2018).</li><li>Nguyen, D. T., Choi, J., Park, K. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Thyroid+nodule+segmentation+in+ultrasound+image+based+on+information+fusion+of+suggestion+and+enhancement+networks.">Thyroid nodule segmentation in ultrasound image based on information fusion of suggestion and enhancement networks.</a> Mathematics. 10 (19), 3484 (2022).</li><li>Ma, J., Wu, F., Jiang, T. A., Zhu, J., Kong, D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Cascade+convolutional+neural+networks+for+automatic+detection+of+thyroid+nodules+in+ultrasound+images.">Cascade convolutional neural networks for automatic detection of thyroid nodules in ultrasound images.</a> Medical Physics. 44 (5), 1678-1691 (2017).</li><li>Song, W., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Multitask+cascade+convolution+neural+networks+for+automatic+thyroid+nodule+detection+and+recognition.">Multitask cascade convolution neural networks for automatic thyroid nodule detection and recognition.</a> IEEE Journal of Biomedical and Health Informatics. 23 (3), 1215-1224 (2018).</li><li>Wang, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Learning+from+weakly-labeled+clinical+data+for+automatic+thyroid+nodule+classification+in+ultrasound+images.">Learning from weakly-labeled clinical data for automatic thyroid nodule classification in ultrasound images.</a> , 3114-3118 (2018).</li><li>Wang, L., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+multi-scale+densely+connected+convolutional+neural+network+for+automated+thyroid+nodule+classification.">A multi-scale densely connected convolutional neural network for automated thyroid nodule classification.</a> Frontiers in Neuroscience. 16, 878718 (2022).</li><li>Krizhevsky, A., Sutskever, I., Hinton, G. E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Imagenet+classification+with+deep+convolutional+neural+networks.">Imagenet classification with deep convolutional neural networks.</a> Communications of the ACM. 60 (6), 84-90 (2017).</li><li>He, K., Zhang, X., Ren, S., Sun, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Deep+residual+learning+for+image+recognition.">Deep residual learning for image recognition.</a> Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 770-778 (2016).</li><li>Hu, H., Gu, J., Zhang, Z., Dai, J., Wei, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Relation+networks+for+object+detection.">Relation networks for object detection.</a> Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 3588-3597 (2018).</li><li>Szegedy, C., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Going+deeper+with+convolutions.">Going deeper with convolutions.</a> Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 1-9 (2015).</li><li>Dosovitskiy, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=An+image+is+worth+16x16+words:+Transformers+for+image+recognition+at+scale.">An image is worth 16x16 words: Transformers for image recognition at scale.</a> arXiv preprint arXiv:2010.11929. , (2020).</li><li>Touvron, H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Training+data-efficient+image+transformers+&amp;+distillation+through+attention.">Training data-efficient image transformers &amp; distillation through attention.</a> arXiv:2012.12877. , (2021).</li><li>Liu, Z., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Swin+Transformer:+Hierarchical+vision+transformer+using+shifted+windows.">Swin Transformer: Hierarchical vision transformer using shifted windows.</a> 2021 IEEE/CVF International Conference on Computer Vision (ICCV). , 9992-10002 (2021).</li><li>Vaswani, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Attention+is+all+you+need.">Attention is all you need.</a> Advances in Neural Information Processing Systems. 30, (2017).</li><li>Chen, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=TransUNet:+Transformers+make+strong+encoders+for+medical+image+segmentation.+arXiv.">TransUNet: Transformers make strong encoders for medical image segmentation. arXiv.</a> arXiv:2102.04306. , (2021).</li><li>Ren, S., He, K., Girshick, R., Sun, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Faster+r-cnn:+Towards+real-time+object+detection+with+region+proposal+networks.">Faster r-cnn: Towards real-time object detection with region proposal networks.</a> Advances in Neural Information Processing Systems. 28, 91-99 (2015).</li><li>Li, H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=An+improved+deep+learning+approach+for+detection+of+thyroid+papillary+cancer+in+ultrasound+images.">An improved deep learning approach for detection of thyroid papillary cancer in ultrasound images.</a> Scientific Reports. 8, 6600 (2018).</li><li>Lin, T. -. Y., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Feature+pyramid+networks+for+object+detection.">Feature pyramid networks for object detection.</a> Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 2117-2125 (2017).</li><li>Ouahabi, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+review+of+wavelet+denoising+in+medical+imaging.">A review of wavelet denoising in medical imaging.</a> 2013 8th International Workshop on Systems, Signal Processing and their Applications. , 19-26 (2013).</li><li>Mahdaoui, A. E., Ouahabi, A., Moulay, M. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Image+denoising+using+a+compressive+sensing+approach+based+on+regularization+constraints.">Image denoising using a compressive sensing approach based on regularization constraints.</a> Sensors. 22 (6), 2199 (2022).</li><li>Castleman, K. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=.">.</a> Digital Image Processing. , (1996).</li><li>Liu, W., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Ssd:+Single+shot+multibox+detector.">Ssd: Single shot multibox detector.</a> European Conference on Computer Vision. , 21-37 (2016).</li><li>Redmon, J., Farhadi, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Yolov3:+An+incremental+improvement.">Yolov3: An incremental improvement.</a> arXiv. arXiv:1804.02767. , (2018).</li><li>Lin, T. -. Y., Goyal, P., Girshick, R., He, K., Doll&#225;r, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Focalloss+for+dense+object+detection.">Focalloss for dense object detection.</a> arXiv. arXiv:1708.02002. , (2017).</li><li>Carion, N., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=End-to-end+object+detection+with+transformers.">End-to-end object detection with transformers.</a> Computer Vision-ECCV 2020: 16th European Conference. , 23-28 (2020).</li></ol>

Este documento descreve em detalhes como executar a configuração do ambiente, a preparação de dados, a configuração do modelo e o treinamento de rede. Na fase de configuração do ambiente, é preciso prestar atenção para garantir que as bibliotecas dependentes sejam compatíveis e correspondidas. O processamento de dados é um passo muito importante; Tempo e esforço devem ser gastos para garantir a precisão das anotações. Ao treinar o modelo, um "ModuleNotFoundError" pode ser encontrado. Nesse caso, é neces...

A incidência do câncer de tireoide tem aumentado rapidamente desde 1970, especialmente entre mulheres de meia-idade1. Nódulos tireoidianos podem predizer o surgimento de câncer de tireoide, e a maioria dos nódulos tireoidianos é assintomática2. A detecção precoce de nódulos tireoidianos é muito útil na cura do câncer de tireoide. Portanto, de acordo com as diretrizes atuais de prática, todos os pacientes com suspeita de bócio nodular ao exame físico ou com achados de imagem anormais devem ser submetidos a exames complementares 3,4.
A ultrassonografia (US) tireoidiana é um método comumente utilizado para detectar e caracterizar lesões tireoidianas5,6. Os EUA são uma tecnologia conveniente, barata e livre de radiação. Entretanto, a aplicação da US é facilmente afetada pelo operador 7,8. Características como forma, tamanho, ecogenicidade e textura dos nódulos tireoidianos são facilmente distinguíveis nas imagens ultrassonográficas. Embora certas características ultrassonográficas - calcificações, ecogenicidade e bordas irregulares - sejam frequentemente consideradas critérios para identificação de nódulos tireoidianos, a presença de variabilidade interobservador éinevitável8,9. Os resultados diagnósticos de radiologistas com diferentes níveis de experiência são diferentes. Radiologistas inexperientes são mais propensos a diagnosticar erroneamente do que radiologistas experientes. Algumas características do US como reflexos, sombras e ecos podem degradar a qualidade da imagem. Essa degradação na qualidade da imagem causada pela natureza da US dificulta a localização precisa dos nódulos, mesmo por médicos experientes.
O diagnóstico auxiliado por computador (DAC) para nódulos tireoidianos desenvolveu-se rapidamente nos últimos anos e pode efetivamente reduzir os erros causados por diferentes médicos e ajudar os radiologistas a diagnosticar nódulos de forma rápida e precisa10,11. Vários sistemas CAD baseados em CNN têm sido propostos para análise de nódulos na US tireoidiana, incluindo segmentação12,13, detecção14,15 eclassificação16,17. A CNN é um modelo de aprendizagem supervisionadomulticamadas 18, e os módulos principais da CNN são as camadas de convolução e pooling. As camadas de convolução são usadas para extração de feição, e as camadas de agrupamento são usadas para downsampling. As camadas convolucionais de sombra podem extrair características primárias, como textura, bordas e contornos, enquanto as camadas convolucionais profundas aprendem características semânticas de alto nível.
As CNNs têm tido grande sucesso em visão computacional 19,20,21. No entanto, as CNNs não conseguem capturar dependências contextuais de longo alcance devido ao limitado campo receptivo válido das camadas convolucionais. No passado, as arquiteturas de backbone para classificação de imagens usavam principalmente CNNs. Com o advento do Vision Transformer (ViT)22,23, essa tendência mudou, e agora muitos modelos de última geração utilizam transformadores como backbone. Com base em patches de imagem não sobrepostos, o ViT usa um codificador de transformadorpadrão 25 para modelar globalmente as relações espaciais. O Swin Transformer24 introduz ainda janelas de mudança para aprender recursos. As janelas de mudança não só trazem maior eficiência, mas também reduzem muito o comprimento da sequência, porque a autoatenção é calculada na janela. Ao mesmo tempo, a interação entre duas janelas adjacentes pode ser feita através da operação de deslocamento (movimento). A aplicação bem sucedida do transformador Swin em visão computacional levou à investigação de arquiteturas baseadas em transformadores para análise de imagens deultrassom26.
Recentemente, Li e col. propuseram uma abordagem de aprendizado profundo28 para detecção de câncer papilar de tireoide inspirada no Faster R-CNN27. O R-CNN mais rápido é uma arquitetura clássica de detecção de objetos baseada na CNN. O Faster R-CNN original tem quatro módulos: o backbone CNN, a rede de proposta de região (RPN), a camada de pool de ROI e o cabeçote de detecção. O backbone da CNN usa um conjunto de camadas básicas conv+bn+relu+pooling para extrair mapas de feição da imagem de entrada. Em seguida, os mapas de feição são alimentados na camada de pool de RPN e ROI. O papel da rede RPN é gerar propostas regionais. Este módulo usa softmax para determinar se as âncoras são positivas e gera âncoras precisas por regressão de caixa delimitadora. A camada de pool de ROI extrai os mapas de feição da proposta coletando os mapas de feição de entrada e as propostas e alimenta os mapas de feição da proposta no cabeçalho de detecção subsequente. A cabeça de detecção usa os mapas de recursos propostos para classificar objetos e obter posições precisas das caixas de detecção por regressão de caixa delimitadora.
Este trabalho apresenta uma nova rede de detecção de nódulos tireoidianos denominada Swin Faster R-CNN formada pela substituição do backbone CNN em Faster R-CNN pelo Swin Transformer, que resulta na melhor extração de recursos para detecção de nódulos a partir de imagens de ultrassom. Além disso, a rede de pirâmide característica (FPN)29 é utilizada para melhorar o desempenho de detecção do modelo para nódulos de diferentes tamanhos, agregando características de diferentes escalas.

<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td>GPU RTX3090</td>
			<td>Nvidia</td>
			<td>1</td>
			<td>24G GPU</td>
		</tr>
		<tr>
			<td>mmdetection2.11.0</td>
			<td>SenseTime</td>
			<td>4</td>
			<td>https://github.com/open-mmlab/mmdetection.git</td>
		</tr>
		<tr>
			<td>python3.8</td>
			<td>&#8212;</td>
			<td>2</td>
			<td>https://www.python.org</td>
		</tr>
		<tr>
			<td>pytorch1.7.1</td>
			<td>Facebook</td>
			<td>3</td>
			<td>https://pytorch.org</td>
		</tr>
	</tbody>
</table>

a swin transformer-based model for thyroid nodule detection in ultrasound images

Nos últimos anos, a incidência do câncer de tireoide vem aumentando. A detecção de nódulos tireoidianos é fundamental tanto para a detecção quanto para o tratamento do câncer de tireoide. Redes neurais convolucionais (CNNs) têm alcançado bons resultados em tarefas de análise de imagens de ultrassom da tireoide. No entanto, devido ao limitado campo receptivo válido das camadas convolucionais, as CNNs não conseguem capturar dependências contextuais de longo alcance, que são importantes para identificar nódulos tireoidianos em imagens de ultrassonografia. As redes de transformadores são eficazes na captura de informações contextuais de longo alcance. Inspirados por isso, propomos um novo método de detecção de nódulos tireoidianos que combina o backbone Swin Transformer e o R-CNN mais rápido. Especificamente, uma imagem de ultrassom é primeiramente projetada em uma sequência 1D de incorporações, que são então alimentadas em um transformador Swin hierárquico. 
O backbone Swin Transformer extrai recursos em cinco escalas diferentes, utilizando janelas deslocadas para o cálculo da autoatenção. Posteriormente, uma rede de pirâmide de recursos (FPN) é usada para fundir os recursos de diferentes escalas. Finalmente, uma cabeça de detecção é usada para prever caixas delimitadoras e os escores de confiança correspondentes. Dados coletados de 2.680 pacientes foram usados para conduzir os experimentos, e os resultados mostraram que esse método alcançou o melhor escore de mAP de 44,8%, superando as linhas de base baseadas na CNN. Além disso, ganhamos melhor sensibilidade (90,5%) que os concorrentes. Isso indica que a modelagem de contexto nesse modelo é eficaz para a detecção de nódulos tireoidianos.

As imagens da tireoide foram coletadas de dois hospitais na China de setembro de 2008 a fevereiro de 2018. Os critérios de elegibilidade para inclusão das imagens ultrassonográficas neste estudo foram exame ultrassonográfico convencional antes da biópsia e tratamento cirúrgico, diagnóstico com biópsia ou patologia pós-cirúrgica e idade ≥ 18 anos. Os critérios de exclusão foram imagens sem tecido tireoidiano.
As 3.000 imagens ultrassonográficas incluíram 1.384 nódulos malignos ...

Watch this Scientific Journal Video about A Swin Transformer-Based Model for Thyroid Nodule Detection in Ultrasound Images at JoVE.com

A Swin Transformer-Based Model for Thyroid Nodule Detection in Ultrasound Images

Aqui, um novo modelo para detecção de nódulos tireoidianos em imagens de ultrassom é proposto, que usa o transformador Swin como espinha dorsal para realizar modelagem de contexto de longo alcance. Experimentos provam que ele tem um bom desempenho em termos de sensibilidade e precisão.

Modelo baseado em transformador Swin para detecção de nódulos tireoidianos em imagens de ultrassom

In recent years, the incidence of thyroid cancer has been increasing. Thyroid nodule detection is critical for both the detection and treatment of thyroid ...

Este programa implementa uma medida automática e eficiente para a detecção de nódulos tireoidianos, o que pode reduzir a carga de trabalho dos médicos no futuro. Esta técnica aplica um transformador Swin a uma rede de detecção de nódulos. Os Swin Transformers são eficazes na captura de informações de conteúdo de longo alcance, o que é muito útil para melhorar a sensibilidade da detenção de nódulos.Para começar, abra um terminal na máquina e instale o Python 3.8 digitando sudo apt-get install python3.8 na linha de comando. Para instalar o PyTorch 1.7, vá para o site oficial do Miniconda e instale-o. Em seguida, crie um ambiente Conda digitando o comando mostrado na tela na linha de comando, e ative-o digitando conda activate SwinFasterRCNN.Instale o PyTorch escrevendo o comando mostrado na linha de comando. Para a instalação de detecção de MM, clone do repositório oficial do GitHub e instale o MM Detection escrevendo o comando pip install v e na linha de comando. Abra o schedule_1x.py no editor de texto Vim e edite o arquivo para definir os parâmetros padrão relacionados ao treinamento, incluindo o otimizador, a taxa de aprendizado e o épico. Comece o treinamento digitando o comando mostrado na tela. Aguarde até que a rede inicie o treinamento para 48 épicos e para que os pesos treinados resultantes da rede SwinFasterRCNN sejam gerados na pasta de saída.Salve os pesos do modelo com a mais alta precisão no conjunto de validação. Após o treinamento, selecione o modelo com melhor desempenho no conjunto de validação para detecção de nódulos tireoidianos nas novas imagens. Execute o script de teste para redimensionar a imagem para 512 pixels por 512 pixels e normalizá-la.Aguarde até que o script carregue automaticamente os parâmetros do modelo pré-treinado para o SwinFasterRCNN e alimente a imagem pré-processada no SwinFasterRCNN para inferência. Aguarde até que o SwinFasterRCNN produza a caixa de previsão para cada imagem. Finalmente, permita que o script execute automaticamente o pós-processamento do NMS em cada imagem para remover as caixas de detecção duplicadas.Os resultados de detecção para a mesma imagem são mostrados em uma determinada linha. As colunas são os resultados de detecção para SwinFasterRCNN, FasterRCNN, YOLOv3, SSD, RetinaNet e DETR. As verdades terrestres das regiões são marcadas com caixas retangulares verdes.Os resultados da detecção são enquadrados pelas caixas retangulares vermelhas. É muito importante selecionar o hiperparâmetro apropriado para garantir essas convergências, o que precisa ser determinado por muitos experimentos.

Research

JoVE Journal

Medicine

Multi-modal Imaging of Angiogenesis in a Nude Rat Model of Breast Cancer Bone Metastasis Using Magnetic Resonance Imaging, Volumetric Computed Tomography and Ultrasound

Multi-modal de imagem de angiogênese em um modelo de rato nu de Câncer de mama utilizando a ressonância magnética, tomografia computadorizada volumétrica e ultra-som

Angiogenesis is an essential feature of cancer growth and metastasis formation. In bone metastasis, angiogenic factors are pivotal for tumor cell ...

Medicina

Cerenkov Luminescence Imaging (CLI) for Cancer Therapy Monitoring

Cerenkov Luminescence Imaging CLI for Cancer Therapy Monitoring

Luminescência de Cerenkov Imaging (CLI) para o Monitoramento Terapia de Câncer

In  molecular imaging, positron emission tomography (PET) and optical imaging (OI)  are two of the most important and thus most widely used modalities1-3. ...

An Orthotopic Mouse Model of Anaplastic Thyroid Carcinoma

Um modelo de camundongo ortotópico de Carcinoma anaplásico da tiróide

Several types of animal models of human thyroid carcinomas have been established, including subcutaneous xenograft and orthotopic implantation of cancer ...

Substernal Thyroid Biopsy Using Endobronchial Ultrasound-guided Transbronchial Needle Aspiration

Substernal Tireóide Biópsia Usando endobrônquica guiada por ultrassom transbrônquica Punção Aspirativa por Agulha

Substernal thyroid goiter (STG) represents about 5.8% of all mediastinal lesions1. There is a wide variation in the published incidence rates due to the ...

Intra-Operative Neural Monitoring of Thyroid Surgery in a Porcine Model

Monitoramento Neural intra-operatória de cirurgia de tireoide em um modelo de suínos

Intraoperative injury to the recurrent laryngeal nerve (RLN) can cause vocal cord paralysis, which interferes with speech and can potentially interfere ...

Isometric Contractility Measurement of the Mouse Mesenteric Artery Using Wire Myography

Medição de contratilidade isométrica da artéria mesentérica Mouse usando fio miografia

The wire myograph technique is used to assess the contractility of vascular smooth muscles in response to depolarization, GPCR agonists/inhibitors and ...

Electromagnetic Navigation Transthoracic Nodule Localization for Minimally Invasive Thoracic Surgery

Localização do nódulo transtorácico de navegação eletromagnética para cirurgia torácica minimamente invasiva

The increased use of chest computed tomography (CT) has led to an increased detection of pulmonary nodules requiring diagnostic evaluation and/or ...

A Pleural Effusion Model in Rats by Intratracheal Instillation of Polyacrylate/Nanosilica

Um modelo de derrame Pleural em ratos por instilação intratraqueal de poliacrilato/Nanosilica

Pleural effusion is a prevalent clinical finding of many pulmonary diseases. Having a useful animal pleural effusion model is very important to study ...

A Personalized 3D-Printed Model for Preoperative Evaluation in Thyroid Surgery

Um Modelo Personalizado Impresso em 3D para Avaliação Pré-Operatória em Cirurgia de Tireoide

The anatomic structure of the surgical area of thyroid cancer is complex. It is very important to comprehensively and carefully evaluate the tumor ...

Point-of-Care Ultrasound: A Review of Ultrasound Parameters for Predicting Difficult Airways

Ultrassom Point-of-Care: Uma Revisão dos Parâmetros Ultrassonográficos para Predição de Vias Aéreas Difíceis

Airway management remains a crucial part of perioperative care. The conventional approach to assessing potentially difficult airways emphasizes the LEMON ...