Name: a swin transformer-based model for thyroid nodule detection in ultrasound images
Uploaded: 2023-04-21T14:15:00
Description: Watch this Scientific Journal Video about A Swin Transformer-Based Model for Thyroid Nodule Detection in Ultrasound Images at JoVE.com

Cette étude a été soutenue par la Fondation nationale des sciences naturelles de Chine (subvention n ° 32101188) et le projet général du Département de la science et de la technologie de la province du Sichuan (subvention n ° 2021YFS0102), Chine.

Cette étude rétrospective a été approuvée par le comité d’examen institutionnel de l’hôpital de Chine occidentale, Université du Sichuan, Sichuan, Chine, et l’exigence d’obtenir un consentement éclairé a été levée.
1. Configuration de l’environnement
<ol><li>Logiciel d’unité de traitement graphique (GPU)<ol><li>Pour implémenter des applications de deep learning, configurez d’abord l’environnement lié au GPU. Téléchargez et installez les logi...

<ol>
	<li>Grant, E. G., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Thyroid+ultrasound+reporting+lexicon:+White+paper+of+the+ACR+Thyroid+Imaging,+Reporting+and+Data+System+(TIRADS)+committee.">Thyroid ultrasound reporting lexicon: White paper of the ACR Thyroid Imaging, Reporting and Data System (TIRADS) committee.</a> Journal of the American College of Radiology. 12 (12 Pt A), 1272-1279 (2015).</li><li>Zhao, J., Zheng, W., Zhang, L., Tian, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Segmentation+of+ultrasound+images+of+thyroid+nodule+for+assisting+fine+needle+aspiration+cytology.">Segmentation of ultrasound images of thyroid nodule for assisting fine needle aspiration cytology.</a> Health Information Science and Systems. 1, 5 (2013).</li><li>Haugen, B. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=American+Thyroid+Association+management+guidelines+for+adult+patients+with+thyroid+nodules+and+differentiated+thyroid+cancer:+What+is+new+and+what+has+changed.">American Thyroid Association management guidelines for adult patients with thyroid nodules and differentiated thyroid cancer: What is new and what has changed.</a> Cancer. 123 (3), 372-381 (2017).</li><li>Shin, J. H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Ultrasonography+diagnosis+and+imaging-based+management+of+thyroid+nodules:+Revised+Korean+Society+of+Thyroid+Radiology+consensus+statement+and+recommendations.">Ultrasonography diagnosis and imaging-based management of thyroid nodules: Revised Korean Society of Thyroid Radiology consensus statement and recommendations.</a> Korean Journal of Radiology. 17 (3), 370-395 (2016).</li><li>Horvath, E., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=An+ultrasonogram+reporting+system+for+thyroid+nodules+stratifying+cancer+risk+for+clinical+management.">An ultrasonogram reporting system for thyroid nodules stratifying cancer risk for clinical management.</a> The Journal of Clinical Endocrinology &amp; Metabolism. 94 (5), 1748-1751 (2009).</li><li>Park, J. -. Y., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+proposal+for+a+thyroid+imaging+reporting+and+data+system+for+ultrasound+features+of+thyroid+carcinoma.">A proposal for a thyroid imaging reporting and data system for ultrasound features of thyroid carcinoma.</a> Thyroid. 19 (11), 1257-1264 (2009).</li><li>Moon, W. -. J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Benign+and+malignant+thyroid+nodules:+US+differentiation-Multicenter+retrospective+study.">Benign and malignant thyroid nodules: US differentiation-Multicenter retrospective study.</a> Radiology. 247 (3), 762-770 (2008).</li><li>Park, C. S., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Observer+variability+in+the+sonographic+evaluation+of+thyroid+nodules.">Observer variability in the sonographic evaluation of thyroid nodules.</a> Journal of Clinical Ultrasound. 38 (6), 287-293 (2010).</li><li>Kim, S. H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Observer+variability+and+the+performance+between+faculties+and+residents:+US+criteria+for+benign+and+malignant+thyroid+nodules.">Observer variability and the performance between faculties and residents: US criteria for benign and malignant thyroid nodules.</a> Korean Journal of Radiology. 11 (2), 149-155 (2010).</li><li>Choi, Y. J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+computer-aided+diagnosis+system+using+artificial+intelligence+for+the+diagnosis+and+characterization+of+thyroid+nodules+on+ultrasound:+initial+clinical+assessment.">A computer-aided diagnosis system using artificial intelligence for the diagnosis and characterization of thyroid nodules on ultrasound: initial clinical assessment.</a> Thyroid. 27 (4), 546-552 (2017).</li><li>Chang, T. -. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=The+role+of+computer-aided+detection+and+diagnosis+system+in+the+differential+diagnosis+of+thyroid+lesions+in+ultrasonography.">The role of computer-aided detection and diagnosis system in the differential diagnosis of thyroid lesions in ultrasonography.</a> Journal of Medical Ultrasound. 23 (4), 177-184 (2015).</li><li>Li, X. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Fully+convolutional+networks+for+ultrasound+image+segmentation+of+thyroid+nodules.">Fully convolutional networks for ultrasound image segmentation of thyroid nodules.</a> , 886-890 (2018).</li><li>Nguyen, D. T., Choi, J., Park, K. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Thyroid+nodule+segmentation+in+ultrasound+image+based+on+information+fusion+of+suggestion+and+enhancement+networks.">Thyroid nodule segmentation in ultrasound image based on information fusion of suggestion and enhancement networks.</a> Mathematics. 10 (19), 3484 (2022).</li><li>Ma, J., Wu, F., Jiang, T. A., Zhu, J., Kong, D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Cascade+convolutional+neural+networks+for+automatic+detection+of+thyroid+nodules+in+ultrasound+images.">Cascade convolutional neural networks for automatic detection of thyroid nodules in ultrasound images.</a> Medical Physics. 44 (5), 1678-1691 (2017).</li><li>Song, W., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Multitask+cascade+convolution+neural+networks+for+automatic+thyroid+nodule+detection+and+recognition.">Multitask cascade convolution neural networks for automatic thyroid nodule detection and recognition.</a> IEEE Journal of Biomedical and Health Informatics. 23 (3), 1215-1224 (2018).</li><li>Wang, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Learning+from+weakly-labeled+clinical+data+for+automatic+thyroid+nodule+classification+in+ultrasound+images.">Learning from weakly-labeled clinical data for automatic thyroid nodule classification in ultrasound images.</a> , 3114-3118 (2018).</li><li>Wang, L., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+multi-scale+densely+connected+convolutional+neural+network+for+automated+thyroid+nodule+classification.">A multi-scale densely connected convolutional neural network for automated thyroid nodule classification.</a> Frontiers in Neuroscience. 16, 878718 (2022).</li><li>Krizhevsky, A., Sutskever, I., Hinton, G. E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Imagenet+classification+with+deep+convolutional+neural+networks.">Imagenet classification with deep convolutional neural networks.</a> Communications of the ACM. 60 (6), 84-90 (2017).</li><li>He, K., Zhang, X., Ren, S., Sun, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Deep+residual+learning+for+image+recognition.">Deep residual learning for image recognition.</a> Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 770-778 (2016).</li><li>Hu, H., Gu, J., Zhang, Z., Dai, J., Wei, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Relation+networks+for+object+detection.">Relation networks for object detection.</a> Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 3588-3597 (2018).</li><li>Szegedy, C., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Going+deeper+with+convolutions.">Going deeper with convolutions.</a> Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 1-9 (2015).</li><li>Dosovitskiy, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=An+image+is+worth+16x16+words:+Transformers+for+image+recognition+at+scale.">An image is worth 16x16 words: Transformers for image recognition at scale.</a> arXiv preprint arXiv:2010.11929. , (2020).</li><li>Touvron, H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Training+data-efficient+image+transformers+&amp;+distillation+through+attention.">Training data-efficient image transformers &amp; distillation through attention.</a> arXiv:2012.12877. , (2021).</li><li>Liu, Z., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Swin+Transformer:+Hierarchical+vision+transformer+using+shifted+windows.">Swin Transformer: Hierarchical vision transformer using shifted windows.</a> 2021 IEEE/CVF International Conference on Computer Vision (ICCV). , 9992-10002 (2021).</li><li>Vaswani, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Attention+is+all+you+need.">Attention is all you need.</a> Advances in Neural Information Processing Systems. 30, (2017).</li><li>Chen, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=TransUNet:+Transformers+make+strong+encoders+for+medical+image+segmentation.+arXiv.">TransUNet: Transformers make strong encoders for medical image segmentation. arXiv.</a> arXiv:2102.04306. , (2021).</li><li>Ren, S., He, K., Girshick, R., Sun, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Faster+r-cnn:+Towards+real-time+object+detection+with+region+proposal+networks.">Faster r-cnn: Towards real-time object detection with region proposal networks.</a> Advances in Neural Information Processing Systems. 28, 91-99 (2015).</li><li>Li, H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=An+improved+deep+learning+approach+for+detection+of+thyroid+papillary+cancer+in+ultrasound+images.">An improved deep learning approach for detection of thyroid papillary cancer in ultrasound images.</a> Scientific Reports. 8, 6600 (2018).</li><li>Lin, T. -. Y., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Feature+pyramid+networks+for+object+detection.">Feature pyramid networks for object detection.</a> Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 2117-2125 (2017).</li><li>Ouahabi, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+review+of+wavelet+denoising+in+medical+imaging.">A review of wavelet denoising in medical imaging.</a> 2013 8th International Workshop on Systems, Signal Processing and their Applications. , 19-26 (2013).</li><li>Mahdaoui, A. E., Ouahabi, A., Moulay, M. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Image+denoising+using+a+compressive+sensing+approach+based+on+regularization+constraints.">Image denoising using a compressive sensing approach based on regularization constraints.</a> Sensors. 22 (6), 2199 (2022).</li><li>Castleman, K. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=.">.</a> Digital Image Processing. , (1996).</li><li>Liu, W., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Ssd:+Single+shot+multibox+detector.">Ssd: Single shot multibox detector.</a> European Conference on Computer Vision. , 21-37 (2016).</li><li>Redmon, J., Farhadi, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Yolov3:+An+incremental+improvement.">Yolov3: An incremental improvement.</a> arXiv. arXiv:1804.02767. , (2018).</li><li>Lin, T. -. Y., Goyal, P., Girshick, R., He, K., Doll&#225;r, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Focalloss+for+dense+object+detection.">Focalloss for dense object detection.</a> arXiv. arXiv:1708.02002. , (2017).</li><li>Carion, N., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=End-to-end+object+detection+with+transformers.">End-to-end object detection with transformers.</a> Computer Vision-ECCV 2020: 16th European Conference. , 23-28 (2020).</li></ol>

Ce document décrit en détail comment effectuer la configuration de l’environnement, la préparation des données, la configuration du modèle et la formation réseau. Dans la phase de configuration de l’environnement, il faut faire attention à ce que les bibliothèques dépendantes soient compatibles et assorties. Le traitement des données est une étape très importante; Il faut consacrer du temps et des efforts pour assurer l’exactitude des annotations. Lors de l’apprentissage du modèle, un « ModuleNotFo...

L’incidence du cancer de la thyroïde a augmenté rapidement depuis 1970, en particulier chez les femmes d’âge moyen1. Les nodules thyroïdiens peuvent prédire l’émergence d’un cancer de la thyroïde, et la plupart des nodules thyroïdiens sont asymptomatiques2. La détection précoce des nodules thyroïdiens est très utile pour guérir le cancer de la thyroïde. Par conséquent, selon les directives de pratique actuelles, tous les patients présentant un goitre nodulaire suspecté à l’examen physique ou présentant des résultats d’imagerie anormaux devraient subir un examen plus approfondi 3,4.
L’échographie thyroïdienne (US) est une méthode couramment utilisée pour détecter et caractériser les lésions thyroïdiennes 5,6. Les États-Unis sont une technologie pratique, peu coûteuse et sans rayonnement. Cependant, l’application des États-Unis est facilement affectée par l’opérateur 7,8. Des caractéristiques telles que la forme, la taille, l’échogénicité et la texture des nodules thyroïdiens sont facilement reconnaissables sur les images américaines. Bien que certaines caractéristiques américaines - calcifications, échogénicité et bordures irrégulières - soient souvent considérées comme des critères d’identification des nodules thyroïdiens, la présence d’une variabilité inter-observateurs est inévitable 8,9. Les résultats de diagnostic des radiologues ayant différents niveaux d’expérience sont différents. Les radiologistes inexpérimentés sont plus susceptibles de mal diagnostiquer que les radiologistes expérimentés. Certaines caractéristiques de l’US telles que les reflets, les ombres et les échos peuvent dégrader la qualité de l’image. Cette dégradation de la qualité d’image causée par la nature de l’imagerie américaine rend difficile même pour les médecins expérimentés de localiser les nodules avec précision.
Le diagnostic assisté par ordinateur (CAD) des nodules thyroïdiens s’est développé rapidement ces dernières années et peut réduire efficacement les erreurs causées par différents médecins et aider les radiologues à diagnostiquer les nodules rapidement et avec précision10,11. Divers systèmes de CAO basés sur CNN ont été proposés pour l’analyse des nodules thyroïdiens américains, y compris la segmentation 12,13, la détection 14,15 et la classification 16,17. CNN est un modèle d’apprentissage supervisémulticouche 18, et les modules de base de CNN sont les couches de convolution et de pooling. Les couches de convolution sont utilisées pour l’extraction d’entités et les couches de regroupement sont utilisées pour le sous-échantillonnage. Les calques convolutifs d’ombre peuvent extraire des entités primaires telles que la texture, les bords et les contours, tandis que les calques convolutifs profonds apprennent des entités sémantiques de haut niveau.
Les CNN ont eu beaucoup de succès dans la vision par ordinateur 19,20,21. Cependant, les CNN ne parviennent pas à capturer les dépendances contextuelles à longue portée en raison du champ récepteur valide limité des couches convolutionnelles. Dans le passé, les architectures de base pour la classification d’images utilisaient principalement des CNN. Avec l’avènement de Vision Transformer (ViT)22,23, cette tendance a changé, et maintenant de nombreux modèles de pointe utilisent des transformateurs comme épine dorsale. Basé sur des patchs d’image qui ne se chevauchent pas, ViT utilise un codeur de transformateur standard25 pour modéliser globalement les relations spatiales. Le Swin Transformer24 introduit en outre des fenêtres de changement de vitesse pour apprendre les fonctionnalités. Les fenêtres de changement de vitesse apportent non seulement une plus grande efficacité, mais réduisent également considérablement la longueur de la séquence car l’attention personnelle est calculée dans la fenêtre. Dans le même temps, l’interaction entre deux fenêtres adjacentes peut se faire par l’opération de déplacement (mouvement). L’application réussie du transformateur Swin en vision par ordinateur a conduit à l’étude d’architectures basées sur des transformateurs pour l’analyse d’images par ultrasons26.
Récemment, Li et al. ont proposé une approche d’apprentissage profond28 pour la détection du cancer papillaire thyroïdien inspirée de Faster R-CNN27. Faster R-CNN est une architecture classique de détection d’objets basée sur CNN. Le Faster R-CNN original comporte quatre modules: le backbone CNN, le réseau de proposition de région (RPN), la couche de mise en commun du retour sur investissement et la tête de détection. Le backbone CNN utilise un ensemble de couches conv+bn+relu+pooling de base pour extraire les cartes d’entités de l’image d’entrée. Ensuite, les cartes d’entités sont introduites dans le RPN et la couche de regroupement de retour sur investissement. Le rôle du réseau RPN est de générer des propositions régionales. Ce module utilise softmax pour déterminer si les ancres sont positives et génère des ancres précises par régression du cadre englobant. La couche de regroupement de ROI extrait les cartes d’entités de proposition en collectant les cartes d’entités et les propositions d’entrée et alimente les cartes d’entités de proposition dans la tête de détection suivante. La tête de détection utilise les cartes d’entités de proposition pour classer les objets et obtenir des positions précises des boîtes de détection par régression du cadre englobant.
Cet article présente un nouveau réseau de détection de nodules thyroïdiens appelé Swin Faster R-CNN formé en remplaçant le réseau fédérateur CNN dans Faster R-CNN par le transformateur Swin, ce qui permet une meilleure extraction des caractéristiques de détection des nodules à partir d’images échographiques. En outre, le réseau pyramidal de caractéristiques (FPN)29 est utilisé pour améliorer les performances de détection du modèle pour les nodules de différentes tailles en agrégeant des caractéristiques de différentes échelles.

<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td>GPU RTX3090</td>
			<td>Nvidia</td>
			<td>1</td>
			<td>24G GPU</td>
		</tr>
		<tr>
			<td>mmdetection2.11.0</td>
			<td>SenseTime</td>
			<td>4</td>
			<td>https://github.com/open-mmlab/mmdetection.git</td>
		</tr>
		<tr>
			<td>python3.8</td>
			<td>&#8212;</td>
			<td>2</td>
			<td>https://www.python.org</td>
		</tr>
		<tr>
			<td>pytorch1.7.1</td>
			<td>Facebook</td>
			<td>3</td>
			<td>https://pytorch.org</td>
		</tr>
	</tbody>
</table>

a swin transformer-based model for thyroid nodule detection in ultrasound images

Ces dernières années, l’incidence du cancer de la thyroïde a augmenté. La détection des nodules thyroïdiens est essentielle à la fois pour la détection et le traitement du cancer de la thyroïde. Les réseaux de neurones convolutifs (CNN) ont obtenu de bons résultats dans les tâches d’analyse d’images échographiques thyroïdiennes. Cependant, en raison du champ réceptif valide limité des couches convolutionnelles, les CNN ne parviennent pas à capturer les dépendances contextuelles à longue portée, qui sont importantes pour identifier les nodules thyroïdiens dans les images échographiques. Les réseaux de transformateurs sont efficaces pour capturer des informations contextuelles à longue portée. Inspirés par cela, nous proposons une nouvelle méthode de détection des nodules thyroïdiens qui combine le squelette Swin Transformer et Faster R-CNN. Plus précisément, une image échographique est d’abord projetée dans une séquence 1D d’intégrations, qui sont ensuite introduites dans un transformateur Swin hiérarchique. 
Le backbone Swin Transformer extrait les caractéristiques à cinq échelles différentes en utilisant des fenêtres décalées pour le calcul de l’auto-attention. Par la suite, un réseau pyramidal d’entités (FPN) est utilisé pour fusionner les caractéristiques de différentes échelles. Enfin, une tête de détection est utilisée pour prédire les cadres englobants et les scores de confiance correspondants. Les données recueillies auprès de 2 680 patients ont été utilisées pour mener les expériences, et les résultats ont montré que cette méthode a obtenu le meilleur score mAP de 44,8%, surpassant les lignes de base basées sur CNN. De plus, nous avons gagné en sensibilité (90,5%) que les concurrents. Cela indique que la modélisation contextuelle dans ce modèle est efficace pour la détection des nodules thyroïdiens.

Les images de la thyroïde américaine ont été recueillies dans deux hôpitaux en Chine de septembre 2008 à février 2018. Les critères d’éligibilité pour inclure les images américaines dans cette étude étaient l’examen américain conventionnel avant la biopsie et le traitement chirurgical, le diagnostic par biopsie ou pathologie postopératoire et l’âge ≥ 18 ans. Les critères d’exclusion étaient les images sans tissus thyroïdiens.
Les 3 000 images échographiques compre...

Watch this Scientific Journal Video about A Swin Transformer-Based Model for Thyroid Nodule Detection in Ultrasound Images at JoVE.com

A Swin Transformer-Based Model for Thyroid Nodule Detection in Ultrasound Images

Ici, un nouveau modèle pour la détection des nodules thyroïdiens dans les images échographiques est proposé, qui utilise Swin Transformer comme épine dorsale pour effectuer une modélisation contextuelle à longue distance. Les expériences prouvent qu’il fonctionne bien en termes de sensibilité et de précision.

Un modèle basé sur un transformateur Swin pour la détection de nodules thyroïdiens dans des images échographiques

In recent years, the incidence of thyroid cancer has been increasing. Thyroid nodule detection is critical for both the detection and treatment of thyroid ...

Ce programme met en œuvre une mesure automatique et efficace pour détecter les nodules thyroïdiens, ce qui pourrait réduire la charge de travail des médecins à l’avenir. Cette technique applique un transformateur Swin à un réseau de détection de nodules. Les transformateurs Swin sont efficaces pour capturer des informations de contenu à longue portée, ce qui est très utile pour améliorer la sensibilité de la détention des nodules.Pour commencer, ouvrez un terminal sur la machine et installez Python 3.8 en tapant sudo apt-get install python3.8 dans la ligne de commande. Pour installer PyTorch 1.7, rendez-vous sur le site officiel de Miniconda et installez-le. Créez ensuite un environnement Conda en tapant la commande affichée à l’écran dans la ligne de commande et activez-la en tapant conda activate SwinFasterRCNN.Installez PyTorch en écrivant la commande affichée dans la ligne de commande. Pour l’installation de détection MM, clonez à partir du référentiel GitHub officiel, puis installez MM Detection en écrivant la commande pip install v e dans la ligne de commande. Ouvrez le schedule_1x.py dans l’éditeur de texte Vim et modifiez le fichier pour définir les paramètres par défaut liés à l’entraînement, y compris l’optimiseur, le taux d’apprentissage et epic. Commencez la formation en tapant la commande affichée à l’écran. Attendez que le réseau commence l’entraînement pour 48 épopées et que les poids entraînés résultants du réseau SwinFasterRCNN soient générés dans le dossier de sortie.Enregistrez les poids du modèle avec la plus grande précision sur le jeu de validation. Après l’entraînement, sélectionnez le modèle présentant les meilleures performances sur le kit de validation pour la détection des nodules thyroïdiens dans les nouvelles images. Exécutez le script de test pour redimensionner l’image à 512 pixels par 512 pixels et la normaliser.Attendez que le script charge automatiquement les paramètres de modèle pré-entraînés dans le SwinFasterRCNN et introduisez l’image prétraitée dans le SwinFasterRCNN pour inférence. Attendez que SwinFasterRCNN affiche la zone de prédiction pour chaque image. Enfin, autorisez le script à effectuer automatiquement le post-traitement NMS sur chaque image afin de supprimer les zones de détection en double.Les résultats de détection pour la même image sont affichés dans une ligne donnée. Les colonnes représentent les résultats de détection pour SwinFasterRCNN, FasterRCNN, YOLOv3, SSD, RetinaNet et DETR. Les vérités de terrain des régions sont marquées par des cases rectangulaires vertes.Les résultats de détection sont encadrés par les cases rectangulaires rouges. Il est très important de sélectionner l’hyperparamètre approprié pour s’assurer que ceux-ci convergent, ce qui doit être déterminé par de nombreuses expériences.

Research

JoVE Journal

Medicine

Multi-modal Imaging of Angiogenesis in a Nude Rat Model of Breast Cancer Bone Metastasis Using Magnetic Resonance Imaging, Volumetric Computed Tomography and Ultrasound

Multi-modale d&#39;imagerie de l&#39;angiogenèse dans un modèle de rat nu des métastases osseuses du cancer du sein par imagerie par résonance magnétique, la tomodensitométrie et volumétrique ultrasons

Angiogenesis is an essential feature of cancer growth and metastasis formation. In bone metastasis, angiogenic factors are pivotal for tumor cell ...

Recherche

Médecine

Cerenkov Luminescence Imaging (CLI) for Cancer Therapy Monitoring

Cerenkov Luminescence Imaging CLI for Cancer Therapy Monitoring

Luminescence Cerenkov Imaging (CLI) pour la surveillance de la thérapie du cancer

In  molecular imaging, positron emission tomography (PET) and optical imaging (OI)  are two of the most important and thus most widely used modalities1-3. ...

An Orthotopic Mouse Model of Anaplastic Thyroid Carcinoma

Un modèle de souris orthotopique de cancer de la thyroïde anaplasique

Several types of animal models of human thyroid carcinomas have been established, including subcutaneous xenograft and orthotopic implantation of cancer ...

Substernal Thyroid Biopsy Using Endobronchial Ultrasound-guided Transbronchial Needle Aspiration

Substernal thyroïde biopsie Utilisation guidée par échographie endobronchique transbronchique aspiration à l&#39;aiguille

Substernal thyroid goiter (STG) represents about 5.8% of all mediastinal lesions1. There is a wide variation in the published incidence rates due to the ...

Intra-Operative Neural Monitoring of Thyroid Surgery in a Porcine Model

Une surveillance neurale peropératoire de la chirurgie de la thyroïde dans un modèle porcin

Intraoperative injury to the recurrent laryngeal nerve (RLN) can cause vocal cord paralysis, which interferes with speech and can potentially interfere ...

Isometric Contractility Measurement of the Mouse Mesenteric Artery Using Wire Myography

Mesure de la contractilité isométrique de l’artère mésentérique de souris à l’aide de fil myographie

The wire myograph technique is used to assess the contractility of vascular smooth muscles in response to depolarization, GPCR agonists/inhibitors and ...

Electromagnetic Navigation Transthoracic Nodule Localization for Minimally Invasive Thoracic Surgery

Navigation électromagnétique Localisation des nodules transthoraciques pour la chirurgie thoracique mini-invasive

The increased use of chest computed tomography (CT) has led to an increased detection of pulmonary nodules requiring diagnostic evaluation and/or ...

A Pleural Effusion Model in Rats by Intratracheal Instillation of Polyacrylate/Nanosilica

Un modèle d’un épanchement Pleural chez le rat par Instillation intratrachéale de Polyacrylate/nanosilice

Pleural effusion is a prevalent clinical finding of many pulmonary diseases. Having a useful animal pleural effusion model is very important to study ...

A Personalized 3D-Printed Model for Preoperative Evaluation in Thyroid Surgery

Un modèle personnalisé imprimé en 3D pour l’évaluation préopératoire en chirurgie de la thyroïde

The anatomic structure of the surgical area of thyroid cancer is complex. It is very important to comprehensively and carefully evaluate the tumor ...

Point-of-Care Ultrasound: A Review of Ultrasound Parameters for Predicting Difficult Airways

Échographie au point d’intervention : examen des paramètres échographiques pour prédire les voies respiratoires difficiles

Airway management remains a crucial part of perioperative care. The conventional approach to assessing potentially difficult airways emphasizes the LEMON ...