Name: a swin transformer-based model for thyroid nodule detection in ultrasound images
Uploaded: 2023-04-21T14:15:00
Description: Watch this Scientific Journal Video about A Swin Transformer-Based Model for Thyroid Nodule Detection in Ultrasound Images at JoVE.com

Deze studie werd ondersteund door de National Natural Science Foundation of China (Grant No.32101188) en het General Project of Science and Technology Department van de provincie Sichuan (Grant No. 2021YFS0102), China.

Deze retrospectieve studie werd goedgekeurd door de institutionele beoordelingsraad van het West China Hospital, Sichuan University, Sichuan, China, en de vereiste om geïnformeerde toestemming te verkrijgen werd opgeheven.
1. Omgeving instellen
<ol><li>Gpu-software (Graphic Processing Unit)<ol><li>Als u deep learning-toepassingen wilt implementeren, configureert u eerst de GPU-gerelateerde omgeving. Download en installeer GPU-geschikte software en stuurprogramma's vanaf de ...

<ol>
	<li>Grant, E. G., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Thyroid+ultrasound+reporting+lexicon:+White+paper+of+the+ACR+Thyroid+Imaging,+Reporting+and+Data+System+(TIRADS)+committee.">Thyroid ultrasound reporting lexicon: White paper of the ACR Thyroid Imaging, Reporting and Data System (TIRADS) committee.</a> Journal of the American College of Radiology. 12 (12 Pt A), 1272-1279 (2015).</li><li>Zhao, J., Zheng, W., Zhang, L., Tian, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Segmentation+of+ultrasound+images+of+thyroid+nodule+for+assisting+fine+needle+aspiration+cytology.">Segmentation of ultrasound images of thyroid nodule for assisting fine needle aspiration cytology.</a> Health Information Science and Systems. 1, 5 (2013).</li><li>Haugen, B. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=American+Thyroid+Association+management+guidelines+for+adult+patients+with+thyroid+nodules+and+differentiated+thyroid+cancer:+What+is+new+and+what+has+changed.">American Thyroid Association management guidelines for adult patients with thyroid nodules and differentiated thyroid cancer: What is new and what has changed.</a> Cancer. 123 (3), 372-381 (2017).</li><li>Shin, J. H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Ultrasonography+diagnosis+and+imaging-based+management+of+thyroid+nodules:+Revised+Korean+Society+of+Thyroid+Radiology+consensus+statement+and+recommendations.">Ultrasonography diagnosis and imaging-based management of thyroid nodules: Revised Korean Society of Thyroid Radiology consensus statement and recommendations.</a> Korean Journal of Radiology. 17 (3), 370-395 (2016).</li><li>Horvath, E., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=An+ultrasonogram+reporting+system+for+thyroid+nodules+stratifying+cancer+risk+for+clinical+management.">An ultrasonogram reporting system for thyroid nodules stratifying cancer risk for clinical management.</a> The Journal of Clinical Endocrinology &amp; Metabolism. 94 (5), 1748-1751 (2009).</li><li>Park, J. -. Y., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+proposal+for+a+thyroid+imaging+reporting+and+data+system+for+ultrasound+features+of+thyroid+carcinoma.">A proposal for a thyroid imaging reporting and data system for ultrasound features of thyroid carcinoma.</a> Thyroid. 19 (11), 1257-1264 (2009).</li><li>Moon, W. -. J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Benign+and+malignant+thyroid+nodules:+US+differentiation-Multicenter+retrospective+study.">Benign and malignant thyroid nodules: US differentiation-Multicenter retrospective study.</a> Radiology. 247 (3), 762-770 (2008).</li><li>Park, C. S., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Observer+variability+in+the+sonographic+evaluation+of+thyroid+nodules.">Observer variability in the sonographic evaluation of thyroid nodules.</a> Journal of Clinical Ultrasound. 38 (6), 287-293 (2010).</li><li>Kim, S. H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Observer+variability+and+the+performance+between+faculties+and+residents:+US+criteria+for+benign+and+malignant+thyroid+nodules.">Observer variability and the performance between faculties and residents: US criteria for benign and malignant thyroid nodules.</a> Korean Journal of Radiology. 11 (2), 149-155 (2010).</li><li>Choi, Y. J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+computer-aided+diagnosis+system+using+artificial+intelligence+for+the+diagnosis+and+characterization+of+thyroid+nodules+on+ultrasound:+initial+clinical+assessment.">A computer-aided diagnosis system using artificial intelligence for the diagnosis and characterization of thyroid nodules on ultrasound: initial clinical assessment.</a> Thyroid. 27 (4), 546-552 (2017).</li><li>Chang, T. -. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=The+role+of+computer-aided+detection+and+diagnosis+system+in+the+differential+diagnosis+of+thyroid+lesions+in+ultrasonography.">The role of computer-aided detection and diagnosis system in the differential diagnosis of thyroid lesions in ultrasonography.</a> Journal of Medical Ultrasound. 23 (4), 177-184 (2015).</li><li>Li, X. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Fully+convolutional+networks+for+ultrasound+image+segmentation+of+thyroid+nodules.">Fully convolutional networks for ultrasound image segmentation of thyroid nodules.</a> , 886-890 (2018).</li><li>Nguyen, D. T., Choi, J., Park, K. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Thyroid+nodule+segmentation+in+ultrasound+image+based+on+information+fusion+of+suggestion+and+enhancement+networks.">Thyroid nodule segmentation in ultrasound image based on information fusion of suggestion and enhancement networks.</a> Mathematics. 10 (19), 3484 (2022).</li><li>Ma, J., Wu, F., Jiang, T. A., Zhu, J., Kong, D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Cascade+convolutional+neural+networks+for+automatic+detection+of+thyroid+nodules+in+ultrasound+images.">Cascade convolutional neural networks for automatic detection of thyroid nodules in ultrasound images.</a> Medical Physics. 44 (5), 1678-1691 (2017).</li><li>Song, W., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Multitask+cascade+convolution+neural+networks+for+automatic+thyroid+nodule+detection+and+recognition.">Multitask cascade convolution neural networks for automatic thyroid nodule detection and recognition.</a> IEEE Journal of Biomedical and Health Informatics. 23 (3), 1215-1224 (2018).</li><li>Wang, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Learning+from+weakly-labeled+clinical+data+for+automatic+thyroid+nodule+classification+in+ultrasound+images.">Learning from weakly-labeled clinical data for automatic thyroid nodule classification in ultrasound images.</a> , 3114-3118 (2018).</li><li>Wang, L., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+multi-scale+densely+connected+convolutional+neural+network+for+automated+thyroid+nodule+classification.">A multi-scale densely connected convolutional neural network for automated thyroid nodule classification.</a> Frontiers in Neuroscience. 16, 878718 (2022).</li><li>Krizhevsky, A., Sutskever, I., Hinton, G. E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Imagenet+classification+with+deep+convolutional+neural+networks.">Imagenet classification with deep convolutional neural networks.</a> Communications of the ACM. 60 (6), 84-90 (2017).</li><li>He, K., Zhang, X., Ren, S., Sun, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Deep+residual+learning+for+image+recognition.">Deep residual learning for image recognition.</a> Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 770-778 (2016).</li><li>Hu, H., Gu, J., Zhang, Z., Dai, J., Wei, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Relation+networks+for+object+detection.">Relation networks for object detection.</a> Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 3588-3597 (2018).</li><li>Szegedy, C., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Going+deeper+with+convolutions.">Going deeper with convolutions.</a> Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 1-9 (2015).</li><li>Dosovitskiy, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=An+image+is+worth+16x16+words:+Transformers+for+image+recognition+at+scale.">An image is worth 16x16 words: Transformers for image recognition at scale.</a> arXiv preprint arXiv:2010.11929. , (2020).</li><li>Touvron, H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Training+data-efficient+image+transformers+&amp;+distillation+through+attention.">Training data-efficient image transformers &amp; distillation through attention.</a> arXiv:2012.12877. , (2021).</li><li>Liu, Z., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Swin+Transformer:+Hierarchical+vision+transformer+using+shifted+windows.">Swin Transformer: Hierarchical vision transformer using shifted windows.</a> 2021 IEEE/CVF International Conference on Computer Vision (ICCV). , 9992-10002 (2021).</li><li>Vaswani, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Attention+is+all+you+need.">Attention is all you need.</a> Advances in Neural Information Processing Systems. 30, (2017).</li><li>Chen, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=TransUNet:+Transformers+make+strong+encoders+for+medical+image+segmentation.+arXiv.">TransUNet: Transformers make strong encoders for medical image segmentation. arXiv.</a> arXiv:2102.04306. , (2021).</li><li>Ren, S., He, K., Girshick, R., Sun, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Faster+r-cnn:+Towards+real-time+object+detection+with+region+proposal+networks.">Faster r-cnn: Towards real-time object detection with region proposal networks.</a> Advances in Neural Information Processing Systems. 28, 91-99 (2015).</li><li>Li, H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=An+improved+deep+learning+approach+for+detection+of+thyroid+papillary+cancer+in+ultrasound+images.">An improved deep learning approach for detection of thyroid papillary cancer in ultrasound images.</a> Scientific Reports. 8, 6600 (2018).</li><li>Lin, T. -. Y., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Feature+pyramid+networks+for+object+detection.">Feature pyramid networks for object detection.</a> Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 2117-2125 (2017).</li><li>Ouahabi, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+review+of+wavelet+denoising+in+medical+imaging.">A review of wavelet denoising in medical imaging.</a> 2013 8th International Workshop on Systems, Signal Processing and their Applications. , 19-26 (2013).</li><li>Mahdaoui, A. E., Ouahabi, A., Moulay, M. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Image+denoising+using+a+compressive+sensing+approach+based+on+regularization+constraints.">Image denoising using a compressive sensing approach based on regularization constraints.</a> Sensors. 22 (6), 2199 (2022).</li><li>Castleman, K. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=.">.</a> Digital Image Processing. , (1996).</li><li>Liu, W., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Ssd:+Single+shot+multibox+detector.">Ssd: Single shot multibox detector.</a> European Conference on Computer Vision. , 21-37 (2016).</li><li>Redmon, J., Farhadi, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Yolov3:+An+incremental+improvement.">Yolov3: An incremental improvement.</a> arXiv. arXiv:1804.02767. , (2018).</li><li>Lin, T. -. Y., Goyal, P., Girshick, R., He, K., Doll&#225;r, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Focalloss+for+dense+object+detection.">Focalloss for dense object detection.</a> arXiv. arXiv:1708.02002. , (2017).</li><li>Carion, N., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=End-to-end+object+detection+with+transformers.">End-to-end object detection with transformers.</a> Computer Vision-ECCV 2020: 16th European Conference. , 23-28 (2020).</li></ol>

In dit artikel wordt in detail beschreven hoe u de omgevingsinstellingen, gegevensvoorbereiding, modelconfiguratie en netwerktraining uitvoert. In de installatiefase van de omgeving moet men erop letten dat de afhankelijke bibliotheken compatibel en gematcht zijn. Gegevensverwerking is een zeer belangrijke stap; Er moet tijd en moeite worden besteed om de nauwkeurigheid van de annotaties te waarborgen. Bij het trainen van het model kan een "ModuleNotFoundError" worden aangetroffen. In dit geval is het noodzakelijk om de ...

De incidentie van schildklierkanker is sinds 1970 snel toegenomen, vooral bij vrouwen van middelbare leeftijd1. Schildklierknobbels kunnen de opkomst van schildklierkanker voorspellen en de meeste schildklierknobbels zijn asymptomatisch2. De vroege detectie van schildklierknobbels is zeer nuttig bij het genezen van schildklierkanker. Daarom moeten volgens de huidige praktijkrichtlijnen alle patiënten met vermoedelijke nodulaire struma bij lichamelijk onderzoek of met abnormale beeldvormingsbevindingen verder onderzoek ondergaan 3,4.
Schildklierechografie (VS) is een veelgebruikte methode om schildklierlaesies te detecteren en te karakteriseren 5,6. De VS is een handige, goedkope en stralingsvrije technologie. De toepassing van US wordt echter gemakkelijk beïnvloed door de operator 7,8. Kenmerken zoals de vorm, grootte, echogeniciteit en textuur van schildklierknobbels zijn gemakkelijk te onderscheiden op Amerikaanse afbeeldingen. Hoewel bepaalde Amerikaanse kenmerken - verkalkingen, echogeniciteit en onregelmatige grenzen - vaak worden beschouwd als criteria voor het identificeren van schildklierknobbels, is de aanwezigheid van interobservervariabiliteit onvermijdelijk 8,9. De diagnoseresultaten van radiologen met verschillende ervaringsniveaus zijn verschillend. Onervaren radiologen hebben meer kans om een verkeerde diagnose te stellen dan ervaren radiologen. Sommige kenmerken van de VS, zoals reflecties, schaduwen en echo's, kunnen de beeldkwaliteit verslechteren. Deze verslechtering van de beeldkwaliteit veroorzaakt door de aard van amerikaanse beeldvorming maakt het zelfs voor ervaren artsen moeilijk om knobbeltjes nauwkeurig te lokaliseren.
Computerondersteunde diagnose (CAD) voor schildklierknobbels heeft zich de afgelopen jaren snel ontwikkeld en kan fouten veroorzaakt door verschillende artsen effectief verminderen en radiologen helpen bij het snel en nauwkeurig diagnosticeren van knobbeltjes10,11. Verschillende CNN-gebaseerde CAD-systemen zijn voorgesteld voor schildklier US nodule analyse, waaronder segmentatie 12,13, detectie 14,15 en classificatie 16,17. CNN is een meerlaags, begeleid leermodel18 en de kernmodules van CNN zijn de convolutie- en poolinglagen. De convolutielagen worden gebruikt voor functie-extractie en de poolinglagen worden gebruikt voor downsampling. De convolutionele schaduwlagen kunnen primaire kenmerken zoals de textuur, randen en contouren extraheren, terwijl diepe convolutionele lagen semantische kenmerken op hoog niveau leren.
CNN's hebben veel succes gehad in computer vision 19,20,21. CNN's slagen er echter niet in om contextuele afhankelijkheden op lange afstand vast te leggen vanwege het beperkte geldige receptieve veld van de convolutionele lagen. In het verleden gebruikten backbone-architecturen voor beeldclassificatie meestal CNN's. Met de komst van Vision Transformer (ViT)22,23 is deze trend veranderd en nu gebruiken veel state-of-the-art modellen transformatoren als backbones. Op basis van niet-overlappende beeldpatches gebruikt ViT een standaard transformator-encoder25 om ruimtelijke relaties globaal te modelleren. De Swin Transformer24 introduceert verder schakelvensters om functies te leren. De schakelvensters brengen niet alleen meer efficiëntie, maar verminderen ook de lengte van de reeks aanzienlijk omdat zelfaandacht in het venster wordt berekend. Tegelijkertijd kan de interactie tussen twee aangrenzende vensters worden gemaakt door de werking van verschuiven (beweging). De succesvolle toepassing van de Swin Transformer in computer vision heeft geleid tot het onderzoek naar transformator-gebaseerde architecturen voor ultrasone beeldanalyse26.
Onlangs stelden Li et al. een deep learning-benadering28 voor de detectie van schildklierpapillaire kanker voor, geïnspireerd door Faster R-CNN27. Sneller R-CNN is een klassieke CNN-gebaseerde objectdetectiearchitectuur. De originele Faster R-CNN heeft vier modules: de CNN-backbone, het regiovoorstelnetwerk (RPN), de ROI-poolinglaag en de detectiekop. De CNN-backbone gebruikt een set basisconv+bn+relu+poolinglagen om functiekaarten uit de invoerafbeelding te extraheren. Vervolgens worden de functietoewijzingen ingevoerd in de RPN en de ROI-poolinglaag. De rol van het RPN-netwerk is het genereren van regiovoorstellen. Deze module gebruikt softmax om te bepalen of ankers positief zijn en genereert nauwkeurige ankers door vakregressie te begrenzen. De ROI-poolinglaag extraheert de voorstelfunctiekaarten door de invoerfunctiekaarten en -voorstellen te verzamelen en voert de voorstelfunctiekaarten in de daaropvolgende detectiekop in. De detectiekop gebruikt de voorstelfunctiekaarten om objecten te classificeren en nauwkeurige posities van de detectievakken te verkrijgen door regressie van het selectiekader te omzeilen.
Dit artikel presenteert een nieuw schildklierknobbeldetectienetwerk genaamd Swin Faster R-CNN, gevormd door de CNN-backbone in Faster R-CNN te vervangen door de Swin Transformer, wat resulteert in de betere extractie van functies voor knobbeldetectie uit echografiebeelden. Daarnaast wordt het functiepiramidenetwerk (FPN)29 gebruikt om de detectieprestaties van het model voor knobbeltjes van verschillende groottes te verbeteren door kenmerken van verschillende schalen samen te voegen.

<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td>GPU RTX3090</td>
			<td>Nvidia</td>
			<td>1</td>
			<td>24G GPU</td>
		</tr>
		<tr>
			<td>mmdetection2.11.0</td>
			<td>SenseTime</td>
			<td>4</td>
			<td>https://github.com/open-mmlab/mmdetection.git</td>
		</tr>
		<tr>
			<td>python3.8</td>
			<td>&#8212;</td>
			<td>2</td>
			<td>https://www.python.org</td>
		</tr>
		<tr>
			<td>pytorch1.7.1</td>
			<td>Facebook</td>
			<td>3</td>
			<td>https://pytorch.org</td>
		</tr>
	</tbody>
</table>

a swin transformer-based model for thyroid nodule detection in ultrasound images

In de afgelopen jaren is de incidentie van schildklierkanker toegenomen. Detectie van schildklierknobbels is van cruciaal belang voor zowel de detectie als de behandeling van schildklierkanker. Convolutionele neurale netwerken (CNN's) hebben goede resultaten behaald bij schildklier echografie beeldanalysetaken. Vanwege het beperkte geldige receptieve veld van convolutionele lagen, slagen CNN's er echter niet in om contextuele afhankelijkheden op lange afstand vast te leggen, die belangrijk zijn voor het identificeren van schildklierknobbels in echografiebeelden. Transformatornetwerken zijn effectief in het vastleggen van contextuele informatie over lange afstand. Geïnspireerd door dit, stellen we een nieuwe schildklierknobbeldetectiemethode voor die de Swin Transformer-backbone en Faster R-CNN combineert. Concreet wordt een echografisch beeld eerst geprojecteerd in een 1D-reeks inbeddingen, die vervolgens worden ingevoerd in een hiërarchische Swin-transformator. 
De Swin Transformer-backbone extraheert functies op vijf verschillende schalen door gebruik te maken van verschoven vensters voor de berekening van zelfaandacht. Vervolgens wordt een feature pyramid network (FPN) gebruikt om de functies van verschillende schalen samen te voegen. Ten slotte wordt een detectiekop gebruikt om begrenzingskaders en de bijbehorende betrouwbaarheidsscores te voorspellen. Gegevens verzameld van 2.680 patiënten werden gebruikt om de experimenten uit te voeren, en de resultaten toonden aan dat deze methode de beste mAP-score van 44,8% behaalde, beter dan cnn-gebaseerde baselines. Bovendien kregen we een betere gevoeligheid (90,5%) dan de concurrenten. Dit geeft aan dat contextmodellering in dit model effectief is voor detectie van schildklierknobbels.

De Amerikaanse schildklierbeelden werden verzameld uit twee ziekenhuizen in China van september 2008 tot februari 2018. De geschiktheidscriteria voor het opnemen van de Amerikaanse beelden in deze studie waren conventioneel Amerikaans onderzoek vóór biopsie en chirurgische behandeling, diagnose met biopsie of postoperatieve pathologie en leeftijd ≥ 18 jaar. De exclusiecriteria waren afbeeldingen zonder schildklierweefsel.
De 3.000 echografiebeelden omvatten 1.384 kwaadaardige en 1.616 goed...

Watch this Scientific Journal Video about A Swin Transformer-Based Model for Thyroid Nodule Detection in Ultrasound Images at JoVE.com

A Swin Transformer-Based Model for Thyroid Nodule Detection in Ultrasound Images

Hier wordt een nieuw model voor schildklierknobbeldetectie in echografiebeelden voorgesteld, dat Swin Transformer gebruikt als de ruggengraat om contextmodellering op lange afstand uit te voeren. Experimenten bewijzen dat het goed presteert in termen van gevoeligheid en nauwkeurigheid.

Een op Swin transformator gebaseerd model voor detectie van schildklierknobbels in echografiebeelden

In recent years, the incidence of thyroid cancer has been increasing. Thyroid nodule detection is critical for both the detection and treatment of thyroid ...

Dit programma implementeert een automatische en efficiënte maatregel voor het detecteren van schildklierknobbels, die de werklast van artsen in de toekomst kan verminderen. Deze techniek past een Swin Transformer toe op een noduledetectienetwerk. Swin Transformers zijn effectief in het vastleggen van inhoudsinformatie over lange afstand, wat zeer nuttig is bij het verbeteren van de gevoeligheid van nodule-detentie.Open om te beginnen een terminal op de machine en installeer Python 3.8 door sudo apt-get install python3.8 op de opdrachtregel te typen. Om PyTorch 1.7 te installeren, gaat u naar de officiële website van Miniconda en installeert u het. Maak vervolgens een Conda-omgeving door de opdracht op het scherm in de opdrachtregel te typen en activeer deze door conda activate SwinFasterRCNN te typen.Installeer PyTorch door de getoonde opdracht op de opdrachtregel te schrijven. Kloon voor de MM-detectie-installatie vanuit de officiële GitHub-opslagplaats en installeer vervolgens MM-detectie door de opdracht pip install v e op de opdrachtregel te schrijven. Open de schedule_1x.py-bestand in de Vim-teksteditor en bewerk het bestand om de standaard trainingsgerelateerde parameters in te stellen, waaronder de optimizer, leersnelheid en epic. Begin de training door de opdracht op het scherm te typen. Wacht tot het netwerk begint met de training voor 48 epics en totdat de resulterende getrainde gewichten van het SwinFasterRCNN-netwerk worden gegenereerd in de uitvoermap.Sla de modelgewichten op met de hoogste nauwkeurigheid op de validatieset. Selecteer na de training het model met de beste prestaties op de validatieset voor detectie van schildklierknobbels in de nieuwe afbeeldingen. Voer het testscript uit om het formaat van de afbeelding te wijzigen in 512 pixels bij 512 pixels en de afbeelding te normaliseren.Wacht tot het script de vooraf getrainde modelparameters automatisch in de SwinFasterRCNN laadt en voer de voorbewerkte afbeelding in de SwinFasterRCNN in voor gevolgtrekking. Wacht tot de SwinFasterRCNN het voorspellingsvak voor elke afbeelding heeft uitgevoerd. Laat ten slotte het script automatisch NMS-nabewerking uitvoeren op elke afbeelding om de dubbele detectievakken te verwijderen.De detectieresultaten voor dezelfde afbeelding worden in een bepaalde rij weergegeven. De kolommen zijn de detectieresultaten voor SwinFasterRCNN, FasterRCNN, YOLOv3, SSD, RetinaNet en DETR. De grondwaarheden van de regio's zijn gemarkeerd met groene rechthoekige vakken.De detectieresultaten worden omlijst door de rode rechthoekige vakken. Het is erg belangrijk om de juiste hyperparameter te selecteren om ervoor te zorgen dat die converges worden bepaald die door veel experimenten moeten worden bepaald.

Research

JoVE Journal

Medicine

Multi-modal Imaging of Angiogenesis in a Nude Rat Model of Breast Cancer Bone Metastasis Using Magnetic Resonance Imaging, Volumetric Computed Tomography and Ultrasound

Multi-modale beeldvorming van angiogenese in een Naakt ratmodel van borstkanker botmetastase Met behulp van Magnetic Resonance Imaging, Volumetrische computertomografie en Echografie

Angiogenesis is an essential feature of cancer growth and metastasis formation. In bone metastasis, angiogenic factors are pivotal for tumor cell ...

Cerenkov Luminescence Imaging (CLI) for Cancer Therapy Monitoring

Cerenkov Luminescence Imaging CLI for Cancer Therapy Monitoring

Cerenkov Luminescentie Imaging (CLI) voor kankertherapie Monitoring

In  molecular imaging, positron emission tomography (PET) and optical imaging (OI)  are two of the most important and thus most widely used modalities1-3. ...

An Orthotopic Mouse Model of Anaplastic Thyroid Carcinoma

Een orthotope Muis Model van Anaplastisch Schildklier Carcinoom

Several types of animal models of human thyroid carcinomas have been established, including subcutaneous xenograft and orthotopic implantation of cancer ...

Substernal Thyroid Biopsy Using Endobronchial Ultrasound-guided Transbronchial Needle Aspiration

Substernale Schildklier Biopsie behulp Endobronchiale Echogeleide transbronchiale Needle Aspiration

Substernal thyroid goiter (STG) represents about 5.8% of all mediastinal lesions1. There is a wide variation in the published incidence rates due to the ...

Intra-Operative Neural Monitoring of Thyroid Surgery in a Porcine Model

Intra-operatieve neuraal controle van schildklier chirurgie in een varkens Model

Intraoperative injury to the recurrent laryngeal nerve (RLN) can cause vocal cord paralysis, which interferes with speech and can potentially interfere ...

Isometric Contractility Measurement of the Mouse Mesenteric Artery Using Wire Myography

Isometrische Contractility meting van de muis mesenterische slagader met behulp van draad Myography

The wire myograph technique is used to assess the contractility of vascular smooth muscles in response to depolarization, GPCR agonists/inhibitors and ...

Electromagnetic Navigation Transthoracic Nodule Localization for Minimally Invasive Thoracic Surgery

Elektromagnetische navigatie Transthoracale nodule lokalisatie voor minimaal invasieve thoracale chirurgie

The increased use of chest computed tomography (CT) has led to an increased detection of pulmonary nodules requiring diagnostic evaluation and/or ...

A Pleural Effusion Model in Rats by Intratracheal Instillation of Polyacrylate/Nanosilica

Een Model van de pleurale effusie bij ratten door intratracheale instillatietest van polyacrylaat/Nanosilica

Pleural effusion is a prevalent clinical finding of many pulmonary diseases. Having a useful animal pleural effusion model is very important to study ...

A Personalized 3D-Printed Model for Preoperative Evaluation in Thyroid Surgery

Een gepersonaliseerd 3D-geprint model voor preoperatieve evaluatie bij schildklierchirurgie

The anatomic structure of the surgical area of thyroid cancer is complex. It is very important to comprehensively and carefully evaluate the tumor ...

Point-of-Care Ultrasound: A Review of Ultrasound Parameters for Predicting Difficult Airways

Point-of-Care echografie: een overzicht van ultrasone parameters voor het voorspellen van moeilijke luchtwegen

Airway management remains a crucial part of perioperative care. The conventional approach to assessing potentially difficult airways emphasizes the LEMON ...