Name: a swin transformer-based model for thyroid nodule detection in ultrasound images
Uploaded: 2023-04-21T14:15:00
Description: Watch this Scientific Journal Video about A Swin Transformer-Based Model for Thyroid Nodule Detection in Ultrasound Images at JoVE.com

Denne studien ble støttet av National Natural Science Foundation of China (Grant No.32101188) og General Project of Science and Technology Department of Sichuan Province (Grant No. 2021YFS0102), Kina.

Denne retrospektive studien ble godkjent av det institusjonelle gjennomgangsstyret ved West China Hospital, Sichuan University, Sichuan, Kina, og kravet om å innhente informert samtykke ble frafalt.
1. Miljø oppsett
<ol><li>Programvare for grafikkbehandlingsenhet (GPU)<ol><li>For å implementere dyplæringsapplikasjoner, må du først konfigurere det GPU-relaterte miljøet. Last ned og installer GPU-passende programvare og drivere fra GPUs nettsted. MERK: Se mat...

<ol>
	<li>Grant, E. G., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Thyroid+ultrasound+reporting+lexicon:+White+paper+of+the+ACR+Thyroid+Imaging,+Reporting+and+Data+System+(TIRADS)+committee.">Thyroid ultrasound reporting lexicon: White paper of the ACR Thyroid Imaging, Reporting and Data System (TIRADS) committee.</a> Journal of the American College of Radiology. 12 (12 Pt A), 1272-1279 (2015).</li><li>Zhao, J., Zheng, W., Zhang, L., Tian, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Segmentation+of+ultrasound+images+of+thyroid+nodule+for+assisting+fine+needle+aspiration+cytology.">Segmentation of ultrasound images of thyroid nodule for assisting fine needle aspiration cytology.</a> Health Information Science and Systems. 1, 5 (2013).</li><li>Haugen, B. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=American+Thyroid+Association+management+guidelines+for+adult+patients+with+thyroid+nodules+and+differentiated+thyroid+cancer:+What+is+new+and+what+has+changed.">American Thyroid Association management guidelines for adult patients with thyroid nodules and differentiated thyroid cancer: What is new and what has changed.</a> Cancer. 123 (3), 372-381 (2017).</li><li>Shin, J. H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Ultrasonography+diagnosis+and+imaging-based+management+of+thyroid+nodules:+Revised+Korean+Society+of+Thyroid+Radiology+consensus+statement+and+recommendations.">Ultrasonography diagnosis and imaging-based management of thyroid nodules: Revised Korean Society of Thyroid Radiology consensus statement and recommendations.</a> Korean Journal of Radiology. 17 (3), 370-395 (2016).</li><li>Horvath, E., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=An+ultrasonogram+reporting+system+for+thyroid+nodules+stratifying+cancer+risk+for+clinical+management.">An ultrasonogram reporting system for thyroid nodules stratifying cancer risk for clinical management.</a> The Journal of Clinical Endocrinology &amp; Metabolism. 94 (5), 1748-1751 (2009).</li><li>Park, J. -. Y., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+proposal+for+a+thyroid+imaging+reporting+and+data+system+for+ultrasound+features+of+thyroid+carcinoma.">A proposal for a thyroid imaging reporting and data system for ultrasound features of thyroid carcinoma.</a> Thyroid. 19 (11), 1257-1264 (2009).</li><li>Moon, W. -. J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Benign+and+malignant+thyroid+nodules:+US+differentiation-Multicenter+retrospective+study.">Benign and malignant thyroid nodules: US differentiation-Multicenter retrospective study.</a> Radiology. 247 (3), 762-770 (2008).</li><li>Park, C. S., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Observer+variability+in+the+sonographic+evaluation+of+thyroid+nodules.">Observer variability in the sonographic evaluation of thyroid nodules.</a> Journal of Clinical Ultrasound. 38 (6), 287-293 (2010).</li><li>Kim, S. H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Observer+variability+and+the+performance+between+faculties+and+residents:+US+criteria+for+benign+and+malignant+thyroid+nodules.">Observer variability and the performance between faculties and residents: US criteria for benign and malignant thyroid nodules.</a> Korean Journal of Radiology. 11 (2), 149-155 (2010).</li><li>Choi, Y. J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+computer-aided+diagnosis+system+using+artificial+intelligence+for+the+diagnosis+and+characterization+of+thyroid+nodules+on+ultrasound:+initial+clinical+assessment.">A computer-aided diagnosis system using artificial intelligence for the diagnosis and characterization of thyroid nodules on ultrasound: initial clinical assessment.</a> Thyroid. 27 (4), 546-552 (2017).</li><li>Chang, T. -. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=The+role+of+computer-aided+detection+and+diagnosis+system+in+the+differential+diagnosis+of+thyroid+lesions+in+ultrasonography.">The role of computer-aided detection and diagnosis system in the differential diagnosis of thyroid lesions in ultrasonography.</a> Journal of Medical Ultrasound. 23 (4), 177-184 (2015).</li><li>Li, X. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Fully+convolutional+networks+for+ultrasound+image+segmentation+of+thyroid+nodules.">Fully convolutional networks for ultrasound image segmentation of thyroid nodules.</a> , 886-890 (2018).</li><li>Nguyen, D. T., Choi, J., Park, K. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Thyroid+nodule+segmentation+in+ultrasound+image+based+on+information+fusion+of+suggestion+and+enhancement+networks.">Thyroid nodule segmentation in ultrasound image based on information fusion of suggestion and enhancement networks.</a> Mathematics. 10 (19), 3484 (2022).</li><li>Ma, J., Wu, F., Jiang, T. A., Zhu, J., Kong, D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Cascade+convolutional+neural+networks+for+automatic+detection+of+thyroid+nodules+in+ultrasound+images.">Cascade convolutional neural networks for automatic detection of thyroid nodules in ultrasound images.</a> Medical Physics. 44 (5), 1678-1691 (2017).</li><li>Song, W., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Multitask+cascade+convolution+neural+networks+for+automatic+thyroid+nodule+detection+and+recognition.">Multitask cascade convolution neural networks for automatic thyroid nodule detection and recognition.</a> IEEE Journal of Biomedical and Health Informatics. 23 (3), 1215-1224 (2018).</li><li>Wang, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Learning+from+weakly-labeled+clinical+data+for+automatic+thyroid+nodule+classification+in+ultrasound+images.">Learning from weakly-labeled clinical data for automatic thyroid nodule classification in ultrasound images.</a> , 3114-3118 (2018).</li><li>Wang, L., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+multi-scale+densely+connected+convolutional+neural+network+for+automated+thyroid+nodule+classification.">A multi-scale densely connected convolutional neural network for automated thyroid nodule classification.</a> Frontiers in Neuroscience. 16, 878718 (2022).</li><li>Krizhevsky, A., Sutskever, I., Hinton, G. E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Imagenet+classification+with+deep+convolutional+neural+networks.">Imagenet classification with deep convolutional neural networks.</a> Communications of the ACM. 60 (6), 84-90 (2017).</li><li>He, K., Zhang, X., Ren, S., Sun, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Deep+residual+learning+for+image+recognition.">Deep residual learning for image recognition.</a> Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 770-778 (2016).</li><li>Hu, H., Gu, J., Zhang, Z., Dai, J., Wei, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Relation+networks+for+object+detection.">Relation networks for object detection.</a> Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 3588-3597 (2018).</li><li>Szegedy, C., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Going+deeper+with+convolutions.">Going deeper with convolutions.</a> Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 1-9 (2015).</li><li>Dosovitskiy, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=An+image+is+worth+16x16+words:+Transformers+for+image+recognition+at+scale.">An image is worth 16x16 words: Transformers for image recognition at scale.</a> arXiv preprint arXiv:2010.11929. , (2020).</li><li>Touvron, H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Training+data-efficient+image+transformers+&amp;+distillation+through+attention.">Training data-efficient image transformers &amp; distillation through attention.</a> arXiv:2012.12877. , (2021).</li><li>Liu, Z., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Swin+Transformer:+Hierarchical+vision+transformer+using+shifted+windows.">Swin Transformer: Hierarchical vision transformer using shifted windows.</a> 2021 IEEE/CVF International Conference on Computer Vision (ICCV). , 9992-10002 (2021).</li><li>Vaswani, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Attention+is+all+you+need.">Attention is all you need.</a> Advances in Neural Information Processing Systems. 30, (2017).</li><li>Chen, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=TransUNet:+Transformers+make+strong+encoders+for+medical+image+segmentation.+arXiv.">TransUNet: Transformers make strong encoders for medical image segmentation. arXiv.</a> arXiv:2102.04306. , (2021).</li><li>Ren, S., He, K., Girshick, R., Sun, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Faster+r-cnn:+Towards+real-time+object+detection+with+region+proposal+networks.">Faster r-cnn: Towards real-time object detection with region proposal networks.</a> Advances in Neural Information Processing Systems. 28, 91-99 (2015).</li><li>Li, H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=An+improved+deep+learning+approach+for+detection+of+thyroid+papillary+cancer+in+ultrasound+images.">An improved deep learning approach for detection of thyroid papillary cancer in ultrasound images.</a> Scientific Reports. 8, 6600 (2018).</li><li>Lin, T. -. Y., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Feature+pyramid+networks+for+object+detection.">Feature pyramid networks for object detection.</a> Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 2117-2125 (2017).</li><li>Ouahabi, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+review+of+wavelet+denoising+in+medical+imaging.">A review of wavelet denoising in medical imaging.</a> 2013 8th International Workshop on Systems, Signal Processing and their Applications. , 19-26 (2013).</li><li>Mahdaoui, A. E., Ouahabi, A., Moulay, M. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Image+denoising+using+a+compressive+sensing+approach+based+on+regularization+constraints.">Image denoising using a compressive sensing approach based on regularization constraints.</a> Sensors. 22 (6), 2199 (2022).</li><li>Castleman, K. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=.">.</a> Digital Image Processing. , (1996).</li><li>Liu, W., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Ssd:+Single+shot+multibox+detector.">Ssd: Single shot multibox detector.</a> European Conference on Computer Vision. , 21-37 (2016).</li><li>Redmon, J., Farhadi, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Yolov3:+An+incremental+improvement.">Yolov3: An incremental improvement.</a> arXiv. arXiv:1804.02767. , (2018).</li><li>Lin, T. -. Y., Goyal, P., Girshick, R., He, K., Doll&#225;r, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Focalloss+for+dense+object+detection.">Focalloss for dense object detection.</a> arXiv. arXiv:1708.02002. , (2017).</li><li>Carion, N., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=End-to-end+object+detection+with+transformers.">End-to-end object detection with transformers.</a> Computer Vision-ECCV 2020: 16th European Conference. , 23-28 (2020).</li></ol>

Dette dokumentet beskriver i detalj hvordan du utfører miljøoppsett, klargjøring av data, modellkonfigurasjon og nettverksopplæring. I miljøoppsettfasen må man være oppmerksom på at de avhengige bibliotekene er kompatible og matchet. Databehandling er et veldig viktig skritt; Tid og krefter må brukes for å sikre nøyaktigheten av merknadene. Når du trener modellen, kan det oppstå en "ModuleNotFoundError". I dette tilfellet er det nødvendig å bruke kommandoen "pip install" for å installere det manglende bib...

Forekomsten av kreft i skjoldbruskkjertelen har økt raskt siden 1970, særlig blant middelaldrende kvinner1. Knuter i skjoldbruskkjertelen kan forutsi fremveksten av kreft i skjoldbruskkjertelen, og de fleste knuter i skjoldbruskkjertelen er asymptomatiske2. Den tidlige påvisning av skjoldbrusk knuter er svært nyttig i herding skjoldbruskkjertelkreft. I henhold til gjeldende retningslinjer bør derfor alle pasienter med mistanke om knutestruma ved fysisk undersøkelse eller med unormale bildefunn undersøkes videre 3,4.
Thyroid ultralyd (US) er en vanlig metode som brukes til å oppdage og karakterisere skjoldbrusk lesjoner 5,6. USA er en praktisk, billig og strålingsfri teknologi. Imidlertid påvirkes applikasjonen av USA lett av operatøren 7,8. Funksjoner som form, størrelse, ekkogenitet og tekstur av skjoldbruskknuter er lett å skille på amerikanske bilder. Selv om visse amerikanske trekk - forkalkninger, ekkogenitet og uregelmessige grenser - ofte betraktes som kriterier for å identifisere knuter i skjoldbruskkjertelen, er tilstedeværelsen av interobservatørvariabilitet uunngåelig 8,9. Diagnoseresultatene til radiologer med ulik erfaringsnivå er forskjellig. Uerfarne radiologer er mer sannsynlig å feildiagnostisere enn erfarne radiologer. Noen egenskaper ved USA, for eksempel refleksjoner, skygger og ekko, kan forringe bildekvaliteten. Denne forringelsen i bildekvalitet forårsaket av naturen til amerikansk bildebehandling gjør det vanskelig for selv erfarne leger å lokalisere knuter nøyaktig.
Dataassistert diagnose (CAD) for skjoldbruskknuter har utviklet seg raskt de siste årene og kan effektivt redusere feil forårsaket av forskjellige leger og hjelpe radiologer med å diagnostisere knuter raskt og nøyaktig10,11. Ulike CNN-baserte CAD-systemer har blitt foreslått for skjoldbrusk amerikansk knuteanalyse, inkludert segmentering 12,13, deteksjon 14,15 og klassifisering 16,17. CNN er en flerlags, veiledet læringsmodell18, og kjernemodulene til CNN er konvolusjons- og poolinglagene. Konvolusjonslagene brukes til funksjonsutvinning, og sammenslutningslagene brukes til reduksjon av oppløsning. Skyggekonvolusjonslagene kan trekke ut primære funksjoner som tekstur, kanter og konturer, mens dype konvolusjonslag lærer semantiske funksjoner på høyt nivå.
CNN har hatt stor suksess i datasyn 19,20,21. CNN-er klarer imidlertid ikke å fange opp kontekstuelle avhengigheter med lang rekkevidde på grunn av det begrensede gyldige mottakelige feltet i de konvolusjonelle lagene. Tidligere brukte ryggradsarkitekturer for bildeklassifisering mest CNN-er. Med ankomsten av Vision Transformer (ViT) 22,23 har denne trenden endret seg, og nå bruker mange toppmoderne modeller transformatorer som ryggrad. Basert på ikke-overlappende bildeoppdateringer bruker ViT en standard transformatorkoder25 for å modellere romlige forhold globalt. Den Swin Transformer24 videre introduserer skift vinduer for å lære funksjoner. Skiftvinduene gir ikke bare større effektivitet, men reduserer også lengden på sekvensen sterkt fordi selvoppmerksomhet beregnes i vinduet. Samtidig kan samspillet mellom to tilstøtende vinduer gjøres gjennom drift av skifting (bevegelse). Den vellykkede anvendelsen av Swin Transformer i datasyn har ført til undersøkelse av transformatorbaserte arkitekturer for ultralydbildeanalyse26.
Nylig foreslo Li et al. en dyp læringsmetode28 for deteksjon av skjoldbrusk papillær kreft inspirert av Faster R-CNN27. Raskere R-CNN er en klassisk CNN-basert objektdeteksjonsarkitektur. Den opprinnelige Faster R-CNN har fire moduler - CNN-ryggraden, regionforslagsnettverket (RPN), ROI-poolinglaget og deteksjonshodet. CNN-ryggraden bruker et sett med grunnleggende conv + bn + relu + pooling-lag for å trekke ut funksjonskart fra inndatabildet. Deretter mates funksjonskartene inn i RPN- og avkastningssammenslutningslaget. RPN-nettverkets rolle er å generere regionforslag. Denne modulen bruker softmax til å avgjøre om ankre er positive og genererer nøyaktige ankre ved markeringsboksregresjon. ROI-sammenslutningslaget trekker ut forslagsfunksjonskartene ved å samle inn funksjonskart og forslag, og mater forslagsfunksjonskartene inn i det påfølgende gjenkjenningshodet. Deteksjonshodet bruker forslagsfunksjonskartene til å klassifisere objekter og få nøyaktige posisjoner for deteksjonsboksene ved å markere regresjon.
Dette papiret presenterer et nytt skjoldbrusk knutedeteksjonsnettverk kalt Swin Faster R-CNN dannet ved å erstatte CNN-ryggraden i Faster R-CNN med Swin Transformer, noe som resulterer i bedre utvinning av funksjoner for knutedeteksjon fra ultralydbilder. I tillegg brukes funksjonspyramidenettverket (FPN)29 til å forbedre deteksjonsytelsen til modellen for knuter av forskjellige størrelser ved å aggregere funksjoner i forskjellige skalaer.

<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td>GPU RTX3090</td>
			<td>Nvidia</td>
			<td>1</td>
			<td>24G GPU</td>
		</tr>
		<tr>
			<td>mmdetection2.11.0</td>
			<td>SenseTime</td>
			<td>4</td>
			<td>https://github.com/open-mmlab/mmdetection.git</td>
		</tr>
		<tr>
			<td>python3.8</td>
			<td>&#8212;</td>
			<td>2</td>
			<td>https://www.python.org</td>
		</tr>
		<tr>
			<td>pytorch1.7.1</td>
			<td>Facebook</td>
			<td>3</td>
			<td>https://pytorch.org</td>
		</tr>
	</tbody>
</table>

a swin transformer-based model for thyroid nodule detection in ultrasound images

De siste årene har forekomsten av kreft i skjoldbruskkjertelen vært økende. Deteksjon av skjoldbruskknuter er avgjørende for både påvisning og behandling av skjoldbruskkjertelkreft. Convolutional nevrale nettverk (CNN) har oppnådd gode resultater i skjoldbrusk ultralyd bildeanalyseoppgaver. På grunn av det begrensede gyldige mottakelige feltet av konvolusjonslag, klarer CNN-er imidlertid ikke å fange langdistansekontekstuelle avhengigheter, noe som er viktig for å identifisere skjoldbruskknuter i ultralydbilder. Transformatornettverk er effektive for å fange opp kontekstuell informasjon med lang rekkevidde. Inspirert av dette foreslår vi en ny skjoldbruskknutedeteksjonsmetode som kombinerer Swin Transformer-ryggraden og raskere R-CNN. Spesielt blir et ultralydbilde først projisert i en 1D-sekvens av innebygginger, som deretter mates inn i en hierarkisk Swin Transformer. 
Den Swin Transformer ryggraden ekstrakter funksjoner på fem forskjellige skalaer ved å benytte forskjøvet vinduer for beregning av egenoppmerksomhet. Deretter brukes et funksjonspyramidenettverk (FPN) til å smelte sammen funksjonene fra forskjellige skalaer. Til slutt brukes et deteksjonshode til å forutsi markeringsrammer og tilsvarende konfidenspoengsum. Data samlet inn fra 2.680 pasienter ble brukt til å gjennomføre forsøkene, og resultatene viste at denne metoden oppnådde den beste mAP-poengsummen på 44.8%, bedre enn CNN-baserte grunnlinjer. I tillegg fikk vi bedre følsomhet (90,5%) enn konkurrentene. Dette indikerer at kontekstmodellering i denne modellen er effektiv for deteksjon av skjoldbruskknuter.

De amerikanske skjoldbruskkjertelbildene ble samlet inn fra to sykehus i Kina fra september 2008 til februar 2018. Valgbarhetskriteriene for å inkludere de amerikanske bildene i denne studien var konvensjonell amerikansk undersøkelse før biopsi og kirurgisk behandling, diagnose med biopsi eller postkirurgisk patologi og alder ≥ 18 år. Eksklusjonskriteriene var bilder uten tyreoideavev.
De 3.000 ultralydbildene inkluderte 1.384 ondartede og 1.616 godartede knuter. Flertallet (90 %) av de ...

Watch this Scientific Journal Video about A Swin Transformer-Based Model for Thyroid Nodule Detection in Ultrasound Images at JoVE.com

A Swin Transformer-Based Model for Thyroid Nodule Detection in Ultrasound Images

Her foreslås en ny modell for skjoldbruskknutedeteksjon i ultralydbilder, som bruker Swin Transformer som ryggrad for å utføre langdistansekontekstmodellering. Eksperimenter viser at det fungerer bra når det gjelder følsomhet og nøyaktighet.

En Swin Transformer-basert modell for skjoldbrusk knutedeteksjon i ultralydbilder

In recent years, the incidence of thyroid cancer has been increasing. Thyroid nodule detection is critical for both the detection and treatment of thyroid ...

Dette programmet implementerer et automatisk og effektivt tiltak for å oppdage skjoldbruskknuter, noe som kan redusere arbeidsbelastningen til leger i fremtiden. Denne teknikken gjelder en Swin Transformer til en knute deteksjon nettverk. Swin Transformers er effektive i å fange lang rekkevidde innhold informasjon, noe som er svært nyttig i å forbedre følsomheten av knute frihetsberøvelse.For å begynne, åpne en terminal på maskinen og installer Python 3.8 ved å skrive sudo apt-get install python3.8 på kommandolinjen. For å installere PyTorch 1.7, gå til den offisielle nettsiden til Miniconda og installer den. Opprett deretter et Conda-miljø ved å skrive kommandoen som vises på skjermen i kommandolinjen, og aktiver den ved å skrive conda activate SwinFasterRCNN.Installer PyTorch ved å skrive den viste kommandoen i kommandolinjen. For MM-deteksjonsinstallasjonen, klon fra det offisielle GitHub-depotet, og installer deretter MM Detection ved å skrive kommandoen pip install v e i kommandolinjen. Åpne schedule_1x.py-fil i Vim-tekstredigeringsprogrammet og rediger filen for å angi standard treningsrelaterte parametere, inkludert optimalisereren, læringsfrekvensen og episk. Begynn opplæringen ved å skrive inn kommandoen som vises på skjermen. Vent til nettverket begynner opplæringen for 48 epics, og til de resulterende trente vektene til SwinFasterRCNN-nettverket genereres i utdatamappen.Lagre modelltykkelsene med høyest nøyaktighet i valideringssettet. Etter opplæringen velger du modellen med best ytelse på valideringssettet for deteksjon av knuter i skjoldbruskkjertelen i de nye bildene. Kjør testskriptet for å endre størrelsen på bildet til 512 x 512 piksler og normalisere det.Vent til skriptet automatisk laster de forhåndstrente modellparameterne til SwinFasterRCNN, og mater det forhåndsbehandlede bildet inn i SwinFasterRCNN for slutning. Vent til SwinFasterRCNN sender ut prediksjonsboksen for hvert bilde. Til slutt, la skriptet automatisk utføre NMS-etterbehandling på hvert bilde for å fjerne duplikatdeteksjonsboksene.Gjenkjenningsresultatene for det samme bildet vises i en gitt rad. Kolonnene er deteksjonsresultatene for SwinFasterRCNN, FasterRCNN, YOLOv3, SSD, RetinaNet og DETR. Grunnsannhetene i regionene er merket med grønne rektangulære bokser.Deteksjonsresultatene er innrammet av de røde rektangulære boksene. Det er svært viktig å velge riktig hyperparameter for å sikre de konvergerer som må bestemmes av mange eksperimenter.

Research

JoVE Journal

Medicine

Multi-modal Imaging of Angiogenesis in a Nude Rat Model of Breast Cancer Bone Metastasis Using Magnetic Resonance Imaging, Volumetric Computed Tomography and Ultrasound

Multi-modal Imaging av angiogenese i en Nude Rat Model of Breast Cancer Bone Metastase Bruke Magnetic Resonance Imaging, Volumetrisk computertomografi og ultralyd

Angiogenesis is an essential feature of cancer growth and metastasis formation. In bone metastasis, angiogenic factors are pivotal for tumor cell ...

Cerenkov Luminescence Imaging (CLI) for Cancer Therapy Monitoring

Cerenkov Luminescence Imaging CLI for Cancer Therapy Monitoring

Cerenkov Luminescence Imaging (CLI) for Cancer Therapy Overvåking

In  molecular imaging, positron emission tomography (PET) and optical imaging (OI)  are two of the most important and thus most widely used modalities1-3. ...

An Orthotopic Mouse Model of Anaplastic Thyroid Carcinoma

En orthotopic Mouse Modell av Anaplastisk thyroideakarsinom

Several types of animal models of human thyroid carcinomas have been established, including subcutaneous xenograft and orthotopic implantation of cancer ...

Substernal Thyroid Biopsy Using Endobronchial Ultrasound-guided Transbronchial Needle Aspiration

Substernal Thyroid Biopsi hjelp Endobronchial Ultralyd-veiledet Transbronchial nål aspirasjon

Substernal thyroid goiter (STG) represents about 5.8% of all mediastinal lesions1. There is a wide variation in the published incidence rates due to the ...

Intra-Operative Neural Monitoring of Thyroid Surgery in a Porcine Model

Intra Operative nevrale overvåking av Thyroid kirurgi i en Porcine modell

Intraoperative injury to the recurrent laryngeal nerve (RLN) can cause vocal cord paralysis, which interferes with speech and can potentially interfere ...

Isometric Contractility Measurement of the Mouse Mesenteric Artery Using Wire Myography

Isometrisk Contractility måling av musen hvem arterien bruker Wire Myography

The wire myograph technique is used to assess the contractility of vascular smooth muscles in response to depolarization, GPCR agonists/inhibitors and ...

Electromagnetic Navigation Transthoracic Nodule Localization for Minimally Invasive Thoracic Surgery

Elektromagnetisk navigasjon Transthoracic Nodule Lokalisering for minimalt invasiv thoraxkirurgi

The increased use of chest computed tomography (CT) has led to an increased detection of pulmonary nodules requiring diagnostic evaluation and/or ...

A Pleural Effusion Model in Rats by Intratracheal Instillation of Polyacrylate/Nanosilica

En Pleural effusjon modell i rotter ved Intratracheal instillasjon av Polyacrylate/Nanosilica

Pleural effusion is a prevalent clinical finding of many pulmonary diseases. Having a useful animal pleural effusion model is very important to study ...

A Personalized 3D-Printed Model for Preoperative Evaluation in Thyroid Surgery

En personlig 3D-printet modell for preoperativ evaluering i skjoldbruskkjertelkirurgi

The anatomic structure of the surgical area of thyroid cancer is complex. It is very important to comprehensively and carefully evaluate the tumor ...

Point-of-Care Ultrasound: A Review of Ultrasound Parameters for Predicting Difficult Airways

Point-of-care ultralyd: En gjennomgang av ultralydparametere for å forutsi vanskelige luftveier

Airway management remains a crucial part of perioperative care. The conventional approach to assessing potentially difficult airways emphasizes the LEMON ...