Name: a swin transformer-based model for thyroid nodule detection in ultrasound images
Uploaded: 2023-04-21T14:15:00
Description: Watch this Scientific Journal Video about A Swin Transformer-Based Model for Thyroid Nodule Detection in Ultrasound Images at JoVE.com

Denne undersøgelse blev støttet af National Natural Science Foundation of China (bevilling nr. 32101188) og General Project of Science and Technology Department of Sichuan-provinsen (bevilling nr. 2021YFS0102), Kina.

Denne retrospektive undersøgelse blev godkendt af det institutionelle bedømmelsesudvalg på West China Hospital, Sichuan University, Sichuan, Kina, og kravet om at indhente informeret samtykke blev frafaldet.
1. Opsætning af miljø
<ol><li>GPU-software (grafisk behandlingsenhed)<ol><li>For at implementere deep learning-applikationer skal du først konfigurere det GPU-relaterede miljø. Download og installer GPU-passende software og drivere fra GPU'ens websted. BEMÆRK:...

<ol>
	<li>Grant, E. G., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Thyroid+ultrasound+reporting+lexicon:+White+paper+of+the+ACR+Thyroid+Imaging,+Reporting+and+Data+System+(TIRADS)+committee.">Thyroid ultrasound reporting lexicon: White paper of the ACR Thyroid Imaging, Reporting and Data System (TIRADS) committee.</a> Journal of the American College of Radiology. 12 (12 Pt A), 1272-1279 (2015).</li><li>Zhao, J., Zheng, W., Zhang, L., Tian, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Segmentation+of+ultrasound+images+of+thyroid+nodule+for+assisting+fine+needle+aspiration+cytology.">Segmentation of ultrasound images of thyroid nodule for assisting fine needle aspiration cytology.</a> Health Information Science and Systems. 1, 5 (2013).</li><li>Haugen, B. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=American+Thyroid+Association+management+guidelines+for+adult+patients+with+thyroid+nodules+and+differentiated+thyroid+cancer:+What+is+new+and+what+has+changed.">American Thyroid Association management guidelines for adult patients with thyroid nodules and differentiated thyroid cancer: What is new and what has changed.</a> Cancer. 123 (3), 372-381 (2017).</li><li>Shin, J. H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Ultrasonography+diagnosis+and+imaging-based+management+of+thyroid+nodules:+Revised+Korean+Society+of+Thyroid+Radiology+consensus+statement+and+recommendations.">Ultrasonography diagnosis and imaging-based management of thyroid nodules: Revised Korean Society of Thyroid Radiology consensus statement and recommendations.</a> Korean Journal of Radiology. 17 (3), 370-395 (2016).</li><li>Horvath, E., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=An+ultrasonogram+reporting+system+for+thyroid+nodules+stratifying+cancer+risk+for+clinical+management.">An ultrasonogram reporting system for thyroid nodules stratifying cancer risk for clinical management.</a> The Journal of Clinical Endocrinology &amp; Metabolism. 94 (5), 1748-1751 (2009).</li><li>Park, J. -. Y., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+proposal+for+a+thyroid+imaging+reporting+and+data+system+for+ultrasound+features+of+thyroid+carcinoma.">A proposal for a thyroid imaging reporting and data system for ultrasound features of thyroid carcinoma.</a> Thyroid. 19 (11), 1257-1264 (2009).</li><li>Moon, W. -. J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Benign+and+malignant+thyroid+nodules:+US+differentiation-Multicenter+retrospective+study.">Benign and malignant thyroid nodules: US differentiation-Multicenter retrospective study.</a> Radiology. 247 (3), 762-770 (2008).</li><li>Park, C. S., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Observer+variability+in+the+sonographic+evaluation+of+thyroid+nodules.">Observer variability in the sonographic evaluation of thyroid nodules.</a> Journal of Clinical Ultrasound. 38 (6), 287-293 (2010).</li><li>Kim, S. H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Observer+variability+and+the+performance+between+faculties+and+residents:+US+criteria+for+benign+and+malignant+thyroid+nodules.">Observer variability and the performance between faculties and residents: US criteria for benign and malignant thyroid nodules.</a> Korean Journal of Radiology. 11 (2), 149-155 (2010).</li><li>Choi, Y. J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+computer-aided+diagnosis+system+using+artificial+intelligence+for+the+diagnosis+and+characterization+of+thyroid+nodules+on+ultrasound:+initial+clinical+assessment.">A computer-aided diagnosis system using artificial intelligence for the diagnosis and characterization of thyroid nodules on ultrasound: initial clinical assessment.</a> Thyroid. 27 (4), 546-552 (2017).</li><li>Chang, T. -. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=The+role+of+computer-aided+detection+and+diagnosis+system+in+the+differential+diagnosis+of+thyroid+lesions+in+ultrasonography.">The role of computer-aided detection and diagnosis system in the differential diagnosis of thyroid lesions in ultrasonography.</a> Journal of Medical Ultrasound. 23 (4), 177-184 (2015).</li><li>Li, X. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Fully+convolutional+networks+for+ultrasound+image+segmentation+of+thyroid+nodules.">Fully convolutional networks for ultrasound image segmentation of thyroid nodules.</a> , 886-890 (2018).</li><li>Nguyen, D. T., Choi, J., Park, K. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Thyroid+nodule+segmentation+in+ultrasound+image+based+on+information+fusion+of+suggestion+and+enhancement+networks.">Thyroid nodule segmentation in ultrasound image based on information fusion of suggestion and enhancement networks.</a> Mathematics. 10 (19), 3484 (2022).</li><li>Ma, J., Wu, F., Jiang, T. A., Zhu, J., Kong, D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Cascade+convolutional+neural+networks+for+automatic+detection+of+thyroid+nodules+in+ultrasound+images.">Cascade convolutional neural networks for automatic detection of thyroid nodules in ultrasound images.</a> Medical Physics. 44 (5), 1678-1691 (2017).</li><li>Song, W., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Multitask+cascade+convolution+neural+networks+for+automatic+thyroid+nodule+detection+and+recognition.">Multitask cascade convolution neural networks for automatic thyroid nodule detection and recognition.</a> IEEE Journal of Biomedical and Health Informatics. 23 (3), 1215-1224 (2018).</li><li>Wang, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Learning+from+weakly-labeled+clinical+data+for+automatic+thyroid+nodule+classification+in+ultrasound+images.">Learning from weakly-labeled clinical data for automatic thyroid nodule classification in ultrasound images.</a> , 3114-3118 (2018).</li><li>Wang, L., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+multi-scale+densely+connected+convolutional+neural+network+for+automated+thyroid+nodule+classification.">A multi-scale densely connected convolutional neural network for automated thyroid nodule classification.</a> Frontiers in Neuroscience. 16, 878718 (2022).</li><li>Krizhevsky, A., Sutskever, I., Hinton, G. E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Imagenet+classification+with+deep+convolutional+neural+networks.">Imagenet classification with deep convolutional neural networks.</a> Communications of the ACM. 60 (6), 84-90 (2017).</li><li>He, K., Zhang, X., Ren, S., Sun, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Deep+residual+learning+for+image+recognition.">Deep residual learning for image recognition.</a> Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 770-778 (2016).</li><li>Hu, H., Gu, J., Zhang, Z., Dai, J., Wei, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Relation+networks+for+object+detection.">Relation networks for object detection.</a> Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 3588-3597 (2018).</li><li>Szegedy, C., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Going+deeper+with+convolutions.">Going deeper with convolutions.</a> Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 1-9 (2015).</li><li>Dosovitskiy, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=An+image+is+worth+16x16+words:+Transformers+for+image+recognition+at+scale.">An image is worth 16x16 words: Transformers for image recognition at scale.</a> arXiv preprint arXiv:2010.11929. , (2020).</li><li>Touvron, H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Training+data-efficient+image+transformers+&amp;+distillation+through+attention.">Training data-efficient image transformers &amp; distillation through attention.</a> arXiv:2012.12877. , (2021).</li><li>Liu, Z., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Swin+Transformer:+Hierarchical+vision+transformer+using+shifted+windows.">Swin Transformer: Hierarchical vision transformer using shifted windows.</a> 2021 IEEE/CVF International Conference on Computer Vision (ICCV). , 9992-10002 (2021).</li><li>Vaswani, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Attention+is+all+you+need.">Attention is all you need.</a> Advances in Neural Information Processing Systems. 30, (2017).</li><li>Chen, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=TransUNet:+Transformers+make+strong+encoders+for+medical+image+segmentation.+arXiv.">TransUNet: Transformers make strong encoders for medical image segmentation. arXiv.</a> arXiv:2102.04306. , (2021).</li><li>Ren, S., He, K., Girshick, R., Sun, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Faster+r-cnn:+Towards+real-time+object+detection+with+region+proposal+networks.">Faster r-cnn: Towards real-time object detection with region proposal networks.</a> Advances in Neural Information Processing Systems. 28, 91-99 (2015).</li><li>Li, H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=An+improved+deep+learning+approach+for+detection+of+thyroid+papillary+cancer+in+ultrasound+images.">An improved deep learning approach for detection of thyroid papillary cancer in ultrasound images.</a> Scientific Reports. 8, 6600 (2018).</li><li>Lin, T. -. Y., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Feature+pyramid+networks+for+object+detection.">Feature pyramid networks for object detection.</a> Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 2117-2125 (2017).</li><li>Ouahabi, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+review+of+wavelet+denoising+in+medical+imaging.">A review of wavelet denoising in medical imaging.</a> 2013 8th International Workshop on Systems, Signal Processing and their Applications. , 19-26 (2013).</li><li>Mahdaoui, A. E., Ouahabi, A., Moulay, M. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Image+denoising+using+a+compressive+sensing+approach+based+on+regularization+constraints.">Image denoising using a compressive sensing approach based on regularization constraints.</a> Sensors. 22 (6), 2199 (2022).</li><li>Castleman, K. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=.">.</a> Digital Image Processing. , (1996).</li><li>Liu, W., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Ssd:+Single+shot+multibox+detector.">Ssd: Single shot multibox detector.</a> European Conference on Computer Vision. , 21-37 (2016).</li><li>Redmon, J., Farhadi, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Yolov3:+An+incremental+improvement.">Yolov3: An incremental improvement.</a> arXiv. arXiv:1804.02767. , (2018).</li><li>Lin, T. -. Y., Goyal, P., Girshick, R., He, K., Doll&#225;r, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Focalloss+for+dense+object+detection.">Focalloss for dense object detection.</a> arXiv. arXiv:1708.02002. , (2017).</li><li>Carion, N., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=End-to-end+object+detection+with+transformers.">End-to-end object detection with transformers.</a> Computer Vision-ECCV 2020: 16th European Conference. , 23-28 (2020).</li></ol>

Dette dokument beskriver detaljeret, hvordan du udfører miljøopsætning, dataforberedelse, modelkonfiguration og netværkstræning. I miljøopsætningsfasen skal man være opmærksom på at sikre, at de afhængige biblioteker er kompatible og matchede. Databehandling er et meget vigtigt skridt. Der skal bruges tid og kræfter på at sikre nøjagtigheden af kommentarerne. Når du træner modellen, kan der opstå en "ModuleNotFoundError". I dette tilfælde er det nødvendigt at bruge kommandoen "pip install" til at insta...

Forekomsten af kræft i skjoldbruskkirtlen er steget hurtigt siden 1970, især blandt midaldrende kvinder1. Skjoldbruskkirtlen knuder kan forudsige fremkomsten af kræft i skjoldbruskkirtlen, og de fleste skjoldbruskkirtlen knuder er asymptomatiske2. Den tidlige påvisning af skjoldbruskkirtlen knuder er meget nyttigt i helbredelse af kræft i skjoldbruskkirtlen. Derfor skal alle patienter med mistænkt nodulær struma ved fysisk undersøgelse eller med unormale billeddannelsesfund ifølge gældende retningslinjer gennemgå yderligere undersøgelse 3,4.
Thyroid ultralyd (US) er en almindelig metode, der anvendes til at detektere og karakterisere skjoldbruskkirtlenlæsioner 5,6. USA er en praktisk, billig og strålingsfri teknologi. Imidlertid påvirkes anvendelsen af US let af operatøren 7,8. Funktioner som form, størrelse, ekkogenicitet og tekstur af skjoldbruskkirtelknuder kan let skelnes på amerikanske billeder. Selvom visse amerikanske træk - forkalkninger, ekkogenicitet og uregelmæssige grænser - ofte betragtes som kriterier for identifikation af skjoldbruskkirtelknuder, er tilstedeværelsen af interobservervariabilitet uundgåelig 8,9. Diagnoseresultaterne fra radiologer med forskellige niveauer af erfaring er forskellige. Uerfarne radiologer er mere tilbøjelige til at fejldiagnosticere end erfarne radiologer. Nogle egenskaber ved USA, såsom refleksioner, skygger og ekkoer, kan forringe billedkvaliteten. Denne forringelse af billedkvaliteten forårsaget af karakteren af amerikansk billeddannelse gør det vanskeligt for selv erfarne læger at lokalisere knuder nøjagtigt.
Computerstøttet diagnose (CAD) for skjoldbruskkirtelknuder har udviklet sig hurtigt i de senere år og kan effektivt reducere fejl forårsaget af forskellige læger og hjælpe radiologer med at diagnosticere knuder hurtigt og præcist10,11. Forskellige CNN-baserede CAD-systemer er blevet foreslået til skjoldbruskkirtlen US knudeanalyse, herunder segmentering 12,13, detektion 14,15 og klassificering 16,17. CNN er en flerlags, overvåget læringsmodel18, og kernemodulerne i CNN er konvolutions- og poolinglagene. Konvolutionslagene bruges til funktionsekstraktion, og poolinglagene bruges til nedsampling. Skyggekonvolutionlagene kan udtrække primære funktioner såsom tekstur, kanter og konturer, mens dybe viklingslag lærer semantiske funktioner på højt niveau.
CNN'er har haft stor succes i computer vision 19,20,21. CNN'er undlader imidlertid at fange langtrækkende kontekstuelle afhængigheder på grund af det begrænsede gyldige modtagelige felt af de konvolutionelle lag. Tidligere brugte backbone-arkitekturer til billedklassificering mest CNN'er. Med fremkomsten af Vision Transformer (ViT)22,23 har denne tendens ændret sig, og nu bruger mange state-of-the-art modeller transformere som rygrad. Baseret på ikke-overlappende billedpatches bruger ViT en standard transformerkoder25 til globalt at modellere rumlige relationer. Swin Transformer24 introducerer yderligere skiftevinduer for at lære funktioner. Skiftvinduerne giver ikke kun større effektivitet, men reducerer også sekvensens længde kraftigt, fordi selvopmærksomhed beregnes i vinduet. Samtidig kan samspillet mellem to tilstødende vinduer foretages gennem drift af forskydning (bevægelse). Den vellykkede anvendelse af Swin Transformer i computersyn har ført til undersøgelse af transformerbaserede arkitekturer til ultralydsbilledanalyse26.
For nylig foreslog Li et al. en dyb læringstilgang28 til påvisning af papillær kræft i skjoldbruskkirtlen inspireret af Faster R-CNN27. Hurtigere R-CNN er en klassisk CNN-baseret objektdetekteringsarkitektur. Den originale Faster R-CNN har fire moduler - CNN-rygraden, regionsforslagsnetværket (RPN), ROI-poolingslaget og detektionshovedet. CNN-rygraden bruger et sæt grundlæggende conv + bn+relu + pooling-lag til at udtrække funktionskort fra inputbilledet. Derefter føres funktionskortene ind i RPN og ROI-poolinglaget. RPN-netværkets rolle er at generere regionsforslag. Dette modul bruger softmax til at bestemme, om ankre er positive og genererer nøjagtige ankre ved afgrænsningsboksregression. ROI-puljelaget udtrækker forslagets funktionskort ved at indsamle inputfunktionskortene og forslagene og indfører forslagets funktionskort i det efterfølgende registreringshoved. Registreringshovedet bruger forslagets funktionskort til at klassificere objekter og opnå nøjagtige placeringer af registreringsbokse ved hjælp af afgrænsningsrammens regression.
Dette papir præsenterer et nyt skjoldbruskkirtelknudedetekteringsnetværk kaldet Swin Faster R-CNN dannet ved at erstatte CNN-rygraden i Faster R-CNN med Swin Transformer, hvilket resulterer i bedre udvinding af funktioner til knudedetektion fra ultralydsbilleder. Derudover bruges funktionspyramidenetværket (FPN)29 til at forbedre modellens detektionsydelse for knuder af forskellig størrelse ved at aggregere funktioner i forskellige skalaer.

<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td>GPU RTX3090</td>
			<td>Nvidia</td>
			<td>1</td>
			<td>24G GPU</td>
		</tr>
		<tr>
			<td>mmdetection2.11.0</td>
			<td>SenseTime</td>
			<td>4</td>
			<td>https://github.com/open-mmlab/mmdetection.git</td>
		</tr>
		<tr>
			<td>python3.8</td>
			<td>&#8212;</td>
			<td>2</td>
			<td>https://www.python.org</td>
		</tr>
		<tr>
			<td>pytorch1.7.1</td>
			<td>Facebook</td>
			<td>3</td>
			<td>https://pytorch.org</td>
		</tr>
	</tbody>
</table>

a swin transformer-based model for thyroid nodule detection in ultrasound images

I de senere år har forekomsten af kræft i skjoldbruskkirtlen været stigende. Thyroid knude detektion er afgørende for både påvisning og behandling af kræft i skjoldbruskkirtlen. Convolutional neurale netværk (CNN'er) har opnået gode resultater i skjoldbruskkirtlen ultralyd billedanalyse opgaver. På grund af det begrænsede gyldige modtagelige felt af konvolutionelle lag undlader CNN'er imidlertid at fange langtrækkende kontekstuelle afhængigheder, som er vigtige for at identificere skjoldbruskkirtelknuder i ultralydsbilleder. Transformatornetværk er effektive til at fange langtrækkende kontekstuelle oplysninger. Inspireret af dette foreslår vi en ny metode til detektion af skjoldbruskkirtelknuder, der kombinerer Swin Transformer-rygraden og hurtigere R-CNN. Specifikt projiceres et ultralydsbillede først ind i en 1D-sekvens af indlejringer, som derefter føres ind i en hierarkisk Swin Transformer. 
Swin Transformer backbone ekstrakter funktioner i fem forskellige skalaer ved at bruge forskudte vinduer til beregning af selvopmærksomhed. Derefter bruges et funktionspyramidenetværk (FPN) til at smelte funktionerne fra forskellige skalaer. Endelig bruges et registreringshoved til at forudsige afgrænsningsrammer og de tilsvarende konfidensscorer. Data indsamlet fra 2.680 patienter blev brugt til at gennemføre eksperimenterne, og resultaterne viste, at denne metode opnåede den bedste mAP-score på 44,8%, hvilket overgik CNN-baserede baselines. Derudover fik vi bedre følsomhed (90,5%) end konkurrenterne. Dette indikerer, at kontekstmodellering i denne model er effektiv til detektion af skjoldbruskkirtelknuder.

Billederne af skjoldbruskkirtlen i USA blev indsamlet fra to hospitaler i Kina fra september 2008 til februar 2018. Kriterierne for at inkludere de amerikanske billeder i denne undersøgelse var konventionel amerikansk undersøgelse før biopsi og kirurgisk behandling, diagnose med biopsi eller postkirurgisk patologi og alder ≥ 18 år. Eksklusionskriterierne var billeder uden skjoldbruskkirtelvæv.
De 3.000 ultralydsbilleder omfattede 1.384 ondartede og 1.616 godartede knuder. Størstedelen ...

Watch this Scientific Journal Video about A Swin Transformer-Based Model for Thyroid Nodule Detection in Ultrasound Images at JoVE.com

A Swin Transformer-Based Model for Thyroid Nodule Detection in Ultrasound Images

Her foreslås en ny model til detektering af skjoldbruskkirtelknuder i ultralydsbilleder, der bruger Swin Transformer som rygrad til at udføre langtrækkende kontekstmodellering. Eksperimenter viser, at det fungerer godt med hensyn til følsomhed og nøjagtighed.

En swin transformer-baseret model til skjoldbruskkirtlen knude detektion i ultralyd billeder

In recent years, the incidence of thyroid cancer has been increasing. Thyroid nodule detection is critical for both the detection and treatment of thyroid ...

Dette program implementerer en automatisk og effektiv foranstaltning til påvisning af skjoldbruskkirtelknuder, hvilket kan reducere lægernes arbejdsbyrde i fremtiden. Denne teknik anvender en Swin Transformer til et knudedetekteringsnetværk. Swin Transformers er effektive til at fange langtrækkende indholdsinformation, hvilket er meget nyttigt til at forbedre følsomheden af knudetilbageholdelse.For at begynde skal du åbne en terminal på maskinen og installere Python 3.8 ved at skrive sudo apt-get install python3.8 i kommandolinjen. For at installere PyTorch 1.7 skal du gå til Minicondas officielle hjemmeside og installere den. Opret derefter et Conda-miljø ved at skrive kommandoen, der vises på skærmen i kommandolinjen, og aktiver den ved at skrive conda activate SwinFasterRCNN.Installer PyTorch ved at skrive den viste kommando i kommandolinjen. For MM-detekteringsinstallationen skal du klone fra det officielle GitHub-lager og derefter installere MM Detection ved at skrive kommandoen pip install v e i kommandolinjen. Åbn schedule_1x.py-fil i Vim-teksteditoren og rediger filen for at indstille standardtræningsrelaterede parametre, herunder optimering, indlæringshastighed og episk. Start træningen ved at skrive kommandoen, der vises på skærmen. Vent på, at netværket begynder træningen for 48 epics, og på, at de resulterende trænede vægte af SwinFasterRCNN-netværket genereres i outputmappen.Gem modelvægtene med den højeste nøjagtighed på valideringssættet. Efter træning skal du vælge modellen med den bedste ydeevne på valideringssættet til detektering af skjoldbruskkirtelknuder i de nye billeder. Kør testscriptet for at ændre størrelsen på billedet til 512 pixel x 512 pixel, og normaliser det.Vent på, at scriptet automatisk indlæser de forudtrænede modelparametre til SwinFasterRCNN, og føder det forbehandlede billede ind i SwinFasterRCNN til slutning. Vent på, at SwinFasterRCNN udsender forudsigelsesboksen for hvert billede. Lad endelig scriptet automatisk udføre NMS-efterbehandling på hvert billede for at fjerne duplikatdetekteringsboksene.Registreringsresultaterne for det samme billede vises i en given række. Kolonnerne er registreringsresultaterne for SwinFasterRCNN, FasterRCNN, YOLOv3, SSD, RetinaNet og DETR. Regionernes grundlæggende sandheder er markeret med grønne rektangulære kasser.Registreringsresultaterne er indrammet af de røde rektangulære kasser. Det er meget vigtigt at vælge den passende hyperparameter for at sikre de konvergerer, som skal bestemmes af mange eksperimenter.

Research

JoVE Journal

Medicine

Multi-modal Imaging of Angiogenesis in a Nude Rat Model of Breast Cancer Bone Metastasis Using Magnetic Resonance Imaging, Volumetric Computed Tomography and Ultrasound

Multi-modal Imaging af angiogenese i en nøgen rotte model af Breast Cancer knoglemetastaser Brug Magnetic Resonance Imaging, Volumetrisk Computed Tomography og Ultralyd

Angiogenesis is an essential feature of cancer growth and metastasis formation. In bone metastasis, angiogenic factors are pivotal for tumor cell ...

Cerenkov Luminescence Imaging (CLI) for Cancer Therapy Monitoring

Cerenkov Luminescence Imaging CLI for Cancer Therapy Monitoring

In  molecular imaging, positron emission tomography (PET) and optical imaging (OI)  are two of the most important and thus most widely used modalities1-3. ...

An Orthotopic Mouse Model of Anaplastic Thyroid Carcinoma

En ortotopisk musemodel af Anaplastisk thyreoideakarcinom

Several types of animal models of human thyroid carcinomas have been established, including subcutaneous xenograft and orthotopic implantation of cancer ...

Substernal Thyroid Biopsy Using Endobronchial Ultrasound-guided Transbronchial Needle Aspiration

Substernal Thyroid Biopsi Brug endobronchiale Ultralyd-vejledt transbronkial nål aspiration

Substernal thyroid goiter (STG) represents about 5.8% of all mediastinal lesions1. There is a wide variation in the published incidence rates due to the ...

Intra-Operative Neural Monitoring of Thyroid Surgery in a Porcine Model

Intraoperativ neurale overvågning af thyroideaoperation i et svin Model

Intraoperative injury to the recurrent laryngeal nerve (RLN) can cause vocal cord paralysis, which interferes with speech and can potentially interfere ...

Isometric Contractility Measurement of the Mouse Mesenteric Artery Using Wire Myography

Isometrisk kontraktilitet måling af musen mesenterica arterie ved hjælp af Wire blodkar

The wire myograph technique is used to assess the contractility of vascular smooth muscles in response to depolarization, GPCR agonists/inhibitors and ...

Electromagnetic Navigation Transthoracic Nodule Localization for Minimally Invasive Thoracic Surgery

Elektromagnetisk navigation Transthoracic Nodule Lokalisering til minimalt invasiv thoraxkirurgi

The increased use of chest computed tomography (CT) has led to an increased detection of pulmonary nodules requiring diagnostic evaluation and/or ...

A Pleural Effusion Model in Rats by Intratracheal Instillation of Polyacrylate/Nanosilica

En Pleural Effusion Model i rotter ved intratrakeal Instillation af polyacrylat/Nanosilica

Pleural effusion is a prevalent clinical finding of many pulmonary diseases. Having a useful animal pleural effusion model is very important to study ...

A Personalized 3D-Printed Model for Preoperative Evaluation in Thyroid Surgery

En personlig 3D-printet model til præoperativ evaluering i skjoldbruskkirtelkirurgi

The anatomic structure of the surgical area of thyroid cancer is complex. It is very important to comprehensively and carefully evaluate the tumor ...

Point-of-Care Ultrasound: A Review of Ultrasound Parameters for Predicting Difficult Airways

Point-of-Care ultralyd: En gennemgang af ultralydsparametre til forudsigelse af vanskelige luftveje

Airway management remains a crucial part of perioperative care. The conventional approach to assessing potentially difficult airways emphasizes the LEMON ...