Name: a swin transformer-based model for thyroid nodule detection in ultrasound images
Uploaded: 2023-04-21T14:15:00
Description: Watch this Scientific Journal Video about A Swin Transformer-Based Model for Thyroid Nodule Detection in Ultrasound Images at JoVE.com

Это исследование было поддержано Национальным фондом естественных наук Китая (грант No 32101188) и Генеральным проектом Департамента науки и технологий провинции Сычуань (грант No 2021YFS0102), Китай.

Это ретроспективное исследование было одобрено институциональным наблюдательным советом Западно-Китайской больницы Сычуаньского университета, Сычуань, Китай, и требование о получении информированного согласия было отменено.
1. Настройка среды
<ol><li>Программ?...

<ol>
	<li>Grant, E. G., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Thyroid+ultrasound+reporting+lexicon:+White+paper+of+the+ACR+Thyroid+Imaging,+Reporting+and+Data+System+(TIRADS)+committee.">Thyroid ultrasound reporting lexicon: White paper of the ACR Thyroid Imaging, Reporting and Data System (TIRADS) committee.</a> Journal of the American College of Radiology. 12 (12 Pt A), 1272-1279 (2015).</li><li>Zhao, J., Zheng, W., Zhang, L., Tian, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Segmentation+of+ultrasound+images+of+thyroid+nodule+for+assisting+fine+needle+aspiration+cytology.">Segmentation of ultrasound images of thyroid nodule for assisting fine needle aspiration cytology.</a> Health Information Science and Systems. 1, 5 (2013).</li><li>Haugen, B. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=American+Thyroid+Association+management+guidelines+for+adult+patients+with+thyroid+nodules+and+differentiated+thyroid+cancer:+What+is+new+and+what+has+changed.">American Thyroid Association management guidelines for adult patients with thyroid nodules and differentiated thyroid cancer: What is new and what has changed.</a> Cancer. 123 (3), 372-381 (2017).</li><li>Shin, J. H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Ultrasonography+diagnosis+and+imaging-based+management+of+thyroid+nodules:+Revised+Korean+Society+of+Thyroid+Radiology+consensus+statement+and+recommendations.">Ultrasonography diagnosis and imaging-based management of thyroid nodules: Revised Korean Society of Thyroid Radiology consensus statement and recommendations.</a> Korean Journal of Radiology. 17 (3), 370-395 (2016).</li><li>Horvath, E., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=An+ultrasonogram+reporting+system+for+thyroid+nodules+stratifying+cancer+risk+for+clinical+management.">An ultrasonogram reporting system for thyroid nodules stratifying cancer risk for clinical management.</a> The Journal of Clinical Endocrinology &amp; Metabolism. 94 (5), 1748-1751 (2009).</li><li>Park, J. -. Y., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+proposal+for+a+thyroid+imaging+reporting+and+data+system+for+ultrasound+features+of+thyroid+carcinoma.">A proposal for a thyroid imaging reporting and data system for ultrasound features of thyroid carcinoma.</a> Thyroid. 19 (11), 1257-1264 (2009).</li><li>Moon, W. -. J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Benign+and+malignant+thyroid+nodules:+US+differentiation-Multicenter+retrospective+study.">Benign and malignant thyroid nodules: US differentiation-Multicenter retrospective study.</a> Radiology. 247 (3), 762-770 (2008).</li><li>Park, C. S., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Observer+variability+in+the+sonographic+evaluation+of+thyroid+nodules.">Observer variability in the sonographic evaluation of thyroid nodules.</a> Journal of Clinical Ultrasound. 38 (6), 287-293 (2010).</li><li>Kim, S. H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Observer+variability+and+the+performance+between+faculties+and+residents:+US+criteria+for+benign+and+malignant+thyroid+nodules.">Observer variability and the performance between faculties and residents: US criteria for benign and malignant thyroid nodules.</a> Korean Journal of Radiology. 11 (2), 149-155 (2010).</li><li>Choi, Y. J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+computer-aided+diagnosis+system+using+artificial+intelligence+for+the+diagnosis+and+characterization+of+thyroid+nodules+on+ultrasound:+initial+clinical+assessment.">A computer-aided diagnosis system using artificial intelligence for the diagnosis and characterization of thyroid nodules on ultrasound: initial clinical assessment.</a> Thyroid. 27 (4), 546-552 (2017).</li><li>Chang, T. -. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=The+role+of+computer-aided+detection+and+diagnosis+system+in+the+differential+diagnosis+of+thyroid+lesions+in+ultrasonography.">The role of computer-aided detection and diagnosis system in the differential diagnosis of thyroid lesions in ultrasonography.</a> Journal of Medical Ultrasound. 23 (4), 177-184 (2015).</li><li>Li, X. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Fully+convolutional+networks+for+ultrasound+image+segmentation+of+thyroid+nodules.">Fully convolutional networks for ultrasound image segmentation of thyroid nodules.</a> , 886-890 (2018).</li><li>Nguyen, D. T., Choi, J., Park, K. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Thyroid+nodule+segmentation+in+ultrasound+image+based+on+information+fusion+of+suggestion+and+enhancement+networks.">Thyroid nodule segmentation in ultrasound image based on information fusion of suggestion and enhancement networks.</a> Mathematics. 10 (19), 3484 (2022).</li><li>Ma, J., Wu, F., Jiang, T. A., Zhu, J., Kong, D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Cascade+convolutional+neural+networks+for+automatic+detection+of+thyroid+nodules+in+ultrasound+images.">Cascade convolutional neural networks for automatic detection of thyroid nodules in ultrasound images.</a> Medical Physics. 44 (5), 1678-1691 (2017).</li><li>Song, W., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Multitask+cascade+convolution+neural+networks+for+automatic+thyroid+nodule+detection+and+recognition.">Multitask cascade convolution neural networks for automatic thyroid nodule detection and recognition.</a> IEEE Journal of Biomedical and Health Informatics. 23 (3), 1215-1224 (2018).</li><li>Wang, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Learning+from+weakly-labeled+clinical+data+for+automatic+thyroid+nodule+classification+in+ultrasound+images.">Learning from weakly-labeled clinical data for automatic thyroid nodule classification in ultrasound images.</a> , 3114-3118 (2018).</li><li>Wang, L., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+multi-scale+densely+connected+convolutional+neural+network+for+automated+thyroid+nodule+classification.">A multi-scale densely connected convolutional neural network for automated thyroid nodule classification.</a> Frontiers in Neuroscience. 16, 878718 (2022).</li><li>Krizhevsky, A., Sutskever, I., Hinton, G. E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Imagenet+classification+with+deep+convolutional+neural+networks.">Imagenet classification with deep convolutional neural networks.</a> Communications of the ACM. 60 (6), 84-90 (2017).</li><li>He, K., Zhang, X., Ren, S., Sun, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Deep+residual+learning+for+image+recognition.">Deep residual learning for image recognition.</a> Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 770-778 (2016).</li><li>Hu, H., Gu, J., Zhang, Z., Dai, J., Wei, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Relation+networks+for+object+detection.">Relation networks for object detection.</a> Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 3588-3597 (2018).</li><li>Szegedy, C., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Going+deeper+with+convolutions.">Going deeper with convolutions.</a> Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 1-9 (2015).</li><li>Dosovitskiy, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=An+image+is+worth+16x16+words:+Transformers+for+image+recognition+at+scale.">An image is worth 16x16 words: Transformers for image recognition at scale.</a> arXiv preprint arXiv:2010.11929. , (2020).</li><li>Touvron, H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Training+data-efficient+image+transformers+&amp;+distillation+through+attention.">Training data-efficient image transformers &amp; distillation through attention.</a> arXiv:2012.12877. , (2021).</li><li>Liu, Z., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Swin+Transformer:+Hierarchical+vision+transformer+using+shifted+windows.">Swin Transformer: Hierarchical vision transformer using shifted windows.</a> 2021 IEEE/CVF International Conference on Computer Vision (ICCV). , 9992-10002 (2021).</li><li>Vaswani, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Attention+is+all+you+need.">Attention is all you need.</a> Advances in Neural Information Processing Systems. 30, (2017).</li><li>Chen, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=TransUNet:+Transformers+make+strong+encoders+for+medical+image+segmentation.+arXiv.">TransUNet: Transformers make strong encoders for medical image segmentation. arXiv.</a> arXiv:2102.04306. , (2021).</li><li>Ren, S., He, K., Girshick, R., Sun, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Faster+r-cnn:+Towards+real-time+object+detection+with+region+proposal+networks.">Faster r-cnn: Towards real-time object detection with region proposal networks.</a> Advances in Neural Information Processing Systems. 28, 91-99 (2015).</li><li>Li, H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=An+improved+deep+learning+approach+for+detection+of+thyroid+papillary+cancer+in+ultrasound+images.">An improved deep learning approach for detection of thyroid papillary cancer in ultrasound images.</a> Scientific Reports. 8, 6600 (2018).</li><li>Lin, T. -. Y., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Feature+pyramid+networks+for+object+detection.">Feature pyramid networks for object detection.</a> Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 2117-2125 (2017).</li><li>Ouahabi, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+review+of+wavelet+denoising+in+medical+imaging.">A review of wavelet denoising in medical imaging.</a> 2013 8th International Workshop on Systems, Signal Processing and their Applications. , 19-26 (2013).</li><li>Mahdaoui, A. E., Ouahabi, A., Moulay, M. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Image+denoising+using+a+compressive+sensing+approach+based+on+regularization+constraints.">Image denoising using a compressive sensing approach based on regularization constraints.</a> Sensors. 22 (6), 2199 (2022).</li><li>Castleman, K. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=.">.</a> Digital Image Processing. , (1996).</li><li>Liu, W., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Ssd:+Single+shot+multibox+detector.">Ssd: Single shot multibox detector.</a> European Conference on Computer Vision. , 21-37 (2016).</li><li>Redmon, J., Farhadi, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Yolov3:+An+incremental+improvement.">Yolov3: An incremental improvement.</a> arXiv. arXiv:1804.02767. , (2018).</li><li>Lin, T. -. Y., Goyal, P., Girshick, R., He, K., Doll&#225;r, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Focalloss+for+dense+object+detection.">Focalloss for dense object detection.</a> arXiv. arXiv:1708.02002. , (2017).</li><li>Carion, N., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=End-to-end+object+detection+with+transformers.">End-to-end object detection with transformers.</a> Computer Vision-ECCV 2020: 16th European Conference. , 23-28 (2020).</li></ol>

В этом документе подробно описывается, как выполнить настройку среды, подготовку данных, конфигурацию модели и обучение сети. На этапе настройки среды необходимо обратить внимание на совместимость и согласованность зависимых библиотек. Обработка данных является очень важным шагом; В?...

Заболеваемость раком щитовидной железы быстро росла с 1970 года, особенно среди женщин среднего возраста1. Узлы щитовидной железы могут предсказывать появление рака щитовидной железы, и большинство узлов щитовидной железы протекают бессимптомно2. Раннее выявление узлов щитовидной железы очень полезно при лечении рака щитовидной железы. Поэтому, согласно современным практическим рекомендациям, все пациенты с подозрением на узловой зоб при физикальном осмотре или с аномальными результатами визуализации должны пройти дальнейшее обследование 3,4.
УЗИ щитовидной железы (УЗИ) является распространенным методом, используемым для выявления и характеристики поражений щитовидной железы 5,6. США — это удобная, недорогая и безрадиационная технология. Тем не менее, на применение США легко влияет оператор 7,8. Такие особенности, как форма, размер, эхогенность и текстура узлов щитовидной железы, легко различимы на изображениях УЗИ. Хотя некоторые особенности УЗИ - кальцификаты, эхогенность и неровные границы - часто считаются критериями для выявления узлов щитовидной железы, наличие межнаблюдательной вариабельности неизбежно 8,9. Результаты диагностики рентгенологов с разным уровнем опыта отличаются. Неопытные радиологи чаще ставят неправильный диагноз, чем опытные радиологи. Некоторые характеристики УЗИ, такие как отражения, тени и эхо, могут ухудшить качество изображения. Это ухудшение качества изображения, вызванное характером визуализации УЗИ, затрудняет даже опытным врачам точное определение местоположения узелков.
Компьютерная диагностика (ИБС) узлов щитовидной железы быстро развивалась в последние годы и может эффективно уменьшить ошибки, вызванные различными врачами, и помочь радиологам быстро и точно диагностировать узлы10,11. Для анализа узлов щитовидной железы были предложены различные системы САПР на основе CNN, включая сегментацию12,13, обнаружение 14,15 и классификацию 16,17. CNN представляет собой многоуровневую модельобучения с учителем 18, а основными модулями CNN являются уровни свертки и объединения. Слои свертки используются для извлечения признаков, а слои пула — для даунсамплинга. Теневые сверточные слои могут извлекать первичные признаки, такие как текстура, края и контуры, в то время как глубокие сверточные слои изучают высокоуровневые семантические признаки.
CNN имели большой успех в области компьютерного зрения 19,20,21. Однако CNN не могут улавливать долгосрочные контекстуальные зависимости из-за ограниченного действительного рецептивного поля сверточных слоев. В прошлом магистральные архитектуры для классификации изображений в основном использовали CNN. С появлением Vision Transformer (ViT)22,23 эта тенденция изменилась, и теперь многие современные модели используют трансформаторы в качестве основы. Основываясь на неперекрывающихся участках изображения, ViT использует стандартный кодировщик-трансформатор25 для глобального моделирования пространственных отношений. Swin Transformer24 дополнительно вводит окна переключения передач для изучения функций. Окна сдвига не только повышают эффективность, но и значительно сокращают длину последовательности, потому что в окне рассчитывается внимание к себе. При этом взаимодействие между двумя соседними окнами может осуществляться посредством операции сдвига (перемещения). Успешное применение трансформатора Swin в компьютерном зрении привело к исследованию архитектур на основе трансформаторов для анализа ультразвуковых изображений26.
Недавно Ли и др. предложили подход к глубокому обучению28 для обнаружения папиллярного рака щитовидной железы, вдохновленный Faster R-CNN27. Faster R-CNN — это классическая архитектура обнаружения объектов на основе CNN. Оригинальный Faster R-CNN имеет четыре модуля: магистраль CNN, сеть региональных предложений (RPN), уровень пула ROI и головку обнаружения. Магистраль CNN использует набор базовых слоев conv+bn+relu+pooling для извлечения карт объектов из входного изображения. Затем карты объектов передаются в RPN и слой пула ROI. Роль сети RPN заключается в подготовке предложений по регионам. Этот модуль использует softmax для определения того, являются ли якоря положительными, и генерирует точные якоря путем регрессии ограничительной рамки. Слой пула ROI извлекает карты объектов предложений, собирая входные карты объектов и предложения, и передает карты объектов предложений в последующую головку обнаружения. Головка обнаружения использует карты признаков предложения для классификации объектов и получения точного положения блоков обнаружения путем регрессии ограничительных рамок.
В этой статье представлена новая сеть обнаружения узлов щитовидной железы под названием Swin Faster R-CNN, образованная путем замены основной цепи CNN в Faster R-CNN на Swin Transformer, что приводит к лучшему извлечению признаков для обнаружения узлов из ультразвуковых изображений. Кроме того, сеть пирамид признаков (FPN)29 используется для улучшения характеристик обнаружения модели для конкреций разного размера путем агрегирования признаков разных масштабов.

<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td>GPU RTX3090</td>
			<td>Nvidia</td>
			<td>1</td>
			<td>24G GPU</td>
		</tr>
		<tr>
			<td>mmdetection2.11.0</td>
			<td>SenseTime</td>
			<td>4</td>
			<td>https://github.com/open-mmlab/mmdetection.git</td>
		</tr>
		<tr>
			<td>python3.8</td>
			<td>&#8212;</td>
			<td>2</td>
			<td>https://www.python.org</td>
		</tr>
		<tr>
			<td>pytorch1.7.1</td>
			<td>Facebook</td>
			<td>3</td>
			<td>https://pytorch.org</td>
		</tr>
	</tbody>
</table>

a swin transformer-based model for thyroid nodule detection in ultrasound images

В последние годы заболеваемость раком щитовидной железы растет. Обнаружение узлов щитовидной железы имеет решающее значение как для выявления, так и для лечения рака щитовидной железы. Сверточные нейронные сети (CNN) достигли хороших результатов в задачах ультразвукового анализа изображений щитовидной железы. Однако из-за ограниченного действительного рецептивного поля сверточных слоев CNN не могут улавливать долгосрочные контекстуальные зависимости, которые важны для идентификации узлов щитовидной железы на ультразвуковых изображениях. Трансформаторные сети эффективны при захвате контекстной информации на большие расстояния. Вдохновленные этим, мы предлагаем новый метод обнаружения узлов щитовидной железы, который сочетает в себе основу Swin Transformer и Faster R-CNN. В частности, ультразвуковое изображение сначала проецируется в 1D-последовательность встраиваний, которые затем подаются в иерархический преобразователь Swin Transformer. 
Магистраль Swin Transformer извлекает функции в пяти различных масштабах, используя смещенные окна для вычисления самовнимания. Впоследствии сеть пирамиды признаков (FPN) используется для объединения объектов из разных масштабов. Наконец, головка обнаружения используется для прогнозирования ограничительных рамок и соответствующих оценок достоверности. Данные, собранные у 2 680 пациентов, были использованы для проведения экспериментов, и результаты показали, что этот метод достиг наилучшего показателя mAP 44,8%, превзойдя исходные показатели на основе CNN. Кроме того, мы получили лучшую чувствительность (90,5%), чем конкуренты. Это указывает на то, что контекстное моделирование в этой модели эффективно для обнаружения узлов щитовидной железы.

Снимки щитовидной железы были получены в двух больницах Китая с сентября 2008 года по февраль 2018 года. Критериями приемлемости для включения изображений США в это исследование были обычное обследование УЗИ перед биопсией и хирургическим лечением, диагностика с помощью биопсии или после...

Watch this Scientific Journal Video about A Swin Transformer-Based Model for Thyroid Nodule Detection in Ultrasound Images at JoVE.com

A Swin Transformer-Based Model for Thyroid Nodule Detection in Ultrasound Images

Здесь предложена новая модель обнаружения узлов щитовидной железы на ультразвуковых изображениях, которая использует Swin Transformer в качестве основы для выполнения долгосрочного контекстного моделирования. Эксперименты доказывают, что он хорошо работает с точки зрения чувствительности и точности.

Модель на основе трансформатора Swin для обнаружения узлов щитовидной железы на ультразвуковых изображениях

In recent years, the incidence of thyroid cancer has been increasing. Thyroid nodule detection is critical for both the detection and treatment of thyroid ...

Эта программа реализует автоматическую и эффективную меру по выявлению узлов щитовидной железы, что может снизить нагрузку на врачей в будущем. Этот метод применяет трансформатор Swin к сети обнаружения конкреций. Swin Transformers эффективны при сборе информации о содержании на большом расстоянии, что очень полезно для повышения чувствительности задержания конкреций.Для начала откройте терминал на компьютере и установите Python 3.8, набрав sudo apt-get install python3.8 в командной строке. Чтобы установить PyTorch 1.7, перейдите на официальный сайт Miniconda и установите его. Затем создайте среду Conda, введя команду, показанную на экране в командной строке, и активируйте ее, введя conda activate SwinFasterRCNN.Установите PyTorch, написав показанную команду в командной строке. Для установки обнаружения MM клонируйте из официального репозитория GitHub, а затем установите MM Detection, написав команду pip install v e в командной строке. Откройте schedule_1x.py в текстовом редакторе Vim и отредактируйте файл, чтобы установить параметры, связанные с обучением по умолчанию, включая оптимизатор, скорость обучения и epic. Начните обучение, введя команду, показанную на экране. Подождите, пока сеть начнет обучение для 48 эпиков, и в выходной папке будут сгенерированы результирующие обученные веса сети SwinFasterRCNN.Сохраняйте весовые коэффициенты модели с высочайшей точностью в проверочном наборе. После обучения выберите модель с наилучшими показателями в наборе валидации для обнаружения узлов щитовидной железы на новых изображениях. Запустите тестовый сценарий, чтобы изменить размер изображения до 512 на 512 пикселей и нормализовать его.Подождите, пока сценарий автоматически загрузит предварительно обученные параметры модели в SwinFasterRCNN, и передайте предварительно обработанное изображение в SwinFasterRCNN для вывода. Подождите, пока SwinFasterRCNN выведет окно прогноза для каждого изображения. Наконец, разрешите сценарию автоматически выполнять постобработку NMS для каждого изображения, чтобы удалить дубликаты блоков обнаружения.Результаты обнаружения для одного и того же изображения отображаются в заданной строке. В столбцах приведены результаты обнаружения для SwinFasterRCNN, FasterRCNN, YOLOv3, SSD, RetinaNet и DETR. Основные истины регионов отмечены зелеными прямоугольными рамками.Результаты обнаружения обрамляются красными прямоугольными прямоугольниками. Очень важно выбрать соответствующий гиперпараметр, чтобы обеспечить те сходимости, которые должны быть определены многими экспериментами.

Research

JoVE Journal

Medicine

Multi-modal Imaging of Angiogenesis in a Nude Rat Model of Breast Cancer Bone Metastasis Using Magnetic Resonance Imaging, Volumetric Computed Tomography and Ultrasound

Мульти-модальных изображений ангиогенеза в обнаженной модели крысы из груди метастазы рака костей с помощью магнитного резонанса, компьютерной томографии Объемные и ультразвуковые

Angiogenesis is an essential feature of cancer growth and metastasis formation. In bone metastasis, angiogenic factors are pivotal for tumor cell ...

Cerenkov Luminescence Imaging (CLI) for Cancer Therapy Monitoring

Cerenkov Luminescence Imaging CLI for Cancer Therapy Monitoring

Черенковского свечения Imaging (CLI) для мониторинга терапии рака

In  molecular imaging, positron emission tomography (PET) and optical imaging (OI)  are two of the most important and thus most widely used modalities1-3. ...

An Orthotopic Mouse Model of Anaplastic Thyroid Carcinoma

Ортотопическая мышиной модели рака щитовидной железы Анапластический

Several types of animal models of human thyroid carcinomas have been established, including subcutaneous xenograft and orthotopic implantation of cancer ...

Substernal Thyroid Biopsy Using Endobronchial Ultrasound-guided Transbronchial Needle Aspiration

Грудиной щитовидной Биопсия Использование Эндобронхиальная ультразвуковым контролем трансбронхиальной пункции

Substernal thyroid goiter (STG) represents about 5.8% of all mediastinal lesions1. There is a wide variation in the published incidence rates due to the ...

Intra-Operative Neural Monitoring of Thyroid Surgery in a Porcine Model

Интраоперационная нейронных мониторинг щитовидной железы хирургии в свинину модели

Intraoperative injury to the recurrent laryngeal nerve (RLN) can cause vocal cord paralysis, which interferes with speech and can potentially interfere ...

Isometric Contractility Measurement of the Mouse Mesenteric Artery Using Wire Myography

Изометрические сократимости измерение верхней брыжеечной артерии мыши, с помощью проволоки миография

The wire myograph technique is used to assess the contractility of vascular smooth muscles in response to depolarization, GPCR agonists/inhibitors and ...

Electromagnetic Navigation Transthoracic Nodule Localization for Minimally Invasive Thoracic Surgery

Электромагнитная навигация Локализация трансторакальных узелков для минимально инвазивной торакальной хирургии

The increased use of chest computed tomography (CT) has led to an increased detection of pulmonary nodules requiring diagnostic evaluation and/or ...

A Pleural Effusion Model in Rats by Intratracheal Instillation of Polyacrylate/Nanosilica

Модель плеврального выпота в крыс на трахею инстилляции полиакрилат/Nanosilica

Pleural effusion is a prevalent clinical finding of many pulmonary diseases. Having a useful animal pleural effusion model is very important to study ...

A Personalized 3D-Printed Model for Preoperative Evaluation in Thyroid Surgery

Персонализированная 3D-печатная модель для предоперационной оценки в хирургии щитовидной железы

The anatomic structure of the surgical area of thyroid cancer is complex. It is very important to comprehensively and carefully evaluate the tumor ...

Point-of-Care Ultrasound: A Review of Ultrasound Parameters for Predicting Difficult Airways

УЗИ в месте оказания медицинской помощи: обзор параметров ультразвука для прогнозирования затрудненных дыхательных путей

Airway management remains a crucial part of perioperative care. The conventional approach to assessing potentially difficult airways emphasizes the LEMON ...