Name: a swin transformer-based model for thyroid nodule detection in ultrasound images
Uploaded: 2023-04-21T14:15:00
Description: Watch this Scientific Journal Video about A Swin Transformer-Based Model for Thyroid Nodule Detection in Ultrasound Images at JoVE.com

이 연구는 중국 국립 자연 과학 재단(보조금 번호 32101188)과 중국 쓰촨성 과학 기술부 일반 프로젝트(보조금 번호 2021YFS0102)의 지원을 받았습니다.

이 후향적 연구는 중국 쓰촨성 쓰촨대학교 서중국병원 임상시험심사위원회의 승인을 받았으며 정보에 입각한 동의를 얻어야 하는 요건이 면제되었습니다.
1. 환경 설정
<ol><li>그래픽 처리 장치(GPU) 소프트웨어<ol><li>딥러닝 애플리케이션을 구현하기 위해서는 먼저 GPU 관련 환경을 설정해야 합니다. GPU 웹 사이트에서 GPU에 적합한 소프트웨어 및 드라이버를 다운?...

<ol>
	<li>Grant, E. G., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Thyroid+ultrasound+reporting+lexicon:+White+paper+of+the+ACR+Thyroid+Imaging,+Reporting+and+Data+System+(TIRADS)+committee.">Thyroid ultrasound reporting lexicon: White paper of the ACR Thyroid Imaging, Reporting and Data System (TIRADS) committee.</a> Journal of the American College of Radiology. 12 (12 Pt A), 1272-1279 (2015).</li><li>Zhao, J., Zheng, W., Zhang, L., Tian, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Segmentation+of+ultrasound+images+of+thyroid+nodule+for+assisting+fine+needle+aspiration+cytology.">Segmentation of ultrasound images of thyroid nodule for assisting fine needle aspiration cytology.</a> Health Information Science and Systems. 1, 5 (2013).</li><li>Haugen, B. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=American+Thyroid+Association+management+guidelines+for+adult+patients+with+thyroid+nodules+and+differentiated+thyroid+cancer:+What+is+new+and+what+has+changed.">American Thyroid Association management guidelines for adult patients with thyroid nodules and differentiated thyroid cancer: What is new and what has changed.</a> Cancer. 123 (3), 372-381 (2017).</li><li>Shin, J. H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Ultrasonography+diagnosis+and+imaging-based+management+of+thyroid+nodules:+Revised+Korean+Society+of+Thyroid+Radiology+consensus+statement+and+recommendations.">Ultrasonography diagnosis and imaging-based management of thyroid nodules: Revised Korean Society of Thyroid Radiology consensus statement and recommendations.</a> Korean Journal of Radiology. 17 (3), 370-395 (2016).</li><li>Horvath, E., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=An+ultrasonogram+reporting+system+for+thyroid+nodules+stratifying+cancer+risk+for+clinical+management.">An ultrasonogram reporting system for thyroid nodules stratifying cancer risk for clinical management.</a> The Journal of Clinical Endocrinology &amp; Metabolism. 94 (5), 1748-1751 (2009).</li><li>Park, J. -. Y., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+proposal+for+a+thyroid+imaging+reporting+and+data+system+for+ultrasound+features+of+thyroid+carcinoma.">A proposal for a thyroid imaging reporting and data system for ultrasound features of thyroid carcinoma.</a> Thyroid. 19 (11), 1257-1264 (2009).</li><li>Moon, W. -. J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Benign+and+malignant+thyroid+nodules:+US+differentiation-Multicenter+retrospective+study.">Benign and malignant thyroid nodules: US differentiation-Multicenter retrospective study.</a> Radiology. 247 (3), 762-770 (2008).</li><li>Park, C. S., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Observer+variability+in+the+sonographic+evaluation+of+thyroid+nodules.">Observer variability in the sonographic evaluation of thyroid nodules.</a> Journal of Clinical Ultrasound. 38 (6), 287-293 (2010).</li><li>Kim, S. H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Observer+variability+and+the+performance+between+faculties+and+residents:+US+criteria+for+benign+and+malignant+thyroid+nodules.">Observer variability and the performance between faculties and residents: US criteria for benign and malignant thyroid nodules.</a> Korean Journal of Radiology. 11 (2), 149-155 (2010).</li><li>Choi, Y. J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+computer-aided+diagnosis+system+using+artificial+intelligence+for+the+diagnosis+and+characterization+of+thyroid+nodules+on+ultrasound:+initial+clinical+assessment.">A computer-aided diagnosis system using artificial intelligence for the diagnosis and characterization of thyroid nodules on ultrasound: initial clinical assessment.</a> Thyroid. 27 (4), 546-552 (2017).</li><li>Chang, T. -. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=The+role+of+computer-aided+detection+and+diagnosis+system+in+the+differential+diagnosis+of+thyroid+lesions+in+ultrasonography.">The role of computer-aided detection and diagnosis system in the differential diagnosis of thyroid lesions in ultrasonography.</a> Journal of Medical Ultrasound. 23 (4), 177-184 (2015).</li><li>Li, X. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Fully+convolutional+networks+for+ultrasound+image+segmentation+of+thyroid+nodules.">Fully convolutional networks for ultrasound image segmentation of thyroid nodules.</a> , 886-890 (2018).</li><li>Nguyen, D. T., Choi, J., Park, K. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Thyroid+nodule+segmentation+in+ultrasound+image+based+on+information+fusion+of+suggestion+and+enhancement+networks.">Thyroid nodule segmentation in ultrasound image based on information fusion of suggestion and enhancement networks.</a> Mathematics. 10 (19), 3484 (2022).</li><li>Ma, J., Wu, F., Jiang, T. A., Zhu, J., Kong, D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Cascade+convolutional+neural+networks+for+automatic+detection+of+thyroid+nodules+in+ultrasound+images.">Cascade convolutional neural networks for automatic detection of thyroid nodules in ultrasound images.</a> Medical Physics. 44 (5), 1678-1691 (2017).</li><li>Song, W., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Multitask+cascade+convolution+neural+networks+for+automatic+thyroid+nodule+detection+and+recognition.">Multitask cascade convolution neural networks for automatic thyroid nodule detection and recognition.</a> IEEE Journal of Biomedical and Health Informatics. 23 (3), 1215-1224 (2018).</li><li>Wang, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Learning+from+weakly-labeled+clinical+data+for+automatic+thyroid+nodule+classification+in+ultrasound+images.">Learning from weakly-labeled clinical data for automatic thyroid nodule classification in ultrasound images.</a> , 3114-3118 (2018).</li><li>Wang, L., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+multi-scale+densely+connected+convolutional+neural+network+for+automated+thyroid+nodule+classification.">A multi-scale densely connected convolutional neural network for automated thyroid nodule classification.</a> Frontiers in Neuroscience. 16, 878718 (2022).</li><li>Krizhevsky, A., Sutskever, I., Hinton, G. E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Imagenet+classification+with+deep+convolutional+neural+networks.">Imagenet classification with deep convolutional neural networks.</a> Communications of the ACM. 60 (6), 84-90 (2017).</li><li>He, K., Zhang, X., Ren, S., Sun, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Deep+residual+learning+for+image+recognition.">Deep residual learning for image recognition.</a> Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 770-778 (2016).</li><li>Hu, H., Gu, J., Zhang, Z., Dai, J., Wei, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Relation+networks+for+object+detection.">Relation networks for object detection.</a> Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 3588-3597 (2018).</li><li>Szegedy, C., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Going+deeper+with+convolutions.">Going deeper with convolutions.</a> Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 1-9 (2015).</li><li>Dosovitskiy, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=An+image+is+worth+16x16+words:+Transformers+for+image+recognition+at+scale.">An image is worth 16x16 words: Transformers for image recognition at scale.</a> arXiv preprint arXiv:2010.11929. , (2020).</li><li>Touvron, H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Training+data-efficient+image+transformers+&amp;+distillation+through+attention.">Training data-efficient image transformers &amp; distillation through attention.</a> arXiv:2012.12877. , (2021).</li><li>Liu, Z., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Swin+Transformer:+Hierarchical+vision+transformer+using+shifted+windows.">Swin Transformer: Hierarchical vision transformer using shifted windows.</a> 2021 IEEE/CVF International Conference on Computer Vision (ICCV). , 9992-10002 (2021).</li><li>Vaswani, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Attention+is+all+you+need.">Attention is all you need.</a> Advances in Neural Information Processing Systems. 30, (2017).</li><li>Chen, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=TransUNet:+Transformers+make+strong+encoders+for+medical+image+segmentation.+arXiv.">TransUNet: Transformers make strong encoders for medical image segmentation. arXiv.</a> arXiv:2102.04306. , (2021).</li><li>Ren, S., He, K., Girshick, R., Sun, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Faster+r-cnn:+Towards+real-time+object+detection+with+region+proposal+networks.">Faster r-cnn: Towards real-time object detection with region proposal networks.</a> Advances in Neural Information Processing Systems. 28, 91-99 (2015).</li><li>Li, H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=An+improved+deep+learning+approach+for+detection+of+thyroid+papillary+cancer+in+ultrasound+images.">An improved deep learning approach for detection of thyroid papillary cancer in ultrasound images.</a> Scientific Reports. 8, 6600 (2018).</li><li>Lin, T. -. Y., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Feature+pyramid+networks+for+object+detection.">Feature pyramid networks for object detection.</a> Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 2117-2125 (2017).</li><li>Ouahabi, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+review+of+wavelet+denoising+in+medical+imaging.">A review of wavelet denoising in medical imaging.</a> 2013 8th International Workshop on Systems, Signal Processing and their Applications. , 19-26 (2013).</li><li>Mahdaoui, A. E., Ouahabi, A., Moulay, M. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Image+denoising+using+a+compressive+sensing+approach+based+on+regularization+constraints.">Image denoising using a compressive sensing approach based on regularization constraints.</a> Sensors. 22 (6), 2199 (2022).</li><li>Castleman, K. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=.">.</a> Digital Image Processing. , (1996).</li><li>Liu, W., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Ssd:+Single+shot+multibox+detector.">Ssd: Single shot multibox detector.</a> European Conference on Computer Vision. , 21-37 (2016).</li><li>Redmon, J., Farhadi, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Yolov3:+An+incremental+improvement.">Yolov3: An incremental improvement.</a> arXiv. arXiv:1804.02767. , (2018).</li><li>Lin, T. -. Y., Goyal, P., Girshick, R., He, K., Doll&#225;r, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Focalloss+for+dense+object+detection.">Focalloss for dense object detection.</a> arXiv. arXiv:1708.02002. , (2017).</li><li>Carion, N., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=End-to-end+object+detection+with+transformers.">End-to-end object detection with transformers.</a> Computer Vision-ECCV 2020: 16th European Conference. , 23-28 (2020).</li></ol>

이 백서에서는 환경 설정, 데이터 준비, 모델 구성 및 네트워크 학습을 수행하는 방법에 대해 자세히 설명합니다. 환경 설정 단계에서는 종속 라이브러리가 호환되고 일치하는지 확인하기 위해 주의를 기울여야 합니다. 데이터 처리는 매우 중요한 단계입니다. 주석의 정확성을 보장하기 위해 시간과 노력을 들여야 합니다. 모델을 학습할 때 "ModuleNotFoundError"가 발생할 수 있습니다. 이 경우 "pip insta...

갑상선암 발병률은 1970년 이래로 급격히 증가했으며, 특히 중년 여성에서 증가했다1. 갑상선 결절은 갑상선암의 발병을 예측할 수 있으며, 대부분의 갑상선 결절은 무증상이다2. 갑상선 결절의 조기 발견은 갑상선암 치료에 매우 도움이 됩니다. 따라서 현행 진료지침에 따르면 신체검사에서 결절성 갑상선종이 의심되거나 비정상적인 영상 소견이 있는 모든 환자는 추가 검사를 받아야 한다 3,4.
갑상선 초음파(US)는 갑상선 병변을 감지하고 특성화하는 데 사용되는 일반적인 방법입니다 5,6. 미국은 편리하고 저렴하며 방사선이 없는 기술입니다. 그러나, US의 적용은 오퍼레이터 7,8에 의해 쉽게 영향을 받는다. 갑상선 결절의 모양, 크기, 에코 발생 및 질감과 같은 특징은 미국 이미지에서 쉽게 구별할 수 있습니다. 석회화, 에코 발생 및 불규칙한 경계와 같은 특정 미국 특징이 종종 갑상선 결절을 식별하는 기준으로 간주되지만 관찰자 간 가변성의 존재는 피할 수 없습니다 8,9. 다양한 수준의 경험을 가진 방사선 전문의의 진단 결과는 다릅니다. 경험이 없는 방사선 전문의는 숙련된 방사선 전문의보다 오진할 가능성이 더 큽니다. 반사, 그림자 및 에코와 같은 미국의 일부 특성은 이미지 품질을 저하시킬 수 있습니다. 미국 이미징의 특성으로 인한 이러한 이미지 품질 저하로 인해 숙련된 의사조차도 결절을 정확하게 찾기가 어렵습니다.
갑상선 결절에 대한 컴퓨터 지원 진단(CAD)은 최근 몇 년 동안 빠르게 발전했으며 다양한 의사로 인한 오류를 효과적으로 줄이고 방사선 전문의가 결절을 빠르고 정확하게 진단하는 데 도움을 줄 수 있습니다10,11. 갑상선 미국 결절 분석을 위해 다양한 CNN 기반 CAD 시스템이 제안되었으며, 여기에는 세분화 12,13, 검출 14,15 및 분류 16,17이 포함됩니다. CNN은 다층, 지도 학습 모델(18)이며, CNN의 핵심 모듈은 컨볼루션 및 풀링 계층이다. 컨볼루션 계층은 특징 추출에 사용되고, 풀링 계층은 다운샘플링에 사용됩니다. 그림자 컨벌루션 계층은 텍스처, 가장자리, 윤곽선과 같은 기본 특징을 추출할 수 있는 반면, 심층 컨벌루션 계층은 높은 수준의 의미론적 특징을 학습합니다.
CNN은 컴퓨터 비전 19,20,21에서 큰 성공을 거두었습니다. 그러나 CNN은 컨볼루션 계층의 제한된 유효 수용 필드로 인해 장거리 컨텍스트 종속성을 캡처하지 못합니다. 과거에는 이미지 분류를 위한 백본 아키텍처가 주로 CNN을 사용했습니다. 비전 트랜스포머(ViT)22,23의 출현으로 이러한 추세가 바뀌었고 이제 많은 최첨단 모델이 트랜스포머를 백본으로 사용합니다. 비중첩 이미지 패치에 기초하여, ViT는 표준 트랜스포머 인코더(25)를 사용하여 공간 관계를 전역적으로 모델링한다. Swin Transformer24는 기능을 학습하기 위해 시프트 윈도우를 추가로 도입합니다. 시프트 윈도우는 효율성을 높일 뿐만 아니라 창에서 자기 주의가 계산되기 때문에 시퀀스의 길이를 크게 줄입니다. 동시에, 인접한 두 창 사이의 상호 작용은 이동 (이동) 작업을 통해 이루어질 수 있습니다. 컴퓨터 비전에 Swin Transformer를 성공적으로 적용함으로써 초음파 이미지 분석을 위한 트랜스포머 기반 아키텍처에 대한 조사가 이루어졌습니다(26).
최근 Li et al. 갑상선 유두암 검출을 위한 딥 러닝 접근법28 Faster R-CNN27에서 영감을 받았습니다. 더 빠른 속도 R-CNN은 고전적인 CNN 기반 개체 감지 아키텍처입니다. 원래 Faster R-CNN에는 CNN 백본, RPN(지역 제안 네트워크), ROI 풀링 계층 및 검색 헤드의 네 가지 모듈이 있습니다. CNN 백본은 기본 conv+bn+relu+pooling 계층 집합을 사용하여 입력 이미지에서 특징 맵을 추출합니다. 그런 다음 기능 맵이 RPN 및 ROI 풀링 계층에 공급됩니다. RPN 네트워크의 역할은 지역 제안을 생성하는 것입니다. 이 모듈은 softmax를 사용하여 앵커가 양수인지 여부를 확인하고 경계 상자 회귀를 통해 정확한 앵커를 생성합니다. ROI 풀링 계층은 입력 특징 맵과 제안을 수집하여 제안 특징 맵을 추출하고 제안 특징 맵을 후속 탐지 헤드에 공급합니다. 탐지 헤드는 제안 특징 맵을 사용하여 객체를 분류하고 경계 상자 회귀를 통해 탐지 상자의 정확한 위치를 얻습니다.
이 논문은 Faster R-CNN의 CNN 백본을 Swin Transformer로 대체하여 형성된 Swin Faster R-CNN이라는 새로운 갑상선 결절 감지 네트워크를 제시하며, 그 결과 초음파 이미지에서 결절 감지를 위한 기능을 더 잘 추출할 수 있습니다. 또한, 특징 피라미드 네트워크(FPN)29 는 다양한 스케일의 특징을 집계하여 다양한 크기의 결절에 대한 모델의 검출 성능을 향상시키는 데 사용됩니다.

<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td>GPU RTX3090</td>
			<td>Nvidia</td>
			<td>1</td>
			<td>24G GPU</td>
		</tr>
		<tr>
			<td>mmdetection2.11.0</td>
			<td>SenseTime</td>
			<td>4</td>
			<td>https://github.com/open-mmlab/mmdetection.git</td>
		</tr>
		<tr>
			<td>python3.8</td>
			<td>&#8212;</td>
			<td>2</td>
			<td>https://www.python.org</td>
		</tr>
		<tr>
			<td>pytorch1.7.1</td>
			<td>Facebook</td>
			<td>3</td>
			<td>https://pytorch.org</td>
		</tr>
	</tbody>
</table>

a swin transformer-based model for thyroid nodule detection in ultrasound images

최근 몇 년 동안 갑상선암 발병률이 증가하고 있습니다. 갑상선 결절 검출은 갑상선암의 발견과 치료 모두에 중요합니다. CNN(Convolutional Neural Networks)은 갑상선 초음파 이미지 분석 작업에서 좋은 결과를 얻었습니다. 그러나 컨볼루션 레이어의 제한된 유효 수용 필드로 인해 CNN은 초음파 이미지에서 갑상선 결절을 식별하는 데 중요한 장거리 문맥 종속성을 포착하지 못합니다. 트랜스포머 네트워크는 장거리 컨텍스트 정보를 캡처하는 데 효과적입니다. 이에 영감을 받아 Swin Transformer 백본과 Faster R-CNN을 결합한 새로운 갑상선 결절 검출 방법을 제안합니다. 특히, 초음파 영상은 먼저 임베딩의 1D 시퀀스로 투영된 다음 계층적 Swin Transformer에 공급됩니다. 
Swin 트랜스포머 백본은 자기 주의력 계산을 위해 이동된 창을 활용하여 5가지 다른 스케일에서 기능을 추출합니다. 그 후, FPN(Feature Pyramid Network)을 사용하여 서로 다른 스케일의 피처를 융합합니다. 마지막으로, 감지 헤드는 경계 상자와 해당 신뢰도 점수를 예측하는 데 사용됩니다. 2,680명의 환자로부터 수집한 데이터를 사용하여 실험을 수행했으며, 그 결과 이 방법이 44.8%의 최고의 mAP 점수를 달성하여 CNN 기반 기준선을 능가하는 것으로 나타났습니다. 또한 경쟁사보다 감도(90.5%)가 더 좋아졌습니다. 이는 이 모델의 컨텍스트 모델링이 갑상선 결절 감지에 효과적임을 나타냅니다.

갑상선 미국 이미지는 2008 년 9 월부터 2018 년 2 월까지 중국의 두 병원에서 수집되었습니다. 본 연구에 미국 이미지를 포함하기 위한 적격성 기준은 생검 및 외과적 치료 전의 기존 미국 검사, 생검 또는 수술 후 병리 진단, 18세 ≥세였습니다. 제외 기준은 갑상선 조직이 없는 영상이었다.
3,000개의 초음파 영상에는 1,384개의 악성 결절과 1,616개의 양성 결절이 포함되었습니다. ?...

Watch this Scientific Journal Video about A Swin Transformer-Based Model for Thyroid Nodule Detection in Ultrasound Images at JoVE.com

A Swin Transformer-Based Model for Thyroid Nodule Detection in Ultrasound Images

여기에서는 Swin Transformer를 백본으로 사용하여 장거리 컨텍스트 모델링을 수행하는 초음파 영상에서 갑상선 결절 감지를 위한 새로운 모델을 제안합니다. 실험은 감도와 정확성 측면에서 잘 수행된다는 것을 증명합니다.

초음파 영상에서 갑상선 결절 검출을 위한 Swin Transformer 기반 모델

In recent years, the incidence of thyroid cancer has been increasing. Thyroid nodule detection is critical for both the detection and treatment of thyroid ...

이 프로그램은 갑상선 결절을 감지하기 위한 자동적이고 효율적인 조치를 구현하여 향후 의사의 업무량을 줄일 수 있습니다. 이 기술은 Swin 변압기를 결절 검출 네트워크에 적용합니다. Swin Transformers는 장거리 콘텐츠 정보를 캡처하는 데 효과적이며, 이는 결절 구금의 감도를 향상시키는 데 매우 도움이 됩니다.시작하려면 컴퓨터에서 터미널을 열고 명령줄에 sudo apt-get install python3.8을 입력하여 Python 3.8을 설치합니다. PyTorch 1.7을 설치하려면 Miniconda의 공식 웹 사이트로 이동하여 설치하십시오. 그런 다음, 명령줄에 화면에 표시된 명령을 입력하여 Conda 환경을 만들고 conda activate SwinFasterRCNN을 입력하여 활성화합니다.명령줄에 표시된 명령을 작성하여 PyTorch를 설치합니다. MM 검색 설치의 경우 공식 GitHub 리포지토리에서 복제한 다음 명령줄에 pip install v e 명령을 작성하여 MM 검색을 설치합니다. schedule_1x 엽니다.py 파일을 열고 파일을 편집하여 옵티마이저, 학습률 및 epic을 포함한 기본 훈련 관련 매개 변수를 설정합니다. 화면에 표시된 명령을 입력하여 학습을 시작합니다. 신경망이 48개의 에픽에 대한 훈련을 시작할 때까지 기다리고, SwinFasterRCNN 신경망의 훈련된 결과 가중치가 출력 폴더에 생성될 때까지 기다립니다.검증 세트에서 가장 높은 정확도로 모델 가중치를 저장합니다. 훈련 후, 새 이미지에서 갑상선 결절 검출을 위해 설정된 검증에서 가장 성능이 좋은 모델을 선택합니다. 테스트 스크립트를 실행하여 이미지 크기를 512 x 512 픽셀로 조정하고 정규화합니다.스크립트가 미리 학습된 모델 매개 변수를 SwinFasterRCNN에 자동으로 로드하고 유추를 위해 미리 처리된 이미지를 SwinFasterRCNN에 공급할 때까지 기다립니다. SwinFasterRCNN이 각 이미지에 대한 예측 상자를 출력할 때까지 기다립니다. 마지막으로, 스크립트가 각 이미지에 대해 NMS 사후 처리를 자동으로 수행하여 중복 탐지 상자를 제거하도록 합니다.동일한 이미지에 대한 감지 결과가 지정된 행에 표시됩니다. 열은 SwinFasterRCNN, FasterRCNN, YOLOv3, SSD, RetinaNet 및 DETR에 대한 검색 결과입니다. 지역의 실측 자료는 녹색 직사각형 상자로 표시됩니다.감지 결과는 빨간색 직사각형 상자로 구성됩니다. 많은 실험에 의해 결정되어야 하는 수렴을 보장하기 위해 적절한 하이퍼 매개변수를 선택하는 것이 매우 중요합니다.

Research

JoVE Journal

Medicine

Multi-modal Imaging of Angiogenesis in a Nude Rat Model of Breast Cancer Bone Metastasis Using Magnetic Resonance Imaging, Volumetric Computed Tomography and Ultrasound

자기 공명 영상, 체적 계산의 Tomography 및 초음파를 이용한 유방암의 뼈 전이의 누드 쥐 모델에서 Angiogenesis의 멀티 모달 이미징

Angiogenesis is an essential feature of cancer growth and metastasis formation. In bone metastasis, angiogenic factors are pivotal for tumor cell ...

연구

의학

Cerenkov Luminescence Imaging (CLI) for Cancer Therapy Monitoring

Cerenkov Luminescence Imaging CLI for Cancer Therapy Monitoring

암 치료 모니터링을위한 Cerenkov 발광 이미징 (CLI)

In  molecular imaging, positron emission tomography (PET) and optical imaging (OI)  are two of the most important and thus most widely used modalities1-3. ...

An Orthotopic Mouse Model of Anaplastic Thyroid Carcinoma

역 형성 갑상선 암의 동소 마우스 모델

Several types of animal models of human thyroid carcinomas have been established, including subcutaneous xenograft and orthotopic implantation of cancer ...

Substernal Thyroid Biopsy Using Endobronchial Ultrasound-guided Transbronchial Needle Aspiration

흉골 하 갑상선 조직 검사는 기관지 초음파 유도 기관지 바늘 흡인을 사용하여

Substernal thyroid goiter (STG) represents about 5.8% of all mediastinal lesions1. There is a wide variation in the published incidence rates due to the ...

Intra-Operative Neural Monitoring of Thyroid Surgery in a Porcine Model

돼지 모델에서 갑 상선 수술의 내부 작용 신경 모니터링

Intraoperative injury to the recurrent laryngeal nerve (RLN) can cause vocal cord paralysis, which interferes with speech and can potentially interfere ...

Isometric Contractility Measurement of the Mouse Mesenteric Artery Using Wire Myography

Myography 와이어를 사용 하 여 마우스 Mesenteric 동맥의 isometric 수축 측정

The wire myograph technique is used to assess the contractility of vascular smooth muscles in response to depolarization, GPCR agonists/inhibitors and ...

Electromagnetic Navigation Transthoracic Nodule Localization for Minimally Invasive Thoracic Surgery

최소 침습적 흉부 수술을 위한 전자기 네비게이션 흉부 결절 국소화

The increased use of chest computed tomography (CT) has led to an increased detection of pulmonary nodules requiring diagnostic evaluation and/or ...

A Pleural Effusion Model in Rats by Intratracheal Instillation of Polyacrylate/Nanosilica

Polyacrylate/Nanosilica의 Intratracheal 주입에 의해 쥐에서 흉 막 유출 모델

Pleural effusion is a prevalent clinical finding of many pulmonary diseases. Having a useful animal pleural effusion model is very important to study ...

A Personalized 3D-Printed Model for Preoperative Evaluation in Thyroid Surgery

갑상선 수술에서 수술 전 평가를 위한 개인화된 3D 프린팅 모델

The anatomic structure of the surgical area of thyroid cancer is complex. It is very important to comprehensively and carefully evaluate the tumor ...

Point-of-Care Ultrasound: A Review of Ultrasound Parameters for Predicting Difficult Airways

Airway management remains a crucial part of perioperative care. The conventional approach to assessing potentially difficult airways emphasizes the LEMON ...