Name: a swin transformer-based model for thyroid nodule detection in ultrasound images
Uploaded: 2023-04-21T14:15:00
Description: Watch this Scientific Journal Video about A Swin Transformer-Based Model for Thyroid Nodule Detection in Ultrasound Images at JoVE.com

تم دعم هذه الدراسة من قبل المؤسسة الوطنية للعلوم الطبيعية في الصين (المنحة رقم 32101188) والمشروع العام لإدارة العلوم والتكنولوجيا في مقاطعة سيتشوان (المنحة رقم 2021YFS0102) ، الصين.

تمت الموافقة على هذه الدراسة بأثر رجعي من قبل مجلس المراجعة المؤسسية لمستشفى غرب الصين ، جامعة سيتشوان ، سيتشوان ، الصين ، وتم التنازل عن شرط الحصول على الموافقة المستنيرة.
1. إعداد البيئة
<ol><li>برنامج وحدة معالجة الرسومات (GPU)<ol><li>لتنفيذ تطبيقات التعلم العميق ، قم أ?...

<ol>
	<li>Grant, E. G., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Thyroid+ultrasound+reporting+lexicon:+White+paper+of+the+ACR+Thyroid+Imaging,+Reporting+and+Data+System+(TIRADS)+committee.">Thyroid ultrasound reporting lexicon: White paper of the ACR Thyroid Imaging, Reporting and Data System (TIRADS) committee.</a> Journal of the American College of Radiology. 12 (12 Pt A), 1272-1279 (2015).</li><li>Zhao, J., Zheng, W., Zhang, L., Tian, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Segmentation+of+ultrasound+images+of+thyroid+nodule+for+assisting+fine+needle+aspiration+cytology.">Segmentation of ultrasound images of thyroid nodule for assisting fine needle aspiration cytology.</a> Health Information Science and Systems. 1, 5 (2013).</li><li>Haugen, B. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=American+Thyroid+Association+management+guidelines+for+adult+patients+with+thyroid+nodules+and+differentiated+thyroid+cancer:+What+is+new+and+what+has+changed.">American Thyroid Association management guidelines for adult patients with thyroid nodules and differentiated thyroid cancer: What is new and what has changed.</a> Cancer. 123 (3), 372-381 (2017).</li><li>Shin, J. H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Ultrasonography+diagnosis+and+imaging-based+management+of+thyroid+nodules:+Revised+Korean+Society+of+Thyroid+Radiology+consensus+statement+and+recommendations.">Ultrasonography diagnosis and imaging-based management of thyroid nodules: Revised Korean Society of Thyroid Radiology consensus statement and recommendations.</a> Korean Journal of Radiology. 17 (3), 370-395 (2016).</li><li>Horvath, E., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=An+ultrasonogram+reporting+system+for+thyroid+nodules+stratifying+cancer+risk+for+clinical+management.">An ultrasonogram reporting system for thyroid nodules stratifying cancer risk for clinical management.</a> The Journal of Clinical Endocrinology &amp; Metabolism. 94 (5), 1748-1751 (2009).</li><li>Park, J. -. Y., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+proposal+for+a+thyroid+imaging+reporting+and+data+system+for+ultrasound+features+of+thyroid+carcinoma.">A proposal for a thyroid imaging reporting and data system for ultrasound features of thyroid carcinoma.</a> Thyroid. 19 (11), 1257-1264 (2009).</li><li>Moon, W. -. J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Benign+and+malignant+thyroid+nodules:+US+differentiation-Multicenter+retrospective+study.">Benign and malignant thyroid nodules: US differentiation-Multicenter retrospective study.</a> Radiology. 247 (3), 762-770 (2008).</li><li>Park, C. S., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Observer+variability+in+the+sonographic+evaluation+of+thyroid+nodules.">Observer variability in the sonographic evaluation of thyroid nodules.</a> Journal of Clinical Ultrasound. 38 (6), 287-293 (2010).</li><li>Kim, S. H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Observer+variability+and+the+performance+between+faculties+and+residents:+US+criteria+for+benign+and+malignant+thyroid+nodules.">Observer variability and the performance between faculties and residents: US criteria for benign and malignant thyroid nodules.</a> Korean Journal of Radiology. 11 (2), 149-155 (2010).</li><li>Choi, Y. J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+computer-aided+diagnosis+system+using+artificial+intelligence+for+the+diagnosis+and+characterization+of+thyroid+nodules+on+ultrasound:+initial+clinical+assessment.">A computer-aided diagnosis system using artificial intelligence for the diagnosis and characterization of thyroid nodules on ultrasound: initial clinical assessment.</a> Thyroid. 27 (4), 546-552 (2017).</li><li>Chang, T. -. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=The+role+of+computer-aided+detection+and+diagnosis+system+in+the+differential+diagnosis+of+thyroid+lesions+in+ultrasonography.">The role of computer-aided detection and diagnosis system in the differential diagnosis of thyroid lesions in ultrasonography.</a> Journal of Medical Ultrasound. 23 (4), 177-184 (2015).</li><li>Li, X. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Fully+convolutional+networks+for+ultrasound+image+segmentation+of+thyroid+nodules.">Fully convolutional networks for ultrasound image segmentation of thyroid nodules.</a> , 886-890 (2018).</li><li>Nguyen, D. T., Choi, J., Park, K. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Thyroid+nodule+segmentation+in+ultrasound+image+based+on+information+fusion+of+suggestion+and+enhancement+networks.">Thyroid nodule segmentation in ultrasound image based on information fusion of suggestion and enhancement networks.</a> Mathematics. 10 (19), 3484 (2022).</li><li>Ma, J., Wu, F., Jiang, T. A., Zhu, J., Kong, D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Cascade+convolutional+neural+networks+for+automatic+detection+of+thyroid+nodules+in+ultrasound+images.">Cascade convolutional neural networks for automatic detection of thyroid nodules in ultrasound images.</a> Medical Physics. 44 (5), 1678-1691 (2017).</li><li>Song, W., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Multitask+cascade+convolution+neural+networks+for+automatic+thyroid+nodule+detection+and+recognition.">Multitask cascade convolution neural networks for automatic thyroid nodule detection and recognition.</a> IEEE Journal of Biomedical and Health Informatics. 23 (3), 1215-1224 (2018).</li><li>Wang, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Learning+from+weakly-labeled+clinical+data+for+automatic+thyroid+nodule+classification+in+ultrasound+images.">Learning from weakly-labeled clinical data for automatic thyroid nodule classification in ultrasound images.</a> , 3114-3118 (2018).</li><li>Wang, L., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+multi-scale+densely+connected+convolutional+neural+network+for+automated+thyroid+nodule+classification.">A multi-scale densely connected convolutional neural network for automated thyroid nodule classification.</a> Frontiers in Neuroscience. 16, 878718 (2022).</li><li>Krizhevsky, A., Sutskever, I., Hinton, G. E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Imagenet+classification+with+deep+convolutional+neural+networks.">Imagenet classification with deep convolutional neural networks.</a> Communications of the ACM. 60 (6), 84-90 (2017).</li><li>He, K., Zhang, X., Ren, S., Sun, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Deep+residual+learning+for+image+recognition.">Deep residual learning for image recognition.</a> Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 770-778 (2016).</li><li>Hu, H., Gu, J., Zhang, Z., Dai, J., Wei, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Relation+networks+for+object+detection.">Relation networks for object detection.</a> Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 3588-3597 (2018).</li><li>Szegedy, C., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Going+deeper+with+convolutions.">Going deeper with convolutions.</a> Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 1-9 (2015).</li><li>Dosovitskiy, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=An+image+is+worth+16x16+words:+Transformers+for+image+recognition+at+scale.">An image is worth 16x16 words: Transformers for image recognition at scale.</a> arXiv preprint arXiv:2010.11929. , (2020).</li><li>Touvron, H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Training+data-efficient+image+transformers+&amp;+distillation+through+attention.">Training data-efficient image transformers &amp; distillation through attention.</a> arXiv:2012.12877. , (2021).</li><li>Liu, Z., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Swin+Transformer:+Hierarchical+vision+transformer+using+shifted+windows.">Swin Transformer: Hierarchical vision transformer using shifted windows.</a> 2021 IEEE/CVF International Conference on Computer Vision (ICCV). , 9992-10002 (2021).</li><li>Vaswani, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Attention+is+all+you+need.">Attention is all you need.</a> Advances in Neural Information Processing Systems. 30, (2017).</li><li>Chen, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=TransUNet:+Transformers+make+strong+encoders+for+medical+image+segmentation.+arXiv.">TransUNet: Transformers make strong encoders for medical image segmentation. arXiv.</a> arXiv:2102.04306. , (2021).</li><li>Ren, S., He, K., Girshick, R., Sun, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Faster+r-cnn:+Towards+real-time+object+detection+with+region+proposal+networks.">Faster r-cnn: Towards real-time object detection with region proposal networks.</a> Advances in Neural Information Processing Systems. 28, 91-99 (2015).</li><li>Li, H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=An+improved+deep+learning+approach+for+detection+of+thyroid+papillary+cancer+in+ultrasound+images.">An improved deep learning approach for detection of thyroid papillary cancer in ultrasound images.</a> Scientific Reports. 8, 6600 (2018).</li><li>Lin, T. -. Y., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Feature+pyramid+networks+for+object+detection.">Feature pyramid networks for object detection.</a> Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 2117-2125 (2017).</li><li>Ouahabi, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+review+of+wavelet+denoising+in+medical+imaging.">A review of wavelet denoising in medical imaging.</a> 2013 8th International Workshop on Systems, Signal Processing and their Applications. , 19-26 (2013).</li><li>Mahdaoui, A. E., Ouahabi, A., Moulay, M. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Image+denoising+using+a+compressive+sensing+approach+based+on+regularization+constraints.">Image denoising using a compressive sensing approach based on regularization constraints.</a> Sensors. 22 (6), 2199 (2022).</li><li>Castleman, K. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=.">.</a> Digital Image Processing. , (1996).</li><li>Liu, W., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Ssd:+Single+shot+multibox+detector.">Ssd: Single shot multibox detector.</a> European Conference on Computer Vision. , 21-37 (2016).</li><li>Redmon, J., Farhadi, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Yolov3:+An+incremental+improvement.">Yolov3: An incremental improvement.</a> arXiv. arXiv:1804.02767. , (2018).</li><li>Lin, T. -. Y., Goyal, P., Girshick, R., He, K., Doll&#225;r, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Focalloss+for+dense+object+detection.">Focalloss for dense object detection.</a> arXiv. arXiv:1708.02002. , (2017).</li><li>Carion, N., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=End-to-end+object+detection+with+transformers.">End-to-end object detection with transformers.</a> Computer Vision-ECCV 2020: 16th European Conference. , 23-28 (2020).</li></ol>

تصف هذه الورقة بالتفصيل كيفية إجراء إعداد البيئة وإعداد البيانات وتكوين النموذج والتدريب على الشبكة. في مرحلة إعداد البيئة ، يحتاج المرء إلى الانتباه للتأكد من أن المكتبات التابعة متوافقة ومتطابقة. معالجة البيانات هي خطوة مهمة للغاية. يجب بذل الوقت والجهد لضمان دقة التعليقات التوضيحية. ?...

ازداد معدل الإصابة بسرطان الغدة الدرقية بسرعة منذ عام 1970 ، خاصة بين النساء في منتصف العمر1. قد تتنبأ عقيدات الغدة الدرقية بظهور سرطان الغدة الدرقية ، ومعظم عقيدات الغدة الدرقية بدون أعراض2. الكشف المبكر عن عقيدات الغدة الدرقية مفيد جدا في علاج سرطان الغدة الدرقية. لذلك ، وفقا لإرشادات الممارسة الحالية ، يجب أن يخضع جميع المرضى الذين يعانون من تضخم الغدة الدرقية العقدي المشتبه به في الفحص البدني أو الذين لديهم نتائج تصوير غير طبيعية لمزيد من الفحص 3,4.
الموجات فوق الصوتية للغدة الدرقية (الولايات المتحدة) هي طريقة شائعة تستخدم للكشف عن آفات الغدة الدرقية وتوصيفها 5,6. الولايات المتحدة هي تقنية مريحة وغير مكلفة وخالية من الإشعاع. ومع ذلك ، فإن تطبيق الولايات المتحدة يتأثر بسهولة بالمشغل 7,8. يمكن تمييز ميزات مثل الشكل والحجم والصدى والملمس للعقيدات الدرقية بسهولة على الصور الأمريكية. على الرغم من أن بعض السمات الأمريكية - التكلسات ، والصدى ، والحدود غير المنتظمة - غالبا ما تعتبر معايير لتحديد عقيدات الغدة الدرقية ، إلا أن وجود تباين بين المراقبين أمر لا مفر منه 8,9. تختلف نتائج تشخيص أخصائيي الأشعة بمستويات مختلفة من الخبرة. من المرجح أن يخطئ أخصائيو الأشعة عديمي الخبرة في التشخيص أكثر من أخصائيي الأشعة ذوي الخبرة. يمكن أن تؤدي بعض خصائص الولايات المتحدة مثل الانعكاسات والظلال والأصداء إلى تدهور جودة الصورة. هذا التدهور في جودة الصورة الناجم عن طبيعة التصوير الأمريكي يجعل من الصعب حتى على الأطباء ذوي الخبرة تحديد موقع العقيدات بدقة.
تطور التشخيص بمساعدة الكمبيوتر (CAD) لعقيدات الغدة الدرقية بسرعة في السنوات الأخيرة ويمكن أن يقلل بشكل فعال من الأخطاء التي يسببها الأطباء المختلفون ويساعد أخصائيي الأشعة على تشخيص العقيدات بسرعة ودقة10,11. تم اقتراح العديد من أنظمة CAD المستندة إلى CNN لتحليل عقيدات الغدة الدرقية الأمريكية ، بما في ذلك التجزئة12،13 ، والكشف 14،15 ، والتصنيف16،17. CNN هو نموذج تعليمي متعدد الطبقات وخاضع للإشراف18 ، والوحدات الأساسية ل CNN هي طبقات الالتفاف والتجميع. يتم استخدام طبقات الالتفاف لاستخراج المعالم ، ويتم استخدام طبقات التجميع لاختزال العينات. يمكن لطبقات الظل التلافيفية استخراج الميزات الأساسية مثل النسيج والحواف والخطوط ، بينما تتعلم الطبقات التلافيفية العميقة ميزات دلالية عالية المستوى.
حققت CNNs نجاحا كبيرا في رؤية الكمبيوتر19،20،21. ومع ذلك ، تفشل شبكات CNN في التقاط التبعيات السياقية طويلة المدى بسبب المجال المستقبلي الصالح المحدود للطبقات التلافيفية. في الماضي ، كانت البنى الأساسية لتصنيف الصور تستخدم في الغالب شبكات CNN. مع ظهور Vision Transformer (ViT)22,23 ، تغير هذا الاتجاه ، والآن تستخدم العديد من النماذج الحديثة المحولات كعمود فقري. استنادا إلى تصحيحات الصور غير المتداخلة ، يستخدم ViT مشفر محول قياسي25 لنمذجة العلاقات المكانية عالميا. يقدم Swin Transformer24 أيضا نوافذ التحول لتعلم الميزات. لا توفر نوافذ التحول كفاءة أكبر فحسب ، بل تقلل أيضا بشكل كبير من طول التسلسل لأن الاهتمام الذاتي يتم حسابه في النافذة. في الوقت نفسه ، يمكن إجراء التفاعل بين نافذتين متجاورتين من خلال تشغيل التحول (الحركة). أدى التطبيق الناجح لمحول سوين في رؤية الكمبيوتر إلى التحقيق في البنى القائمة على المحولات لتحليل صور الموجات فوق الصوتية26.
في الآونة الأخيرة ، اقترح Li et al. نهج التعلم العميق28 للكشف عن سرطان الغدة الدرقية الحليمي المستوحى من Faster R-CNN27. أسرع R-CNN هي بنية كلاسيكية للكشف عن الكائنات تستند إلى CNN. يحتوي Faster R-CNN الأصلي على أربع وحدات - العمود الفقري ل CNN ، وشبكة اقتراح المنطقة (RPN) ، وطبقة تجميع عائد الاستثمار ، ورأس الكشف. يستخدم العمود الفقري ل CNN مجموعة من طبقات conv + bn + relu + التجميع الأساسية لاستخراج خرائط المعالم من صورة الإدخال. بعد ذلك ، يتم إدخال خرائط المعالم في RPN وطبقة تجميع عائد الاستثمار. ويتمثل دور شبكة RPN في وضع مقترحات إقليمية. تستخدم هذه الوحدة softmax لتحديد ما إذا كانت نقاط الارتساء موجبة وتولد نقاط ارتساء دقيقة عن طريق انحدار المربع المحيط. تستخرج طبقة تجميع عائد الاستثمار خرائط معالم الاقتراح من خلال جمع خرائط معالم الإدخال والمقترحات وتغذي خرائط معالم الاقتراح في رأس الكشف التالي. يستخدم رأس الكشف خرائط معالم الاقتراح لتصنيف الكائنات والحصول على مواضع دقيقة لمربعات الكشف عن طريق انحدار المربع المحيط.
تقدم هذه الورقة شبكة جديدة للكشف عن عقيدات الغدة الدرقية تسمى Swin Faster R-CNN تم تشكيلها عن طريق استبدال العمود الفقري ل CNN في Faster R-CNN بمحول Swin ، مما يؤدي إلى استخراج أفضل لميزات اكتشاف العقيدات من صور الموجات فوق الصوتية. وبالإضافة إلى ذلك، تستخدم الشبكة الهرمية للمعالم (FPN)29 لتحسين أداء الكشف عن نموذج العقيدات ذات الأحجام المختلفة عن طريق تجميع السمات ذات المقاييس المختلفة.

<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td>GPU RTX3090</td>
			<td>Nvidia</td>
			<td>1</td>
			<td>24G GPU</td>
		</tr>
		<tr>
			<td>mmdetection2.11.0</td>
			<td>SenseTime</td>
			<td>4</td>
			<td>https://github.com/open-mmlab/mmdetection.git</td>
		</tr>
		<tr>
			<td>python3.8</td>
			<td>&#8212;</td>
			<td>2</td>
			<td>https://www.python.org</td>
		</tr>
		<tr>
			<td>pytorch1.7.1</td>
			<td>Facebook</td>
			<td>3</td>
			<td>https://pytorch.org</td>
		</tr>
	</tbody>
</table>

a swin transformer-based model for thyroid nodule detection in ultrasound images

في السنوات الأخيرة ، تزايد معدل الإصابة بسرطان الغدة الدرقية. يعد اكتشاف عقيدات الغدة الدرقية أمرا بالغ الأهمية للكشف عن سرطان الغدة الدرقية وعلاجه. حققت الشبكات العصبية التلافيفية (CNNs) نتائج جيدة في مهام تحليل صور الموجات فوق الصوتية للغدة الدرقية. ومع ذلك ، نظرا لمحدودية مجال الاستقبال الصحيح للطبقات التلافيفية ، تفشل شبكات CNN في التقاط التبعيات السياقية طويلة المدى ، والتي تعتبر مهمة لتحديد عقيدات الغدة الدرقية في صور الموجات فوق الصوتية. شبكات المحولات فعالة في التقاط المعلومات السياقية طويلة المدى. مستوحاة من هذا ، نقترح طريقة جديدة للكشف عن عقيدات الغدة الدرقية تجمع بين العمود الفقري لمحول سوين و Faster R-CNN. على وجه التحديد ، يتم عرض صورة الموجات فوق الصوتية أولا في تسلسل 1D من عمليات التضمين ، والتي يتم إدخالها بعد ذلك في محول سوين الهرمي. 
يتميز العمود الفقري لمحول Swin بخمسة مقاييس مختلفة من خلال استخدام النوافذ المتغيرة لحساب الانتباه الذاتي. بعد ذلك ، يتم استخدام شبكة هرمية للمعالم (FPN) لدمج الميزات من مقاييس مختلفة. أخيرا ، يتم استخدام رأس الكشف للتنبؤ بالمربعات المحيطة ودرجات الثقة المقابلة. تم استخدام البيانات التي تم جمعها من 2,680 مريضا لإجراء التجارب ، وأظهرت النتائج أن هذه الطريقة حققت أفضل درجة mAP بنسبة 44.8٪ ، متفوقة على خطوط الأساس المستندة إلى CNN. بالإضافة إلى ذلك ، اكتسبنا حساسية أفضل (90.5٪) من المنافسين. يشير هذا إلى أن نمذجة السياق في هذا النموذج فعالة للكشف عن عقيدات الغدة الدرقية.

تم جمع صور الغدة الدرقية الأمريكية من مستشفيين في الصين من سبتمبر 2008 إلى فبراير 2018. كانت معايير الأهلية لتضمين الصور الأمريكية في هذه الدراسة هي الفحص الأمريكي التقليدي قبل الخزعة والعلاج الجراحي ، والتشخيص بالخزعة أو علم الأمراض بعد الجراحة ، والعمر ≥ 18 عاما. كانت معايير الاستبعاد هي ال?...

Watch this Scientific Journal Video about A Swin Transformer-Based Model for Thyroid Nodule Detection in Ultrasound Images at JoVE.com

A Swin Transformer-Based Model for Thyroid Nodule Detection in Ultrasound Images

هنا ، يقترح نموذج جديد للكشف عن عقيدات الغدة الدرقية في صور الموجات فوق الصوتية ، والذي يستخدم Swin Transformer كعمود فقري لإجراء نمذجة السياق طويلة المدى. تثبت التجارب أنه يعمل بشكل جيد من حيث الحساسية والدقة.

نموذج قائم على محول سوين للكشف عن عقيدات الغدة الدرقية في صور الموجات فوق الصوتية

In recent years, the incidence of thyroid cancer has been increasing. Thyroid nodule detection is critical for both the detection and treatment of thyroid ...

ينفذ هذا البرنامج تدبيرا تلقائيا وفعالا للكشف عن عقيدات الغدة الدرقية ، مما قد يقلل من عبء العمل على الأطباء في المستقبل. تطبق هذه التقنية محول سوين على شبكة الكشف عن العقيدات. تعتبر محولات Swin فعالة في التقاط معلومات المحتوى بعيدة المدى ، وهو أمر مفيد للغاية في تحسين حساسية احتجاز العقيدات.للبدء ، افتح محطة طرفية على الجهاز وقم بتثبيت Python 3.8 عن طريق كتابة sudo apt-get install python3.8 في سطر الأوامر. لتثبيت PyTorch 1.7 ، انتقل إلى الموقع الرسمي ل Miniconda وقم بتثبيته. ثم قم بإنشاء بيئة Conda عن طريق كتابة الأمر الظاهر على الشاشة في سطر الأوامر ، وقم بتنشيطه عن طريق كتابة conda activate SwinFastRCNN.قم بتثبيت PyTorch عن طريق كتابة الأمر الموضح في سطر الأوامر. لتثبيت اكتشاف MM ، قم بالاستنساخ من مستودع GitHub الرسمي ، ثم قم بتثبيت MM Detection عن طريق كتابة الأمر pip install v e في سطر الأوامر. افتح schedule_1x.py في محرر نصوص Vim وقم بتحرير الملف لتعيين المعلمات الافتراضية المتعلقة بالتدريب ، بما في ذلك المحسن ومعدل التعلم والملحمة. ابدأ التدريب بكتابة الأمر الظاهر على الشاشة. انتظر حتى تبدأ الشبكة التدريب على 48 ملحمة ، وحتى يتم إنشاء الأوزان المدربة الناتجة لشبكة SwinFastRCNN في مجلد الإخراج.احفظ أوزان النموذج بأعلى دقة في مجموعة التحقق من الصحة. بعد التدريب ، حدد النموذج الذي يتمتع بأفضل أداء في مجموعة التحقق من الصحة للكشف عن عقيدات الغدة الدرقية في الصور الجديدة. قم بتشغيل البرنامج النصي للاختبار لتغيير حجم الصورة إلى 512 بكسل × 512 بكسل وتطبيعها.انتظر حتى يقوم البرنامج النصي بتحميل معلمات النموذج المدربة مسبقا تلقائيا إلى SwinFastRCNN ، وقم بتغذية الصورة المعالجة مسبقا في SwinFastRCNN للاستدلال. انتظر حتى يقوم SwinFastRCNN بإخراج مربع التنبؤ لكل صورة. أخيرا ، اسمح للبرنامج النصي بإجراء المعالجة اللاحقة ل NMS تلقائيا على كل صورة لإزالة مربعات الكشف المكررة.يتم عرض نتائج الكشف لنفس الصورة في صف معين. الأعمدة هي نتائج الكشف عن SwinFastRCNN و FastRCNN و YOLOv3 و SSD و RetinaNet و DETR. يتم تمييز الحقائق الأرضية للمناطق بصناديق مستطيلة خضراء.يتم تأطير نتائج الكشف بواسطة الصناديق المستطيلة الحمراء. من المهم جدا تحديد المعلمة الفائقة المناسبة لضمان تلك التقارب التي يجب تحديدها من خلال العديد من التجارب.

Research

JoVE Journal

Medicine

Multi-modal Imaging of Angiogenesis in a Nude Rat Model of Breast Cancer Bone Metastasis Using Magnetic Resonance Imaging, Volumetric Computed Tomography and Ultrasound

ومتعددة الوسائط التصوير من الأوعية الدموية في نموذج الفئران عاري من سرطان الثدي الإنبثاث العظام باستخدام التصوير بالرنين المغناطيسي، الحجمي التصوير المقطعي والموجات فوق الصوتية

Angiogenesis is an essential feature of cancer growth and metastasis formation. In bone metastasis, angiogenic factors are pivotal for tumor cell ...

Cerenkov Luminescence Imaging (CLI) for Cancer Therapy Monitoring

Cerenkov Luminescence Imaging CLI for Cancer Therapy Monitoring

كيرينكوف التصوير التلألؤ (CLI) لرصد علاج السرطان

In  molecular imaging, positron emission tomography (PET) and optical imaging (OI)  are two of the most important and thus most widely used modalities1-3. ...

An Orthotopic Mouse Model of Anaplastic Thyroid Carcinoma

ماوس نموذج مثلي من سرطان الغدة الدرقية كشمي

Several types of animal models of human thyroid carcinomas have been established, including subcutaneous xenograft and orthotopic implantation of cancer ...

Substernal Thyroid Biopsy Using Endobronchial Ultrasound-guided Transbronchial Needle Aspiration

تحت القص خزعة الغدة الدرقية عن طريق الموجات فوق الصوتية داخل القصبة الموجهة إبرة الرشف

Substernal thyroid goiter (STG) represents about 5.8% of all mediastinal lesions1. There is a wide variation in the published incidence rates due to the ...

Intra-Operative Neural Monitoring of Thyroid Surgery in a Porcine Model

رصد العصبية داخل منطوق جراحة الغدة الدرقية في نموذج الخنزير

Intraoperative injury to the recurrent laryngeal nerve (RLN) can cause vocal cord paralysis, which interferes with speech and can potentially interfere ...

Isometric Contractility Measurement of the Mouse Mesenteric Artery Using Wire Myography

متساوي القياس كونتراكتيليتي القياس الشريان المساريقي العلوي الماوس باستخدام أسلاك ميوجرافي

The wire myograph technique is used to assess the contractility of vascular smooth muscles in response to depolarization, GPCR agonists/inhibitors and ...

Electromagnetic Navigation Transthoracic Nodule Localization for Minimally Invasive Thoracic Surgery

الملاحة الكهرومغناطيسية توطين العقيدات عبر الصدر لجراحة الصدر طفيفة التوغل

The increased use of chest computed tomography (CT) has led to an increased detection of pulmonary nodules requiring diagnostic evaluation and/or ...

A Pleural Effusion Model in Rats by Intratracheal Instillation of Polyacrylate/Nanosilica

نموذج انصباب الجنبي في الفئران بتقطير تحسن من بولياكريلاتي/نانوسيليكا

Pleural effusion is a prevalent clinical finding of many pulmonary diseases. Having a useful animal pleural effusion model is very important to study ...

A Personalized 3D-Printed Model for Preoperative Evaluation in Thyroid Surgery

نموذج شخصي مطبوع 3D للتقييم قبل الجراحة في جراحة الغدة الدرقية

The anatomic structure of the surgical area of thyroid cancer is complex. It is very important to comprehensively and carefully evaluate the tumor ...

Point-of-Care Ultrasound: A Review of Ultrasound Parameters for Predicting Difficult Airways

الموجات فوق الصوتية في نقطة الرعاية: مراجعة معلمات الموجات فوق الصوتية للتنبؤ بالمسالك الهوائية الصعبة

Airway management remains a crucial part of perioperative care. The conventional approach to assessing potentially difficult airways emphasizes the LEMON ...