Name: a swin transformer-based model for thyroid nodule detection in ultrasound images
Uploaded: 2023-04-21T14:15:00
Description: Watch this Scientific Journal Video about A Swin Transformer-Based Model for Thyroid Nodule Detection in Ultrasound Images at JoVE.com

מחקר זה נתמך על ידי הקרן הלאומית למדעי הטבע של סין (מענק מס '32101188) והפרויקט הכללי של מחלקת המדע והטכנולוגיה של מחוז סצ'ואן (מענק מס '2021YFS0102), סין.

מחקר רטרוספקטיבי זה אושר על ידי מועצת הביקורת המוסדית של בית החולים מערב סין, אוניברסיטת סצ'ואן, סצ'ואן, סין, והדרישה לקבלת הסכמה מדעת בוטלה.
1. הגדרת סביבה
<ol><li>תוכנת יחידת עיבוד גרפי (GPU)<ol><li>כדי ליישם יישומי למידה עמוקה, תחילה הגדר את הסביבה הקשורה ל- GPU. הורד והתקן ת?...

<ol>
	<li>Grant, E. G., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Thyroid+ultrasound+reporting+lexicon:+White+paper+of+the+ACR+Thyroid+Imaging,+Reporting+and+Data+System+(TIRADS)+committee.">Thyroid ultrasound reporting lexicon: White paper of the ACR Thyroid Imaging, Reporting and Data System (TIRADS) committee.</a> Journal of the American College of Radiology. 12 (12 Pt A), 1272-1279 (2015).</li><li>Zhao, J., Zheng, W., Zhang, L., Tian, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Segmentation+of+ultrasound+images+of+thyroid+nodule+for+assisting+fine+needle+aspiration+cytology.">Segmentation of ultrasound images of thyroid nodule for assisting fine needle aspiration cytology.</a> Health Information Science and Systems. 1, 5 (2013).</li><li>Haugen, B. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=American+Thyroid+Association+management+guidelines+for+adult+patients+with+thyroid+nodules+and+differentiated+thyroid+cancer:+What+is+new+and+what+has+changed.">American Thyroid Association management guidelines for adult patients with thyroid nodules and differentiated thyroid cancer: What is new and what has changed.</a> Cancer. 123 (3), 372-381 (2017).</li><li>Shin, J. H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Ultrasonography+diagnosis+and+imaging-based+management+of+thyroid+nodules:+Revised+Korean+Society+of+Thyroid+Radiology+consensus+statement+and+recommendations.">Ultrasonography diagnosis and imaging-based management of thyroid nodules: Revised Korean Society of Thyroid Radiology consensus statement and recommendations.</a> Korean Journal of Radiology. 17 (3), 370-395 (2016).</li><li>Horvath, E., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=An+ultrasonogram+reporting+system+for+thyroid+nodules+stratifying+cancer+risk+for+clinical+management.">An ultrasonogram reporting system for thyroid nodules stratifying cancer risk for clinical management.</a> The Journal of Clinical Endocrinology &amp; Metabolism. 94 (5), 1748-1751 (2009).</li><li>Park, J. -. Y., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+proposal+for+a+thyroid+imaging+reporting+and+data+system+for+ultrasound+features+of+thyroid+carcinoma.">A proposal for a thyroid imaging reporting and data system for ultrasound features of thyroid carcinoma.</a> Thyroid. 19 (11), 1257-1264 (2009).</li><li>Moon, W. -. J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Benign+and+malignant+thyroid+nodules:+US+differentiation-Multicenter+retrospective+study.">Benign and malignant thyroid nodules: US differentiation-Multicenter retrospective study.</a> Radiology. 247 (3), 762-770 (2008).</li><li>Park, C. S., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Observer+variability+in+the+sonographic+evaluation+of+thyroid+nodules.">Observer variability in the sonographic evaluation of thyroid nodules.</a> Journal of Clinical Ultrasound. 38 (6), 287-293 (2010).</li><li>Kim, S. H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Observer+variability+and+the+performance+between+faculties+and+residents:+US+criteria+for+benign+and+malignant+thyroid+nodules.">Observer variability and the performance between faculties and residents: US criteria for benign and malignant thyroid nodules.</a> Korean Journal of Radiology. 11 (2), 149-155 (2010).</li><li>Choi, Y. J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+computer-aided+diagnosis+system+using+artificial+intelligence+for+the+diagnosis+and+characterization+of+thyroid+nodules+on+ultrasound:+initial+clinical+assessment.">A computer-aided diagnosis system using artificial intelligence for the diagnosis and characterization of thyroid nodules on ultrasound: initial clinical assessment.</a> Thyroid. 27 (4), 546-552 (2017).</li><li>Chang, T. -. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=The+role+of+computer-aided+detection+and+diagnosis+system+in+the+differential+diagnosis+of+thyroid+lesions+in+ultrasonography.">The role of computer-aided detection and diagnosis system in the differential diagnosis of thyroid lesions in ultrasonography.</a> Journal of Medical Ultrasound. 23 (4), 177-184 (2015).</li><li>Li, X. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Fully+convolutional+networks+for+ultrasound+image+segmentation+of+thyroid+nodules.">Fully convolutional networks for ultrasound image segmentation of thyroid nodules.</a> , 886-890 (2018).</li><li>Nguyen, D. T., Choi, J., Park, K. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Thyroid+nodule+segmentation+in+ultrasound+image+based+on+information+fusion+of+suggestion+and+enhancement+networks.">Thyroid nodule segmentation in ultrasound image based on information fusion of suggestion and enhancement networks.</a> Mathematics. 10 (19), 3484 (2022).</li><li>Ma, J., Wu, F., Jiang, T. A., Zhu, J., Kong, D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Cascade+convolutional+neural+networks+for+automatic+detection+of+thyroid+nodules+in+ultrasound+images.">Cascade convolutional neural networks for automatic detection of thyroid nodules in ultrasound images.</a> Medical Physics. 44 (5), 1678-1691 (2017).</li><li>Song, W., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Multitask+cascade+convolution+neural+networks+for+automatic+thyroid+nodule+detection+and+recognition.">Multitask cascade convolution neural networks for automatic thyroid nodule detection and recognition.</a> IEEE Journal of Biomedical and Health Informatics. 23 (3), 1215-1224 (2018).</li><li>Wang, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Learning+from+weakly-labeled+clinical+data+for+automatic+thyroid+nodule+classification+in+ultrasound+images.">Learning from weakly-labeled clinical data for automatic thyroid nodule classification in ultrasound images.</a> , 3114-3118 (2018).</li><li>Wang, L., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+multi-scale+densely+connected+convolutional+neural+network+for+automated+thyroid+nodule+classification.">A multi-scale densely connected convolutional neural network for automated thyroid nodule classification.</a> Frontiers in Neuroscience. 16, 878718 (2022).</li><li>Krizhevsky, A., Sutskever, I., Hinton, G. E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Imagenet+classification+with+deep+convolutional+neural+networks.">Imagenet classification with deep convolutional neural networks.</a> Communications of the ACM. 60 (6), 84-90 (2017).</li><li>He, K., Zhang, X., Ren, S., Sun, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Deep+residual+learning+for+image+recognition.">Deep residual learning for image recognition.</a> Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 770-778 (2016).</li><li>Hu, H., Gu, J., Zhang, Z., Dai, J., Wei, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Relation+networks+for+object+detection.">Relation networks for object detection.</a> Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 3588-3597 (2018).</li><li>Szegedy, C., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Going+deeper+with+convolutions.">Going deeper with convolutions.</a> Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 1-9 (2015).</li><li>Dosovitskiy, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=An+image+is+worth+16x16+words:+Transformers+for+image+recognition+at+scale.">An image is worth 16x16 words: Transformers for image recognition at scale.</a> arXiv preprint arXiv:2010.11929. , (2020).</li><li>Touvron, H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Training+data-efficient+image+transformers+&amp;+distillation+through+attention.">Training data-efficient image transformers &amp; distillation through attention.</a> arXiv:2012.12877. , (2021).</li><li>Liu, Z., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Swin+Transformer:+Hierarchical+vision+transformer+using+shifted+windows.">Swin Transformer: Hierarchical vision transformer using shifted windows.</a> 2021 IEEE/CVF International Conference on Computer Vision (ICCV). , 9992-10002 (2021).</li><li>Vaswani, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Attention+is+all+you+need.">Attention is all you need.</a> Advances in Neural Information Processing Systems. 30, (2017).</li><li>Chen, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=TransUNet:+Transformers+make+strong+encoders+for+medical+image+segmentation.+arXiv.">TransUNet: Transformers make strong encoders for medical image segmentation. arXiv.</a> arXiv:2102.04306. , (2021).</li><li>Ren, S., He, K., Girshick, R., Sun, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Faster+r-cnn:+Towards+real-time+object+detection+with+region+proposal+networks.">Faster r-cnn: Towards real-time object detection with region proposal networks.</a> Advances in Neural Information Processing Systems. 28, 91-99 (2015).</li><li>Li, H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=An+improved+deep+learning+approach+for+detection+of+thyroid+papillary+cancer+in+ultrasound+images.">An improved deep learning approach for detection of thyroid papillary cancer in ultrasound images.</a> Scientific Reports. 8, 6600 (2018).</li><li>Lin, T. -. Y., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Feature+pyramid+networks+for+object+detection.">Feature pyramid networks for object detection.</a> Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 2117-2125 (2017).</li><li>Ouahabi, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+review+of+wavelet+denoising+in+medical+imaging.">A review of wavelet denoising in medical imaging.</a> 2013 8th International Workshop on Systems, Signal Processing and their Applications. , 19-26 (2013).</li><li>Mahdaoui, A. E., Ouahabi, A., Moulay, M. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Image+denoising+using+a+compressive+sensing+approach+based+on+regularization+constraints.">Image denoising using a compressive sensing approach based on regularization constraints.</a> Sensors. 22 (6), 2199 (2022).</li><li>Castleman, K. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=.">.</a> Digital Image Processing. , (1996).</li><li>Liu, W., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Ssd:+Single+shot+multibox+detector.">Ssd: Single shot multibox detector.</a> European Conference on Computer Vision. , 21-37 (2016).</li><li>Redmon, J., Farhadi, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Yolov3:+An+incremental+improvement.">Yolov3: An incremental improvement.</a> arXiv. arXiv:1804.02767. , (2018).</li><li>Lin, T. -. Y., Goyal, P., Girshick, R., He, K., Doll&#225;r, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Focalloss+for+dense+object+detection.">Focalloss for dense object detection.</a> arXiv. arXiv:1708.02002. , (2017).</li><li>Carion, N., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=End-to-end+object+detection+with+transformers.">End-to-end object detection with transformers.</a> Computer Vision-ECCV 2020: 16th European Conference. , 23-28 (2020).</li></ol>

מאמר זה מתאר בפירוט כיצד לבצע את הגדרת הסביבה, הכנת הנתונים, תצורת המודל והדרכת הרשת. בשלב הגדרת הסביבה, יש לשים לב כדי לוודא שהספריות התלויות תואמות ותואמות. עיבוד נתונים הוא צעד חשוב מאוד; יש להשקיע זמן ומאמץ כדי להבטיח את דיוק הביאורים. בעת אימון המודל, ייתכן שתיתקל ב- "ModuleNotFoundError". במקרה ז?...

שכיחות סרטן בלוטת התריס עלתה במהירות מאז 1970, במיוחד בקרב נשים בגיל העמידה1. גושים בבלוטת התריס עשויים לנבא את הופעתו של סרטן בלוטת התריס, ורוב גושי בלוטת התריס הם אסימפטומטיים2. גילוי מוקדם של גושים בבלוטת התריס עוזר מאוד בריפוי סרטן בלוטת התריס. לכן, על פי הנחיות התרגול הנוכחיות, כל החולים עם חשד לזפקת נודולרית בבדיקה גופנית או עם ממצאי הדמיה חריגים צריכים לעבור בדיקה נוספת 3,4.
אולטרסאונד בלוטת התריס (US) היא שיטה נפוצה המשמשת לאיתור ואפיון נגעים בבלוטת התריס 5,6. ארה"ב היא טכנולוגיה נוחה, זולה ונטולת קרינה. עם זאת, היישום של US מושפע בקלות על ידי מפעיל 7,8. תכונות כגון הצורה, הגודל, האקוגניות והמרקם של גושי בלוטת התריס ניתנות להבחנה בקלות בתמונות אמריקאיות. למרות שמאפיינים מסוימים בארה"ב - הסתיידויות, אקוגניות וגבולות לא סדירים - נחשבים לעתים קרובות לקריטריונים לזיהוי גושים בבלוטת התריס, נוכחותה של שונות בין צופים היא בלתי נמנעת 8,9. תוצאות האבחון של רדיולוגים בעלי רמות ניסיון שונות שונות. רדיולוגים לא מנוסים נוטים יותר לאבחן לא נכון מאשר רדיולוגים מנוסים. מאפיינים מסוימים של ארה"ב כגון השתקפויות, צללים והדים עלולים לפגוע באיכות התמונה. ירידה זו באיכות התמונה הנגרמת על ידי אופי ההדמיה בארה"ב מקשה אפילו על רופאים מנוסים לאתר גושים במדויק.
אבחון בעזרת מחשב (CAD) עבור גושים בבלוטת התריס התפתח במהירות בשנים האחרונות והוא יכול להפחית ביעילות טעויות הנגרמות על ידי רופאים שונים ולסייע לרדיולוגים לאבחן גושים במהירות ובדייקנות10,11. מערכות CAD שונות מבוססות CNN הוצעו לניתוח קשריות בארה"ב של בלוטת התריס, כולל סגמנטציה 12,13, זיהוי 14,15 וסיווג 16,17. CNN הוא מודל למידה רב-שכבתי ומפוקח18, ומודולי הליבה של CNN הם שכבות הפיתול והאיגום. שכבות הפיתול משמשות לחילוץ תכונות, ושכבות האיגום משמשות לדגימת הפחתה. שכבות פיתול הצל יכולות לחלץ תכונות עיקריות כגון מרקם, קצוות וקווי מתאר, ואילו שכבות קונבולוציה עמוקות לומדות תכונות סמנטיות ברמה גבוהה.
CNN זכו להצלחה רבה בראייה ממוחשבת 19,20,21. עם זאת, CNN אינם מצליחים ללכוד תלות הקשרית ארוכת טווח בשל שדה הקלט החוקי המוגבל של שכבות הפיתול. בעבר, ארכיטקטורות עמוד השדרה לסיווג תמונות השתמשו בעיקר ב-CNN. עם הופעתו של Vision Transformer (ViT)22,23, מגמה זו השתנתה, וכעת דגמים חדישים רבים משתמשים בשנאים כעמוד שדרה. בהתבסס על תיקוני תמונה שאינם חופפים, ViT משתמש במקודד שנאיסטנדרטי 25 כדי למדל יחסים מרחביים גלובליים. Swin Transformer24 מציג גם חלונות משמרות כדי ללמוד תכונות. חלונות המשמרת לא רק מביאים יעילות רבה יותר, אלא גם מפחיתים מאוד את אורך הרצף מכיוון שתשומת הלב העצמית מחושבת בחלון. יחד עם זאת, האינטראקציה בין שני חלונות סמוכים יכולה להתבצע באמצעות פעולת הסטה (תנועה). היישום המוצלח של שנאי סווין בראייה ממוחשבת הוביל לחקירת ארכיטקטורות מבוססות שנאים לניתוח תמונת אולטרסאונד26.
לאחרונה, Li et al. הציעו גישת למידה עמוקה28 לגילוי סרטן פפילרי של בלוטת התריס בהשראת R-CNN27 מהיר יותר. R-CNN מהיר יותר היא ארכיטקטורת זיהוי אובייקטים קלאסית מבוססת CNN. ל- R-CNN המהיר המקורי יש ארבעה מודולים - עמוד השדרה של CNN, רשת הצעת האזור (RPN), שכבת איגום החזר ההשקעה וראש האיתור. עמוד השדרה של CNN משתמש בקבוצה של שכבות conv + bn + relu + איגום בסיסיות כדי לחלץ מפות תכונות מתמונת הקלט. לאחר מכן, מפות התכונות מוזנות לתוך RPN ושכבת איגום ROI. תפקידה של רשת RPN הוא ליצור הצעות אזוריות. מודול זה משתמש ב- softmax כדי לקבוע אם עוגנים הם חיוביים ויוצר עוגנים מדויקים על ידי רגרסיה של תיבה תוחמת. שכבת איגום החזר ההשקעה מחלצת את מפות תכונות ההצעה על ידי איסוף מפות תכונות הקלט וההצעות ומזינה את מפות תכונות ההצעה לראש הזיהוי הבא. ראש הזיהוי משתמש במפות תכונת ההצעה כדי לסווג אובייקטים ולקבל מיקומים מדויקים של תיבות הזיהוי על ידי רגרסיה של תיבה תוחמת.
מאמר זה מציג רשת חדשה לזיהוי קשריות בלוטת התריס בשם Swin Faster R-CNN שנוצרה על ידי החלפת עמוד השדרה של CNN ב- R-CNN מהיר יותר בשנאי Swin, מה שמביא למיצוי טוב יותר של תכונות לזיהוי קשריות מתמונות אולטרסאונד. בנוסף, רשת פירמידת התכונות (FPN)29 משמשת לשיפור ביצועי הזיהוי של המודל עבור גושים בגדלים שונים על ידי צבירת תכונות של קשקשים שונים.

<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td>GPU RTX3090</td>
			<td>Nvidia</td>
			<td>1</td>
			<td>24G GPU</td>
		</tr>
		<tr>
			<td>mmdetection2.11.0</td>
			<td>SenseTime</td>
			<td>4</td>
			<td>https://github.com/open-mmlab/mmdetection.git</td>
		</tr>
		<tr>
			<td>python3.8</td>
			<td>&#8212;</td>
			<td>2</td>
			<td>https://www.python.org</td>
		</tr>
		<tr>
			<td>pytorch1.7.1</td>
			<td>Facebook</td>
			<td>3</td>
			<td>https://pytorch.org</td>
		</tr>
	</tbody>
</table>

a swin transformer-based model for thyroid nodule detection in ultrasound images

בשנים האחרונות חלה עלייה בשכיחות סרטן בלוטת התריס. זיהוי קשריות בלוטת התריס הוא קריטי הן לגילוי והן לטיפול בסרטן בלוטת התריס. רשתות עצביות קונבולוציוניות (CNN) השיגו תוצאות טובות במשימות ניתוח תמונה של אולטרסאונד בלוטת התריס. עם זאת, בשל שדה הקלט התקף המוגבל של שכבות קונבולוציוניות, CNN אינם מצליחים ללכוד תלות הקשרית ארוכת טווח, החשובה לזיהוי גושים בבלוטת התריס בתמונות אולטרסאונד. רשתות טרנספורמר יעילות בלכידת מידע קונטקסטואלי ארוך טווח. בהשראת זה, אנו מציעים שיטה חדשנית לזיהוי קשריות בלוטת התריס המשלבת את עמוד השדרה של Swin Transformer ואת R-CNN המהיר יותר. באופן ספציפי, תמונת אולטרסאונד מוקרנת תחילה לתוך רצף 1D של הטבעות, אשר מוזנות לאחר מכן לתוך שנאי Swin היררכי. 
עמוד השדרה של Swin Transformer מחלץ תכונות בחמישה קני מידה שונים על ידי שימוש בחלונות מוסטים לחישוב תשומת לב עצמית. לאחר מכן, רשת פירמידת תכונות (FPN) משמשת להתיך את התכונות מקשקשים שונים. לבסוף, ראש זיהוי משמש לחיזוי תיבות תוחמות ואת ציוני הביטחון המתאימים. נתונים שנאספו מ -2,680 חולים שימשו לביצוע הניסויים, והתוצאות הראו כי שיטה זו השיגה את ציון mAP הטוב ביותר של 44.8%, יותר מאשר קווי בסיס מבוססי CNN. בנוסף, צברנו רגישות טובה יותר (90.5%) מהמתחרים. זה מצביע על כך שמידול הקשר במודל זה יעיל לזיהוי קשריות בלוטת התריס.

תמונות בלוטת התריס בארה"ב נאספו משני בתי חולים בסין מספטמבר 2008 עד פברואר 2018. קריטריוני הזכאות להכללת התמונות האמריקאיות במחקר זה היו בדיקה אמריקאית קונבנציונלית לפני ביופסיה וטיפול כירורגי, אבחון בביופסיה או פתולוגיה לאחר ניתוח, וגיל ≥ 18 שנים. קריטריוני ההחרגה היו תמונות ללא רקמות בלוטת ...

Watch this Scientific Journal Video about A Swin Transformer-Based Model for Thyroid Nodule Detection in Ultrasound Images at JoVE.com

A Swin Transformer-Based Model for Thyroid Nodule Detection in Ultrasound Images

כאן מוצע מודל חדש לזיהוי קשריות בלוטת התריס בתמונות אולטרסאונד, המשתמש בשנאי Swin כעמוד השדרה לביצוע מידול הקשר ארוך טווח. ניסויים מוכיחים כי הוא מתפקד היטב במונחים של רגישות ודיוק.

מודל מבוסס Swin Transformer לזיהוי קשריות בבלוטת התריס בתמונות אולטרסאונד

In recent years, the incidence of thyroid cancer has been increasing. Thyroid nodule detection is critical for both the detection and treatment of thyroid ...

תוכנית זו מיישמת אמצעי אוטומטי ויעיל לאיתור גושים בבלוטת התריס, אשר עשוי להפחית את עומס העבודה של הרופאים בעתיד. טכניקה זו מיישמת שנאי Swin לרשת זיהוי גושים. Swin רובוטריקים יעילים בלכידת מידע תוכן לטווח ארוך, מה שעוזר מאוד בשיפור הרגישות של מעצר גושים.כדי להתחיל, פתח מסוף במחשב והתקן את Python 3.8 על ידי הקלדת sudo apt-get install python3.8 בשורת הפקודה. כדי להתקין PyTorch 1.7, עבור אל האתר הרשמי של Miniconda ולהתקין אותו. לאחר מכן צור סביבת Conda על ידי הקלדת הפקודה המוצגת על המסך בשורת הפקודה, והפעל אותה על ידי הקלדת conda activate SwinFasterRCNN.התקן את PyTorch על ידי כתיבת הפקודה המוצגת בשורת הפקודה. עבור התקנת זיהוי MM, שכפל מהמאגר הרשמי של GitHub ולאחר מכן התקן את MM Detection על-ידי כתיבת הפקודה pip install v e בשורת הפקודה. פתח את schedule_1x.קובץ py בעורך הטקסט Vim וערוך את הקובץ כדי להגדיר את הפרמטרים הקשורים לאימון כברירת מחדל, כולל הממטב, קצב הלמידה והאפוס. התחל את האימון על-ידי הקלדת הפקודה המוצגת על המסך. המתן עד שהרשת תתחיל את האימון במשך 48 אפיקים, וכדי שהמשקולות המאומנות המתקבלות של רשת SwinFasterRCNN ייווצרו בתיקיית הפלט.שמור את משקלי הדגם בדיוק הגבוה ביותר בערכת האימות. לאחר האימון, בחרו את הדגם עם הביצועים הטובים ביותר בערכת האימות לזיהוי קשריות בבלוטת התריס בתמונות החדשות. הפעל את סקריפט הבדיקה כדי לשנות את גודל התמונה ל- 512 פיקסלים על 512 פיקסלים ולנרמל אותה.המתן עד שהסקריפט יטען באופן אוטומטי את פרמטרי המודל שאומנו מראש ל- SwinFasterRCNN, והזן את התמונה המעובדת מראש לתוך SwinFasterRCNN לצורך הסקת מסקנות. המתן עד ש- SwinFasterRCNN יפיק את תיבת החיזוי עבור כל תמונה. לבסוף, אפשר לסקריפט לבצע באופן אוטומטי עיבוד NMS לאחר בכל תמונה כדי להסיר את תיבות זיהוי הכפילויות.תוצאות הזיהוי של אותה תמונה מוצגות בשורה נתונה. העמודות הן תוצאות הזיהוי עבור SwinFasterRCNN, FasterRCNN, YOLOv3, SSD, RetinaNet ו- DETR. אמיתות הקרקע של האזורים מסומנות בתיבות מלבניות ירוקות.תוצאות הזיהוי ממוסגרות על-ידי התיבות המלבניות האדומות. חשוב מאוד לבחור את פרמטר היפר המתאים כדי להבטיח אלה מתכנסים, אשר צריך להיקבע על ידי ניסויים רבים.

Research

JoVE Journal

Medicine

Multi-modal Imaging of Angiogenesis in a Nude Rat Model of Breast Cancer Bone Metastasis Using Magnetic Resonance Imaging, Volumetric Computed Tomography and Ultrasound

רב מודלי הדמיה של אנגיוגנזה מודל עכברים עירום של גרורות סרטן השד עצם באמצעות דימות תהודה מגנטית, טומוגרפיה ממוחשבת נפחית ו אולטראסאונד

Angiogenesis is an essential feature of cancer growth and metastasis formation. In bone metastasis, angiogenic factors are pivotal for tumor cell ...

Cerenkov Luminescence Imaging (CLI) for Cancer Therapy Monitoring

Cerenkov Luminescence Imaging CLI for Cancer Therapy Monitoring

Cerenkov הארת ההדמיה (CLI) לניטור ריפוי הסרטן

In  molecular imaging, positron emission tomography (PET) and optical imaging (OI)  are two of the most important and thus most widely used modalities1-3. ...

An Orthotopic Mouse Model of Anaplastic Thyroid Carcinoma

מודל עכבר orthotopic של קרצינומה של בלוטת התריס אנפלסטית

Several types of animal models of human thyroid carcinomas have been established, including subcutaneous xenograft and orthotopic implantation of cancer ...

Substernal Thyroid Biopsy Using Endobronchial Ultrasound-guided Transbronchial Needle Aspiration

Substernal בלוטת התריס הביופסיה באמצעות מחט Transbronchial איפה מודרכת אולטראסאונד Endobronchial

Substernal thyroid goiter (STG) represents about 5.8% of all mediastinal lesions1. There is a wide variation in the published incidence rates due to the ...

Intra-Operative Neural Monitoring of Thyroid Surgery in a Porcine Model

ניטור עצבית אינטרה-פעיל של ניתוח בלוטת התריס במודל חזירי

Intraoperative injury to the recurrent laryngeal nerve (RLN) can cause vocal cord paralysis, which interferes with speech and can potentially interfere ...

Isometric Contractility Measurement of the Mouse Mesenteric Artery Using Wire Myography

Contractility איזומטרי מדידה של עורק מצע המעי העליון העכבר באמצעות חוט Myography

The wire myograph technique is used to assess the contractility of vascular smooth muscles in response to depolarization, GPCR agonists/inhibitors and ...

Electromagnetic Navigation Transthoracic Nodule Localization for Minimally Invasive Thoracic Surgery

לוקליזציה של גושים טרנסתורציים לניווט אלקטרומגנטי לניתוחי חזה זעיר פולשניים

The increased use of chest computed tomography (CT) has led to an increased detection of pulmonary nodules requiring diagnostic evaluation and/or ...

A Pleural Effusion Model in Rats by Intratracheal Instillation of Polyacrylate/Nanosilica

מודל תפליט פלאורלי בחולדות על ידי החדרה Intratracheal של Polyacrylate/Nanosilica

Pleural effusion is a prevalent clinical finding of many pulmonary diseases. Having a useful animal pleural effusion model is very important to study ...

A Personalized 3D-Printed Model for Preoperative Evaluation in Thyroid Surgery

מודל מותאם אישית המודפס בתלת-ממד להערכה טרום ניתוחית בניתוחי בלוטת התריס

The anatomic structure of the surgical area of thyroid cancer is complex. It is very important to comprehensively and carefully evaluate the tumor ...

Point-of-Care Ultrasound: A Review of Ultrasound Parameters for Predicting Difficult Airways

אולטרסאונד נקודתי: סקירת פרמטרים של אולטרסאונד לחיזוי דרכי נשימה קשות

Airway management remains a crucial part of perioperative care. The conventional approach to assessing potentially difficult airways emphasizes the LEMON ...