פרוטוקול זה משתמש באלגוריתם למידה עמוקה כדי לפלח תמונות לשון ומפריד באופן אוטומטי את הלשון מהתמונה כולה, מה שיכול לשמש למחקר נוסף. פרוטוקול זה משווה את הביצועים של אלגוריתם פילוח תמונה בארבע לשונות כדי לבחור את אלגוריתם הבסיס שיכול לפלח לשון עם מונה ברור. במחקר זה נעשה שימוש במכשירים ואלגוריתמים המוגנים בפטנט.
מומלץ להשתמש במכשירים מקצועיים ובטכנולוגיית מחשב מאסטר. כדי להתחיל, הכינו את מכשיר אבחון הפנים הלשוני שפותח ביד כדי לאסוף תמונות פנים לשוניות של מטופלים. מלא את שם החולה, מינו, גילו ומחלתו בדף המחשב.
לאחר מכן, בקש מהמטופל לשבת זקוף ולמקם את מכשיר רכישת התמונה המחובר למחשב. לאחר מכן, מקמו את פני המטופל במכשיר רכישת התמונה ובקשו ממנו להוציא את לשונו מהפה במידה המרבית. יש לוודא באמצעות התמונות על מסך המחשב כי המטופל נמצא בתנוחה הנכונה וכי הלשון והפנים חשופים במלואם.
לחץ על כפתור הצילום במסך המחשב שלוש פעמים כדי לצלם שלוש תמונות. לאחר מכן, בחר ידנית את התמונות שנאספו של הפנים והלשון. סנן אותם לפי דף רכישת התמונות של התוכנה.
אסוף שלוש תמונות מכל מטופל בכל פעם וייצא את התמונות לתיקייה לסינון ידני. לאחר מכן, בחר תמונה סטנדרטית, חשופה במלואה, מוארת היטב וברורה, המדגם לאימון אלגוריתמים ובדיקתם. מחק את התמונות שאינן עומדות בקריטריונים של תמונה רגילה.
הקריטריונים להדרה הם חשיפת לשון ופנים חלקית ותמונות כהות מדי. כדי לבצע פילוח תמונות לשון, פתח את LabelMe ולחץ על כפתור פתח בפינה השמאלית העליונה של הממשק. בחר את התיקיה המכילה את התמונה לחלוקה ופתח את התמונות.
לחץ על הלחצן צור מצולע כדי לעקוב אחר הנקודות. עקוב אחר הלשון והצורות הלשוניות, תן להן שם בהתאם לאזורים שנבחרו ושמור. בסיום כל המעקב, לחץ על שמור כדי לשמור את התמונה בתיקיית הנתונים.
הגדר את ההתקן לצילום תמונות בגודל של 1080x1920 פיקסלים וודא שגודל התמונה עם המילוי הוא 1920x1920 פיקסלים. סנן ידנית את התמונות של כל מטופל כדי לבחור ולשמור אחת מתוך שלוש התמונות שצולמו עבור גורמים בלתי נשלטים, כגון מצמוץ הנושא וחסימת עדשה. לצורך אימון המודל, אספו נתונים מ-200 אנשים או 600 תמונות ושמרו כ-200 תמונות שניתן להשתמש בהן לאחר ההקרנה.
חלקו באופן אקראי את כל תמונות הלשון לפי מספר התמונה, והכניסו 70% מהן לערכת האימונים ו-30% מהתמונות לתיקייה Test Set. הורד והתקן Anaconda, Python ו- LabelMe מהאתרים הרשמיים שלהם. הפעל את הסביבה והשלם את ההתקנה וההתאמה של הסביבה הכוללת.
בחר את המודל המתאים למטרת המחקר. במחקר זה, UNet, SegNet, DeepLab גרסה 3 ו-PSPNet נבחרו לאימות. לאחר מכן, בנה את מודל אלגוריתם הלמידה העמוקה בסביבה המותקנת.
כוונן את הפרמטרים על-ידי התאמת הערכים והשלם את אימון המודל באמצעות ערכת האימונים. באמצעות ביאור LabelMe ושיטות גודל תמונה אחיד, בנו את ערכת הנתונים הנדרשת בשילוב עם תוכן המחקר. בחן את תוצאות הפילוח והערך את ביצועי המודל בהתבסס על ארבעה מדדים, דיוק, היזכרות, דיוק פיקסלים ממוצע או MPA ו- MIOU, כדי לקבל הערכה מקיפה יותר.
השווה את הערכים שנוצרו של ארבעת הדגמים. ככל שהערך גבוה יותר, כך דיוק הפילוח גבוה יותר וביצועי המודל טובים יותר. על פי תוצאות המדד, אלגוריתם UNet עדיף על האלגוריתמים האחרים ב-MIOU, MPA, דיוק והיזכרות, וגם דיוק הפילוח שלו גבוה יותר.
PSPNet טוב יותר מ-DeepLab גרסה 3 ב-MIOU, MPA ו-recall, בעוד שמודל DeepLab גרסה 3 נמוך ממודל הסגמנט בכל המדדים. בפילוח לשון, האזור האדום החיצוני בתמונה נובע מפילוח לשון והאזור הירוק הפנימי נובע מפילוח ציפוי הלשון. במחקר זה, אלגוריתם היחידה הפגין ביצועים טובים בסגמנטציה של הלשון, וניתן לבצע מחקר נוסף על בסיס האלגוריתמים של היחידה.
