החפצת אבחון לשון ברפואה המסורתית, ניתוח נתונים ויישום המחקר

Summary

המחקר הנוכחי השתמש ב-U-Net ובאלגוריתמים אחרים של למידה עמוקה כדי לפלח תמונת לשון והשווה את תוצאות הסגמנטציה כדי לחקור את החפצת אבחון הלשון.

Abstract

אבחון לשון הוא טכניקה חיונית של אבחון הרפואה הסינית המסורתית (TCM), והצורך בהחפצת תמונות לשון באמצעות טכנולוגיית עיבוד תמונה הולך וגדל. המחקר הנוכחי מספק סקירה כללית של ההתקדמות שחלה בהחפצת לשון בעשור האחרון ומשווה מודלים של סגמנטציה. מודלים שונים של למידה עמוקה נבנים כדי לאמת ולהשוות אלגוריתמים באמצעות ערכות תמונות לשון אמיתיות. נקודות החוזק והחולשה של כל מודל מנותחות. הממצאים מצביעים על כך שהאלגוריתם של U-Net עולה בביצועיו על מודלים אחרים הנוגעים למדדי דיוק דיוק (PA), היזכרות וממוצע הצטלבות על פני איחוד (MIoU). עם זאת, למרות ההתקדמות המשמעותית ברכישה ובעיבוד של תמונות לשון, טרם נקבע סטנדרט אחיד לאבחון החפצת לשון. כדי להקל על היישום הנרחב של תמונות לשון שצולמו באמצעות מכשירים ניידים בהחפצה של אבחון לשון, מחקר נוסף יכול להתמודד עם האתגרים שמציבות תמונות לשון שצולמו בסביבות מורכבות.

Introduction

תצפית לשון היא טכניקה נפוצה ברפואה האתנית הסינית המסורתית (TCM). הצבע והצורה של הלשון יכולים לשקף את המצב הגופני ואת תכונות המחלה, חומרותיה ופרוגנוזות שונות. לדוגמה, ברפואת המונג המסורתית, צבע הלשון משמש לזיהוי טמפרטורת הגוף, למשל, לשון אדומה או סגולה מצביעה על גורמים פתולוגיים הקשורים לחום. ברפואה הטיבטית, מצב נשפט על ידי התבוננות בלשון של מטופל, תוך שימת לב לצבע, לצורה וללחות של הריר. לדוגמה, הלשונות של חולים עם מחלת היי הופכות אדומות ומחוספסות או שחורות ויבשות¹; חולים עם מחלת Xieri² יש לשון צהובה ויבשה; בינתיים, לחולים עם מחלת בדקאן³ יש לשון לבנה, לחה ורכה⁴. תצפיות אלה חושפות את הקשר ההדוק בין תווי הלשון לבין פיזיולוגיה ופתולוגיה. באופן כללי, מצב הלשון ממלא תפקיד חיוני באבחון, זיהוי מחלות והערכת השפעת הטיפול.

במקביל, בשל תנאי חיים מגוונים ומנהגי תזונה בין קבוצות אתניות שונות, ניכרים הבדלים בדימויי הלשון. מודל המעבדה, שנקבע על בסיס תקן בינלאומי לקביעת צבע, גובש על ידי הוועדה הבינלאומית לאקלראז' (CIE) בשנת 1931. בשנת 1976 שונתה תבנית צבע וקיבלה את שמה. מודל הצבע Lab מורכב משלושה אלמנטים: L מתאים לבהירות, בעוד a ו-b הם שני ערוצי צבע. A כולל צבעים מירוק כהה (ערך בהירות נמוכה) דרך אפור (ערך בהירות בינונית) עד ורוד בהיר (ערך בהירות גבוהה); B עובר מכחול בהיר (ערך בהירות נמוכה) לאפור (ערך בהירות בינונית) לצהוב (ערך בהירות גבוהה). על ידי השוואת ערכי L x a x b של צבע הלשון של חמש קבוצות אתניות, יאנג ואחרים ^{מצאו כי} המאפיינים של תמונות לשון של קבוצות המונג, חוי, ג'ואנג, האן ומונגוליה היו שונים באופן משמעותי זה מזה. לדוגמה, למונגולים יש לשונות כהות עם ציפוי לשון צהוב, בעוד שלבני המונג יש לשון בהירה עם ציפוי לשון לבן, דבר המצביע על כך שתווי הלשון יכולים לשמש כאינדיקטור אבחוני להערכת מצב הבריאות של אוכלוסייה. יתר על כן, תמונות לשון יכולות לתפקד כמדד הערכה לרפואה מבוססת ראיות במחקר קליני של רפואה אתנית. הוא ועמיתיו ^השתמשו בתמונות לשון כבסיס לאבחון TCM והעריכו באופן שיטתי את הבטיחות והיעילות של כדורי Chou-Ling-Dan (גרגרי CLD המשמשים לטיפול במחלות דלקתיות וחום, כולל שפעת עונתית ב- TCM) בשילוב עם רפואה סינית ומערבית. התוצאות ביססו את התוקף המדעי של תמונות לשון כמדד הערכה למחקרים קליניים. עם זאת, רופאים מסורתיים מסתמכים בדרך כלל על סובייקטיביות כדי לבחון את מאפייני הלשון ולהעריך את מצבם הפיזיולוגי והפתולוגי של החולים, הדורשים אינדיקטורים מדויקים יותר.

הופעתם של האינטרנט וטכנולוגיית הבינה המלאכותית סללה את הדרך לדיגיטציה והחפצה של אבחון לשון. תהליך זה כרוך בשימוש במודלים מתמטיים כדי לספק תיאור איכותי ואובייקטיבי של תמונות לשון⁷, המשקף את התוכן של תמונת הלשון. התהליך כולל מספר שלבים: רכישת תמונה, פיצוי אופטי, תיקון צבע וטרנספורמציה גיאומטרית. התמונות המעובדות מראש מוזנות לאחר מכן למודל אלגוריתמי למיקום וסגמנטציה של תמונות, חילוץ תכונות, זיהוי תבניות וכו '. תוצר תהליך זה הוא אבחון יעיל ומדויק ביותר של נתוני תמונת לשון, ובכך משיג את המטרה של החפצה, כימות ואינפורמציה של אבחון לשון⁸. כך מושגת המטרה של יעילות גבוהה ועיבוד מדויק של נתוני אבחון הלשון. בהתבסס על ידע באבחון לשון וטכנולוגיית למידה עמוקה, מחקר זה הפריד באופן אוטומטי את גוף הלשון ואת ציפוי הלשון מתמונות לשון באמצעות אלגוריתם ממוחשב, על מנת לחלץ את התכונות הכמותיות של הלשון עבור רופאים, לשפר את האמינות והעקביות של האבחון, ולספק שיטות למחקר החפצה של אבחון לשון לאחר מכן⁹.

Protocol

מחקר זה אושר על ידי הקרן הלאומית למדעי הטבע של סין, בניית כללי שינוי דינמי של תמונת פנים TCM בהתבסס על ניתוח אסוציאציות. מספר אישור האתיקה הוא 2021KL-027, וועדת האתיקה אישרה את המחקר הקליני לביצוע בהתאם למסמכים המאושרים הכוללים פרוטוקול מחקר קליני (2021.04.12, V2.0), הסכמה מדעת (2021.04.12, V2.0), חומרי גיוס נבדקים (2021.04.12, V2.0), מקרי מחקר ו/או דיווחי מקרה, כרטיסי יומן נושא ושאלונים אחרים (2021.04.12, V2.0), רשימת המשתתפים בניסוי הקליני, אישור פרויקט מחקר וכו'. התקבלה הסכמה מדעת של החולים שהשתתפו במחקר. הגישה הניסויית העיקרית של מחקר זה היא להשתמש בתמונות לשון אמיתיות כדי לאמת ולהשוות את השפעות פילוח המודל. איור 1 מציג את המרכיבים של החפצת אבחון לשון.

1. רכישת תמונות

1. השתמש במכשיר לאבחון פנים לשוני ידני שפותח בעצמו כדי לאסוף תמונות פנים לשוניות של מטופלים.
2. מלא את שם החולה, מינו, גילו ומחלתו בדף המחשב. התמונות הכלולות כאן הן של מטופלים שהגיעו למרפאה והסכימו להצטלם לאחר שנודע להם על מטרת המחקר ותוכנו. ודאו שהמטופל יושב זקוף, הניחו את כל הפנים במכשיר לרכישת תמונה, והנחו את המטופל להוציא את לשונו מהפה במידה המרבית.
3. החזיקו את מכשיר רכישת התמונות המחובר למחשב וודאו באמצעות התמונות על מסך המחשב שהמטופל נמצא במיקום הנכון ושהלשון והפנים חשופות במלואן.
4. לחץ על לחצן צלם במסך המחשב שלוש פעמים כדי לצלם שלוש תמונות.
   הערה: מכשיר רכישת התמונה נמצא כרגע רק בשלב בקשת הפטנט ואינו לשימוש מסחרי, ולכן הוא אינו למכירה.
5. בחר וסנן ידנית את תמונות הלשון והפנים שנאספו. סנן ולא הכלול תמונות עם חשיפה חלקית של הלשון והפנים, וכן תמונות כהות מדי עקב אור לא מספיק. איור 2 מציג את דף רכישת התמונות של התוכנה.
6. בתכנון הניסוי, אספו שלוש תמונות מכל מטופל בכל פעם כחלופות ובחרו תמונה סטנדרטית יחסית, חשופה במלואה, מוארת היטב וברורה כדגימה לאימון ובדיקת האלגוריתמים הבאים.
7. לאסוף נתונים לאחר הצילום, לייצא את הנתונים להקרנה ידנית, ולמחוק את התמונות הלא סטנדרטיות גלוי לעין בלתי. השתמש בקריטריוני הסינון וההדרה הבאים: חשיפה חלקית של לשון ופנים, ותמונות כהות מדי כתוצאה מאור לא מספיק. דוגמה לתמונה שאינה מוארת כראוי, תמונה חלקית ותמונה סטנדרטית מוצגת באיור 3.
   הערה: אור לא מספיק נגרם בדרך כלל על ידי כישלון של המטופל למקם את הפנים לחלוטין לתוך המכשיר. חשיפה מלאה מושגת בדרך כלל רק על ידי צילום נכון של המטופל.

2. פילוח לשון

1. בצע פילוח תמונות לשון באמצעות כלי ביאור מקוון, כמתואר להלן.
   1. התקן את Labelme, לחץ על כפתור פתח בפינה השמאלית העליונה של ממשק התווית, בחר את התיקיה שבה נמצאת התמונה ופתח את התמונות.
   2. לחץ על צור מצולע כדי להתחיל לעקוב אחר נקודות, לעקוב אחר הלשון והצורות הלשוניות, לתת להן שם בהתאם לאזורים שנבחרו (למשל, לשון ומשטח לשוני) ולשמור אותן.
   3. לאחר השלמת כל הסימונים, לחץ על שמור כדי לשמור את התמונה בתיקיית הנתונים. ראו איור 4 לקבלת תרשים זרימה מפורט.
      הערה: מכיוון שלתמונות עשויים להיות הבדלים בפיקסלים, לא ניתן להשתמש בתמונות ישירות לאימון ובדיקה של אלגוריתמים.
2. אחד את התמונות לאותו גודל על-ידי מילוי קצוות של התמונות, כאשר הצד הארוך של התמונה הוא אורך מילוי היעד וביצוע מילוי קצוות לבן כדי למלא את התמונות לריבוע, כאשר הצד הארוך של התמונה הוא אורך הקצוות. גודל התמונה שצולם על ידי המכשיר הוא 1080 x 1920 פיקסלים, וגודל התמונה המלאה הוא 1920 x 1920 פיקסלים. ראו איור 5.
3. החל שיפור תמונה במידת הצורך. במחקר זה לא יושם שיפור, שכן התמונות בהן נעשה שימוש צולמו בסצנה קבועה והושפעו פחות מהסביבה, מהתאורה ומגורמים אחרים.
4. מכיוון ששלוש תמונות נאספו עבור כל מטופל במהלך תהליך הצילום כדי לקחת בחשבון גורמים בלתי נשלטים, כגון מצמוץ נושא וחסימת עדשה, סנן ידנית את התמונות מכל מטופל כדי לשמור תמונה אחת לכל מטופל.
5. לצורך אימון המודל, לאסוף נתונים מ -200 אנשים, או 600 תמונות. לאחר ההקרנה, שמרו כ-200 תמונות שמישות.
6. על פי מספר התמונה, חלקו באופן אקראי את כל תמונות הלשון, והכניסו 70% מהן לסט האימונים ו-30% לסט המבחנים בגיליון אלקטרוני.

3. סיווג לשון

1. עבור אל האתרים הרשמיים והורד והתקן את Anaconda, Python ו- Labelme. הפעל את הסביבה והשלם את ההתקנה וההתאמה של הסביבה הכוללת. ראה איור 6 לקבלת תרשים זרימה המתאר את ההתקנה וההגדרה של התוכנה.
2. בנה את מודל אלגוריתם הלמידה העמוקה בסביבה המותקנת, כוונן את הפרמטרים והשלם את אימון המודל באמצעות ערכת ההדרכה. בצע בחירת דגם וכוונון כמתואר בשלבים הבאים.
   1. בחירת מודל: בחר את המודל המתאים בהתבסס על מטרת המחקר. לאחר סקירת מחקרים על עיבוד תמונות לשון ב-5 השנים האחרונות, נבחרו ארבעה אלגוריתמים, U-Net, Seg-Net, DeeplabV3 ו-PSPNet, לאימות במחקר זה (ראו קובץ קידוד משלים 1, קובץ קידוד משלים 2, קובץ קידוד משלים 3 וקובץ קידוד משלים 4 לקודי מודל).
   2. בניית ערכת הנתונים: לאחר השלמת בחירת הדגם, בנו את מערך הנתונים הנדרש בשילוב עם תוכן המחקר, בעיקר באמצעות ביאור Labelme ושיטות גודל התמונה האחידות, כמתואר לעיל.
3. בצע אימון מודל כמתואר להלן. איור 7 מציג פרטים על פעולת אימון האלגוריתם.
   1. הזן את הנתונים לרשת העצבית לצורך התפשטות קדימה, כאשר כל תא עצב מזין תחילה הצטברות משוקללת של ערכים ולאחר מכן מזין פונקציית הפעלה כערך הפלט של אותו נוירון כדי לקבל את התוצאה.
   2. הזן את התוצאה לפונקציית השגיאה והשווה אותה לערך הצפוי כדי לקבל את השגיאה ולשפוט את מידת הזיהוי בטעות. ככל שפונקציית ההפסד קטנה יותר, כך המודל יהיה טוב יותר.
   3. צמצם את השגיאה על ידי התפשטות לאחור וקבע את וקטור השיפוע. התאימו את המשקולות של וקטור מעבר הצבע למגמה לעבר התוצאות כך שהשגיאה נוטה לאפס או מתכווצת.
   4. חזור על תהליך אימון זה עד להשלמת הערכה או עד שערך השגיאה אינו יורד עוד, ואז אימון המודל הושלם. ראו איור 8 לתרשים זרימה של מודל האלגוריתם באימון ובבדיקות.
4. בדוק את ארבעת המודלים באמצעות אותם נתוני בדיקה עבור סגמנטציה ושפוט את ביצועי המודל בהתאם לאפקט הסגמנטציה. ארבעת המדדים של דיוק, היזכרות, דיוק פיקסלים ממוצע (MPA) ו-MIoU מספקים הערכת ביצועי מודל מקיפה יותר.
5. לאחר יצירת התוצאות של ארבעת המודלים, השווה את ערכיהם אופקית; ככל שהערך גבוה יותר, כך דיוק הפילוח גבוה יותר וביצועי המודל טובים יותר. ראו איור 9, איור 10 ואיור 11.

תוצאות

לתוצאות ההשוואה, ראו איור 12, איור 13 וטבלה 1, שם הסביבה שנבנתה במחקר זה משתמשת באותן דגימות כדי לאמן ולבדוק את מודל האלגוריתם. מחוון MIoU: U-Net > Seg-Net > PSPNet > DeeplabV3; מחוון MPA: U-Net > Seg-Net > PSPNet > DeeplabV3; מחוון דיוק: U-Net > Seg-Net > DeeplabV3 > PSPNet; נזכיר: U-Net > Seg-Net >-PSPNet >-DeeplabV3. ככל...

Discussion

בהתבסס על תוצאות ההשוואה שהוצגו לעיל, ניכר כי המאפיינים של ארבעת האלגוריתמים הנדונים מגוונים, והיתרונות והחסרונות המובהקים שלהם מתוארים להלן. מבנה U-Net, המבוסס על שינוי והרחבה של רשת קונבולוציה מלאה, יכול לקבל מידע קונטקסטואלי ומיקום מדויק באמצעות נתיב התקשרות ונתיב התרחבות סימטרי. על ידי...

Materials

Name	Company	Catalog Number	Comments
CPU	Intel(R) Core(TM) i7-9700K
GPU	NVIDIA GeForce RTX 3070 Ti (8192MB)
Operating systems	Microsoft Windows 10 Professional Edition (64-bit)
Programming language	Python
RAM	16G