Name: deep neural networks for image-based dietary assessment
Uploaded: 2021-03-13T15:00:00
Duration: 13 min 19 s
Description: Watch this Scientific Journal Video about Deep Neural Networks for Image-Based Dietary Assessment at JoVE.com

המחברים רוצים להודות לתמרה בוכר מאוניברסיטת ניוקאסל, אוסטרליה, על שסיפקה את ערכת הנתונים של תמונות המזון המזויפות. עבודה זו נתמכה על ידי תוכניות המחקר והחדשנות Horizon 2020 של האיחוד האירופי (מספרי מענק 863059 - FNS-Cloud, 769661 - SAAM); וסוכנות המחקר הסלובנית (מענק מספר P2-0098). לאיחוד האירופי ולסוכנות המחקר הסלובנית לא היה תפקיד בעיצוב, בניתוח או בכתיבה של מאמר זה.

למחברים אין מה לחשוף.

בשנים האחרונות, רשתות עצביות עמוקות אומתו מספר פעמים כפתרון מתאים לזיהוי תמונות מזון10,11,12,21,23,25,26,29,31,33. העבודה שלנו המוצגת במאמר זה משמשת כדי להוכיח עוד יותר את זה1,2. הגישה לזיהוי תמונת מזון חד-פלט היא פשוטה וניתן להשתמש בה עבור יישומים פשוטים שבהם תמונות עם פריט מזון או משקה אחד בלבד צפויות2.
גישת פילוח תמונת המזון נראית מתאימה במיוחד לזיהוי תמונות מזון באופן כללי, ללא כל הגבלה על מספר פריטי המזון1. מכיוון שהוא פועל על ידי סיווג כל פיקסל בודד של התמונה, הוא מסוגל לא רק לזהות כל מספר של פריטי מזון בתמונה, אלא גם לציין היכן ממוקם פריט מזון, כמו גם כמה גדול הוא. לאחר מכן ניתן להשתמש באפשרות זו כדי לבצע הערכת משקל מזון, במיוחד אם נעשה שימוש עם אובייקט ייחוס או מצלמה למרחקים קבועים.
נעשתה עבודה מסוימת לגבי הזמינות של datasets תמונת מזון3,22,27,30,36,37,38,39,40,41,42, ואנחנו מקווים יותר ייעשה בעתיד, במיוחד כשמדובר צבירת ערכות נתונים תמונת מזון מאזורים שונים ברחבי העולם, אשר יאפשר פתרונות חזקים יותר להתפתח. נכון לעכשיו, הדיוק של פתרונות זיהוי תמונה מזון אוטומטי עדיין לא הגיע דיוק ברמה האנושית35, וזה כנראה במידה רבה בשל השימוש datasets תמונת מזון של גודל ואיכות לא מספיק.
בעתיד, המטרה שלנו תהיה להעריך עוד יותר את ההליכים המפותחים על תמונות מהעולם האמיתי. באופן כללי, ערכות נתונים בשדה זה מכילות לעתים קרובות תמונות שצולמו בסביבות מבוקרות או בתמונות ממוטבות לזיהוי באופן ידני. לכן חשוב לאסוף ערכת נתונים גדולה ומגוונת של תמונות מזון בעולם האמיתי כדי להקיף את כל פריטי המזון והמשקאות השונים שאנשים עשויים לרצות לזהות. הצעד הראשון לקראת זה סופק על ידי אתגר זיהוי מזון, שכלל ערכת נתונים של תמונות מזון בעולם האמיתי19, אבל עבודה נוספת צריכה להיעשות כדי לאמת גישה זו על תמונות מזון מכל רחבי העולם בשיתוף עם דיאטנים.

<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td>HARDWARE</td>
			<td></td>
			<td></td>
			<td></td>
		</tr>
		<tr>
			<td>NVIDIA GPU</td>
			<td>NVIDIA</td>
			<td>N/A</td>
			<td>An NVIDIA GPU is needed as some of the software frameworks below will not work otherwise. https://www.nvidia.com</td>
		</tr>
		<tr>
			<td>SOFTWARE</td>
			<td></td>
			<td></td>
			<td></td>
		</tr>
		<tr>
			<td>Caffe</td>
			<td>Berkeley AI Research</td>
			<td>N/A</td>
			<td>Caffe is a deep learning framework. https://caffe.berkeleyvision.org</td>
		</tr>
		<tr>
			<td>CLoDSA</td>
			<td>J&#243;nathan Heras</td>
			<td>N/A</td>
			<td>CLoDSA is a Python image augmentation library. https://github.com/joheras/CLoDSA</td>
		</tr>
		<tr>
			<td>Google API Client</td>
			<td>Google</td>
			<td>N/A</td>
			<td>Google API Client is a Python client library for Google&#39;s discovery based APIs. https://github.com/googleapis/google-api-python-client</td>
		</tr>
		<tr>
			<td>JavaScript Segment Annotator</td>
			<td>Kota Yamaguchi</td>
			<td>N/A</td>
			<td>JavaScript Segment Annotator is a JavaScript image annotation tool. https://github.com/kyamagu/js-segment-annotator</td>
		</tr>
		<tr>
			<td>MMDetection</td>
			<td>Multimedia Laboratory, CUHK</td>
			<td>N/A</td>
			<td>MMDetection is an object detection toolbox based on PyTorch. https://github.com/open-mmlab/mmdetection</td>
		</tr>
		<tr>
			<td>NVIDIA DIGITS</td>
			<td>NVIDIA</td>
			<td>N/A</td>
			<td>NVIDIA DIGITS is a wrapper for Caffe that provides a graphical web interface. https://developer.nvidia.com/digits</td>
		</tr>
		<tr>
			<td>OpenCV</td>
			<td>Intel</td>
			<td>N/A</td>
			<td>OpenCV is a library for computer vision. https://opencv.org</td>
		</tr>
		<tr>
			<td>Python</td>
			<td>Python Software Foundation</td>
			<td>N/A</td>
			<td>Python is a programming language. https://www.python.org</td>
		</tr>
		<tr>
			<td>PyTorch</td>
			<td>Facebook AI Research</td>
			<td>N/A</td>
			<td>PyTorch is a machine learning framework. https://pytorch.org</td>
		</tr>
		<tr>
			<td>Ubuntu OS</td>
			<td>Canonical</td>
			<td>N/A</td>
			<td>Ubuntu 14.04 is the OS used by the authors and offers compatibility with all of the software frameworks and tools above. https://ubuntu.com</td>
		</tr>
	</tbody>
</table>

deep neural networks for image-based dietary assessment

בשל הבעיות והעלויות הכרוכות בגישות ידניות להערכת תזונה, נדרשים פתרונות אוטומטיים כדי להקל ולהאיץ את העבודה ולהגביר את איכותה. כיום, פתרונות אוטומטיים מסוגלים לתעד את צריכת התזונה של אדם בצורה הרבה יותר פשוטה, למשל על ידי צילום תמונה עם מצלמת סמארטפון. במאמר זה נתמקד בגישות מבוססות תמונה כאלה להערכת תזונה. עבור בעיית זיהוי תמונת המזון, רשתות עצביות עמוקות השיגו את מצב האמנות בשנים האחרונות, ואנו מציגים את עבודתנו בתחום זה. בפרט, אנו מתארים תחילה את השיטה לזיהוי תמונות מזון ומשקאות באמצעות ארכיטקטורת רשת עצבית עמוקה, הנקראת NutriNet. שיטה זו, כמו רוב המחקרים שנעשו בימים הראשונים של זיהוי תמונת מזון מבוססת למידה עמוקה, מוגבלת לתפוקה אחת לתמונה, ולכן אינה מתאימה לתמונות עם פריטי מזון או משקאות מרובים. לכן גישות המבצעות פילוח תמונת מזון הן הרבה יותר חזקות, שכן הן מסוגלות לזהות כל מספר של פריטי מזון או משקאות בתמונה. לכן אנו מציגים גם שתי שיטות לפילוח תמונות מזון - האחת מבוססת על רשתות קונבולוציונליות לחלוטין (FCNs), והשנייה על שאריות עמוקות (ResNet).

NutriNet נבדק מול שלוש ארכיטקטורות למידה עמוקה פופולריות של אותה תקופה: AlexNet14, GoogLeNet51 ו- ResNet16. כמו כן נבדקו פרמטרי אימון מרובים עבור כל הארכיטקטורות כדי להגדיר את הערכים האופטימליים2. בין אלה היא הבחירה של סוג פותר, אשר קובע כיצד פונקציית ההפסד ממוזער. פונקציה זו היא מדד האיכות העיקרי לאימון רשתות עצביות מכיוון שהיא מתאימה יותר לאופטימיזציה במהלך האימון מאשר לדיוק הסיווג. בדקנו שלושה פותרים: ירידה הדרגתית סטוכסית (SGD)52, שיפוע מואץ של נסטרוב (NAG)53 ואלגוריתם הדרגתי אדפטיבי (AdaGrad)54. הפרמטר השני הוא גודל אצווה, המגדיר את מספר התמונות המעובדות בו-זמנית. עומק ארכיטקטורת הלמידה העמוקה קבע את הערך של פרמטר זה, שכן ארכיטקטורות עמוקות יותר דורשות יותר מקום בזיכרון המעבד הגרפי - התוצאה של גישה זו הייתה שהזיכרון היה מלא לחלוטין בתמונות לכל הארכיטקטורות, ללא קשר לעומק. הפרמטר השלישי הוא קצב למידה, המגדיר את המהירות שבה הפרמטרים של הרשת העצבית משתנים במהלך האימון. פרמטר זה הוגדר יחד עם גודל האצווה, מכיוון שמספר התמונות המעובדות בו-זמנית מכתיב את קצב ההתכנסות. דגמי AlexNet הוכשרו באמצעות גודל אצווה של 256 תמונות וקצב למידה בסיסי של 0.02; NutriNet השתמש בגודל אצווה של 128 תמונות וקצב של 0.01; GoogLeNet 64 תמונות וקצב של 0.005; ותמונות ResNet 16 וקצב של 0.00125. שלושה פרמטרים נוספים תוקנו עבור כל הארכיטקטורות: מדיניות קצב למידה (צעד למטה), גודל צעד (30%) וגמא (0.1). פרמטרים אלה מתארים במשותף כיצד קצב הלמידה משתנה בכל תקופה. הרעיון מאחורי גישה זו הוא כי קצב הלמידה הוא להיות בהדרגה הוריד כדי לכוונן את המודל ככל שהוא מתקרב לערך ההפסד האופטימלי. לבסוף, מספר עידנים אימונים היה גם קבוע 150 עבור כל ארכיטקטורות למידה עמוקה2.
התוצאה הטובה ביותר מבין כל הפרמטרים שנבדקו על ידי NutriNet הייתה דיוק סיווג של 86.72% בערכת נתוני הזיהוי, שהייתה גבוהה בכ-2% מהתוצאה הטובה ביותר עבור AlexNet ומעט גבוהה יותר מהתוצאה הטובה ביותר של GoogLeNet. הארכיטקטורה בעלת הביצועים הטובים ביותר בסך הכל הייתה ResNet (בסביבות 1%), אולם זמן האימון עבור ResNet גבוה משמעותית בהשוואה ל- NutriNet (בפקטור של כחמישה), וזה חשוב אם הדגמים מאומנים מחדש ללא הרף כדי לשפר את הדיוק ואת מספר פריטי המזון המוכרים. NutriNet, AlexNet ו- GoogLeNet השיגו את התוצאות הטובות ביותר שלהם באמצעות פותר AdaGrad, ואילו הדגם הטוב ביותר של ResNet השתמש בפותר NAG. NutriNet נבדק גם על ערכת נתוני תמונת מזון UNIMIB2016 הזמינים לציבור38. ערכת נתונים זו מכילה 3,616 תמונות של 73 פריטי מזון שונים. NutriNet השיגה דיוק זיהוי של 86.39% בערכת נתונים זו, מעט יותר מתוצאת הזיהוי הבסיסי של מחברי ערכת הנתונים, שהייתה 85.80%. בנוסף, NutriNet נבדק על ערכת נתונים קטנה של 200 תמונות בעולם האמיתי של 115 פריטי מזון ומשקאות שונים, שם NutriNet השיג דיוק העליון 5 של 55%.
כדי לאמן את מודל פילוח תמונות המזון המזויף FCN-8s, השתמשנו באדם55 כסוג פותר, כפי שמצאנו כי הוא ביצע בצורה אופטימלית עבור משימה זו. קצב הלמידה הבסיסי נקבע נמוך מאוד - ל-0.0001. הסיבה למספר הנמוך היא העובדה שניתן לעבד רק תמונה אחת בכל פעם, שהיא תוצאה של תהליך הסיווג ברמת הפיקסל. דרישות הזיכרון של המעבד הגרפי עבור גישה זו גדולות משמעותית מסיווג ברמת התמונה. לפיכך היה קשה לקבוע את קצב הלמידה נמוך כך שהפרמטרים לא ישתנו מהר מדי ולהתכנס לערכים פחות אופטימליים. מספר עידני האימונים הוגדר ל-100, בעוד שמדיניות קצב הלמידה, גודל הצעדים וגמא הוגדרו כצעדים למטה, 34% ו-0.1, בהתאמה, שכן פרמטרים אלה יצרו את הדגמים המדויקים ביותר.
מדידות דיוק של מודל FCN-8s בוצעו באמצעות מדד דיוקהפיקסלים 15, אשר מקביל לדיוק הסיווג של רשתות למידה עמוקה מסורתיות, ההבדל העיקרי הוא שהדיוק מחושב ברמת הפיקסל במקום ברמת התמונה:
<img alt="Equation 1" src="/files/ftp_upload/61906/61906eq01.jpg">
כאשר PA הוא מדד דיוק הפיקסלים, nij הוא מספר הפיקסלים ממחלקה שחזיתי להשתייך למחלקה j ו- t i = Σj nij הוא המספר הכולל של פיקסלים מהכיתה בתוויות האמתהקרקעית 1. במילים אחרות, מידת הדיוק של הפיקסלים מחושבת על-ידי חלוקת פיקסלים שחזו נכון במספר הפיקסלים הכולל. הדיוק הסופי של דגם FCN-8s המאומן היה 92.18%. איור 2 מציג שלוש תמונות לדוגמה מתוך ערכת הנתונים של תמונת המזון המזויף (אחת מכל אחת מערכות המשנה של הדרכה, אימות ובדיקה), יחד עם תוויות החיזוי המתאימות של האמת הקרקעית והמודל.
הפרמטרים לאמן את דגם HTC20 ResNet-101 עבור פילוח תמונת מזון הוגדרו כדלקמן: סוג פותר בשימוש היה SGD כי זה ביצועים טובים יותר סוגים אחרים של פותר. קצב הלמידה הבסיסי הוגדר כ- 0.00125 וגודל האצווה ל- 2 תמונות. מספר תקופות האימון נקבע על 40 לכל שלב אימון, ובוצעו שלבי אימון מרובים - תחילה בערכת הנתונים המקורית של FRC ללא תמונות מוגברות, ולאחר מכן בערכת הנתונים FRC בעלת 8x augmented ו- 4x augmented מספר פעמים באופן לסירוגין, בכל פעם לוקח את הדגם בעל הביצועים הטובים ביותר וכוונן אותו עדין בשלב האימון הבא. פרטים נוספים על שלבי האימון ניתן למצוא בסעיף 3.3 של טקסט הפרוטוקול. לבסוף, נעשה שימוש במדיניות הלמידה החורגת, עם עידנים קבועים שבהם שיעור הלמידה ירד (עידנים 28 ו -35 לשלב האימון הראשון). דבר חשוב לציין הוא כי בעוד רצף זה של שלבי אימון הפיק את התוצאות הטובות ביותר בבדיקות שלנו בהיקף של FRC, באמצעות ערכת נתונים אחרת עשוי לדרוש רצף שונה כדי לייצר תוצאות אופטימליות.
פתרון מבוסס ResNet זה עבור פילוח תמונת מזון הוערך באמצעות מדד הדיוק הבא19:
<img alt="Equation 2" src="/files/ftp_upload/61906/61906eq02.jpg">
כאשר P הוא דיוק, TP הוא מספר התחזיות החיוביות האמיתיות על ידי מודל פילוח תמונת המזון, FP הוא מספר התחזיות החיוביות הכוזבות ו- IoU הוא Intersection over Union, המחושב עם משוואה זו:
<img alt="Equation 3" src="/files/ftp_upload/61906/61906eq03.jpg">
כאשר אזור החפיפה מייצג את מספר התחזיות לפי המודל החופף לאמת הקרקעית, ו- Area of Union מייצג את המספר הכולל של תחזיות לפי המודל יחד עם אמת הקרקע, הן ברמת הפיקסל והן עבור כל מחלקת מזון בודדת. האחזור משמש כמדד משני ומחושב באופן דומה, באמצעות הנוסחההבאה 19:
<img alt="Equation 4" src="/files/ftp_upload/61906/61906eq04.jpg">
כאשר R הוא אחזור ו- FN הוא מספר התחזיות השליליות הכוזבות על-ידי מודל פילוח תמונת המזון. מדדי הדיוק וההיזכרות הם ממוצעים בכל המעמדות באמת הקרקעית. באמצעות אמצעים אלה, המודל שלנו השיג דיוק ממוצע של 59.2% והחזרה ממוצעת של 82.1%, שדורגה במקום השני בסיבוב השני של אתגר זיהוי המזון19. תוצאה זו הייתה 4.2% מאחורי המקום הראשון ו-5.3% לפני המקום השלישי מבחינת מדד הדיוק הממוצע. טבלה 1 מכילה את התוצאות עבור 4 המשתתפים המובילים בתחרות.
<img alt="Figure 1" class="xfigimg" src="/files/ftp_upload/61906/61906fig01.jpg"> איור 1: תרשים של ארכיטקטורת הרשת העצבית העמוקה של NutriNet. נתון זה פורסם ב-Mezgec ואח'2. <a href="https://www.jove.com/files/ftp_upload/61906/61906fig01large.jpg" target="_blank">לחץ כאן כדי להציג גירסה גדולה יותר של איור זה.</a>
<img alt="Figure 2" class="xfigimg" src="/files/ftp_upload/61906/61906fig02.jpg"> איור 2: תמונות מתוך ערכת הנתונים של תמונת המזון המזויף. תמונות מקוריות (משמאל), תוויות האמת הקרקעית (באמצע) עם תווית ידנית ותחזיות ממודל FCN-8s (מימין). נתון זה פורסם ב-Mezgec ואח'1. <a href="https://www.jove.com/files/ftp_upload/61906/61906fig02large.jpg" target="_blank">לחץ כאן כדי להציג גירסה גדולה יותר של איור זה.</a>
<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always"><tbody>
<tr>
<td>שם צוות</td>
			<td>מיקום</td>
			<td>דיוק ממוצע</td>
			<td>אחזור ממוצע</td>
		</tr>
<tr>
<td>rssfete</td>
			<td>1</td>
			<td>63.4%</td>
			<td>88.6%</td>
		</tr>
<tr>
<td>simon_mezgec</td>
			<td>2</td>
			<td>59.2%</td>
			<td>82.1%</td>
		</tr>
<tr>
<td>ארימבו</td>
			<td>3</td>
			<td>53.9%</td>
			<td>73.5%</td>
		</tr>
<tr>
<td>סמוי</td>
			<td>4</td>
			<td>48.7%</td>
			<td>71.1%</td>
		</tr>
</tbody></table>טבלה 1: תוצאות טופ-4 מהסיבוב השני של אתגר זיהוי המזון. הדיוק הממוצע נלקח כמדד הביצועים הראשי והאחזור הממוצע כמדד משני. התוצאות נלקחות מלוח התוצאות הרשמי של התחרות19.
קבצים משלימים. <a href="https://www.jove.com/files/ftp_upload/61906/simon_mezgec_supplemental_files_revision1_.zip" target="_blank">אנא לחץ כאן כדי להוריד קובץ זה.</a>

Watch this Scientific Journal Video about Deep Neural Networks for Image-Based Dietary Assessment at JoVE.com

Deep Neural Networks for Image-Based Dietary Assessment

מטרת העבודה המוצגת במאמר זה היא לפתח טכנולוגיה לזיהוי אוטומטי של פריטי מזון ומשקאות מתמונות שצולמו על ידי מכשירים ניידים. הטכנולוגיה מורכבת משתי גישות שונות - הראשונה מבצעת זיהוי תמונת מזון ואילו השנייה מבצעת פילוח תמונת מזון.

רשתות עצביות עמוקות להערכת תזונה מבוססת תמונה

Due to the issues and costs associated with manual dietary assessment approaches, automated solutions are required to ease and speed up the work and ...

בשל הבעיות והעלויות הכרוכות בהערכה תזונתית ידנית נדרשים פתרונות אוטומטיים כדי להקל ולהאיץ את העבודה ולהגביר את איכותה. כיום, פתרונות אוטומטיים מסוגלים לתעד את צריכת התזונה של אדם בצורה הרבה יותר פשוטה, למשל על ידי צילום תמונה עם מצלמת סמארטפון. במאמר זה נתמקד בגישות מבוססות תמונה כאלה להערכה תזונתית באמצעות רשתות עצביות עמוקות, המייצגות את מצב האמנות בתחום.בפרט, נציג שלושה פתרונות, אחד לזיהוי תמונת מזון, אחד לפילוח תמונה של העתקי מזון, או מזון מזויף, ואחד עבור פילוח תמונה של מזון אמיתי. אסוף רשימה של מזונות ומשקאות שונים שיהיו התפוקות של מודל זיהוי תמונת המזון. שמור את רשימת המזון והמשקאות בקובץ טקסט, כגון TXT או CSV.שים לב כי קובץ הטקסט המשמש את המחברים של מאמר זה ניתן למצוא את הקבצים המשלימים תחת פריטי מזון נקודה TXT וכולל רשימה של 520 פריטי מזון סלובנית. כתוב או הורד סקריפט פייתון המשתמש ב- API לחיפוש מותאם אישית של Google כדי להוריד תמונות של כל פריט מזון מהרשימה ושומר אותן בתיקיה נפרדת עבור כל פריט מזון. שים לב כי סקריפט פייתון בשימוש על ידי המחברים של מאמר זה ניתן למצוא את הקבצים המשלימים תחת להוריד תמונות נקודה פאי.אם סקריפט זה משמש את מפתח שמונה בקוד סקריפט פייתון ומשתנה מזהה מנוע חיפוש מותאם אישית CX שורה 28 בקוד סקריפט פייתון צריך להיות מוחלף עם ערכים ספציפיים לחשבון Google בשימוש. הפעל את סקריפט פייתון משלב 1.1.3. צור גירסה חדשה של כל תמונה מערכת נתוני תמונת המזון על-ידי סיבובה ב- 90 מעלות, באמצעות ספריית CLoDSA.שים לב כי סקריפט פייתון המכיל את כל הפקודות CLoDSA בשימוש על ידי המחברים של מאמר זה ניתן למצוא בקובץ הכלול בקבצים משלימים תחת NutriNet מקף תחתון הגדלת נקודה פאי. צור גירסה חדשה של כל תמונה מערכת נתוני תמונת המזון על-ידי סיבובה ב- 180 מעלות, באמצעות ספריית CLoDSA. צור גירסה חדשה של כל תמונה מערכת נתוני תמונת המזון על-ידי סיבובה ב- 270 מעלות, באמצעות ספריית CLoDSA.צור גירסה חדשה של כל תמונה מערכת נתוני תמונת המזון על-ידי היפוכה אופקית, באמצעות ספריית CLoDSA. צור גירסה חדשה של כל תמונה מערכת נתוני תמונת המזון על-ידי הוספת רעשי צבע אקראיים אליה, באמצעות ספריית CLoDSA. צור גירסה חדשה של כל תמונה מערכת נתוני תמונת המזון על-ידי התקרבות אליה ב- 25%באמצעות ספריית CLoDSA.שמור תמונות משלבים 1.3.1 עד 1.3.6 יחד עם התמונות המקוריות בערכת נתונים חדשה של תמונת מזון. בסך הכל, שבע גרסאות לתמונת מזון. יבא את ערכת נתוני תמונת המזון משלב 1.3.7 לסביבת הספרות של NVIDI, תוך חלוקת ערכת הנתונים לקבוצות משנה של הדרכה, אימות ובדיקה.העתק והדבק את טקסט ההגדרה של ארכיטקטורת NutriNet בספרות NVIDIA. שים לב כי הגדרת הארכיטקטורה של NutriNet ניתן למצוא בקבצים משלימים תחת NutriNet נקודה פרוטו TXT. לחלופין, הגדר אימון היפר-פרמטרים בספרות NVIDIA או השתמש בערכי ברירת המחדל.ניתן למצוא את הפרמטרים ההיפר-פרמטרים המשמשים את מחברי מאמר זה בקובץ הכלול בקבצים המשלימים תחת NutriNet מקף תחת היפר-פרמטרים של נקודה פרוטו TXT. הפעל את האימונים של מודל NutriNet. לאחר סיום האימון, קחו את איטרציה מודל NutriNet בעל הביצועים הטובים ביותר.מודל זה משמש לאחר מכן לבדיקת הביצועים של גישה זו. שים לב שקיימות מספר דרכים לקבוע את איטרציה המודל בעל הביצועים הטובים ביותר. עיין בטקסטים של המאמר לקבלת פרטים נוספים.השג ערכת נתונים של תמונות מזון מזויפות. שים לב כי המחברים של מאמר זה קיבלו תמונות של מזון מזויף שנאספו בסביבת מעבדה. ביאור ידני של כל תמונת מזון ברמת הפיקסל.כל פיקסל בתמונה חייב להכיל מידע על מחלקת המזון שאליה הוא שייך. שים לב כי ישנם כלים רבים כדי להשיג זאת. המחברים של מאמר זה השתמשו ביאור מקטע JavaScript.התוצאה של שלב זה היא תמונת ביאור אחת עבור כל תמונה מערכת הנתונים של תמונת המזון, שבה כל פיקסל מייצג את אחת ממחלדות המזון. בצע את אותם שלבים כמו בסעיף 1.3, אך רק בתמונות מתת-הקבוצה של ערכת נתוני תמונת המזון. שים לב כי למעט שלב 1.3.5, יש לבצע את כל שלבי הגדלת הנתונים גם בתמונות ביאור תואמות.בצע את אותם שלבים כמו בסעיף 1.4 למעט שלב 1.4.2. במקום שלב זה בצע את שלבים 2.3.2 ו- 2.3.3. שים לב כי אימון היפר פרמטרים בשימוש על ידי המחברים של מאמר זה ניתן למצוא את הקובץ הכלול בקבצים משלימים תחת FCN-8S מקף תחתון hyper-parameters נקודה proto TXT.העתק והדבק את טקסט ההגדרה של ארכיטקטורת FCN-8S לספרות NVIDIA. הזן את משקולות מודל FCN-8S מאומנות מראש לספרות NVIDIA. שים לב שמשקלים אלה של דגמים אומנו מראש בערכת הנתונים של מחלקות האובייקטים החזותיים של פסקל וניתן למצוא אותם באינטרנט.הורד את ערכת נתוני תמונת המזון מאתר האינטרנט של אתגר זיהוי המזון. בצע שלבים 1.3.1 עד 1.3.4. שים לב כי סקריפט פייתון המכיל את כל הפקודות CLoDSA בשימוש על ידי המחברים של מאמר זה ניתן למצוא בקובץ הכלול בקבצים משלימים תחת FRC מקף תחתון הגדלת נקודה פאי.צור גירסה חדשה של כל תמונה מערכת נתוני תמונת המזון על-ידי הוספת טשטוש גאוסיאני אליה, באמצעות ספריית CLoDSA. צור גירסה חדשה של כל תמונה מערכת נתוני תמונת המזון על-ידי חידודה באמצעות ספריית CLoDSA. צור גירסה חדשה של כל תמונה מערכת נתוני תמונת המזון על-ידי החלת תיקון גמא עליה, באמצעות ספריית CLoDSA.שמור תמונות משלבים 3.2.1 עד 3.2.4 יחד עם התמונות המקוריות בערכת נתונים חדשה של תמונת מזון. בסך הכל, שמונה גרסאות לתמונת מזון. שמור תמונות משלבים 3.2.2 עד 3.2.4 יחד עם התמונות המקוריות בערכת נתונים חדשה של תמונת מזון.בסך הכל, ארבע גרסאות לתמונת מזון. שנה את הגדרת הארכיטקטורה הקיימת של HTC ResNet 101 מספריית זיהוי MM כך שתקבל את ערכות נתוני תמונת המזון משלבים 3.1.1, 3.2.5 ו- 3.2.6. באופן אופציונלי, שנה את הגדרת הארכיטקטורה HTC ResNet 101 משלב 3.3.1 כדי להגדיר היפר-פרמטרים של אימון או השתמש בערכי ברירת המחדל.שים לב שהגדרת הארכיטקטורה של HTC ResNet 101 ששונתה נמצאת בקבצים המשלימים תחת מקף תחתון HTC ResNet 101 dot pi. הפעל את ההדרכה של דגם HTC ResNet 101 בערכות נתוני תמונת המזון משלב 3.1.1 באמצעות הספריה לזיהוי MM. לאחר השלמת האימון משלב 3.3.3, בצע את איטראציה הדגם HTC ResNet 101 בעל הביצועים הטובים ביותר וכוונן אותו על-ידי הפעלת השלב הבא של האימון בערכת נתוני תמונת המזון משלב 3.2.5.שים לב שקיימות מספר דרכים לקבוע את איטרציה המודל בעל הביצועים הטובים ביותר. עיין בטקסטים של המאמר לקבלת פרטים נוספים. זה רלוונטי גם לשלבים הבאים.לאחר השלמת האימון משלב 3.3.4, קח את איטרציה מודל HTC ResNet 101 בעל הביצועים הטובים ביותר וכוונן אותו על-ידי הפעלת השלב הבא של האימון בערכת נתוני תמונת המזון משלב 3.2.6. לאחר האימון משלב 3.3.5 הושלם, לקחת את ביצועים הטובים ביותר HTC ResNet 101 איטראציה מודל ולכוונן אותו על ידי הפעלת השלב הבא של אימון על ערכת נתוני תמונת מזון משלב 3.2.5. לאחר השלמת האימון משלב 3.3.6, קח את איטראציה מודל HTC ResNet 101 בעל הביצועים הטובים ביותר.מודל זה משמש לאחר מכן לבדיקת הביצועים של גישה זו. שים לב כי שלבים 3.3.3 עד 3.3.7 הניבו את התוצאות הטובות ביותר למטרות שהוגדרו על-ידי מחברי מאמר זה. יש צורך בניסויים עבור כל ערכת נתונים כדי למצוא את הרצף האופטימלי של שלבי אימון והגדלת נתונים.לאחר בדיקת מודל המגמה NutriNet השיג דיוק סיווג של 86.72% על ערכת נתוני הזיהוי, אשר היה סביב 2% גבוה יותר AlexNet ומעט גבוה יותר GoogLeNet, שהיו פופולריים ארכיטקטורות רשת עצבית עמוקה של אותה תקופה. כדי למדוד את הדיוק של מודל פילוח תמונת המזון המזויף FCN-8S, נעשה שימוש במדד דיוק הפיקסלים. הדיוק של מודל FCN-8S מאומן היה 92.18%הפתרון מבוסס ResNet עבור פילוח תמונת מזון הוערך באמצעות מידת הדיוק שהוגדרה באתגר זיהוי מזון.באמצעות מדד זה השיג דגם הרכבת דיוק ממוצע של 59.2% שדורג במקום השני באתגר זיהוי המזון. בשנים האחרונות, רשתות עצביות עמוקות אומתו מספר פעמים כפתרון מתאים לזיהוי תמונות מזון. עבודתנו המוצגת במאמר זה משמשת כדי להוכיח זאת עוד יותר.הגישה היחידה לזיהוי תמונות מזון היא פשוטה וניתן להשתמש בה ליישומים פשוטים. בעוד שגישת פילוח תמונת המזון דורשת עבודה רבה יותר בהכנת תמונות מבואר, אבל היא הרבה יותר ישימה לתמונות מהעולם האמיתי. בעתיד, המטרה שלנו תהיה להעריך עוד יותר את ההליכים המפותחים על תמונות מהעולם האמיתי.הצעד הראשון לקראת אימות בעולם האמיתי סופק על ידי אתגר זיהוי המזון, שכלל ערכת נתונים של תמונות מזון בעולם האמיתי. אבל, עבודה נוספת צריכה להיעשות כדי לאמת גישה זו על תמונות מזון מכל רחבי העולם ובשיתוף פעולה עם דיאטנים.

Research

JoVE Journal

Engineering

Concurrent Quantitative Conductivity and Mechanical Properties Measurements of Organic Photovoltaic Materials using AFM

מוליכות כמותית במקביל ומדידת תכונות מכאנית של חומרים אורגניים באמצעות Photovoltaic AFM

Organic photovoltaic  (OPV) materials are inherently inhomogeneous at the nanometer scale. Nanoscale  inhomogeneity of OPV materials affects performance ...

Detection and Recovery of Palladium, Gold and Cobalt Metals from the Urban Mine Using Novel Sensors/Adsorbents Designated with Nanoscale Wagon-wheel-shaped Pores

איתור והשחזור של פלדיום, מתכות זהב וקובלט ממכרה העירונית באמצעות חיישנים / Adsorbents רומן יעודיים עם נקבוביות-בצורת גלגל עגלה ננומטריים

Developing low-cost, efficient processes for recovering and recycling palladium, gold and cobalt metals from urban mine remains a significant challenge in ...

Preparation of Liquid Crystal Networks for Macroscopic Oscillatory Motion Induced by Light

הכנה של גביש נוזלי רשתות מאקרוסקופית תנועה מתנדנדות המושרה על ידי אור

A strategy based on doped liquid crystalline networks is described to create mechanical self-sustained oscillations of plastic films under continuous ...

Indoor Experimental Assessment of the Efficiency and Irradiance Spot of the Achromatic Doublet on Glass (ADG) Fresnel Lens for Concentrating Photovoltaics

Indoor Experimental Assessment of the Efficiency and Irradiance Spot of the Achromatic Doublet on Glass ADG Fresnel Lens for Concentrating Photovoltaics

הערכת ניסיוני מקורה של יעילות, Irradiance שתאכלו כפיל אכרומטי על זכוכית (ADG) עדשת פרנל ריכוז Photovoltaics

We present a method to characterize achromatic Fresnel lenses for photovoltaic applications. The achromatic doublet on glass (ADG) Fresnel lens is ...

Applicability Analysis of Assessment Methods for Morphological Parameters of Corroded Steel Bars

ניתוח ישימות שיטות הערכה מורפולוגית פרמטרים של פסי פלדה מאוכלת

The irregular and uneven residual sections along the length of a corroded steel bar substantially change its mechanical properties and significantly ...

Impacts of Free-falling Spheres on a Deep Liquid Pool with Altered Fluid and Impactor Surface Conditions

ההשפעות של התחומים צניחה חופשית על בריכה עמוק נוזלי עם נוזל שינו ותנאי השטח Impactor

Vertical impacts of spheres on clean water have been the subject of numerous water entry investigations characterizing cavity formation, splash crown ...

Automated Deployment of an Internet Protocol Telephony Service on Unmanned Aerial Vehicles Using Network Functions Virtualization

פריסה אוטומטית של שירות טלפוניה בפרוטוקול אינטרנט בכלי רכב לא מאוישים באמצעות וירטואליזציה של פונקציות רשת

The Network Function Virtualization (NFV) paradigm is one of the key enabling technologies in the development of the 5th generation of mobile networks. ...

Automated Delivery of Microfabricated Targets for Intense Laser Irradiation Experiments

אספקה אוטומטית של מטרות מיקרו-פבריקט לניסויים אינטנסיביים בהקרן לייזר

Described is an experimental procedure that enables high-power laser irradiation of microfabricated targets. Targets are brought to the laser focus by a ...

UV-Vis Spectroscopic Characterization of Nanomaterials in Aqueous Media

אפיון ספקטרוסקופי UV-Vis של ננו-חומרים במדיה מימית

The physicochemical characterization of nanomaterials (NMs) is often an analytical challenge, due to their small size (at least one dimension in the ...

3D Printing - Evaluating Particle Emissions of a 3D Printing Pen

הדפסה בתלת-ממד - הערכת פליטות חלקיקים של עט הדפסה בתלת-ממד

Three-dimensional (3D) printing as a type of additive manufacturing shows continuing increase in application and consumer popularity. The fused filament ...