Name: deep neural networks for image-based dietary assessment
Uploaded: 2021-03-13T15:00:00
Duration: 13 min 19 s
Description: Watch this Scientific Journal Video about Deep Neural Networks for Image-Based Dietary Assessment at JoVE.com

ويود المؤلفون أن يشكروا تمارا بوتشر من جامعة نيوكاسل، أستراليا، على تقديمها مجموعة بيانات صور الطعام المزيفة. وقد دعم هذا العمل برنامج البحث والابتكار في أفق 2020 التابع للاتحاد الأوروبي (أرقام المنح 863059 - FNS-Cloud، 769661 - SAAM)؛ ووكالة البحوث السلوفينية (منحة رقم P2-0098). لم يكن للاتحاد الأوروبي ووكالة البحوث السلوفينية أي دور في تصميم أو تحليل أو كتابة هذه المقالة.

ليس لدى أصحاب البلاغ ما يكشفون عنه.

في السنوات الأخيرة، تم التحقق من الشبكات العصبية العميقة عدة مرات كحل مناسب للاعتراف صور الغذاء10،11،12،21،23،25،26،29،31،33. عملنا المقدمة في هذه المقالة يعمل على مزيد من إثبات هذا1،2. نهج التعرف على صورة الأغذية أحادية الإخراج هو واضح ويمكن استخدامه لتطبيقات بسيطة حيث من المتوقع الصور مع واحد فقط من المواد الغذائية أو المشروبات2.
يبدو نهج تجزئة صورة الطعام مناسبًا بشكل خاص للاعتراف بالصور الغذائية بشكل عام ، دون أي قيود على عدد المواد الغذائية1. لأنه يعمل عن طريق تصنيف كل بكسل الفردية من الصورة، وأنها قادرة على التعرف ليس فقط على أي عدد من المواد الغذائية في الصورة، ولكن أيضا تحديد مكان وجود عنصر الغذاء، فضلا عن مدى حجمها. ويمكن بعد ذلك استخدام هذا الأخير لإجراء تقدير الوزن الغذائي، لا سيما إذا كان يستخدم مع كائن مرجعي أو كاميرا ثابتة المسافة.
كان هناك بعض العمل المنجز فيما يتعلق بتوافر مجموعات البيانات صورة الغذاء3,22,27,30,36,37,38,39,40,41,42, ونحن نأمل أن يتم عمل المزيد في المستقبل, خاصة عندما يتعلق الأمر بتجميع مجموعات البيانات صورة الغذاء من مختلف المناطق في جميع أنحاء العالم, والتي من شأنها أن تمكن من وضع حلول أكثر قوة. حاليا، دقة التلقائية حلول التعرف على صورة الغذاء لم تصل بعد إلى دقة مستوى الإنسان35، وهذا من المرجح في جزء كبير منه بسبب استخدام مجموعات البيانات صورة الغذاء من حجم غير كاف والجودة.
في المستقبل، سيكون هدفنا هو مواصلة تقييم الإجراءات المتقدمة بشأن الصور في العالم الحقيقي. بشكل عام، تحتوي مجموعات البيانات في هذا المجال على صور يتم التقاطها في بيئات خاضعة للرقابة أو صور تم تحسينها يدويًا للتعرف عليها. هذا هو السبب في أنه من المهم جمع مجموعة بيانات كبيرة ومتنوعة من صور الطعام في العالم الحقيقي لتشمل جميع المواد الغذائية والمشروبات المختلفة التي قد يرغب الأفراد في التعرف عليها. الخطوة الأولى نحو ذلك تم توفيرها من خلال تحدي التعرف على الأغذية، والتي تضمنت مجموعة بيانات من صور الطعام في العالم الحقيقي19، ولكن هناك حاجة إلى مزيد من العمل للتحقق من صحة هذا النهج على صور الطعام من جميع أنحاء العالم وبالتعاون مع أخصائيي التغذية.

<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td>HARDWARE</td>
			<td></td>
			<td></td>
			<td></td>
		</tr>
		<tr>
			<td>NVIDIA GPU</td>
			<td>NVIDIA</td>
			<td>N/A</td>
			<td>An NVIDIA GPU is needed as some of the software frameworks below will not work otherwise. https://www.nvidia.com</td>
		</tr>
		<tr>
			<td>SOFTWARE</td>
			<td></td>
			<td></td>
			<td></td>
		</tr>
		<tr>
			<td>Caffe</td>
			<td>Berkeley AI Research</td>
			<td>N/A</td>
			<td>Caffe is a deep learning framework. https://caffe.berkeleyvision.org</td>
		</tr>
		<tr>
			<td>CLoDSA</td>
			<td>J&#243;nathan Heras</td>
			<td>N/A</td>
			<td>CLoDSA is a Python image augmentation library. https://github.com/joheras/CLoDSA</td>
		</tr>
		<tr>
			<td>Google API Client</td>
			<td>Google</td>
			<td>N/A</td>
			<td>Google API Client is a Python client library for Google&#39;s discovery based APIs. https://github.com/googleapis/google-api-python-client</td>
		</tr>
		<tr>
			<td>JavaScript Segment Annotator</td>
			<td>Kota Yamaguchi</td>
			<td>N/A</td>
			<td>JavaScript Segment Annotator is a JavaScript image annotation tool. https://github.com/kyamagu/js-segment-annotator</td>
		</tr>
		<tr>
			<td>MMDetection</td>
			<td>Multimedia Laboratory, CUHK</td>
			<td>N/A</td>
			<td>MMDetection is an object detection toolbox based on PyTorch. https://github.com/open-mmlab/mmdetection</td>
		</tr>
		<tr>
			<td>NVIDIA DIGITS</td>
			<td>NVIDIA</td>
			<td>N/A</td>
			<td>NVIDIA DIGITS is a wrapper for Caffe that provides a graphical web interface. https://developer.nvidia.com/digits</td>
		</tr>
		<tr>
			<td>OpenCV</td>
			<td>Intel</td>
			<td>N/A</td>
			<td>OpenCV is a library for computer vision. https://opencv.org</td>
		</tr>
		<tr>
			<td>Python</td>
			<td>Python Software Foundation</td>
			<td>N/A</td>
			<td>Python is a programming language. https://www.python.org</td>
		</tr>
		<tr>
			<td>PyTorch</td>
			<td>Facebook AI Research</td>
			<td>N/A</td>
			<td>PyTorch is a machine learning framework. https://pytorch.org</td>
		</tr>
		<tr>
			<td>Ubuntu OS</td>
			<td>Canonical</td>
			<td>N/A</td>
			<td>Ubuntu 14.04 is the OS used by the authors and offers compatibility with all of the software frameworks and tools above. https://ubuntu.com</td>
		</tr>
	</tbody>
</table>

deep neural networks for image-based dietary assessment

نظراً للقضايا والتكاليف المرتبطة بنُهج التقييم الغذائي اليدوية، هناك حاجة إلى حلول آلية لتسهيل العمل وتسريعه وزيادة جودته. اليوم، الحلول الآلية قادرة على تسجيل المداواة الغذائية للشخص بطريقة أبسط بكثير، مثل التقاط صورة مع كاميرا الهاتف الذكي. في هذه المقالة، سوف نركز على مثل هذه النهج القائمة على الصور للتقييم الغذائي. بالنسبة لمشكلة التعرف على الصور الغذائية ، حققت الشبكات العصبية العميقة أحدث ما توصلت إليه في السنوات الأخيرة ، ونحن نقدم عملنا في هذا المجال. على وجه الخصوص ، نحن أولا وصف طريقة التعرف على صورة الطعام والمشروبات باستخدام بنية الشبكة العصبية العميقة ، ودعا NutriNet. هذه الطريقة، مثل معظم الأبحاث التي أجريت في الأيام الأولى من التعرف على صورة الطعام العميق القائم على التعلم، تقتصر على ناتج واحد لكل صورة، وبالتالي غير مناسبة للصور مع عناصر متعددة من المواد الغذائية أو المشروبات. هذا هو السبب في أن النهج التي تؤدي تجزئة صورة الطعام هي أكثر قوة بكثير ، لأنها قادرة على تحديد أي عدد من المواد الغذائية أو المشروبات في الصورة. ولذلك نقدم أيضا طريقتين لتجزئة صورة الأغذية - واحدة تقوم على شبكات التواء تماما (FCNs)، والأخرى على الشبكات المتبقية العميقة (ResNet).

تم اختبار NutriNet ضد ثلاثة أبنية التعلم العميق شعبية في ذلك الوقت: أليكس نت14, GoogLeNet51 و ريسنت16. كما تم اختبار معلمات التدريب المتعددة لجميع الهياكل لتحديد القيم المثلى2. ومن بين هذه الخيارات اختيار نوع حل الحلول، الذي يحدد كيفية تقليل وظيفة الخسارة. هذه الوظيفة هي مقياس الجودة الأساسي لتدريب الشبكات العصبية كما أنها أكثر ملاءمة للتحسين أثناء التدريب من دقة التصنيف. اختبرنا ثلاثة ملل: هبوط الانحدار العشوائي (SGD)52، التدرج المعجل Nesterov (NAG)53 و خوارزمية التدرج التكيفي (AdaGrad)54. المعلمة الثانية هي حجم المجموعة، والتي تحدد عدد الصور التي تتم معالجتها في نفس الوقت. عمق بنية التعلم العميق تحديد قيمة هذه المعلمة، كما تتطلب أعمق العمارات مساحة أكبر في ذاكرة GPU - نتيجة لهذا النهج كان ملء تماما مع الذاكرة مع الصور لجميع بنيات، بغض النظر عن العمق. المعلمة الثالثة هي معدل التعلم ، الذي يحدد السرعة التي يتم بها تغيير معلمات الشبكة العصبية أثناء التدريب. تم تعيين هذه المعلمة في انسجام مع حجم المجموعة، حيث أن عدد الصور المعالجة المتزامنة يفرض معدل التقارب. وقد تم تدريب نماذج AlexNet باستخدام حجم دفعة من 256 صورة ومعدل تعلم أساسي قدره 0.02؛ واستخدمت NutriNet حجم دفعة من 128 صورة ومعدل 0.01؛ صور GoogLeNet 64 ومعدل 0.005؛ و ResNet 16 الصور ومعدل 0.00125. تم تثبيت ثلاثة معلمات أخرى لجميع البنيات: سياسة معدل التعلم (خطوة إلى أسفل)، حجم الخطوة (30٪) وغاما (0.1). تصف هذه المعلمات بشكل مشترك كيف يتغير معدل التعلم في كل حقبة. والفكرة وراء هذا النهج هو أن يتم تخفيض معدل التعلم تدريجيا لضبط النموذج كلما اقترب من قيمة الخسارة المثلى. وأخيراً، تم تثبيت عدد عهود التدريب أيضاً إلى 150 لكل أبنية التعلم العميق2.
وكانت أفضل نتيجة بين جميع المعلمات التي تم اختبارها التي حققت NutriNet دقة تصنيف 86.72٪ على مجموعة بيانات الاعتراف، والتي كانت أعلى بنحو 2٪ من أفضل نتيجة لـ AlexNet وأعلى قليلاً من أفضل نتيجة لـ GoogLeNet. وكان أفضل أداء الهندسة المعمارية عموما ResNet (بنحو 1 ٪) ، ولكن وقت التدريب ل ResNet هو أعلى بكثير مقارنة NutriNet (بعامل من خمسة تقريبا) ، وهو أمر مهم إذا كانت النماذج باستمرار إعادة تدريب لتحسين دقة وعدد المواد الغذائية يمكن التعرف عليها. حققت نوترنيت، أليكس نت وغوغلينت أفضل نتائجها باستخدام حلّل AdaGrad، في حين أن أفضل طراز من ResNet استخدم حلّل NAG. NutriNet كما تم اختبارها على مجموعة البيانات صورة UNIMIB2016 صورة الغذاء المتاحة للجمهور38. تحتوي مجموعة البيانات هذه على 3,616 صورة لـ 73 مادة غذائية مختلفة. حققت NutriNet دقة اعتراف بنسبة 86.39٪ على مجموعة البيانات هذه ، متفوقًا قليلاً على نتيجة التعرف على خط الأساس لمؤلفي مجموعة البيانات ، والتي كانت 85.80٪. بالإضافة إلى ذلك، تم اختبار NutriNet على مجموعة بيانات صغيرة من 200 صورة في العالم الحقيقي من 115 مادة مختلفة من المواد الغذائية والمشروبات، حيث حققت NutriNet دقة أعلى 5٪.
لتدريب FCN-8s وهمية الغذاء صورة تجزئة نموذج، استخدمنا آدم55 كنوع حلاء، كما وجدنا أنه يؤديها على النحو الأمثل لهذه المهمة. تم تحديد معدل التعلم الأساسي منخفض جداً - إلى 0.0001. والسبب في انخفاض العدد هو حقيقة أنه يمكن معالجة صورة واحدة فقط في كل مرة، وهو ما يعد نتيجة لعملية التصنيف على مستوى البكسل. متطلبات ذاكرة وحدة معالجة الرسومات لهذا الأسلوب أكبر بكثير من تصنيف مستوى الصورة. وبالتالي، كان لا بد من أن يكون معدل التعلم منخفضاً بحيث لا تتغير البارامترات بسرعة كبيرة وتتلاقى إلى قيم أقل مثالية. وقد تم تحديد عدد عهود التدريب إلى 100، في حين تم تعيين سياسة معدل التعلم وحجم الخطوة وغاما على التنحي، 34٪ و 0.1 على التوالي، لأن هذه المعلمات أنتجت النماذج الأكثر دقة.
تم إجراء قياسات دقة نموذج FCN-8s باستخدام قياس دقة البكسل15، وهو مشابه لدقة التصنيف لشبكات التعلم العميقة التقليدية ، والفرق الرئيسي هو أن الدقة يتم حسابها على مستوى البكسل بدلاً من مستوى الصورة:
<img alt="Equation 1" src="/files/ftp_upload/61906/61906eq01.jpg">
حيث السلطة الفلسطينية هو مقياس دقة بكسل، نij هو عدد من بكسل من فئة توقعت أن تنتمي إلى فئة j و t ط= Σj نij هو العدد الإجمالي للبكسل من فئة في تسميات الأرض الحقيقة1. بمعنى آخر، يتم حساب قياس دقة البكسل عن طريق قسمة وحدات البكسل المتوقعة بشكل صحيح على إجمالي عدد البيكسلات. وكانت الدقة النهائية للنموذج FCN-8s المدربين 92.18٪. ويبين الشكل 2 ثلاث صور نموذجية من مجموعة بيانات الصور المزيفة للأغذية (واحدة من كل مجموعة فرعية للتدريب والتحقق والاختبار)، إلى جانب تسميات التنبؤ الأرضية والنموذج المقابلة.
تم تعيين المعلمات لتدريب HTC20 ResNet-101 نموذج لتجزئة صورة الطعام على النحو التالي: كان نوع حل الحلول المستخدمة SGD لأنه تفوقت على أنواع أخرى من الحلول. تم تعيين معدل التعلم الأساسي إلى 0.00125 وحجم الدفعة إلى صورين. تم تعيين عدد من العهود التدريبية إلى 40 في مرحلة التدريب، وتم تنفيذ مراحل التدريب المتعددة - أولا على مجموعة البيانات FRC الأصلي دون صور معززة، ثم على مجموعة البيانات FRC المعززة 8x و 4x المعززة عدة مرات بطريقة متناوبة، في كل مرة أخذ النموذج الأفضل أداء وصقله في مرحلة التدريب التالية. ويمكن الاطلاع على مزيد من التفاصيل عن مراحل التدريب في القسم 3-3 من نص البروتوكول. وأخيراً، استخدمت سياسة التعلم التدريجي، مع وجود عهود ثابتة عندما انخفض معدل التعلم (الحقبة 28 و35 لمرحلة التدريب الأولى). ومن الأمور المهمة التي يجب ملاحظتها أنه في حين أن هذا التسلسل من مراحل التدريب قد أسفر عن أفضل النتائج في اختبارنا في نطاق FRC، فإن استخدام مجموعة بيانات أخرى قد يتطلب تسلسلًا مختلفًا لتحقيق أفضل النتائج.
تم تقييم هذا الحل القائم على ResNet لتجزئة صورة الطعام باستخدام مقياس الدقة التالي19:
<img alt="Equation 2" src="/files/ftp_upload/61906/61906eq02.jpg">
حيث P هو الدقة، TP هو عدد من التنبؤات الإيجابية الحقيقية من قبل نموذج تجزئة صورة الغذاء، FP هو عدد من التنبؤات الإيجابية الكاذبة و IoU هو تقاطع عبر الاتحاد، الذي يتم حساب مع هذه المعادلة:
<img alt="Equation 3" src="/files/ftp_upload/61906/61906eq03.jpg">
حيث تمثل منطقة التداخل عدد التنبؤات من قبل النموذج الذي يتداخل مع الحقيقة الأرضية، ومنطقة الاتحاد يمثل العدد الإجمالي للتنبؤات من قبل النموذج جنبا إلى جنب مع الحقيقة الأرض، سواء على مستوى بكسل ولكل فئة الغذاء الفردية. يتم استخدام استدعاء كإجراء ثانوي ويتم حساب بطريقة مماثلة، وذلك باستخدام الصيغة التالية19:
<img alt="Equation 4" src="/files/ftp_upload/61906/61906eq04.jpg">
حيث R هو استدعاء و FN هو عدد من التنبؤات السلبية كاذبة من قبل نموذج تجزئة صورة الغذاء. ثم يتم متوسط تدابير الدقة والتذكر عبر جميع الطبقات في الحقيقة الأرضية. وباستخدام هذه التدابير، حقق نموذجنا دقة متوسطة بلغت 59.2٪ ومتوسط نسبة استدعاء 82.1٪، والتي احتلت المرتبة الثانية في الجولة الثانية من تحدي التعرف على الأغذية19. وكانت هذه النتيجة 4.2٪ وراء المركز الأول و 5.3٪ قبل المركز الثالث من حيث متوسط مقياس الدقة. ويتضمن الجدول 1 نتائج المشاركين في المسابقة من بين أفضل 4 مشاركين.
<img alt="Figure 1" class="xfigimg" src="/files/ftp_upload/61906/61906fig01.jpg"> الشكل 1: الرسم التخطيطي لـ NutriNet بنية الشبكة العصبية العميقة. وقد نُشر هذا الرقم في Mezgec et al.2. <a href="https://www.jove.com/files/ftp_upload/61906/61906fig01large.jpg" target="_blank">الرجاء النقر هنا لعرض نسخة أكبر من هذا الرقم.</a>
<img alt="Figure 2" class="xfigimg" src="/files/ftp_upload/61906/61906fig02.jpg"> الشكل 2: صور من مجموعة بيانات الصور المزيفة للأغذية. الصور الأصلية (يسار) ، وتسميات الحقيقة الأرضية التي تحمل علامة يدويًا (الوسط) والتنبؤات من طراز FCN-8s (يمين). وقد نُشر هذا الرقم في Mezgec et al.1. <a href="https://www.jove.com/files/ftp_upload/61906/61906fig02large.jpg" target="_blank">الرجاء النقر هنا لعرض نسخة أكبر من هذا الرقم.</a>
<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always"><tbody>
<tr>
<td>اسم الفريق</td>
			<td>وضع</td>
			<td>متوسط الدقة</td>
			<td>متوسط الاستدعاء</td>
		</tr>
<tr>
<td>rssfete</td>
			<td>1</td>
			<td>63.4%</td>
			<td>88.6%</td>
		</tr>
<tr>
<td>simon_mezgec</td>
			<td>2</td>
			<td>59.2%</td>
			<td>82.1%</td>
		</tr>
<tr>
<td>أريمبو</td>
			<td>3</td>
			<td>53.9%</td>
			<td>73.5%</td>
		</tr>
<tr>
<td>كامنة</td>
			<td>4</td>
			<td>48.7%</td>
			<td>71.1%</td>
		</tr>
</tbody></table>الجدول 1: نتائج القمة 4 من الجولة الثانية من تحدي الاعتراف الغذائي. ويؤخذ متوسط الدقة كمقياس الأداء الأساسي ومتوسط الاستدعاء كمقياس ثانوي. وتؤخذ النتائج من المتصدرين المسابقة الرسمية19.
ملفات تكميلية. <a href="https://www.jove.com/files/ftp_upload/61906/simon_mezgec_supplemental_files_revision1_.zip" target="_blank">الرجاء النقر هنا لتحميل هذا الملف.</a>

Watch this Scientific Journal Video about Deep Neural Networks for Image-Based Dietary Assessment at JoVE.com

Deep Neural Networks for Image-Based Dietary Assessment

الهدف من العمل المعروض في هذه المقالة هو تطوير التكنولوجيا للاعتراف الآلي للمواد الغذائية والمشروبات من الصور التي التقطتها الأجهزة المحمولة. وتتألف هذه التكنولوجيا من نهجين مختلفين - الأول يؤدي التعرف على صورة الطعام في حين أن الثاني يقوم بتجزئة الصورة الغذائية.

الشبكات العصبية العميقة للتقييم الغذائي القائم على الصور

Due to the issues and costs associated with manual dietary assessment approaches, automated solutions are required to ease and speed up the work and ...

بسبب القضايا والتكاليف المرتبطة نهج التقييم الغذائية دليل الحلول الآلية مطلوبة لتسهيل وتسريع العمل وزيادة جودته. اليوم، الحلول الآلية قادرة على تسجيل المداواة الغذائية للشخص بطريقة أبسط بكثير، مثل التقاط صورة مع كاميرا الهاتف الذكي. في هذه المقالة ، سوف نركز على مثل هذه النهج القائمة على الصور للتقييم الغذائي باستخدام الشبكات العصبية العميقة ، والتي تمثل أحدث ما في هذا المجال.على وجه الخصوص، سوف نقدم ثلاثة حلول، واحد للتعرف على صورة الغذاء، واحد لتجزئة صورة من النسخ المتماثلة الغذاء، أو الغذاء وهمية، واحد لتجزئة الصورة من الغذاء الحقيقي. جمع قائمة من الأطعمة والمشروبات المختلفة التي ستكون مخرجات نموذج التعرف على صورة الطعام. احفظ قائمة الطعام والمشروبات في ملف نصي، مثل TXT أو CSV.لاحظ أن الملف النصي المستخدم من قبل مؤلفي هذه المقالة يمكن العثور عليه في الملفات التكميلية تحت العناصر الغذائية TXT ويتضمن قائمة من 520 المواد الغذائية السلوفينية. اكتب أو قم بتنزيل برنامج بايثون النصي الذي يستخدم واجهة برمجة تطبيقات بحث Google المخصصة لتنزيل صور كل عنصر غذائي من القائمة وحفظها في مجلد منفصل لكل عنصر غذائي. لاحظ أن البرنامج النصي Python المستخدمة من قبل مؤلفي هذه المقالة يمكن العثور عليها في الملفات التكميلية تحت تحميل الصور نقطة pi.إذا تم استخدام هذا البرنامج النصي المطور مفتاح متغير المطور سطر ثمانية في رمز البرنامج النصي بيثون ومخصص محرك البحث معرف معرف خط CX 28 في رمز البرنامج النصي بيثون تحتاج إلى استبداله مع القيم الخاصة بحساب جوجل المستخدمة. تشغيل البرنامج النصي Python من الخطوة 1.1.3. إنشاء نسخة جديدة من كل صورة من مجموعة بيانات صورة الطعام عن طريق تدويرها بمقدار 90 درجة، وذلك باستخدام مكتبة CLoDSA.لاحظ أن البرنامج النصي Python يحتوي على كافة الأوامر CLoDSA المستخدمة من قبل مؤلفي هذه المقالة يمكن العثور عليها في ملف مضمن في الملفات التكميلية ضمن نقطة زيادة زيد اتشيل NutriNet pi. إنشاء نسخة جديدة من كل صورة من مجموعة بيانات صورة الطعام عن طريق تدويرها بمقدار 180 درجة، وذلك باستخدام مكتبة CLoDSA. إنشاء نسخة جديدة من كل صورة من مجموعة بيانات صورة الطعام عن طريق تدويرها بمقدار 270 درجة، وذلك باستخدام مكتبة CLoDSA.إنشاء نسخة جديدة من كل صورة من مجموعة بيانات صورة الطعام عن طريق التقليب أفقيا، وذلك باستخدام مكتبة CLoDSA. إنشاء نسخة جديدة من كل صورة من مجموعة بيانات صورة الغذاء عن طريق إضافة الضوضاء اللون عشوائي إليها، وذلك باستخدام مكتبة CLoDSA. إنشاء نسخة جديدة من كل صورة من مجموعة بيانات صورة الطعام عن طريق التكبير إليها بنسبة 25٪ باستخدام مكتبة CLoDSA.حفظ الصور من الخطوات 1.3.1 إلى 1.3.6 جنبا إلى جنب مع الصور الأصلية في مجموعة بيانات جديدة صورة الغذاء. في المجموع، سبعة متغيرات لكل صورة الغذاء. استيراد مجموعة بيانات صورة الطعام من الخطوة 1.3.7 إلى بيئة أرقام NVIDI، وتقسيم مجموعة البيانات إلى مجموعات فرعية للتدريب والتحقق والاختبار.نسخ ولصق نص تعريف هندسة NutriNet في NVIDIA الأرقام. لاحظ أنه يمكن العثور على تعريف هندسة NutriNet في الملفات التكميلية ضمن NutriNet نقطة بروتو TXT. اختياريًا، قم بتعريف معلمات فرط التدريب في أرقام NVIDIA أو استخدم القيم الافتراضية.يمكن العثور على فرط المعلمات المستخدمة من قبل الكتاب من هذه المادة في ملف المدرجة في الملفات التكميلية تحت NutriNet تسطير تسطير فرط المعلمات نقطة بروتو TXT. تشغيل التدريب من طراز NutriNet. بعد اكتمال التدريب ، واتخاذ أفضل أداء NutriNet تكرار نموذج.ثم يتم استخدام هذا النموذج لاختبار أداء هذا الأسلوب. لاحظ أن هناك عدة طرق لتحديد أفضل أداء نموذج التكرار. راجع نصوص المقالة لمزيد من التفاصيل.الحصول على مجموعة بيانات من الصور الغذائية وهمية. لاحظ أن مؤلفي هذه المقالة تلقوا صورًا لطعام مزيف تم جمعها في بيئة معملية. إضافة تعليقات توضيحية إلى كل صورة غذائية يدويًا على مستوى البكسل.يجب أن يحتوي كل بكسل في الصورة على معلومات حول أي فئة طعام تنتمي إليها. لاحظ أن هناك العديد من الأدوات لتحقيق ذلك. استخدم مؤلفو هذه المقالة تعليقات مقطع جافا سكريبت.نتيجة هذه الخطوة هي صورة توضيحية واحدة لكل صورة من مجموعة بيانات صور الطعام، حيث يمثل كل بكسل أحد فئات الطعام. تنفيذ نفس الخطوات كما هو الحال في القسم 1.3، ولكن فقط على الصور من مجموعة التدريب الفرعية لمجموعة بيانات صورة الطعام. لاحظ أنه باستثناء الخطوة 1.3.5، يجب تنفيذ كافة خطوات زيادة البيانات على صور التعليق التوضيحي المقابلة أيضًا.تنفيذ نفس الخطوات كما في المقطع 1.4 باستثناء الخطوة 1.4.2. بدلاً من تلك الخطوة تنفيذ الخطوات 2.3.2 و 2.3.3. لاحظ أن التدريب فرط المعلمات المستخدمة من قبل الكتاب من هذه المادة يمكن العثور عليها في الملف المتضمن في الملفات التكميلية تحت FCN-8S تسطير تسطير فرط المعلمات نقطة بروتو TXT.نسخ ولصق نص تعريف هندسة FCN-8S في أرقام NVIDIA. أدخل أوزان طراز FCN-8S المدربة مسبقًا في أرقام NVIDIA. لاحظ أن هذه الأوزان نموذج تم تدريب مسبق على باسكال البصرية فئات الكائنات مجموعة البيانات ويمكن العثور على الإنترنت.قم بتنزيل مجموعة بيانات صورة الطعام من موقع تحدي التعرف على الغذاء. تنفيذ الخطوات 1.3.1 إلى 1.3.4. لاحظ أن البرنامج النصي Python يحتوي على كافة الأوامر CLoDSA المستخدمة من قبل مؤلفي هذه المقالة يمكن العثور عليها في الملف المتضمن في الملفات التكميلية ضمن FRC زيادة نقطة زيادة pi.إنشاء نسخة جديدة من كل صورة من مجموعة بيانات صورة الغذاء عن طريق إضافة طمس غاوسية إليها ، وذلك باستخدام مكتبة CLoDSA. إنشاء نسخة جديدة من كل صورة من مجموعة بيانات صورة الطعام عن طريق توضيح ذلك، وذلك باستخدام مكتبة CLoDSA. إنشاء نسخة جديدة من كل صورة من مجموعة بيانات صورة الطعام عن طريق تطبيق تصحيح غاما عليه، وذلك باستخدام مكتبة CLoDSA.حفظ الصور من الخطوات 3.2.1 إلى 3.2.4 جنبا إلى جنب مع الصور الأصلية في مجموعة بيانات جديدة صورة الغذاء. في المجموع، ثمانية متغيرات لكل صورة الغذاء. حفظ الصور من الخطوات 3.2.2 إلى 3.2.4 جنبا إلى جنب مع الصور الأصلية في مجموعة بيانات جديدة صورة الغذاء.في المجموع، أربعة متغيرات لكل صورة الغذاء. تعديل تعريف هندسة HTC ResNet 101 الموجودة من مكتبة الكشف MM بحيث تقبل مجموعات بيانات الصورة الغذائية من الخطوات 3.1.1 و 3.2.5 و 3.2.6. اختياريًا، قم بتعديل تعريف بنية HTC ResNet 101 من الخطوة 3.3.1 لتعريف معلمات فرط التدريب أو استخدام القيم الافتراضية.لاحظ أنه يمكن العثور على تعريف بنية HTC ResNet 101 المعدلة في الملفات التكميلية ضمن HTC تسطير سفلية ResNet 101 نقطة pi. تشغيل التدريب من طراز HTC ResNet 101 على مجموعات بيانات صورة الطعام من الخطوة 3.1.1 باستخدام مكتبة الكشف MM. بعد اكتمال التدريب من الخطوة 3.3.3 ، خذ أفضل أداء HTC ResNet 101 نموذج التكرار وصقله عن طريق تشغيل المرحلة التالية من التدريب على مجموعة بيانات صورة الغذاء من الخطوة 3.2.5.لاحظ أن هناك عدة طرق لتحديد أفضل أداء نموذج التكرار. راجع نصوص المقالة لمزيد من التفاصيل. وهذا أمر ذو صلة بالخطوات التالية أيضاً.بعد اكتمال التدريب من الخطوة 3.3.4 ، خذ أفضل أداء HTC ResNet 101 نموذج التكرار وصقله عن طريق تشغيل المرحلة التالية من التدريب على مجموعة بيانات صورة الغذاء من الخطوة 3.2.6. بعد اكتمال التدريب من الخطوة 3.3.5 ، خذ أفضل أداء HTC ResNet 101 نموذج التكرار وصقله من خلال تشغيل مرة أخرى المرحلة التالية من التدريب على مجموعة بيانات صورة الغذاء من الخطوة 3.2.5. بعد اكتمال التدريب من الخطوة 3.3.6، خذ أفضل أداء HTC ResNet 101 تكرار نموذج.ثم يتم استخدام هذا النموذج لاختبار أداء هذا الأسلوب. لاحظ أن الخطوات 3.3.3 إلى 3.3.7 حققت أفضل النتائج للأغراض التي تم تعريفها من قبل مؤلفي هذه المقالة. ويتعين إجراء تجارب لكل مجموعة بيانات للعثور على التسلسل الأمثل للتدريب وخطوات زيادة البيانات.بعد اختبار نموذج الاتجاه NutriNet حققت دقة تصنيف 86.72٪ على مجموعة بيانات الاعتراف، والتي كانت أعلى من 2٪ من AlexNet وأعلى قليلا من GoogLeNet، والتي كانت شعبية العمارات الشبكة العصبية العميقة في ذلك الوقت. لقياس دقة نموذج تجزئة صورة الطعام المزيف FCN-8S، تم استخدام مقياس دقة البكسل. وكانت دقة نموذج FCN-8S المدربين 92.18٪ تم تقييم الحل القائم على ResNet لتجزئة صورة الطعام باستخدام المقياس الدقيق المحدد في تحدي التعرف على الأغذية.باستخدام هذا المقياس حقق نموذج القطار دقة متوسطة قدرها 59.2٪ والتي احتلت المرتبة الثانية في تحدي التعرف على الأغذية. في السنوات الأخيرة، تم التحقق من الشبكات العصبية العميقة عدة مرات كحل مناسب للاعتراف بصور الطعام. وعملنا المعروض في هذه المقالة يفيد في زيادة إثبات ذلك.نهج التعرف على صورة الأغذية الناتجة الواحدة هو واضح ويمكن استخدامه لتطبيقات بسيطة. في حين أن نهج تجزئة صورة الطعام يتطلب المزيد من العمل في إعداد الصور المشروحة ، ولكنه أكثر قابلية للتطبيق على صور العالم الحقيقي. وفي المستقبل، سيكون هدفنا هو مواصلة تقييم الإجراءات المتقدمة بشأن صور العالم الحقيقي.وقد تم توفير الخطوة الأولى نحو التحقق من الصحة في العالم الحقيقي من خلال تحدي التعرف على الأغذية، الذي تضمن مجموعة بيانات من صور الغذاء الحقيقية في العالم. ولكن، لا بد من القيام بمزيد من العمل للتحقق من صحة هذا النهج بشأن الصور الغذائية من جميع أنحاء العالم وبالتعاون مع أخصائيي التغذية.

Research

JoVE Journal

Engineering

Concurrent Quantitative Conductivity and Mechanical Properties Measurements of Organic Photovoltaic Materials using AFM

الكمية التوصيل المتزامن والخصائص الميكانيكية للمواد القياسات الضوئية العضوية باستخدام AFM

Organic photovoltaic  (OPV) materials are inherently inhomogeneous at the nanometer scale. Nanoscale  inhomogeneity of OPV materials affects performance ...

Detection and Recovery of Palladium, Gold and Cobalt Metals from the Urban Mine Using Novel Sensors/Adsorbents Designated with Nanoscale Wagon-wheel-shaped Pores

كشف واستعادة البلاديوم والذهب والكوبالت المعادن من منجم الحضري عن طريق مجسات رواية / الممتزات مخصصة للمع النانو المسامات على شكل عجلة عربة

Developing low-cost, efficient processes for recovering and recycling palladium, gold and cobalt metals from urban mine remains a significant challenge in ...

Preparation of Liquid Crystal Networks for Macroscopic Oscillatory Motion Induced by Light

إعداد شبكات البلورات السائلة للحركة متذبذبة العيانية الناجم عن الضوء

A strategy based on doped liquid crystalline networks is described to create mechanical self-sustained oscillations of plastic films under continuous ...

Indoor Experimental Assessment of the Efficiency and Irradiance Spot of the Achromatic Doublet on Glass (ADG) Fresnel Lens for Concentrating Photovoltaics

Indoor Experimental Assessment of the Efficiency and Irradiance Spot of the Achromatic Doublet on Glass ADG Fresnel Lens for Concentrating Photovoltaics

تقييم تجريبي داخلي للكفاءة والإشعاع بقعة ليبنوا متعامي على الزجاج (مساعد المدير العام) فريسنل العدسة لتركيز وحدات الطاقة الشمسية

We present a method to characterize achromatic Fresnel lenses for photovoltaic applications. The achromatic doublet on glass (ADG) Fresnel lens is ...

Applicability Analysis of Assessment Methods for Morphological Parameters of Corroded Steel Bars

تحليل تطبيق أساليب التقييم لمعلمات المورفولوجية لقضبان الصلب المتآكلة

The irregular and uneven residual sections along the length of a corroded steel bar substantially change its mechanical properties and significantly ...

Impacts of Free-falling Spheres on a Deep Liquid Pool with Altered Fluid and Impactor Surface Conditions

الآثار المترتبة على مجالات وكيبلر في بركة عميقة سائل مع ظروف سطح السائل غيرت والمسبار

Vertical impacts of spheres on clean water have been the subject of numerous water entry investigations characterizing cavity formation, splash crown ...

Automated Deployment of an Internet Protocol Telephony Service on Unmanned Aerial Vehicles Using Network Functions Virtualization

النشر الألى لخدمه الهتفيه لبروتوكول الإنترنت علي المركبات الجوية بدون طيار باستخدام وظائف الشبكة الافتراضية

The Network Function Virtualization (NFV) paradigm is one of the key enabling technologies in the development of the 5th generation of mobile networks. ...

Automated Delivery of Microfabricated Targets for Intense Laser Irradiation Experiments

التسليم الآلي لأهداف Microfabricated لتجارب مكثفة بالليزر

Described is an experimental procedure that enables high-power laser irradiation of microfabricated targets. Targets are brought to the laser focus by a ...

UV-Vis Spectroscopic Characterization of Nanomaterials in Aqueous Media

الأشعة فوق البنفسجية فيس الوصف الطيفي للمواد النانوية في وسائل الإعلام المائية

The physicochemical characterization of nanomaterials (NMs) is often an analytical challenge, due to their small size (at least one dimension in the ...

3D Printing - Evaluating Particle Emissions of a 3D Printing Pen

الطباعة ثلاثية الأبعاد - تقييم انبعاثات الجسيمات من قلم الطباعة ثلاثية الأبعاد

Three-dimensional (3D) printing as a type of additive manufacturing shows continuing increase in application and consumer popularity. The fused filament ...