Name: deep neural networks for image-based dietary assessment
Uploaded: 2021-03-13T15:00:00
Duration: 13 min 19 s
Description: Watch this Scientific Journal Video about Deep Neural Networks for Image-Based Dietary Assessment at JoVE.com

Die Autoren danken Tamara Bucher von der University of Newcastle, Australien, für die Bereitstellung des Fake-Food-Bild-Datensatzes. Diese Arbeit wurde durch die Forschungs- und Innovationsprogramme Horizont 2020 der Europäischen Union unterstützt (Zuschussnummern 863059 - FNS-Cloud, 769661 - SAAM); slowenische Forschungsagentur (Zuschussnummer P2-0098). Die Europäische Union und die slowenische Forschungsagentur spielten bei der Konzeption, Analyse oder Verschreibung dieses Artikels keine Rolle.

1. Lebensmittelbilderkennung mit NutriNet
<ol><li>Abrufen des Food Image-Datasets
	<ol>
<li>Sammeln Sie eine Liste verschiedener Lebensmittel und Getränke, die die Ergebnisse des Lebensmittelbilderkennungsmodells sein werden. Bevorzugt wird eine abwechslungsreiche Liste beliebter Speisen und Getränke, die die Ausbildung eines robusten Lebensmittelbilderkennungsmodells ermöglichen.</li>
		<li>Speichern Sie die Lebensmittel- und Getränkeliste in einer Textdatei (z. B. 'txt' oder 'csv'). HINWEIS: Die textdatei, die von den Autoren dieses Artikels verwendet wird, kann in den ergänzenden Dateien ('food_items.txt') gefunden werden und enthält eine Liste von 520 slowenischen Lebensmitteln.</li>
		<li>Schreiben oder laden Sie ein Python43-Skript herunter, das die Google Custom Search API44 verwendet, um Bilder von jedem Lebensmittelelement aus der Liste herunterzuladen und sie in einem separaten Ordner für jedes Lebensmittelelement zu speichern. HINWEIS: Das Python-Skript, das von den Autoren dieses Artikels verwendet wird, kann in den ergänzenden Dateien ('download_images.py') gefunden werden. Wenn dieses Skript verwendet wird, müssen der Entwicklerschlüssel (Variable 'developerKey', Zeile 8 im Python-Skriptcode) und die benutzerdefinierte Suchmaschinen-ID (Variable 'cx', Zeile 28 im Python-Skriptcode) durch Werte ersetzt werden, die für das verwendete Google-Konto spezifisch sind.</li>
		<li>Führen Sie das Python-Skript aus Schritt 1.1.3 aus (z. B. mit dem Befehl 'python download_images.py').</li>
	</ol></li>
	<li>(Optional) Reinigen des Lebensmittelbild-Datasets
	<ol>
<li>Trainieren Sie ein Lebensmittelbilderkennungsmodell auf die gleiche Weise wie in Abschnitt 1.4, außer verwenden Sie nur zwei Ausgänge (Lebensmittel, Non-Food) im Gegensatz zur Ausgabeliste aus Schritt 1.1.1. HINWEIS: Die Autoren dieses Artikels verwendeten Bilder, die von Rezept-Websites und dem ImageNet-Dataset45 kombiniert wurden, um das Modell der Lebensmittelbilderkennung zu trainieren. Da der Fokus hier auf der Erkennung von Lebensmittelbildern liegt und dies ein optionaler Schritt zum Reinigen des Erkennungsdatensatzes ist, werden weitere Details weggelassen. Stattdessen finden Sie weitere Details zu diesem Ansatz in Mezgec et al.2.</li>
		<li>Führen Sie das Erkennungsmodell aus Schritt 1.2.1 im Food Image-Dataset aus, das das Ergebnis von Schritt 1.1.4 ist.</li>
		<li>Löschen Sie jedes Bild, das vom Erkennungsmodell aus Schritt 1.2.1 als Non-Food markiert wurde.</li>
		<li>Überprüfen Sie das Food Image-Dataset manuell auf andere fehlerhafte oder minderwertige Bilder und auf Bildduplikate.</li>
		<li>Löschen Sie Bilder, die in Schritt 1.2.4 gefunden wurden.</li>
	</ol></li>
	<li>Erweiterung des Food-Image-Datasets
	<ol>
<li>Erstellen Sie eine neue Version jedes Bildes aus dem Food-Image-Dataset, indem Sie es mit der CLoDSA-Bibliothek46 um 90° drehen (Zeilen 19 bis 21 im enthaltenen Python-Skript). HINWEIS: Das Python-Skript, das alle CLoDSA-Befehle enthält, die von den Autoren dieses Artikels verwendet werden, befindet sich in einer Datei, die in den ergänzenden Dateien enthalten ist ('nutrinet_augmentation.py'). Wenn dieses Skript verwendet wird, müssen der Eingabepfad (Variable 'INPUT_PATH', Zeile 8 im Python-Skriptcode) und der Ausgabepfad (Variable 'OUTPUT_PATH', Zeile 11 im Python-Skriptcode) durch Pfade zu den gewünschten Ordnern ersetzt werden.</li>
		<li>Erstellen Sie eine neue Version jedes Bildes aus dem Food-Image-Dataset, indem Sie es mit der CLoDSA-Bibliothek um 180° drehen (Zeilen 19 bis 21 im enthaltenen Python-Skript).</li>
		<li>Erstellen Sie eine neue Version jedes Bildes aus dem Food-Image-Dataset, indem Sie es mit der CLoDSA-Bibliothek um 270° drehen (Zeilen 19 bis 21 im enthaltenen Python-Skript).</li>
		<li>Erstellen Sie eine neue Version jedes Bildes aus dem Food-Image-Dataset, indem Sie es horizontal mithilfe der CLoDSA-Bibliothek (Zeilen 23 und 24 im enthaltenen Python-Skript) umdrehen.</li>
		<li>Erstellen Sie eine neue Version jedes Bildes aus dem Food-Image-Dataset, indem Sie ihm mithilfe der CLoDSA-Bibliothek zufälliges Farbrauschen hinzufügen (Zeilen 26 und 27 im enthaltenen Python-Skript).</li>
		<li>Erstellen Sie eine neue Version jedes Bildes aus dem Food-Image-Dataset, indem Sie mit der CLoDSA-Bibliothek um 25 % darauf zoomen (Zeilen 29 und 30 im enthaltenen Python-Skript).</li>
		<li>Speichern Sie Bilder aus den Schritten 1.3.1-1.3.6 zusammen mit den Originalbildern (Zeilen 16 und 17 im enthaltenen Python-Skript) in einem neuen Food-Image-Dataset (insgesamt 7 Varianten pro Lebensmittelbild). Dies geschieht durch Ausführen des Befehls in Zeile 32 des mitgelieferten Python-Skripts.</li>
	</ol></li>
	<li>Durchführen der Erkennung von Lebensmittelbildern
	<ol>
<li>Importieren Sie das Food Image-Dataset aus Schritt 1.3.7 in die NVIDIA DIGITS-Umgebung47, um das Dataset in Schulungs-, Validierungs- und Test-Teilmengen in der NVIDIA DIGITS-Benutzeroberfläche zu unterteilen.</li>
		<li>Kopieren und fügen Sie den Definitionstext der NutriNet-Architektur2 als benutzerdefiniertes Netzwerk in NVIDIA DIGITS ein. HINWEIS: Der NutriNet-Architekturdefinitionstext kann in den ergänzenden Dateien ('nutrinet.prototxt') gefunden werden.</li>
		<li>(Optional) Definieren Sie Trainingshyperparameter in der NVIDIA DIGITS-Benutzeroberfläche. HINWEIS: Hyperparameter sind Parameter, die verwendet werden, um den Trainingsprozess vor dessen Start zu definieren. Die hyperparameter von den Autoren dieses Artikels verwendet werden, kann in einer Datei in den ergänzenden Dateien enthalten gefunden werden ('nutrinet_hyperparameters.prototxt'). Während für jedes Dataset Experimente erforderlich sind, um die optimalen Hyperparameter zu finden, enthält die Datei eine Hyperparameterkonfiguration, die in die NVIDIA DIGITS-Benutzeroberfläche kopiert werden kann. Darüber hinaus füllt NVIDIA DIGITS die Hyperparameter mit Standardwerten aus, die als Basislinie verwendet werden können. Dieser Schritt ist daher fakultativ.</li>
		<li>Führen Sie das Training des NutriNet-Modells durch.</li>
		<li>Nehmen Sie nach Abschluss der Schulung die leistungsstärkste NutriNet-Modelliteration. Dieses Modell wird dann zum Testen der Leistung dieses Ansatzes verwendet. HINWEIS: Es gibt mehrere Möglichkeiten, die leistungsstärkste Modelliteration zu bestimmen. Eine einfache Möglichkeit, dies zu tun, ist wie folgt. NVIDIA DIGITS gibt ein Diagramm mit Genauigkeitsmessungen für jede Trainingsepoche aus. Überprüfen Sie, welche Epoche den niedrigsten Verlustwert für die Validierungsteilmenge des Food-Image-Datasets erreicht hat – diese Modelliteration kann als leistungsfähigst angesehen werden. Ein optionaler Schritt bei der Bestimmung der leistungsstärksten Modelliteration besteht darin, zu beobachten, wie sich der Verlustwert für die Trainingsteilmenge von Epoche zu Epoche ändert und ob er kontinuierlich zu sinken beginnt, während der Verlustwert für die Validierungsteilmenge gleich bleibt oder kontinuierlich ansteigt, nehmen Sie die Epoche vor diesem Wertverlust des Trainings, da dies signalisieren kann, wenn das Modell begann, die Trainingsbilder überzurüsten.</li>
	</ol></li>
</ol>2. Lebensmittelbildsegmentierung mit FCNs
<ol><li>
Abrufen des Fake-Food-Bild-Datasets
	<ol>
<li>Erhalten Sie einen Datensatz mit Fake-Food-Bildern. Fake-Food-Bilder werden von Forschern gesammelt, die Verhaltensstudien mit Lebensmittelreplikaten durchführen. HINWEIS: Die Autoren dieses Artikels erhielten Bilder von gefälschten Lebensmitteln, die in einer Laborumgebung gesammelt wurden18.</li>
		<li>Kommentieren Sie jedes Lebensmittelbild manuell auf Pixelebene - jedes Pixel im Bild muss Informationen darüber enthalten, zu welcher Lebensmittelklasse es gehört. Das Ergebnis dieses Schritts ist ein Anmerkungsbild für jedes Bild aus dem Food-Image-Dataset, wobei jedes Pixel eine der Lebensmittelklassen darstellt. HINWEIS: Es gibt viele Tools, um dies zu erreichen - die Autoren dieses Artikels verwendet JavaScript Segment Annotator48.</li>
	</ol>
</li>
	<li>
Erweiterung des Fake-Food-Bild-Datasets
	<ol>
<li>Führen Sie die gleichen Schritte wie in Abschnitt 1.3 aus, jedoch nur für Bilder aus der Trainingsteilmenge des Food Image-Datasets. HINWEIS: Mit Ausnahme von Schritt 1.3.5 müssen alle Datenerweiterungsschritte auch für entsprechende Anmerkungsbilder ausgeführt werden. Wenn das Skript aus Abschnitt 1.3 verwendet wird, müssen der Eingabepfad (Variable 'INPUT_PATH', Zeile 8 im Python 43-Skriptcode) und der Ausgabepfad (Variable 'OUTPUT_PATH', Zeile 11 im Python-Skriptcode) durch Pfade zu den gewünschten Ordnern ersetzt werden. Außerdem setzen Sie das Problem (Variable 'PROBLEM', Zeile 6 im Python-Skriptcode) auf 'instance_segmentation' und den Anmerkungsmodus (Variable 'ANNOTATION_MODE', Zeile 7 im Python-Skriptcode) und den Ausgabemodus (Variable 'OUTPUT_MODE', Zeile 10 im Python-Skriptcode) auf 'coco'.</li>
	</ol>
</li>
	<li>
Durchführen von Fake-Food-Bildsegmentierung
	<ol>
<li>Führen Sie die gleichen Schritte wie in Abschnitt 1.4 aus, mit Ausnahme von Schritt 1.4.2. Führen Sie anstelle dieses Schritts die Schritte 2.3.2 und 2.3.3 aus. HINWEIS: Hyperparameter sind Parameter, die verwendet werden, um den Trainingsprozess vor dessen Start zu definieren. Die Trainingshyperparameter, die von den Autoren dieses Artikels für den optionalen Schritt 1.4.3 verwendet werden, finden Sie in einer Datei, die in den zusatzdateien enthalten ist ('fcn-8s_hyperparameters.prototxt'). Während für jedes Dataset Experimente erforderlich sind, um den optimalen Satz von Hyperparametern zu finden, enthält die Datei eine Hyperparameterkonfiguration, die in die NVIDIA DIGITS47-Benutzeroberfläche kopiert werden kann. Darüber hinaus füllt NVIDIA DIGITS die Hyperparameter mit Standardwerten aus, die als Basislinie verwendet werden können.</li>
		<li>Kopieren und fügen Sie den Definitionstext der FCN-8s-Architektur15 als benutzerdefiniertes Netzwerk in die NVIDIA DIGITS-Umgebung ein. HINWEIS: Der FCN-8s-Architekturdefinitionstext ist auf GitHub49öffentlich verfügbar.</li>
		<li>Geben Sie den Pfad zu den vortrainierten FCN-8s-Modellgewichtungen in die NVIDIA DIGITS-Benutzeroberfläche ein. HINWEIS: Diese Modellgewichtungen wurden im PASCAL VOC-Dataset17 vortrainiert und sind im Internet49zu finden.</li>
	</ol>
</li>
</ol>3. Lebensmittelbild-Segmentierung mit HTC ResNet
<ol><li>Abrufen des Food Image-Datasets
	<ol>
<li>Laden Sie das Food Image Dataset von der FRC-Website19herunter.</li>
	</ol></li>
	<li>Erweiterung des Food-Image-Datasets
	<ol>
<li>Führen Sie die Schritte 1.3.1-1.3.4 aus. HINWEIS: Das Skript Python43, das alle Von den Autoren dieses Artikels verwendeten CLoDSA46-Befehle enthält, befindet sich in einer Datei, die in den ergänzenden Dateien enthalten ist ('frc_augmentation.py'). Wenn dieses Skript verwendet wird, müssen der Eingabepfad (Variable 'INPUT_PATH', Zeile 8 im Python-Skriptcode) und der Ausgabepfad (Variable 'OUTPUT_PATH', Zeile 11 im Python-Skriptcode) durch Pfade zu den gewünschten Ordnern ersetzt werden.</li>
		<li>Erstellen Sie eine neue Version jedes Bildes aus dem Food-Image-Dataset, indem Sie Gaussian Unschärfe hinzufügen, indem Sie es mithilfe der CLoDSA-Bibliothek hinzufügen (Zeilen 26 und 27 im enthaltenen Python-Skript).</li>
		<li>Erstellen Sie eine neue Version jedes Bildes aus dem Food-Image-Dataset, indem Sie es mithilfe der CLoDSA-Bibliothek schärfen (Zeilen 29 und 30 im enthaltenen Python-Skript).</li>
		<li>Erstellen Sie eine neue Version jedes Bildes aus dem Food-Image-Dataset, indem Sie mithilfe der CLoDSA-Bibliothek eine Gammakorrektur anwenden (Zeilen 32 und 33 im enthaltenen Python-Skript).</li>
		<li>Speichern Sie Bilder aus den Schritten 3.2.1-3.2.4 zusammen mit den Originalbildern (Zeilen 16 und 17 im enthaltenen Python-Skript) in einem neuen Food-Image-Dataset (insgesamt 8 Varianten pro Lebensmittelbild). Dies geschieht durch Ausführen des Befehls in Zeile 35 des mitgelieferten Python-Skripts.</li>
		<li>Speichern Sie Bilder aus den Schritten 3.2.2-3.2.4 zusammen mit den Originalbildern (Zeilen 16 und 17 im enthaltenen Python-Skript) in einem neuen Food-Image-Dataset (insgesamt 4 Varianten pro Lebensmittelbild). Dies geschieht durch Löschen der Zeilen 19 bis 24 des mitgelieferten Python-Skripts und Ausführen des Befehls in Zeile 35.</li>
	</ol></li>
	<li>Durchführen der Segmentierung von Lebensmittelbildern
	<ol>
<li>Ändern Sie die vorhandene HTC20 ResNet-101-Architektur16-Definition aus der MMDetection-Bibliothek50 in den Abschnitten "Modelleinstellungen" und "Dataset-Einstellungen" der Architekturdefinitionsdatei so, dass sie die Food-Image-Datasets aus den Schritten 3.1.1, 3.2.5 und 3.2.6 akzeptiert.</li>
		<li>(Optional) Ändern Sie die HTC ResNet-101-Architekturdefinition aus Schritt 3.3.1, um Trainingshyperparameter zu definieren: Batchgröße im Abschnitt "Dataset-Einstellungen", Solver-Typ und Lernrate im Abschnitt "Optimierer", Lernpolitik im Abschnitt "Lernrichtlinie" und Anzahl der Trainingsepochen im Abschnitt "Laufzeiteinstellungen" der Architekturdefinitionsdatei. HINWEIS: Die geänderte HTC ResNet-101 Architektur-Definitionsdatei kann in den zusätzlichen Dateien ('htc_resnet-101.py') gefunden werden. Hyperparameter sind Parameter, die verwendet werden, um den Trainingsprozess vor dessen Start zu definieren. Während für jedes Dataset Experimente erforderlich sind, um den optimalen Satz von Hyperparametern zu finden, enthält die Datei bereits eine Hyperparameterkonfiguration, die ohne Änderungen verwendet werden kann. Dieser Schritt ist daher fakultativ.</li>
		<li>Führen Sie das Training des HTC ResNet-101-Modells auf dem Food Image-Dataset ab Schritt 3.1.1 mit der MMDetection-Bibliothek aus (z. B. mit dem Befehl :python mmdetection/tools/train.py htc_resnet-101.py').</li>
		<li>Nachdem das Training ab Schritt 3.3.3 abgeschlossen ist, nehmen Sie die leistungsstärkste HTC ResNet-101-Modelliteration und optimieren Sie sie, indem Sie die nächste Phase des Trainings auf dem Food Image-Dataset aus Schritt 3.2.5 ausführen. HINWEIS: Es gibt mehrere Möglichkeiten, die leistungsstärkste Modelliteration zu bestimmen. Eine einfache Möglichkeit, dies zu tun, ist wie folgt. Die MMDetection-Bibliothek gibt Werte von Genauigkeitsmessungen für jede Trainingsepoche in der Befehlszeilenschnittstelle aus. Überprüfen Sie, welche Epoche den niedrigsten Verlustwert für die Validierungsteilmenge des Food-Image-Datasets erreicht hat – diese Modelliteration kann als leistungsfähigst angesehen werden. Ein optionaler Schritt bei der Bestimmung der leistungsstärksten Modelliteration besteht darin, zu beobachten, wie sich der Verlustwert für die Trainingsteilmenge von Epoche zu Epoche ändert und ob er kontinuierlich zu sinken beginnt, während der Verlustwert für die Validierungsteilmenge gleich bleibt oder kontinuierlich ansteigt, nehmen Sie die Epoche vor diesem Wertverlust des Trainings, da dies signalisieren kann, wenn das Modell begann, die Trainingsbilder überzurüsten.</li>
		<li>Nachdem das Training ab Schritt 3.3.4 abgeschlossen ist, nehmen Sie die leistungsstärkste HTC ResNet-101-Modelliteration und optimieren Sie sie, indem Sie die nächste Phase des Trainings auf dem Food Image-Dataset aus Schritt 3.2.6 ausführen. HINWEIS: Siehe Anmerkung zu Schritt 3.3.4.</li>
		<li>Nachdem das Training ab Schritt 3.3.5 abgeschlossen ist, nehmen Sie die leistungsstärkste HTC ResNet-101-Modelliteration und optimieren Sie sie, indem Sie die nächste Phase des Trainings auf dem Food Image-Dataset ab Schritt 3.2.5 erneut ausführen. HINWEIS: Siehe Anmerkung zu Schritt 3.3.4.</li>
		<li>Nachdem das Training ab Schritt 3.3.6 abgeschlossen ist, nehmen Sie die leistungsstärkste HTC ResNet-101-Modelliteration. Dieses Modell wird dann zum Testen der Leistung dieses Ansatzes verwendet. HINWEIS: Siehe Anmerkung zu Schritt 3.3.4. Die Schritte 3.3.3-3.3.7 lieferten die besten Ergebnisse für die von den Autoren dieses Artikels definierten Zwecke. Für jedes Dataset ist ein Experimentieren erforderlich, um die optimale Abfolge von Trainings- und Datenerweiterungsschritten zu finden.</li>
	</ol></li>
</ol>

Die Autoren haben nichts zu verraten.

In den letzten Jahren wurden tiefe neuronale Netzwerke mehrfach als geeignete Lösung zur Erkennung von Lebensmittelbildern10,11,12,21,23,25,26,29,31,33validiert. Unsere in diesem Artikel vorgestellte Arbeit dient dazu, dies weiter zu beweisen1,2. Der Single-Output-Lebensmittelbilderkennungsansatz ist einfach und kann für einfache Anwendungen verwendet werden, bei denen Bilder mit nur einem Lebensmittel- oder Getränkeartikel erwartet werden2.
Der Ansatz der Lebensmittelbildsegmentierung scheint besonders geeignet, um Lebensmittelbilder im Allgemeinen zu erkennen, ohne Einschränkung der Anzahl der Lebensmittel1. Da es durch die Klassifizierung jedes einzelnen Pixels des Bildes funktioniert, ist es in der Lage, nicht nur eine beliebige Anzahl von Lebensmitteln im Bild zu erkennen, sondern auch anzugeben, wo sich ein Lebensmittelelement befindet und wie groß es ist. Letzteres kann dann zur Durchführung einer Lebensmittelgewichtsschätzung verwendet werden, insbesondere wenn sie entweder mit einem Referenzobjekt oder einer Kamera mit fester Entfernung verwendet wird.
Es wurde einige Arbeit in Bezug auf die Verfügbarkeit von Lebensmittel-Bild-Datensätze3,22,27,30,36,37,38,39,40,41,42, und wir hoffen, dass in der Zukunft mehr getan werden, vor allem, wenn es um die Aggregation von Lebensmittelbild-Datensätzeaus verschiedenen Regionen auf der ganzen Welt, die robustere Lösungen entwickeln würde. Derzeit hat die Genauigkeit der automatischen Lösungen zur Erkennung von Lebensmittelbildern die Genauigkeit auf menschlicher Ebene noch nicht erreicht35, und dies ist wahrscheinlich zu einem großen Teil auf die Verwendung von Food-Image-Datasets von unzureichender Größe und Qualität zurückzuführen.
In Zukunft wird es unser Ziel sein, die entwickelten Verfahren auf realen Bildern weiter zu evaluieren. Im Allgemeinen enthalten Datasets in diesem Feld häufig Bilder, die in kontrollierten Umgebungen aufgenommen wurden, oder Bilder, die manuell für die Erkennung optimiert wurden. Aus diesem Grund ist es wichtig, einen großen und vielfältigen realen Food Image-Datensatz zu sammeln, um all die verschiedenen Lebensmittel- und Getränkeartikel zu umfassen, die Einzelpersonen vielleicht erkennen möchten. Der erste Schritt dazu war die Food Recognition Challenge, die einen Datensatz mit realen Lebensmittelbildern19enthielt, aber es muss noch weitere Arbeit geleistet werden, um diesen Ansatz auf Lebensmittelbildern aus der ganzen Welt und in Zusammenarbeit mit Ernährungsberatern zu validieren.

Die Ernährungsbewertung ist ein entscheidender Schritt bei der Bestimmung umsetzbarer Bereiche der individuellen Ernährung. Die Durchführung einer Ernährungsbewertung mit traditionell manuellen Ansätzen ist jedoch mit erheblichen Kosten verbunden. Diese Ansätze sind auch fehleranfällig, da sie oft auf selbstgemeldeten Personen beruhen. Die automatisierte Ernährungsbewertung behebt diese Probleme, indem sie eine einfachere Möglichkeit bietet, die Nahrungsaufnahme zu quantifizieren und zu qualifizieren. Ein solcher Ansatz kann auch einige der Fehler lindern, die in manuellen Ansätzen auftreten, wie verpasste Mahlzeiten, Unfähigkeit, das Lebensmittelvolumen genau zu beurteilen usw. Daher bietet die Automatisierung der Ernährungsbewertung klare Vorteile, indem Lösungen entwickelt werden, die verschiedene Lebensmittel und Getränke identifizieren und die Nahrungsaufnahme quantifizieren1. Diese Lösungen können auch verwendet werden, um eine Schätzung der Nährwerte von Lebensmitteln und Getränken (daher "Lebensmittel") zu ermöglichen. Folglich ist eine automatisierte Ernährungsbewertung für mehrere Anwendungen nützlich - von rein medizinischen Anwendungen, wie z. B. von Diätassistenten, die die Ernährung ihrer Patienten leichter und genauer verfolgen und analysieren können, bis hin zur Nutzung innerhalb von Wohlfühl-Apps, die auf die allgemeine Bevölkerung ausgerichtet sind.
Das automatische Erkennen von Lebensmitteln aus Bildern ist ein schwieriges Computer-Vision-Problem. Dies ist darauf zurückzuführen, dass Lebensmittel in der Regel verformbare Objekte sind, und aufgrund der Tatsache, dass eine große Menge der visuellen Informationen des Lebensmittels während seiner Zubereitung verloren gehen kann. Darüber hinaus können verschiedene Lebensmittel sehr ähnlich zueinander zu sein scheinen, und die gleiche Nahrung kann auf mehreren Bildern erheblich unterschiedlich erscheinen2. Darüber hinaus hängt die Erkennungsgenauigkeit von vielen weiteren Faktoren ab, wie z. B. der Bildqualität, davon, ob das Lebensmittel durch ein anderes Element behindert wird, Entfernung, von der das Bild aufgenommen wurde, usw. Das Erkennen von Getränken stellt seine eigenen Herausforderungen dar, wobei die hauptbegrenzte Menge an visuellen Informationen, die in einem Bild verfügbar ist, die wichtigste ist. Diese Information kann die Getränkefarbe, GetränkebehälterFarbe und -struktur und, unter optimalen Bildbedingungen, die Getränkedichte2sein.
Um Lebensmittel aus Bildern erfolgreich zu erkennen, ist es notwendig, die Funktionen jeder Lebensmittel- und Getränkeklasse zu erlernen. Dies wurde traditionell mit manuell definierten Feature-Extraktoren3,4,5,6, die Erkennung basierend auf bestimmten Element-Features wie Farbe, Textur, Größe, etc. oder eine Kombination dieser Features durchführen. Beispiele für diese Feature-Extraktoren sind mehrere Kernel-Lernen4, paarweise lokale Funktionen5 und die Tasche-of-Features-Modell6. Aufgrund der Komplexität der Lebensmittelbilder erreichten diese Ansätze meist eine geringe Klassifizierungsgenauigkeit - zwischen 10% und 40%3,4,5. Der Grund dafür ist, dass der manuelle Ansatz nicht robust genug ist, um ausreichend genau zu sein. Da ein Lebensmittel im Aussehen erheblich variieren kann, ist es nicht möglich, all diese Abweichungen manuell zu umfassen. Eine höhere Klassifizierungsgenauigkeit kann mit manuell definierten Feature-Extraktoren erreicht werden, wenn entweder die Anzahl der Lebensmittelklassen5reduziert wird oder verschiedene Bildmerkmale kombiniert werden6, was darauf hinweist, dass es einen Bedarf an komplexeren Lösungen für dieses Problem gibt.
Aus diesem Grund hat sich Deep Learning als so effektiv für das Problem der Lebensmittelbilderkennung erwiesen. Deep Learning, oder tiefe neuronale Netzwerke, wurde von biologischen Gehirnen inspiriert und ermöglicht es Rechenmodellen, die aus mehreren Verarbeitungsschichten bestehen, Automatisch Features durch Training auf einer Reihe von Eingabebildern zu erlernen7,8. Aus diesem Grund hat Deep Learning den Stand der Technik in einer Vielzahl von Forschungsbereichen wesentlich verbessert7, mit Computer-Vision, und in der Folge Lebensmittel-Bild-Erkennung, einer von ihnen2.
Insbesondere tiefkonvolutionale neuronale Netzwerke (DCNNs) sind am beliebtesten für die Erkennung von Lebensmittelbildern - diese Netzwerke sind vom visuellen System der Tiere inspiriert, wo einzelne Neuronen versuchen, ein Verständnis des visuellen Inputs zu erlangen, indem sie auf überlappende Bereiche im Gesichtsfeld reagieren9. Ein konvolutionales neuronales Netzwerk nimmt das Eingabebild auf und führt eine Reihe von Operationen in jeder der Netzwerkschichten durch, von denen die häufigsten faltige, voll verbundene und poolierende Schichten sind. Konvolutionale Layer enthalten lernbare Filter, die auf bestimmte Features in den Eingabedaten reagieren, während voll verbundene Layer Ausgabedaten aus anderen Layern zusammenstellen, um mehr Wissen daraus zu gewinnen. Das Ziel des Poolens von Layern besteht darin, die Eingabedaten2herunterzusampeln. Es gibt zwei Ansätze für die Verwendung von Deep Learning-Modellen, die sich als beliebt erwiesen haben: eine vorhandene Tiefe-Neuralnetzwerk-Definition10,11, die in diesem Artikel als Deep Learning-Architektur bezeichnet wird, oder die Definition einer neuen Deep Learning-Architektur12,13, und das Training einer dieser Daten in einem Food-Image-Dataset. Beide Ansätze haben Stärken und Schwächen - bei verwendung einer vorhandenen Deep Learning-Architektur kann eine Architektur ausgewählt und auf das gewünschte Problem abgestimmt werden, wodurch Zeit gespart und sichergestellt wird, dass eine validierte Architektur ausgewählt wurde. Die Definition einer neuen Deep-Learning-Architektur hingegen ist zeitaufwändiger, ermöglicht aber die Entwicklung von Architekturen, die speziell gemacht werden, um die Besonderheiten eines Problems zu berücksichtigen und somit theoretisch besser für dieses Problem zu arbeiten.
In diesem Artikel stellen wir beide Ansätze vor. Für das Problem der Lebensmittelbilderkennung haben wir eine neuartige DCNN-Architektur namens NutriNet2entwickelt, die eine Modifikation der bekannten AlexNet-Architektur14darstellt. Im Vergleich zu AlexNet gibt es zwei Hauptunterschiede: NutriNet akzeptiert 512x512-Pixel-Bilder als Eingabe (im Gegensatz zu 256x256-Pixel-Bildern für AlexNet), und NutriNet hat eine zusätzliche faltige Schicht am Anfang des neuronalen Netzwerks. Diese beiden Änderungen wurden eingeführt, um so viele Informationen wie möglich aus den Bildern des Erkennungsdatensatzes zu extrahieren. Mit bildern mit höherer Auflösung gab es mehr Informationen über Bilder und mehr faltige Schichten bedeutete, dass zusätzliches Wissen aus den Bildern extrahiert werden konnte. Im Vergleich zu den rund 60 Millionen Parametern von AlexNet enthält NutriNet weniger Parameter: rund 33 Millionen. Dies liegt an dem Unterschied in der Dimensionalität an der ersten voll verbundenen Schicht, der durch die zusätzliche Faltschicht2verursacht wird. Abbildung 1 enthält ein Diagramm der NutriNet-Architektur. Die Lebensmittelbilder, die zum Trainieren des NutriNet-Modells verwendet wurden, wurden aus dem Internet gesammelt - das Verfahren wird im Protokolltext beschrieben.
Für das Problem der Lebensmittelbildsegmentierung haben wir zwei verschiedene bestehende Architekturen verwendet: voll konvolutionale Netzwerke (FCNs)15 und Deep Residual Networks (ResNet)16, die beide den Stand der Technik für die Bildsegmentierung darstellten, als wir sie zur Entwicklung ihrer jeweiligen Lösungen zur Segmentierung von Lebensmittelbildern nutzten. Es gibt mehrere FCN-Varianten, die von Long et al. eingeführt wurden: FCN-32s, FCN-16s und FCN-8s15. FCN-32s gibt eine Pixelkarte basierend auf den Vorhersagen des endgültigen Layers des FCN aus, während die FCN-16s-Variante diese Vorhersagen mit denen eines früheren Layers kombiniert. FCN-8s berücksichtigt eine weitere Schicht Vorhersagen und ist daher in der Lage, Vorhersagen in feinstem Korn zu machen, weshalb es für die Erkennung von Lebensmittelbildern geeignet ist. Die FCN-8s, die wir verwendet haben, wurden im PASCAL Visual Object Classes (PASCAL VOC)-Datensatz17 vortrainiert und auf Bildern von Lebensmittelreplikaten (daher "Fake Food")18 trainiert und getestet, da sie optisch mit echtem Essen und aufgrund des Fehlens von kommentierten Bildern von echtem Essen auf Pixelebene gleichgestellt wurden. Gefälschte Lebensmittel werden in verschiedenen Verhaltensstudien verwendet und Bilder werden für alle Gerichte von allen Studienteilnehmern aufgenommen. Da der Lebensmittelinhalt dieser Bilder bekannt ist, macht es das Bild-Dataset nützlich für Deep Learning-Modellschulungen. Die Verarbeitungsschritte für Datasets werden im Protokolltext beschrieben.
Die ResNet-basierte Lösung wurde im Rahmen der Food Recognition Challenge (FRC)19entwickelt. Es verwendet die Hybrid Task Cascade (HTC)20 Methode mit einem ResNet-10116 Backbone. Dies ist ein state-of-the-art-Ansatz für das Problem der Bildsegmentierung, der verschiedene Feature-Extraktoren oder Backbones verwenden kann. Wir betrachteten auch andere Backbone-Netzwerke, insbesondere andere ResNet-Varianten wie ResNet-5016, aber ResNet-101 war aufgrund seiner Tiefe und Fähigkeit, Eingabebilder auf komplexe Weise darzustellen, am besten geeignet. Das Dataset, das zum Trainieren des HTC ResNet-101-Modells verwendet wurde, war das FRC-Dataset mit zusätzlichen erweiterten Bildern. Diese Erweiterungen werden im Protokolltext dargestellt.
Dieser Artikel ist als Ressource für Machine Learning-Experten gedacht, die nach Informationen suchen, welche Deep Learning-Architekturen und Datenerweiterungsschritte für die Probleme der Lebensmittelbilderkennung und -segmentierung gut funktionieren, sowie für Ernährungsforscher, die unseren Ansatz zur Automatisierung der Lebensmittelbilderkennung für die Ernährungsbewertung nutzen möchten. In den folgenden Absätzen werden Deep Learning-Lösungen und Datensätze aus dem Lebensmittelbilderkennungsfeld vorgestellt. Im Protokolltext beschreiben wir, wie jeder der drei Ansätze verwendet wurde, um tiefe neuronale Netzwerkmodelle zu trainieren, die für die automatisierte Ernährungsbewertung verwendet werden können. Darüber hinaus enthält jeder Protokollabschnitt eine Beschreibung, wie die für Schulungen und Tests verwendeten Food-Image-Datasets erfasst und verarbeitet wurden.
DCNNs erzielten im Allgemeinen wesentlich bessere Ergebnisse als andere Methoden zur Erkennung und Segmentierung von Lebensmitteln, weshalb die überwiegende Mehrheit der jüngsten Forschungen auf diesem Gebiet auf diesen Netzwerken basiert. Kawano et al. verwendeten DCNNs zur Ergänzung manueller Ansätze21 und erreichten eine Klassifizierungsgenauigkeit von 72,26% auf den UEC-FOOD100 Datensatz22. Christodoulidis et al. verwendeten sie ausschließlich, um eine höhere Genauigkeit von 84,90% auf einem selbst erworbenen Datensatz zu erreichen23. Tanno et al. entwickelten DeepFoodCam - eine Smartphone-App zur Erkennung von Lebensmitteln, die DCNNs24verwendet. Liu et al. stellten ein System vor, das eine Internet of Things-basierte Ernährungsbewertung mit DCNNs25durchführt. Martinel et al. führten einen DCNN-basierten Ansatz ein, der die Besonderheiten von Lebensmittelbildern26 ausnutzt und eine Genauigkeit von 90,27% auf den Food-101-Datensatz27meldet. Zhou et al. verfassten eine Rezension von Deep Learning-Lösungen im Lebensmittelbereich28.
Vor kurzem schlugen Zhao et al. ein Netzwerk speziell für die Erkennung von Lebensmitteln in mobilen Anwendungen29vor. Dieser Ansatz verwendet ein kleineres "Schüler"-Netzwerk, das von einem größeren "Lehrer"-Netzwerk lernt. Damit erreichten sie eine Genauigkeit von 84 % auf dem UEC-FOOD25630 und eine Genauigkeit von 91,2 % auf dem Food-101-Datensatz27. Hafiz et al. verwendeten DCNNs, um eine reine Bilderkennungslösung für Getränke zu entwickeln und berichteten von einer sehr hohen Genauigkeit von 98,51%31. Shimoda et al. beschrieben eine neuartige Methode zur Erkennung von Plattenregionen in Lebensmittelbildern ohne die Verwendung von pixelweisenAnmerkungen 32. Ciocca et al. stellten einen neuen Datensatz mit Lebensmitteln aus 20 verschiedenen Lebensmittelklassen in 11 verschiedenen Zuständen (fest, in Scheiben geschnitten, cremige Paste usw.) vor und stellten ihren Ansatz für die Ausbildung von Anerkennungsmodellen vor, die in der Lage sind, den Lebensmittelzustand zu erkennen, zusätzlich zur Lebensmittelklasse33. Knez et al. evaluierten Lebensmittelbilderkennungslösungen für mobile Geräte34. Schließlich führten Furtado et al. eine Studie darüber durch, wie das menschliche visuelle System mit der Leistung von DCNNs verglichen wird, und fanden heraus, dass die menschliche Erkennung DCNNs immer noch mit einer Genauigkeit von 80% gegenüber 74,5%35übertrifft. Die Autoren stellten fest, dass bei einer kleinen Anzahl von Lebensmittelklassen die DCNNs gut abschneiden, aber bei einem Datensatz mit Hunderten von Klassen ist die Genauigkeit der menschlichen Erkennung höher35 ,was die Komplexität des Problems unterstreicht.
Trotz seiner hochmodernen Ergebnisse hat Deep Learning einen großen Nachteil - es erfordert einen großen Eingabedatensatz, um das Modell zu trainieren. Im Falle der Erkennung von Lebensmittelbildern ist ein großes Food-Image-Dataset erforderlich, und dieser Datensatz muss so viele verschiedene reale Szenarien wie möglich umfassen. In der Praxis bedeutet dies, dass für jedes einzelne Lebensmittel- oder Getränkeelement eine große Sammlung von Bildern erforderlich ist und so viele verschiedene Elemente wie möglich im Datensatz vorhanden sein müssen. Wenn nicht genügend Bilder für ein bestimmtes Element im Dataset vorhanden sind, wird dieses Element wahrscheinlich nicht erfolgreich erkannt. Wenn andererseits nur eine kleine Anzahl von Elementen durch den Datensatz abgedeckt wird, wird die Lösung in ihrer Reichweite begrenzt sein und nur eine Handvoll verschiedener Lebensmittel und Getränke erkennen können.
In der Vergangenheit wurden mehrere Datensätze zur Verfügung gestellt. Der Pittsburgh Fast-Food Image Dataset (PFID)3 wurde eingeführt, um mehr Forschung auf dem Gebiet der Lebensmittelbilderkennung zu fördern. Die Datendatensätze der University of Electro-Communications Food 100 (UEC-FOOD100)22 und der University of Electro-Communications Food 256 (UEC-FOOD256)30 enthalten japanische Gerichte, die im Falle des UEC-FOOD256-Datensatzes um einige internationale Gerichte erweitert wurden. Der Food-101-Datensatz enthält beliebte Gerichte, die von einer Website erworben wurden27. Die Datensätze Food-5036 und Video Retrieval Group Food 172 (VireoFood-172)37 sind chinesische Sammlungen von Lebensmittelbildern. Der Datensatz der Universität Mailand-Bicocca 2016 (UNIMIB2016) besteht aus Bildern von Lebensmittelschalen aus einer italienischen Kantine38. Recipe1M ist ein groß angelegter Datensatz von Kochrezepten und Lebensmittelbildern39. Der Food-475-Datensatz40 sammelt vier zuvor veröffentlichte Food-Image-Datasets27,30,36,37 in einem. Die Beijing Technology and Business University Food 60 (BTBUFood-60) ist ein Datensatz von Bildern, die für die Lebensmittelerkennung bestimmt sind41. Kürzlich wurde der ISIA Food-500 Datensatz42 der verschiedenen Lebensmittelbilder zur Verfügung gestellt. Im Vergleich zu anderen öffentlich zugänglichen Food-Image-Datensätzen enthält es eine große Anzahl von Bildern, die in 500 Lebensmittelklassen unterteilt sind, und soll die Entwicklung multimedialer Lebensmittelerkennungslösungen vorantreiben42.

<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td>HARDWARE</td>
			<td></td>
			<td></td>
			<td></td>
		</tr>
		<tr>
			<td>NVIDIA GPU</td>
			<td>NVIDIA</td>
			<td>N/A</td>
			<td>An NVIDIA GPU is needed as some of the software frameworks below will not work otherwise. https://www.nvidia.com</td>
		</tr>
		<tr>
			<td>SOFTWARE</td>
			<td></td>
			<td></td>
			<td></td>
		</tr>
		<tr>
			<td>Caffe</td>
			<td>Berkeley AI Research</td>
			<td>N/A</td>
			<td>Caffe is a deep learning framework. https://caffe.berkeleyvision.org</td>
		</tr>
		<tr>
			<td>CLoDSA</td>
			<td>J&#243;nathan Heras</td>
			<td>N/A</td>
			<td>CLoDSA is a Python image augmentation library. https://github.com/joheras/CLoDSA</td>
		</tr>
		<tr>
			<td>Google API Client</td>
			<td>Google</td>
			<td>N/A</td>
			<td>Google API Client is a Python client library for Google&#39;s discovery based APIs. https://github.com/googleapis/google-api-python-client</td>
		</tr>
		<tr>
			<td>JavaScript Segment Annotator</td>
			<td>Kota Yamaguchi</td>
			<td>N/A</td>
			<td>JavaScript Segment Annotator is a JavaScript image annotation tool. https://github.com/kyamagu/js-segment-annotator</td>
		</tr>
		<tr>
			<td>MMDetection</td>
			<td>Multimedia Laboratory, CUHK</td>
			<td>N/A</td>
			<td>MMDetection is an object detection toolbox based on PyTorch. https://github.com/open-mmlab/mmdetection</td>
		</tr>
		<tr>
			<td>NVIDIA DIGITS</td>
			<td>NVIDIA</td>
			<td>N/A</td>
			<td>NVIDIA DIGITS is a wrapper for Caffe that provides a graphical web interface. https://developer.nvidia.com/digits</td>
		</tr>
		<tr>
			<td>OpenCV</td>
			<td>Intel</td>
			<td>N/A</td>
			<td>OpenCV is a library for computer vision. https://opencv.org</td>
		</tr>
		<tr>
			<td>Python</td>
			<td>Python Software Foundation</td>
			<td>N/A</td>
			<td>Python is a programming language. https://www.python.org</td>
		</tr>
		<tr>
			<td>PyTorch</td>
			<td>Facebook AI Research</td>
			<td>N/A</td>
			<td>PyTorch is a machine learning framework. https://pytorch.org</td>
		</tr>
		<tr>
			<td>Ubuntu OS</td>
			<td>Canonical</td>
			<td>N/A</td>
			<td>Ubuntu 14.04 is the OS used by the authors and offers compatibility with all of the software frameworks and tools above. https://ubuntu.com</td>
		</tr>
	</tbody>
</table>

deep neural networks for image-based dietary assessment

Aufgrund der Probleme und Kosten, die mit manuellen Ernährungsbewertungsansätzen verbunden sind, sind automatisierte Lösungen erforderlich, um die Arbeit zu erleichtern und zu beschleunigen und ihre Qualität zu erhöhen. Heute sind automatisierte Lösungen in der Lage, die Nahrungsaufnahme einer Person auf eine viel einfachere Weise aufzuzeichnen, z. B. indem sie ein Bild mit einer Smartphone-Kamera aufnehmen. In diesem Artikel werden wir uns auf solche bildbasierten Ansätze zur Ernährungsbewertung konzentrieren. Für das Problem der Lebensmittelbilderkennung haben tiefe neuronale Netze in den letzten Jahren den Stand der Technik erreicht, und wir stellen unsere Arbeit in diesem Bereich vor. Insbesondere beschreiben wir zunächst die Methode zur Erkennung von Lebensmitteln und Getränken mit Hilfe einer tiefen neuronalen Netzwerkarchitektur namens NutriNet. Diese Methode ist, wie die meisten Forschungen in den frühen Tagen der Deep Learning-basierten Lebensmittelbilderkennung, auf eine Ausgabe pro Bild beschränkt und daher für Bilder mit mehreren Lebensmitteln oder Getränken ungeeignet. Aus diesem Grund sind Ansätze, die die Segmentierung von Lebensmittelbildern durchführen, wesentlich robuster, da sie in der Lage sind, eine beliebige Anzahl von Lebensmitteln oder Getränken im Bild zu identifizieren. Wir stellen daher auch zwei Methoden zur Segmentierung von Lebensmitteln vor - eine basiert auf vollständig konvolutionalen Netzwerken (FCNs) und die andere auf tiefen Restnetzwerken (ResNet).

NutriNet wurde mit drei populären Deep Learning-Architekturen der damaligen Zeit getestet: AlexNet14, GoogLeNet51 und ResNet16. Außerdem wurden mehrere Trainingsparameter für alle Architekturen getestet, um die optimalen Werte2zu definieren. Dazu gehört die Wahl des Solver-Typs, der bestimmt, wie die Verlustfunktion minimiert wird. Diese Funktion ist die primäre Qualitätsmaßnahme für das Training neuronaler Netzwerke, da sie besser für die Optimierung während des Trainings geeignet ist als die Klassifizierungsgenauigkeit. Wir haben drei Solver getestet: Stochastic Gradient Descent (SGD)52, Nesterov es Accelerated Gradient (NAG)53 und den Adaptive Gradient algorithm (AdaGrad)54. Der zweite Parameter ist die Batchgröße, die die Anzahl der Bilder definiert, die gleichzeitig verarbeitet werden. Die Tiefe der Deep Learning-Architektur bestimmte den Wert dieses Parameters, da tiefere Architekturen mehr Platz im GPU-Speicher benötigen - die Folge dieses Ansatzes war, dass der Speicher vollständig mit Bildern für alle Architekturen gefüllt war, unabhängig von der Tiefe. Der dritte Parameter ist die Lernrate, die die Geschwindigkeit definiert, mit der die neuronalen Netzwerkparameter während des Trainings geändert werden. Dieser Parameter wurde im Einvermelden mit der Batchgröße festgelegt, da die Anzahl der gleichzeitig verarbeiteten Bilder die Konvergenzrate vorgibt. AlexNet-Modelle wurden mit einer Batchgröße von 256 Bildern und einer Basislernrate von 0,02 trainiert. NutriNet verwendete eine Batchgröße von 128 Bildern und eine Rate von 0,01; GoogLeNet 64 Bilder und eine Rate von 0.005; und ResNet 16 Bilder und eine Rate von 0.00125. Drei weitere Parameter wurden für alle Architekturen festgelegt: Lernrate-Policy (Step-down), Schrittgröße (30%) und Gamma (0,1). Diese Parameter beschreiben gemeinsam, wie sich die Lernrate in jeder Epoche verändert. Die Idee hinter diesem Ansatz ist, dass die Lernrate schrittweise gesenkt wird, um das Modell zu optimieren, je näher es dem optimalen Verlustwert kommt. Schließlich wurde auch die Anzahl der Ausbildungsepochen für alle Deep-Learning-Architekturen auf 150 festgelegt2.
Das beste Ergebnis unter allen getesteten Parametern, die NutriNet erreichte, war eine Klassifizierungsgenauigkeit von 86,72% auf dem Erkennungs-Dataset, das rund 2% über dem besten Ergebnis für AlexNet und etwas höher als googLeNets bestes Ergebnis war. Die insgesamt leistungsstärkste Architektur war ResNet (um ca. 1%), die Trainingszeit für ResNet ist jedoch wesentlich höher als bei NutriNet (um den Faktor fünf), was wichtig ist, wenn Modelle kontinuierlich umgeschult werden, um die Genauigkeit und die Anzahl der erkennbaren Lebensmittel zu verbessern. NutriNet, AlexNet und GoogLeNet erzielten ihre besten Ergebnisse mit dem AdaGrad-Solver, während Das beste Modell von ResNet den NAG-Solver verwendete. NutriNet wurde auch auf dem öffentlich zugänglichen UNIMIB2016 Food Image Datensatz38getestet. Dieser Datensatz enthält 3.616 Bilder von 73 verschiedenen Lebensmitteln. NutriNet erreichte eine Erkennungsgenauigkeit von 86,39 % in diesem Dataset und übertraf damit das Basiserkennungsergebnis der Autoren des Datensatzes, das 85,80 % betrug, leicht. Zusätzlich wurde NutriNet auf einem kleinen Datensatz von 200 realen Bildern von 115 verschiedenen Nahrungsmitteln und Getränken getestet, wobei NutriNet eine Spitzengenauigkeit von 55% erreichte.
Um das MODELL der FAKE-Food-Bildsegmentierung FCN-8s zu trainieren, haben wir Adam55 als Solver-Typ verwendet, da wir festgestellt haben, dass es für diese Aufgabe optimal abgespielt hat. Die Basislernrate wurde sehr niedrig eingestellt - auf 0,0001. Der Grund für die niedrige Zahl ist die Tatsache, dass jeweils nur ein Bild verarbeitet werden konnte, was eine Folge des Klassifizierungsprozesses auf Pixelebene ist. Die GPU-Speicheranforderungen für diesen Ansatz sind deutlich höher als die Klassifizierung auf Bildebene. Die Lernrate musste daher niedrig eingestellt werden, damit die Parameter nicht zu schnell verändert werden und zu weniger optimalen Werten konvergieren. Die Anzahl der Trainingsepochen wurde auf 100 festgelegt, während die Lernrate-Politik, die Schrittgröße und das Gamma auf Schritt-down eingestellt wurden, 34% bzw. 0,1, da diese Parameter die genauesten Modelle produzierten.
Genauigkeitsmessungen des FCN-8-Modells wurden mit dem Pixelgenauigkeitsmaß15durchgeführt, das der Klassifizierungsgenauigkeit herkömmlicher Deep Learning-Netzwerke entspricht, wobei der Hauptunterschied darin besteht, dass die Genauigkeit auf der Pixelebene und nicht auf der Bildebene berechnet wird:
<img alt="Equation 1" src="/files/ftp_upload/61906/61906eq01.jpg">
wobei PA die Pixelgenauigkeitsmessung ist, nij die Anzahl der Pixel aus Klasse i, die der Klasse j vorhergesagt wurde, und ti = j nij ist die Gesamtzahl der Pixel aus der Klasse in den Bodenwahrheitsbeschriftungen1. Mit anderen Worten, die Pixelgenauigkeitsmessung wird berechnet, indem korrekt vorhergesagte Pixel durch die Gesamtzahl der Pixel dividiert werden. Die endliche Genauigkeit des trainierten FCN-8s Modells betrug 92,18%. Abbildung 2 zeigt drei Beispielbilder aus dem Fake-Food-Bild-Dataset (eines aus jeder der Trainings-, Validierungs- und Test-Teilmengen) sowie die entsprechenden Boden-Wahrheits- und Modellvorhersage-Etiketten.
Die Parameter zum Trainieren des HTC20 ResNet-101 Modells für die Segmentierung von Lebensmittelbildern wurden wie folgt festgelegt: Der verwendete Solvertyp war SGD, da er andere Solver-Typen übertraf. Die Basislernrate wurde auf 0,00125 und die Batchgröße auf 2 Bilder festgelegt. Die Anzahl der Trainingsepochen wurde auf 40 pro Trainingsphase festgelegt, und mehrere Trainingsphasen wurden durchgeführt - zuerst auf dem ursprünglichen FRC-Datensatz ohne Augmented Images, dann auf dem 8x-augmented und 4x-augmented FRC-Datensatz mehrmals abwechselnd, wobei jedes Mal das leistungsstärkste Modell und die Feinabstimmung in der nächsten Trainingsphase durchgeführt wurden. Weitere Einzelheiten zu den Ausbildungsphasen finden Sie in Abschnitt 3.3 des Protokolltextes. Schließlich wurde die Step-down-Lernpolitik verwendet, mit festen Epochen für den Zeitpunkt, zu dem die Lernrate sank (Epochen 28 und 35 für die erste Ausbildungsphase). Wichtig ist, dass diese Abfolge von Trainingsphasen zwar die besten Ergebnisse in unseren Tests im Rahmen des FRC lieferte, die Verwendung eines anderen Datasets jedoch möglicherweise eine andere Sequenz erfordert, um optimale Ergebnisse zu erzielen.
Diese ResNet-basierte Lösung für die Segmentierung von Lebensmitteln wurde mit folgendem Präzisionsmaß19bewertet:
<img alt="Equation 2" src="/files/ftp_upload/61906/61906eq02.jpg">
wobei P Genauigkeit ist, TP die Anzahl der echten positiven Vorhersagen durch das Modell der Lebensmittelbildsegmentierung, FP ist die Anzahl falsch positiver Vorhersagen und IoU ist Schnittpunkt über Union, die mit dieser Gleichung berechnet wird:
<img alt="Equation 3" src="/files/ftp_upload/61906/61906eq03.jpg">
wobei Area of Overlap die Anzahl der Vorhersagen nach dem Modell darstellt, die sich mit der Bodenwahrheit überlappen, und Area of Union die Gesamtzahl der Vorhersagen durch das Modell zusammen mit der Bodenwahrheit darstellt, sowohl auf Pixelebene als auch für jede einzelne Lebensmittelklasse. Der Rückruf wird als sekundäre Kennzahl verwendet und in ähnlicher Weise unter Verwendung der folgenden Formel19berechnet:
<img alt="Equation 4" src="/files/ftp_upload/61906/61906eq04.jpg">
wobei R zurückgerufen wird und FN die Anzahl der falschen negativen Vorhersagen durch das Modell der Segmentierung des Lebensmittelbildes. Die Präzisions- und Rückrufmaßnahmen werden dann in der Bodenwahrheit über alle Klassen gemittelt. Mit diesen Maßnahmen erreichte unser Modell eine durchschnittliche Genauigkeit von 59,2 % und einen durchschnittlichen Rückruf von 82,1 %, der in der zweiten Runde der Food Recognition Challenge19den zweiten Platz belegte. Dieses Ergebnis lag 4,2 % hinter dem ersten Platz und 5,3 % über dem dritten Platz in Bezug auf die durchschnittliche Präzisionsmessung. Tabelle 1 enthält die Ergebnisse für die Besten-4-Teilnehmer des Wettbewerbs.
<img alt="Figure 1" class="xfigimg" src="/files/ftp_upload/61906/61906fig01.jpg"> Abbildung 1:Diagramm der NutriNet Deep Neural Network Architektur. Diese Zahl wurde in Mezgec et al.2veröffentlicht. <a href="https://www.jove.com/files/ftp_upload/61906/61906fig01large.jpg" target="_blank">Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.</a>
<img alt="Figure 2" class="xfigimg" src="/files/ftp_upload/61906/61906fig02.jpg"> Abbildung 2:Bilder aus dem Fake-Food-Bild-Dataset. Originalbilder (links), manuell beschriftete Boden-Wahrheits-Etiketten (Mitte) und Vorhersagen aus dem FCN-8s-Modell (rechts). Diese Zahl wurde in Mezgec et al.1veröffentlicht. <a href="https://www.jove.com/files/ftp_upload/61906/61906fig02large.jpg" target="_blank">Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.</a>
<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always"><tbody>
<tr>
<td>Teamname</td>
			<td>Platzierung</td>
			<td>Durchschnittliche Präzision</td>
			<td>Durchschnittlicher Rückruf</td>
		</tr>
<tr>
<td>rssfete</td>
			<td>1</td>
			<td>63.4%</td>
			<td>88.6%</td>
		</tr>
<tr>
<td>simon_mezgec</td>
			<td>2</td>
			<td>59.2%</td>
			<td>82.1%</td>
		</tr>
<tr>
<td>arimboux</td>
			<td>3</td>
			<td>53.9%</td>
			<td>73.5%</td>
		</tr>
<tr>
<td>latentvec</td>
			<td>4</td>
			<td>48.7%</td>
			<td>71.1%</td>
		</tr>
</tbody></table>Tabelle 1: Top-4-Ergebnisse aus der zweiten Runde der Food Recognition Challenge. Die durchschnittliche Genauigkeit wird als primäre Leistungsmessung und der durchschnittliche Rückruf als sekundäre Kennzahl hergenommen. Die Ergebnisse stammen aus der offiziellen Wettbewerbsrangliste19.
Ergänzende Dateien. <a href="https://www.jove.com/files/ftp_upload/61906/simon_mezgec_supplemental_files_revision1_.zip" target="_blank">Bitte klicken Sie hier, um diese Datei herunterzuladen.</a>

Watch this Scientific Journal Video about Deep Neural Networks for Image-Based Dietary Assessment at JoVE.com

Deep Neural Networks for Image-Based Dietary Assessment

Ziel der in diesem Artikel vorgestellten Arbeit ist es, Technologien zur automatisierten Erkennung von Lebensmitteln und Getränken aus Bildern mobiler Geräte zu entwickeln. Die Technologie besteht aus zwei verschiedenen Ansätzen - der erste führt die Lebensmittelbilderkennung durch, während der zweite die Segmentierung von Lebensmittelbildern durchführt.

Deep Neural Networks für imagebasierte Ernährungsbewertung

Due to the issues and costs associated with manual dietary assessment approaches, automated solutions are required to ease and speed up the work and ...

Aufgrund der Probleme und Kosten im Zusammenhang mit manuellen Ernährungsbewertungsansätzen sind automatisierte Lösungen erforderlich, um die Arbeit zu erleichtern und zu beschleunigen und ihre Qualität zu erhöhen. Heute sind automatisierte Lösungen in der Lage, die Nahrungsaufnahme einer Person auf eine viel einfachere Weise aufzuzeichnen, z. B. indem sie ein Bild mit einer Smartphone-Kamera aufnehmen. In diesem Artikel werden wir uns auf solche bildbasierten Ansätze zur Ernährungsbewertung mit tiefen neuronalen Netzwerken konzentrieren, die den Stand der Technik auf diesem Gebiet darstellen.Insbesondere werden wir drei Lösungen vorstellen, eine für die Erkennung von Lebensmitteln, eine für die Bildsegmentierung von Lebensmittelreplikaten oder gefälschte Lebensmittel und eine für die Bildsegmentierung von echten Lebensmitteln. Sammeln Sie eine Liste verschiedener Lebensmittel und Getränke, die die Ergebnisse des Lebensmittelbilderkennungsmodells sein werden. Speichern Sie die Lebensmittel- und Getränkeliste in einer Textdatei, z. B. TXT oder CSV.Beachten Sie, dass die Textdatei von den Autoren dieses Artikels verwendet finden Sie in den ergänzenden Dateien unter Lebensmittel Punkt TXT und enthält eine Liste von 520 slowenischen Lebensmitteln. Schreiben oder laden Sie ein Python-Skript herunter, das die benutzerdefinierte Google-Such-API verwendet, um Bilder von jedem Lebensmittelelement aus der Liste herunterzuladen und sie in einem separaten Ordner für jedes Lebensmittelelement zu speichern. Beachten Sie, dass das Python-Skript, das von den Autoren dieses Artikels verwendet wird, in den ergänzenden Dateien unter Download-Images dot pi zu finden ist.Wenn dieses Skript verwendet wird, müssen die Entwicklerschlüsselzeile 8 im Python-Skriptcode und die benutzerdefinierte Suchmaschinen-ID-Variable CX-Zeile 28 im Python-Skriptcode durch Werte ersetzt werden, die für das verwendete Google-Konto spezifisch sind. Führen Sie das Python-Skript aus Schritt 1.1.3 aus. Erstellen Sie eine neue Version jedes Bildes aus dem Lebensmittelbild-Datensatz, indem Sie es mithilfe der CLoDSA-Bibliothek um 90 Grad drehen.Beachten Sie, dass das Python-Skript, das alle CLoDSA-Befehle enthält, die von den Autoren dieses Artikels verwendet werden, in einer Datei gefunden werden kann, die in den zusätzlichen Dateien unter NutriNet-Unterstrich-Augmentation dot pi enthalten ist. Erstellen Sie eine neue Version jedes Bildes aus dem Lebensmittelbild-Datensatz, indem Sie es mithilfe der CLoDSA-Bibliothek um 180 Grad drehen. Erstellen Sie eine neue Version jedes Bildes aus dem Lebensmittelbild-Datensatz, indem Sie es mithilfe der CLoDSA-Bibliothek um 270 Grad drehen.Erstellen Sie eine neue Version jedes Bildes aus dem Lebensmittelbild-Datensatz, indem Sie es horizontal mithilfe der CLoDSA-Bibliothek umdrehen. Erstellen Sie eine neue Version jedes Bildes aus dem Lebensmittelbild-Datensatz, indem Sie zufälliges Farbrauschen hinzufügen, indem Sie die CLoDSA-Bibliothek verwenden. Erstellen Sie eine neue Version jedes Bildes aus dem Lebensmittelbild-Datensatz, indem Sie mithilfe der CLoDSA-Bibliothek um 25 % hineinzoomen.Speichern Sie Bilder aus den Schritten 1.3.1 bis 1.3.6 zusammen mit den Originalbildern in einem neuen Lebensmittelbild-Datensatz. Insgesamt sieben Varianten pro Lebensmittelbild. Importieren Sie den Lebensmittelbilddatensatz aus Schritt 1.3.7 in die NVIDI-Ziffernumgebung, indem Sie den Datensatz in Schulungs-, Validierungs- und Testteilmengen unterteilen.Kopieren und fügen Sie den Definitionstext der NutriNet-Architektur in NVIDIA-Ziffern ein. Beachten Sie, dass die NutriNet-Architekturdefinition in den ergänzenden Dateien unter NutriNet dot proto TXT zu finden ist. Definieren Sie optional Trainingshyperparameter in NVIDIA-Ziffern oder verwenden Sie die Standardwerte.Die Hyperparameter von den Autoren dieses Artikels verwendet werden, kann in einer Datei in den ergänzenden Dateien unter NutriNet unterunterstreichen Hyperparameter dot proto TXT gefunden werden. Führen Sie das Training des NutriNet-Modells durch. Nachdem das Training abgeschlossen ist, nehmen Sie die am besten ausgeführte NutriNet-Modelliteration.Dieses Modell wird dann zum Testen der Leistung dieses Ansatzes verwendet. Beachten Sie, dass es mehrere Möglichkeiten gibt, die modellbeste Modelliteration zu bestimmen. Weitere Informationen finden Sie in den Artikeltexten.Erhalten Sie einen Datensatz von gefälschten Lebensmittel-Bilder. Beachten Sie, dass die Autoren dieses Artikels Bilder von gefälschten Lebensmitteln erhalten haben, die in einer Laborumgebung gesammelt wurden. Kommentieren Sie jedes Lebensmittelbild manuell auf Pixelebene.Jedes Pixel im Bild muss Informationen darüber enthalten, zu welcher Lebensmittelklasse es gehört. Beachten Sie, dass es viele Tools gibt, um dies zu erreichen. Die Autoren dieses Artikels verwendeten JavaScript-Segmentannotator.Das Ergebnis dieses Schritts ist ein Anmerkungsbild für jedes Bild aus dem Lebensmittelbild-Datensatz, wobei jedes Pixel eine der Lebensmittelklassen darstellt. Führen Sie die gleichen Schritte wie in Abschnitt 1.3 aus, jedoch nur für Bilder aus der Trainingsteilmenge des Lebensmittelbilddatensatzes. Beachten Sie, dass mit Ausnahme von Schritt 1.3.5 alle Datenerweiterungsschritte auch für entsprechende Anmerkungsbilder ausgeführt werden müssen.Führen Sie die gleichen Schritte wie in Abschnitt 1.4 mit Ausnahme von Schritt 1.4.2 aus. Führen Sie anstelle dieses Schritts die Schritte 2.3.2 und 2.3.3 aus. Beachten Sie, dass die Trainings-Hyperparameter, die von den Autoren dieses Artikels verwendet werden, in der Datei gefunden werden können, die in den zusätzlichen Dateien unter FCN-8S unter fcN-8S-Unterstrich hyper-Parameter dot proto TXT enthalten ist.Kopieren sie den Definitionstext der FCN-8S-Architektur und fügen Sie ihn in NVIDIA-Ziffern ein. Geben Sie die vortrainierten FCN-8S-Modellgewichtungen in NVIDIA-Ziffern ein. Beachten Sie, dass diese Modellgewichtungen für den Datensatz der visuellen Pascal-Objektklassen vortrainiert wurden und im Internet zu finden sind.Laden Sie den Lebensmittelbilddatensatz von der Food Recognition Challenge-Website herunter. Führen Sie die Schritte 1.3.1 bis 1.3.4 aus. Beachten Sie, dass das Python-Skript, das alle CLoDSA-Befehle enthält, die von den Autoren dieses Artikels verwendet werden, in der Datei gefunden werden kann, die in den zusätzlichen Dateien unter FRC-Unterstrich-Augmentation dot pi enthalten ist.Erstellen Sie eine neue Version jedes Bildes aus dem Lebensmittelbild-Datensatz, indem Sie mit der CLoDSA-Bibliothek gausssche Unschärfe hinzufügen. Erstellen Sie eine neue Version jedes Bildes aus dem Lebensmittelbild-Datensatz, indem Sie es mithilfe der CLoDSA-Bibliothek schärfen. Erstellen Sie eine neue Version jedes Bildes aus dem Lebensmittelbilddatensatz, indem Sie mithilfe der CLoDSA-Bibliothek eine Gammakorrektur darauf anwenden.Speichern Sie Bilder aus den Schritten 3.2.1 bis 3.2.4 zusammen mit den Originalbildern in einem neuen Lebensmittelbild-Datensatz. Insgesamt acht Varianten pro Lebensmittelbild. Speichern Sie Bilder aus den Schritten 3.2.2 bis 3.2.4 zusammen mit den Originalbildern in einem neuen Lebensmittelbild-Datensatz.Insgesamt vier Varianten pro Lebensmittelbild. Ändern Sie die vorhandene HTC ResNet 101-Architekturdefinition aus der MM-Erkennungsbibliothek so, dass sie die Food-Image-Datensätze aus den Schritten 3.1.1, 3.2.5 und 3.2.6 akzeptiert. Ändern Sie optional die HTC ResNet 101-Architekturdefinition aus Schritt 3.3.1, um Trainingshyperparameter zu definieren oder die Standardwerte zu verwenden.Beachten Sie, dass die modifizierte HTC ResNet 101 Architekturdefinition in den zusätzlichen Dateien unter HTC Unterstrich ResNet 101 dot pi gefunden werden kann. Führen Sie das Training des HTC ResNet 101-Modells auf den Food-Image-Datensätzen von Schritt 3.1.1 mithilfe der MM-Erkennungsbibliothek aus. Nachdem das Training ab Schritt 3.3.3 abgeschlossen ist, nehmen Sie die leistungsstärkste HTC ResNet 101-Modelliteration und optimieren Sie sie, indem Sie die nächste Phase des Trainings auf dem Food Image-Datensatz von Schritt 3.2.5 ausführen.Beachten Sie, dass es mehrere Möglichkeiten gibt, die modellbeste Modelliteration zu bestimmen. Weitere Informationen finden Sie in den Artikeltexten. Dies ist auch für die nächsten Schritte relevant.Nachdem das Training ab Schritt 3.3.4 abgeschlossen ist, nehmen Sie die leistungsstärkste HTC ResNet 101-Modelliteration und optimieren Sie sie, indem Sie die nächste Phase des Trainings auf dem Food Image-Datensatz von Schritt 3.2.6 ausführen. Nachdem das Training ab Schritt 3.3.5 abgeschlossen ist, nehmen Sie die leistungsstärkste HTC ResNet 101-Modelliteration und optimieren Sie sie, indem Sie die nächste Phase des Trainings auf dem Food Image-Datensatz aus Schritt 3.2.5 erneut ausführen. Nachdem das Training ab Schritt 3.3.6 abgeschlossen ist, nehmen Sie die leistungsstärkste HTC ResNet 101-Modelliteration.Dieses Modell wird dann zum Testen der Leistung dieses Ansatzes verwendet. Beachten Sie, dass die Schritte 3.3.3 bis 3.3.7 die besten Ergebnisse für die von den Autoren dieses Artikels definierten Zwecke lieferten. Für jeden Datensatz ist ein Experimentieren erforderlich, um die optimale Abfolge von Trainings- und Datenerweiterungsschritten zu finden.Nach dem Testen des Trendmodells erreichte NutriNet eine Klassifizierungsgenauigkeit von 86,72% auf dem Erkennungsdatensatz, was etwa 2% höher als AlexNet und etwas höher als GoogLeNet war, die populäre Deep Neural Network Architekturen der Zeit waren. Um die Genauigkeit des FCN-8S Fake Food Bildsegmentierungsmodells zu messen, wurde die Pixelgenauigkeitsmessung verwendet. Die Genauigkeit des trainierten FCN-8S-Modells betrug 92,18%Die ResNet-basierte Lösung für die Segmentierung von Lebensmitteln wurde anhand der in der Food Recognition Challenge definierten Präzisionskennzahl bewertet.Mit dieser Maßnahme erreichte das Zugmodell eine durchschnittliche Genauigkeit von 59,2%, die bei der Food Recognition Challenge den zweiten Platz belegte. In den letzten Jahren wurden tiefe neuronale Netzwerke mehrfach als geeignete Lösung zur Erkennung von Lebensmittelbildern validiert. Unsere in diesem Artikel vorgestellte Arbeit dient dazu, dies weiter zu beweisen.Der Single Output Food Image Recognition Ansatz ist einfach und kann für einfache Anwendungen verwendet werden. Während der Ansatz der Segmentierung von Lebensmitteln mehr Arbeit bei der Erstellung von anmerkungen, aber es ist viel mehr anwendbar auf reale Welt Bilder. In Zukunft wird es unser Ziel sein, die entwickelten Verfahren auf realen Bildern weiter zu evaluieren.Der erste Schritt zur realen Validierung wurde von der Food Recognition Challenge bereitgestellt, die einen Datensatz mit realen Food-Bildern enthielt. Aber es muss noch weiter daran gearbeitet werden, diesen Ansatz auf Lebensmittelbildern aus der ganzen Welt und in Zusammenarbeit mit Ernährungsärzten zu validieren.

Research

JoVE Journal

Engineering

Concurrent Quantitative Conductivity and Mechanical Properties Measurements of Organic Photovoltaic Materials using AFM

Concurrent Quantitative Leitfähigkeit und mechanische Eigenschaften Measurements of Organic Photovoltaic Materials mittels AFM

Organic photovoltaic  (OPV) materials are inherently inhomogeneous at the nanometer scale. Nanoscale  inhomogeneity of OPV materials affects performance ...

Forschung

Ingenieurwesen

Detection and Recovery of Palladium, Gold and Cobalt Metals from the Urban Mine Using Novel Sensors/Adsorbents Designated with Nanoscale Wagon-wheel-shaped Pores

Erkennung und Wiedergewinnung von Palladium, Gold und Kobalt-Metalle aus der Urban-Mine mit Hilfe neuartiger Sensoren / Adsorbentien mit nanoskaligen Wagon-Rad-förmigen Poren Ausgewiesene

Developing low-cost, efficient processes for recovering and recycling palladium, gold and cobalt metals from urban mine remains a significant challenge in ...

Preparation of Liquid Crystal Networks for Macroscopic Oscillatory Motion Induced by Light

Vorbereitung der Flüssigkristall-Netzwerke für makroskopische oszillierende Bewegung, die durch Licht induzierten

A strategy based on doped liquid crystalline networks is described to create mechanical self-sustained oscillations of plastic films under continuous ...

Indoor Experimental Assessment of the Efficiency and Irradiance Spot of the Achromatic Doublet on Glass (ADG) Fresnel Lens for Concentrating Photovoltaics

Indoor Experimental Assessment of the Efficiency and Irradiance Spot of the Achromatic Doublet on Glass ADG Fresnel Lens for Concentrating Photovoltaics

Indoor experimentelle Bewertung der Effizienz und der Bestrahlungsstärke vor Ort von der achromatischen Doublet auf Glas (ADG) Fresnel-Linse für die Konzentration Photovoltaik

We present a method to characterize achromatic Fresnel lenses for photovoltaic applications. The achromatic doublet on glass (ADG) Fresnel lens is ...

Applicability Analysis of Assessment Methods for Morphological Parameters of Corroded Steel Bars

Anwendbarkeit Analyse der Bewertungsmethoden für morphologische Parameter der korrodierten Stabstahl

The irregular and uneven residual sections along the length of a corroded steel bar substantially change its mechanical properties and significantly ...

Impacts of Free-falling Spheres on a Deep Liquid Pool with Altered Fluid and Impactor Surface Conditions

Auswirkungen der frei fallende Kugeln auf ein tief flüssigen Pool mit veränderten Flüssigkeit und Impaktor Oberflächenbedingungen

Vertical impacts of spheres on clean water have been the subject of numerous water entry investigations characterizing cavity formation, splash crown ...

Automated Deployment of an Internet Protocol Telephony Service on Unmanned Aerial Vehicles Using Network Functions Virtualization

Automatisierte Bereitstellung eines Internetprotokoll-Telefoniedienstes für unbemannte Luftfahrzeuge mit Netzwerkfunktionsvirtualisierung

The Network Function Virtualization (NFV) paradigm is one of the key enabling technologies in the development of the 5th generation of mobile networks. ...

Automated Delivery of Microfabricated Targets for Intense Laser Irradiation Experiments

Automatisierte Lieferung von mikrofabrizierten Targets für intensive Laserbestrahlungsexperimente

Described is an experimental procedure that enables high-power laser irradiation of microfabricated targets. Targets are brought to the laser focus by a ...

UV-Vis Spectroscopic Characterization of Nanomaterials in Aqueous Media

UV-Vis Spektroskopische Charakterisierung von Nanomaterialien in wässrigen Medien

The physicochemical characterization of nanomaterials (NMs) is often an analytical challenge, due to their small size (at least one dimension in the ...

3D Printing - Evaluating Particle Emissions of a 3D Printing Pen

3D-Druck - Bewertung der Partikelemissionen eines 3D-Druckstifts

Three-dimensional (3D) printing as a type of additive manufacturing shows continuing increase in application and consumer popularity. The fused filament ...