Name: deep neural networks for image-based dietary assessment
Uploaded: 2021-03-13T15:00:00
Duration: 13 min 19 s
Description: Watch this Scientific Journal Video about Deep Neural Networks for Image-Based Dietary Assessment at JoVE.com

De auteurs willen Tamara Bucher van de Universiteit van Newcastle, Australië, bedanken voor het verstrekken van de dataset met nep-voedselafbeeldingen. Dit werk werd ondersteund door de onderzoeks- en innovatieprogramma's horizon 2020 van de Europese Unie (subsidienummers 863059 - FNS-Cloud, 769661 - SAAM); en het Sloveense onderzoeksbureau (subsidienummer P2-0098). De Europese Unie en het Sloveense Onderzoeksbureau hadden geen rol bij het ontwerp, de analyse of het schrijven van dit artikel.

1. Voedselbeeldherkenning met NutriNet
<ol><li>Het verkrijgen van de voedselbeeldgegevensset
	<ol>
<li>Verzamel een lijst met verschillende voedingsmiddelen en dranken die de outputs van het voedselbeeldherkenningsmodel zullen zijn. Een gevarieerde lijst van populaire voedingsmiddelen en dranken heeft de voorkeur, omdat dat de training van een robuust model voor voedselbeeldherkenning mogelijk maakt.</li>
		<li>Sla de lijst met eten en drinken op in een tekstbestand (bijv. 'txt' of 'csv'). OPMERKING: Het tekstbestand dat door de auteurs van dit artikel wordt gebruikt, is te vinden in de aanvullende bestanden ('food_items.txt') en bevat een lijst met 520 Sloveense etenswaren.</li>
		<li>Schrijf of download een Python43-script dat de Google Custom Search API44 gebruikt om afbeeldingen van elk voedselitem uit de lijst te downloaden en op te slaan in een aparte map voor elk voedselitem. OPMERKING: Het Python-script dat door de auteurs van dit artikel wordt gebruikt, is te vinden in de aanvullende bestanden ('download_images.py'). Als dit script wordt gebruikt, moeten de Developer Key (variabele 'developerKey', regel 8 in de Python-scriptcode) en Custom Search Engine ID (variabele 'cx', regel 28 in de Python-scriptcode) worden vervangen door waarden die specifiek zijn voor het Google-account dat wordt gebruikt.</li>
		<li>Voer het Python-script uit vanaf stap 1.1.3 (bijvoorbeeld met de opdracht: 'python download_images.py').</li>
	</ol></li>
	<li>(Optioneel) De gegevensset van de voedselafbeelding opschonen
	<ol>
<li>Train een model voor de detectie van voedselafbeeldingen op dezelfde manier als in punt 1.4, behalve gebruik slechts twee uitgangen (levensmiddelen, non-food) in tegenstelling tot de lijst met uitgangen uit stap 1.1.1. OPMERKING: De auteurs van dit artikel gebruikten afbeeldingen gecombineerd van receptenwebsites en de ImageNet-dataset45 om het voedselbeelddetectiemodel te trainen. Aangezien de focus hier ligt op herkenning van voedselafbeeldingen en dit een optionele stap is voor het opschonen van de herkenningsgegevensset, worden verdere details weggelaten. In plaats daarvan zijn meer details over deze aanpak te vinden in Mezgec et al.2.</li>
		<li>Voer het detectiemodel uit vanaf stap 1.2.1 op de gegevensset met voedselafbeeldingen die het resultaat is van stap 1.1.4.</li>
		<li>Verwijder elke afbeelding die door het detectiemodel als non-food is getagd uit stap 1.2.1.</li>
		<li>Controleer de gegevensset van voedselafbeeldingen handmatig op andere onjuiste afbeeldingen of afbeeldingen van lage kwaliteit en op afbeeldingsduplicaties.</li>
		<li>Verwijder afbeeldingen in stap 1.2.4.</li>
	</ol></li>
	<li>De gegevensset voor voedselafbeeldingen vergroten
	<ol>
<li>Maak een nieuwe versie van elke afbeelding uit de voedselafbeeldingsgegevensset door deze 90° te roteren met behulp van de CLoDSA-bibliotheek46 (regels 19 tot en met 21 in het meegeleverde Python-script). OPMERKING: Het Python-script met alle CLoDSA-opdrachten die door de auteurs van dit artikel worden gebruikt, is te vinden in een bestand dat is opgenomen in de aanvullende bestanden ('nutrinet_augmentation.py'). Als dit script wordt gebruikt, moeten het invoerpad (variabele 'INPUT_PATH', regel 8 in de Python-scriptcode) en uitvoerpad (variabele 'OUTPUT_PATH', regel 11 in de Python-scriptcode) worden vervangen door paden naar de gewenste mappen.</li>
		<li>Maak een nieuwe versie van elke afbeelding uit de gegevensset van de voedselafbeelding door deze 180° te roteren met behulp van de CLoDSA-bibliotheek (regels 19 tot en met 21 in het meegeleverde Python-script).</li>
		<li>Maak een nieuwe versie van elke afbeelding uit de gegevensset van de voedselafbeelding door deze 270° te roteren met behulp van de CLoDSA-bibliotheek (regels 19 tot en met 21 in het meegeleverde Python-script).</li>
		<li>Maak een nieuwe versie van elke afbeelding uit de gegevensset voedselafbeelding door deze horizontaal om te draaien met behulp van de CLoDSA-bibliotheek (regels 23 en 24 in het meegeleverde Python-script).</li>
		<li>Maak een nieuwe versie van elke afbeelding uit de gegevensset voedselafbeelding door er willekeurige kleurruis aan toe te voegen met behulp van de CLoDSA-bibliotheek (regels 26 en 27 in het meegeleverde Python-script).</li>
		<li>Maak een nieuwe versie van elke afbeelding uit de voedselafbeeldingsgegevensset door er met 25% op in te zoomen met behulp van de CLoDSA-bibliotheek (regels 29 en 30 in het meegeleverde Python-script).</li>
		<li>Sla afbeeldingen uit stap 1.3.1-1.3.6, samen met de originele afbeeldingen (lijnen 16 en 17 in het meegeleverde Python-script), op in een nieuwe gegevensset voor voedselafbeeldingen (in totaal 7 varianten per voedselafbeelding). Dit wordt gedaan door de opdracht uit te voeren in regel 32 van het meegeleverde Python-script.</li>
	</ol></li>
	<li>Het uitvoeren van voedselbeeldherkenning
	<ol>
<li>Importeer de voedselimagegegevensset van stap 1.3.7 in de NVIDIA DIGITS-omgeving47en verdeel de gegevensset in trainings-, validatie- en testsubsets in de NVIDIA DIGITS-gebruikersinterface.</li>
		<li>Kopieer en plak de definitietekst van de NutriNet-architectuur2 in NVIDIA DIGITS als een aangepast netwerk. OPMERKING: De NutriNet architectuurdefinitietekst is te vinden in de aanvullende bestanden ('nutrinet.prototxt').</li>
		<li>(Optioneel) Definieer trainingshyperparameters in de NVIDIA DIGITS-gebruikersinterface. OPMERKING: Hyperparameters zijn parameters die worden gebruikt om het trainingsproces vóór de start te definiëren. De hyperparameters die door de auteurs van dit artikel worden gebruikt, zijn te vinden in een bestand dat is opgenomen in de aanvullende bestanden ('nutrinet_hyperparameters.prototxt'). Hoewel experimenten nodig zijn voor elke dataset om de optimale hyperparameters te vinden, bevat het bestand een hyperparameterconfiguratie die kan worden gekopieerd naar de NVIDIA DIGITS-gebruikersinterface. Bovendien vult NVIDIA DIGITS de hyperparameters met standaardwaarden die als basislijn kunnen worden gebruikt. Deze stap is daarom optioneel.</li>
		<li>Voer de training van het NutriNet-model uit.</li>
		<li>Nadat de training is voltooid, neemt u de best presterende NutriNet-model iteratie. Dit model wordt vervolgens gebruikt voor het testen van de prestaties van deze aanpak. OPMERKING: Er zijn meerdere manieren om de best presterende model iteratie te bepalen. Een eenvoudige manier om dit te doen is als volgt. NVIDIA DIGITS voert voor elk trainingstijdvak een grafiek met nauwkeurigheidsmetingen uit. Controleer welk tijdvak de laagste verlieswaarde heeft bereikt voor de validatiesubset van de voedselafbeeldingsgegevensset - die model iteratie kan worden beschouwd als het best presterende. Een optionele stap bij het bepalen van de best presterende model iteratie is om te observeren hoe de verlieswaarde voor de trainingssubset verandert van tijdvak naar tijdvak en als deze continu begint te dalen terwijl de verlieswaarde voor de validatiesubset hetzelfde blijft of continu stijgt, neem dan het tijdvak voorafgaand aan deze daling van de trainingsverlieswaarde, omdat dat kan aangeven wanneer het model op de trainingsafbeeldingen begon te overfitten.</li>
	</ol></li>
</ol>2. Segmentatie van voedselafbeeldingen met FCN's
<ol><li>
Het verkrijgen van de fake-food afbeelding dataset
	<ol>
<li>Verkrijg een dataset met nep-voedselafbeeldingen. Fake-food afbeeldingen worden verzameld door onderzoekers die gedragsstudies uitvoeren met behulp van voedselreplica's. OPMERKING: De auteurs van dit artikel ontvingen afbeeldingen van nepvoedsel dat werd verzameld in een laboratoriumomgeving18.</li>
		<li>Maak handmatig aantekeningen bij elke voedselafbeelding op pixelniveau - elke pixel in de afbeelding moet informatie bevatten over tot welke voedselklasse deze behoort. Het resultaat van deze stap is één annotatieafbeelding voor elke afbeelding uit de voedselafbeeldingsgegevensset, waarbij elke pixel een van de voedselklassen vertegenwoordigt. OPMERKING: Er zijn veel tools om dit te bereiken - de auteurs van dit artikel gebruikten JavaScript Segment Annotator48.</li>
	</ol>
</li>
	<li>
Uitbreiding van de dataset voor nep-voedselafbeeldingen
	<ol>
<li>Voer dezelfde stappen uit als in sectie 1.3, maar alleen op afbeeldingen uit de trainingssubset van de gegevensset met voedselafbeeldingen. OPMERKING: Met uitzondering van stap 1.3.5 moeten alle stappen voor gegevensvergroting ook op overeenkomstige annotatieafbeeldingen worden uitgevoerd. Als het script uit sectie 1.3 wordt gebruikt, moeten het invoerpad (variabele 'INPUT_PATH', regel 8 in de Python43-scriptcode) en het uitvoerpad (variabele 'OUTPUT_PATH', regel 11 in de Python-scriptcode) worden vervangen door paden naar de gewenste mappen. Stel daarnaast het probleem (variabele 'PROBLEM', regel 6 in de Python-scriptcode) in op 'instance_segmentation' en de annotatiemodus (variabele 'ANNOTATION_MODE', regel 7 in de Python-scriptcode) en uitvoermodus (variabele 'OUTPUT_MODE', regel 10 in de Python-scriptcode) op 'coco'.</li>
	</ol>
</li>
	<li>
Het uitvoeren van fake-food beeldsegmentatie
	<ol>
<li>Voer dezelfde stappen uit als in punt 1.4, met uitzondering van stap 1.4.2. Voer in plaats van die stap de stappen 2.3.2 en 2.3.3 uit. OPMERKING: Hyperparameters zijn parameters die worden gebruikt om het trainingsproces vóór de start te definiëren. De trainingshyperparameters die door de auteurs van dit artikel worden gebruikt voor de optionele stap 1.4.3 zijn te vinden in een bestand dat is opgenomen in de aanvullende bestanden ('fcn-8s_hyperparameters.prototxt'). Hoewel experimenten nodig zijn voor elke dataset om de optimale set hyperparameters te vinden, bevat het bestand een hyperparameterconfiguratie die kan worden gekopieerd naar de NVIDIA DIGITS 47-gebruikersinterface. Bovendien vult NVIDIA DIGITS de hyperparameters met standaardwaarden die als basislijn kunnen worden gebruikt.</li>
		<li>Kopieer en plak de definitietekst van de FCN-8s architectuur15 als een aangepast netwerk in de NVIDIA DIGITS-omgeving. OPMERKING: De FCN-8s architectuurdefinitietekst is openbaar beschikbaar op GitHub49.</li>
		<li>Voer het pad naar de vooraf getrainde FCN-8s-modelgewichten in de NVIDIA DIGITS-gebruikersinterface in. OPMERKING: Deze modelgewichten zijn vooraf getraind op de PASCAL VOC-gegevensset17 en zijn te vinden op Internet49.</li>
	</ol>
</li>
</ol>3. Segmentatie van voedselafbeeldingen met HTC ResNet
<ol><li>Het verkrijgen van de voedselbeeldgegevensset
	<ol>
<li>Download de voedselafbeeldingsgegevensset van de FRC-website19.</li>
	</ol></li>
	<li>De gegevensset voor voedselafbeeldingen vergroten
	<ol>
<li>Voer stap 1.3.1-1.3.4 uit. OPMERKING: Het Python43-script met alle CLoDSA46-opdrachten die door de auteurs van dit artikel worden gebruikt, is te vinden in een bestand dat is opgenomen in de aanvullende bestanden ('frc_augmentation.py'). Als dit script wordt gebruikt, moeten het invoerpad (variabele 'INPUT_PATH', regel 8 in de Python-scriptcode) en uitvoerpad (variabele 'OUTPUT_PATH', regel 11 in de Python-scriptcode) worden vervangen door paden naar de gewenste mappen.</li>
		<li>Maak een nieuwe versie van elke afbeelding uit de gegevensset voedselafbeelding door er Gaussiaanse vervaging aan toe te voegen met behulp van de CLoDSA-bibliotheek (regels 26 en 27 in het meegeleverde Python-script).</li>
		<li>Maak een nieuwe versie van elke afbeelding uit de gegevensset voedselafbeelding door deze te verscherpen met behulp van de CLoDSA-bibliotheek (regels 29 en 30 in het meegeleverde Python-script).</li>
		<li>Maak een nieuwe versie van elke afbeelding uit de gegevensset van de voedselafbeelding door er gammacorrectie op toe te passen met behulp van de CLoDSA-bibliotheek (regels 32 en 33 in het meegeleverde Python-script).</li>
		<li>Sla afbeeldingen uit stap 3.2.1-3.2.4, samen met de originele afbeeldingen (lijnen 16 en 17 in het meegeleverde Python-script), op in een nieuwe gegevensset voor voedselafbeeldingen (in totaal 8 varianten per voedselafbeelding). Dit wordt gedaan door de opdracht uit te voeren in regel 35 van het meegeleverde Python-script.</li>
		<li>Sla afbeeldingen uit stap 3.2.2-3.2.4, samen met de originele afbeeldingen (lijnen 16 en 17 in het meegeleverde Python-script), op in een nieuwe voedselafbeeldingsgegevensset (in totaal 4 varianten per voedselafbeelding). Dit wordt gedaan door regels 19 tot en met 24 van het meegeleverde Python-script te verwijderen en de opdracht in regel 35 uit te voeren.</li>
	</ol></li>
	<li>Segmentatie van voedselafbeeldingen uitvoeren
	<ol>
<li>Wijzig de bestaande HTC20 ResNet-101 architectuur16-definitie uit de MMDetection-bibliotheek50 in secties 'modelinstellingen' en 'gegevenssetinstellingen' van het architectuurdefinitiebestand, zodat deze de voedselafbeeldingsgegevenssets uit stap 3.1.1, 3.2.5 en 3.2.6 accepteert.</li>
		<li>(Optioneel) Wijzig de HTC ResNet-101 architectuurdefinitie uit stap 3.3.1 om trainingshyperparameters te definiëren: batchgrootte in sectie 'dataset-instellingen', oplossertype en leersnelheid in sectie 'optimizer', leerbeleid in sectie 'leerbeleid' en aantal trainingstijdvakken in sectie 'runtime-instellingen' van het architectuurdefinitiebestand. OPMERKING: Het gewijzigde HTC ResNet-101 architectuurdefinitiebestand is te vinden in de aanvullende bestanden ('htc_resnet-101.py'). Hyperparameters zijn parameters die worden gebruikt om het trainingsproces vóór de start te definiëren. Hoewel experimenten nodig zijn voor elke gegevensset om de optimale set hyperparameters te vinden, bevat het bestand al een hyperparameterconfiguratie die zonder wijziging kan worden gebruikt. Deze stap is daarom optioneel.</li>
		<li>Voer de training van het HTC ResNet-101-model uit op de voedselafbeeldingsgegevensset uit stap 3.1.1 met behulp van de MMDetection-bibliotheek (bijvoorbeeld met de opdracht: 'python mmdetection/tools/train.py htc_resnet-101.py').</li>
		<li>Nadat de training van stap 3.3.3 is voltooid, neemt u de best presterende HTC ResNet-101-model iteratie en verfijnt u deze door de volgende fase van de training uit te voeren op de voedselafbeeldingsgegevensset vanaf stap 3.2.5. OPMERKING: Er zijn meerdere manieren om de best presterende model iteratie te bepalen. Een eenvoudige manier om dit te doen is als volgt. De MMDetection-bibliotheek voert nauwkeurigheidswaarden uit voor elk trainingstijdvak in de opdrachtregelinterface. Controleer welk tijdvak de laagste verlieswaarde heeft bereikt voor de validatiesubset van de voedselafbeeldingsgegevensset - die model iteratie kan worden beschouwd als het best presterende. Een optionele stap bij het bepalen van de best presterende model iteratie is om te observeren hoe de verlieswaarde voor de trainingssubset verandert van tijdvak naar tijdvak en als deze continu begint te dalen terwijl de verlieswaarde voor de validatiesubset hetzelfde blijft of continu stijgt, neem dan het tijdvak voorafgaand aan deze daling van de trainingsverlieswaarde, omdat dat kan aangeven wanneer het model op de trainingsafbeeldingen begon te overfitten.</li>
		<li>Nadat de training van stap 3.3.4 is voltooid, neemt u de best presterende HTC ResNet-101-model iteratie en verfijnt u deze door de volgende fase van de training uit te voeren op de voedselafbeeldingsgegevensset vanaf stap 3.2.6. OPMERKING: Zie opmerking voor stap 3.3.4.</li>
		<li>Nadat de training van stap 3.3.5 is voltooid, neemt u de best presterende HTC ResNet-101-model iteratie en verfijnt u deze door opnieuw de volgende fase van de training uit te voeren op de voedselafbeeldingsgegevensset vanaf stap 3.2.5. OPMERKING: Zie opmerking voor stap 3.3.4.</li>
		<li>Nadat de training van stap 3.3.6 is voltooid, neemt u de best presterende HTC ResNet-101-model iteratie. Dit model wordt vervolgens gebruikt voor het testen van de prestaties van deze aanpak. OPMERKING: Zie opmerking voor stap 3.3.4. Stappen 3.3.3-3.3.7 leverden de beste resultaten op voor de doeleinden die door de auteurs van dit artikel zijn gedefinieerd. Experimenten zijn nodig voor elke gegevensset om de optimale volgorde van trainings- en gegevensvergrotingsstappen te vinden.</li>
	</ol></li>
</ol>

De auteurs hebben niets te onthullen.

In de afgelopen jaren zijn diepe neurale netwerken meerdere keren gevalideerd als een geschikte oplossing voor het herkennen van voedselbeelden10,11,12,21,23,25,26,29,31,33. Ons werk gepresenteerd in dit artikel dient om dit verder te bewijzen1,2. De benadering voor het herkennen van voedselafbeeldingen met één uitvoer is eenvoudig en kan worden gebruikt voor eenvoudige toepassingen waarbij afbeeldingen met slechts één voedsel- of drankartikel worden verwacht2.
De benadering van voedselimagosegmentatie lijkt bijzonder geschikt voor het herkennen van voedselafbeeldingen in het algemeen, zonder enige beperking van het aantal levensmiddelen1. Omdat het werkt door elke afzonderlijke pixel van de afbeelding te classificeren, kan het niet alleen een willekeurig aantal voedselitems in de afbeelding herkennen, maar ook opgeven waar een voedselitem zich bevindt en hoe groot het is. Dit laatste kan vervolgens worden gebruikt om voedselgewichtsschatting uit te voeren, vooral als het wordt gebruikt met een referentieobject of een camera met vaste afstand.
Er is wat werk verricht met betrekking tot de beschikbaarheid van voedselbeeldgegevenssets3,22,27,30,36,37,38,39,40,41,42, en we hopen dat er in de toekomst meer zal worden gedaan, vooral als het gaat om het aggregeren van voedselbeeldgegevenssets uit verschillende regio's over de hele wereld, waardoor robuustere oplossingen kunnen worden ontwikkeld. Momenteel heeft de nauwkeurigheid van automatische oplossingen voor voedselbeeldherkenning de nauwkeurigheid op menselijk niveau nog niet bereikt35, en dit is waarschijnlijk voor een groot deel te wijten aan het gebruik van voedselbeeldgegevenssets van onvoldoende grootte en kwaliteit.
In de toekomst zal ons doel zijn om de ontwikkelde procedures voor echte beelden verder te evalueren. Over het algemeen bevatten gegevenssets in dit veld vaak afbeeldingen die zijn gemaakt in gecontroleerde omgevingen of afbeeldingen die handmatig zijn geoptimaliseerd voor herkenning. Daarom is het belangrijk om een grote en diverse dataset voor voedselafbeeldingen in de echte wereld te verzamelen om alle verschillende voedsel- en drankproducten te omvatten die individuen misschien willen herkennen. De eerste stap hiertoe werd gezet door de Food Recognition Challenge, die een dataset van echte voedselbeelden19bevatte, maar er moet verder worden gewerkt aan het valideren van deze aanpak op voedselbeelden van over de hele wereld en in samenwerking met diëtisten.

Dieetbeoordeling is een cruciale stap in het bepalen van bruikbare gebieden van het dieet van een individu. Het uitvoeren van dieetbeoordelingen met behulp van traditioneel handmatige benaderingen gaat echter gepaard met aanzienlijke kosten. Deze benaderingen zijn ook gevoelig voor fouten, omdat ze vaak vertrouwen op zelfrapportage door het individu. Geautomatiseerde dieetbeoordeling pakt deze problemen aan door een eenvoudigere manier te bieden om voedselinname te kwantificeren en te kwalificeren. Een dergelijke aanpak kan ook een aantal van de fouten in handmatige benaderingen verlichten, zoals gemiste maaltijden, onvermogen om het voedselvolume nauwkeurig te beoordelen, enz. Daarom zijn er duidelijke voordelen aan het automatiseren van voedingsbeoordeling door oplossingen te ontwikkelen die verschillende voedingsmiddelen en dranken identificeren en voedselinname kwantificeren1. Deze oplossingen kunnen ook worden gebruikt om een schatting van de voedingswaarden van voedsel- en drankproducten (voortaan 'voedingsmiddelen') mogelijk te maken. Bijgevolg is geautomatiseerde dieetbeoordeling nuttig voor meerdere toepassingen - van strikt medisch gebruik, zoals het toestaan van diëtisten om gemakkelijker en nauwkeuriger de diëten van hun patiënten te volgen en te analyseren, tot het gebruik in welzijnsapps gericht op de algemene bevolking.
Het automatisch herkennen van voedingsmiddelen uit afbeeldingen is een uitdagend computervisieprobleem. Dit komt doordat voedingsmiddelen meestal vervormbare objecten zijn en vanwege het feit dat een grote hoeveelheid visuele informatie van het voedselitem verloren kan gaan tijdens de bereiding. Bovendien kunnen verschillende voedingsmiddelen erg op elkaar lijken en kan hetzelfde voedsel op meerdere afbeeldingen aanzienlijk verschillen2. Bovendien hangt de herkenningsnauwkeurigheid af van veel meer factoren, zoals beeldkwaliteit, of het voedselartikel wordt belemmerd door een ander item, afstand van waaruit het beeld is genomen, enz. Het herkennen van drankartikelen brengt zijn eigen uitdagingen met zich mee, met als belangrijkste de beperkte hoeveelheid visuele informatie die beschikbaar is in een afbeelding. Deze informatie kan de drankkleur, de kleur en de structuur van de drankcontainer zijn, en, onder optimale beeldvoorwaarden, de drankdichtheid2.
Om voedselproducten uit afbeeldingen met succes te herkennen, is het noodzakelijk om functies van elke eet- en drinkles te leren. Dit werd traditioneel gedaan met behulp van handmatig gedefinieerde functie-extractors3,4,5,6 dieherkenning uitvoeren op basis van specifieke itemfuncties zoals kleur, textuur, grootte, enz., of een combinatie van deze functies. Voorbeelden van deze functie-extractors zijn meerdere kernel learning4,pairwise lokale functies5 en de bag-of-features model6. Vanwege de complexiteit van voedselbeelden bereikten deze benaderingen meestal een lage classificatienauwkeurigheid - tussen 10% en 40%3,4,5. De reden hiervoor is dat de handmatige aanpak niet robuust genoeg is om voldoende nauwkeurig te zijn. Omdat een voedingsartikel qua uiterlijk aanzienlijk kan variëren, is het niet haalbaar om al deze verschillen handmatig te omvatten. Een hogere classificatienauwkeurigheid kan worden bereikt met handmatig gedefinieerde functie-extractors wanneer het aantal voedselklassen wordt verminderdmet 5, of verschillende afbeeldingskenmerken worden gecombineerd6, wat aangeeft dat er behoefte is aan complexere oplossingen voor dit probleem.
Daarom bleek deep learning zo effectief te zijn voor het voedselimagoherkenningsprobleem. Deep learning, of diepe neurale netwerken, is geïnspireerd door biologische hersenen en stelt computationele modellen bestaande uit meerdere verwerkingslagen in staat om automatisch functies te leren door training op een set invoerafbeeldingen7,8. Hierdoor heeft deep learning de stand van de techniek op verschillende onderzoeksgebieden7aanzienlijk verbeterd, met computervisie en vervolgens voedselbeeldherkenning, als een van hen2.
Met name diepe convolutionele neurale netwerken (DCNN's) zijn het meest populair voor voedselbeeldherkenning - deze netwerken zijn geïnspireerd op het visuele systeem van dieren, waar individuele neuronen proberen inzicht te krijgen in de visuele input door te reageren op overlappende gebieden in het visuele veld9. Een convolutioneel neuraal netwerk neemt het invoerbeeld en voert een reeks bewerkingen uit in elk van de netwerklagen, waarvan de meest voorkomende convolutionele, volledig verbonden en poolinglagen zijn. Convolutionele lagen bevatten leerbare filters die reageren op bepaalde functies in de invoergegevens, terwijl volledig verbonden lagen uitvoergegevens uit andere lagen samenstellen om er kennis op een hoger niveau van te verkrijgen. Het doel van het groeperen van lagen is om de invoergegevens te down-samplen2. Er zijn twee benaderingen voor het gebruik van deep learning-modellen die populair bleken: het nemen van een bestaande deep neurale netwerkdefinitie10,11, in dit artikel een deep learning-architectuur genoemd, of het definiëren van een nieuwe deep learning-architectuur12,13, en het trainen van een van deze op een voedselimagegegevensset. Er zijn sterke en zwakke punten aan beide benaderingen - bij het gebruik van een bestaande deep learning-architectuur kan een architectuur worden gekozen en verfijnd voor het gewenste probleem, waardoor tijd wordt bespaard en ervoor wordt gezorgd dat een gevalideerde architectuur is gekozen. Het definiëren van een nieuwe deep learning-architectuur is daarentegen tijdintensiever, maar maakt de ontwikkeling van architecturen mogelijk die specifiek zijn gemaakt om rekening te houden met de specifieke kenmerken van een probleem en dus theoretisch beter presteren voor dat probleem.
In dit artikel presenteren we beide benaderingen. Voor het probleem van voedselimagoherkenning ontwikkelden we een nieuwe DCNN-architectuur genaamd NutriNet2, een wijziging van de bekende AlexNet-architectuur14. Er zijn twee belangrijke verschillen ten opzichte van AlexNet: NutriNet accepteert afbeeldingen van 512x512 pixels als invoer (in tegenstelling tot afbeeldingen van 256x256 pixels voor AlexNet) en NutriNet heeft een extra convolutionele laag aan het begin van het neurale netwerk. Deze twee wijzigingen zijn ingevoerd om zoveel mogelijk informatie uit de afbeeldingen van de herkenningsgegevensset te extraheren. Het hebben van afbeeldingen met een hogere resolutie betekende dat er meer informatie op afbeeldingen aanwezig was en het hebben van meer convolutionele lagen betekende dat extra kennis uit de afbeeldingen kon worden gehaald. Vergeleken met de ongeveer 60 miljoen parameters van AlexNet bevat NutriNet minder parameters: ongeveer 33 miljoen. Dit komt door het verschil in dimensionaliteit bij de eerste volledig verbonden laag veroorzaakt door de extra convolutionele laag2. Figuur 1 bevat een diagram van de NutriNet-architectuur. De voedselafbeeldingen die werden gebruikt om het NutriNet-model te trainen, werden verzameld van internet - de procedure wordt beschreven in de protocoltekst.
Voor het probleem van voedselimagesegmentatie gebruikten we twee verschillende bestaande architecturen: volledig convolutienetwerken (FCN's)15 en diepe restnetwerken (ResNet)16, die beide de state of the art vertegenwoordigden voor beeldsegmentatie toen we ze gebruikten om hun respectieve oplossingen voor voedselimagosegmentatie te ontwikkelen. Er zijn meerdere FCN varianten die werden geïntroduceerd door Long et al.: FCN-32s, FCN-16s en FCN-8s15. FCN-32s voert een pixelkaart uit op basis van de voorspellingen van de laatste laag van de FCN, terwijl de FCN-16s-variant deze voorspellingen combineert met die van een eerdere laag. FCN-8s overweegt de voorspellingen van nog een andere laag en is daarom in staat om voorspellingen te doen bij de fijnste korrel, daarom is het geschikt voor voedselbeeldherkenning. De FCN-8's die we gebruikten, werden vooraf getraind op de PASCAL Visual Object Classes (PASCAL VOC) dataset17 en getraind en getest op afbeeldingen van voedselreplica's (voortaan 'nepvoedsel')18 vanwege hun visuele gelijkenis met echt voedsel en vanwege een gebrek aan geannoteerde afbeeldingen van echt voedsel op pixelniveau. Nepvoedsel wordt gebruikt in verschillende gedragsstudies en er worden afbeeldingen gemaakt voor alle gerechten van alle deelnemers aan de studie. Omdat de voedselinhoud van deze afbeeldingen bekend is, maakt het de afbeeldingsgegevensset nuttig voor deep learning-modeltraining. Verwerkingsstappen voor gegevenssets worden beschreven in de protocoltekst.
De op ResNet gebaseerde oplossing is ontwikkeld in het kader van de Food Recognition Challenge (FRC)19. Het maakt gebruik van de Hybrid Task Cascade (HTC)20-methode met een ResNet-10116-backbone. Dit is een state-of-the-art aanpak voor het probleem met beeldsegmentatie dat verschillende functie-extractors of backbones kan gebruiken. We hebben ook andere backbone-netwerken overwogen, met name andere ResNet-varianten zoals ResNet-5016,maar ResNet-101 was het meest geschikt vanwege de diepte en het vermogen om invoerafbeeldingen op een complexe manier weer te geven. De dataset die werd gebruikt voor het trainen van het HTC ResNet-101-model was de FRC-dataset met toegevoegde augmented images. Deze uitbreidingen worden gepresenteerd in de protocoltekst.
Dit artikel is bedoeld als een bron voor machine learning-experts die op zoek zijn naar informatie over welke deep learning-architecturen en stappen voor gegevensvergroting goed presteren voor de problemen van voedselbeeldherkenning en segmentatie, evenals voor voedingsonderzoekers die onze aanpak willen gebruiken om voedselbeeldherkenning te automatiseren voor gebruik bij dieetbeoordeling. In de onderstaande paragrafen worden deep learning-oplossingen en datasets uit het veld voedselimageherkenning gepresenteerd. In de protocoltekst beschrijven we hoe elk van de drie benaderingen werd gebruikt om diepe neurale netwerkmodellen te trainen die kunnen worden gebruikt voor geautomatiseerde dieetbeoordeling. Bovendien bevat elke protocolsectie een beschrijving van hoe de gegevenssets voor voedselafbeeldingen die worden gebruikt voor training en testen zijn verkregen en verwerkt.
DCNN's behaalden over het algemeen aanzienlijk betere resultaten dan andere methoden voor herkenning en segmentatie van voedselimago' s, daarom is het overgrote deel van het recente onderzoek in het veld gebaseerd op deze netwerken. Kawano et al. gebruikten DCNN's als aanvulling op handmatige benaderingen21 en bereikten een classificatienauwkeurigheid van 72,26% op de UEC-FOOD100 dataset22. Christodoulidis et al. gebruikten ze uitsluitend om een hogere nauwkeurigheid van 84,90% te bereiken op een zelf verworven dataset23. Tanno et al. ontwikkelden DeepFoodCam - een smartphone-app voor voedselbeeldherkenning die DCNNs24 gebruikt. Liu et al. presenteerden een systeem dat een op Internet of Things gebaseerde dieetbeoordeling uitvoert met behulp van DCNNs25. Martinel et al. introduceerden een dcnn-gebaseerde aanpak die de details van voedselafbeeldingen26 benut en een nauwkeurigheid van 90,27% rapporteerde op de Food-101-dataset27. Zhou et al. hebben een overzicht geschreven van deep learning-oplossingen in het voedseldomein28.
Onlangs stelden Zhao et al. een netwerk voor dat specifiek is bedoeld voor voedselimagoherkenning in mobiele toepassingen29. Deze aanpak maakt gebruik van een kleiner 'studenten'-netwerk dat leert van een groter 'docentennetwerk'. Hiermee slaagden ze erin om een nauwkeurigheid van 84% te bereiken op de UEC-FOOD25630 en een nauwkeurigheid van 91,2% op de Food-101 dataset27. Hafiz et al. gebruikten DCNNs om een drank-only beeldherkenningsoplossing te ontwikkelen en rapporteerden een zeer hoge nauwkeurigheid van 98,51%31. Shimoda et al. beschreven een nieuwe methode voor het detecteren van plaatgebieden in voedselafbeeldingen zonder het gebruik van pixelgewijze annotatie32. Ciocca et al. introduceerden een nieuwe dataset met voedingsmiddelen uit 20 verschillende voedselklassen in 11 verschillende toestanden (vaste, gesneden, romige pasta, enz.) en presenteerden hun aanpak voor trainingsherkenningsmodellen die de voedseltoestand kunnen herkennen, naast de voedselklasse33. Knez et al. evalueerde oplossingen voor voedselbeeldherkenning voor mobiele apparaten34. Ten slotte hebben Furtado et al. een studie uitgevoerd naar hoe het menselijke visuele systeem zich verhoudt tot de prestaties van DCNN's en ontdekten dat menselijke herkenning nog steeds beter presteert dan DCNN's met een nauwkeurigheid van 80% versus 74,5%35. De auteurs merkten op dat met een klein aantal voedselklassen de DCNN's goed presteren, maar op een dataset met honderden klassen is de nauwkeurigheid van menselijke herkenning hogerdan 35, wat de complexiteit van het probleem benadrukt.
Ondanks de state-of-the-art resultaten heeft deep learning een groot nadeel - het vereist een grote invoergegevensset om het model op te trainen. In het geval van voedselimagoherkenning is een grote voedselimagegegevensset vereist en deze gegevensset moet zoveel mogelijk verschillende scenario's in de echte wereld omvatten. In de praktijk betekent dit dat voor elk individueel voedsel- of drankartikel een grote verzameling afbeeldingen nodig is en dat er zoveel mogelijk verschillende items in de dataset aanwezig moeten zijn. Als er niet genoeg afbeeldingen zijn voor een specifiek item in de gegevensset, is het onwaarschijnlijk dat dat item met succes wordt herkend. Aan de andere kant, als slechts een klein aantal items onder de dataset valt, zal de oplossing beperkt zijn in omvang en slechts in staat zijn om een handvol verschillende voedingsmiddelen en dranken te herkennen.
In het verleden zijn meerdere datasets beschikbaar gesteld. De Pittsburgh Fast-Food Image Dataset (PFID)3 werd geïntroduceerd om meer onderzoek op het gebied van voedselbeeldherkenning aan te moedigen. De University of Electro-Communications Food 100 (UEC-FOOD100)22 en University of Electro-Communications Food 256 (UEC-FOOD256)30 datasets bevatten Japanse gerechten, uitgebreid met enkele internationale gerechten in het geval van de UEC-FOOD256 dataset. De Food-101 dataset bevat populaire gerechten verkregen van een website27. De Food-5036 en Video Retrieval Group Food 172 (VireoFood-172)37 datasets zijn in China gevestigde collecties van voedselafbeeldingen. De dataset van de Universiteit van Milaan-Bicocca 2016 (UNIMIB2016) bestaat uit afbeeldingen van voedselbakken uit een Italiaanse kantine38. Recipe1M is een grootschalige dataset van kookrecepten en voedselafbeeldingen39. De Food-475 dataset40 verzamelt vier eerder gepubliceerde voedselbeeld datasets27,30,36,37 in één. De Beijing Technology and Business University Food 60 (BTBUFood-60) is een dataset van afbeeldingen bedoeld voor voedseldetectie41. Onlangs is de ISIA Food-500 dataset42 van diverse voedselafbeeldingen beschikbaar gesteld. In vergelijking met andere openbaar beschikbare gegevenssets voor voedselafbeeldingen bevat het een groot aantal afbeeldingen, verdeeld in 500 voedselklassen, en is het bedoeld om de ontwikkeling van multimediale voedselherkenningsoplossingen te bevorderen42.

<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td>HARDWARE</td>
			<td></td>
			<td></td>
			<td></td>
		</tr>
		<tr>
			<td>NVIDIA GPU</td>
			<td>NVIDIA</td>
			<td>N/A</td>
			<td>An NVIDIA GPU is needed as some of the software frameworks below will not work otherwise. https://www.nvidia.com</td>
		</tr>
		<tr>
			<td>SOFTWARE</td>
			<td></td>
			<td></td>
			<td></td>
		</tr>
		<tr>
			<td>Caffe</td>
			<td>Berkeley AI Research</td>
			<td>N/A</td>
			<td>Caffe is a deep learning framework. https://caffe.berkeleyvision.org</td>
		</tr>
		<tr>
			<td>CLoDSA</td>
			<td>J&#243;nathan Heras</td>
			<td>N/A</td>
			<td>CLoDSA is a Python image augmentation library. https://github.com/joheras/CLoDSA</td>
		</tr>
		<tr>
			<td>Google API Client</td>
			<td>Google</td>
			<td>N/A</td>
			<td>Google API Client is a Python client library for Google&#39;s discovery based APIs. https://github.com/googleapis/google-api-python-client</td>
		</tr>
		<tr>
			<td>JavaScript Segment Annotator</td>
			<td>Kota Yamaguchi</td>
			<td>N/A</td>
			<td>JavaScript Segment Annotator is a JavaScript image annotation tool. https://github.com/kyamagu/js-segment-annotator</td>
		</tr>
		<tr>
			<td>MMDetection</td>
			<td>Multimedia Laboratory, CUHK</td>
			<td>N/A</td>
			<td>MMDetection is an object detection toolbox based on PyTorch. https://github.com/open-mmlab/mmdetection</td>
		</tr>
		<tr>
			<td>NVIDIA DIGITS</td>
			<td>NVIDIA</td>
			<td>N/A</td>
			<td>NVIDIA DIGITS is a wrapper for Caffe that provides a graphical web interface. https://developer.nvidia.com/digits</td>
		</tr>
		<tr>
			<td>OpenCV</td>
			<td>Intel</td>
			<td>N/A</td>
			<td>OpenCV is a library for computer vision. https://opencv.org</td>
		</tr>
		<tr>
			<td>Python</td>
			<td>Python Software Foundation</td>
			<td>N/A</td>
			<td>Python is a programming language. https://www.python.org</td>
		</tr>
		<tr>
			<td>PyTorch</td>
			<td>Facebook AI Research</td>
			<td>N/A</td>
			<td>PyTorch is a machine learning framework. https://pytorch.org</td>
		</tr>
		<tr>
			<td>Ubuntu OS</td>
			<td>Canonical</td>
			<td>N/A</td>
			<td>Ubuntu 14.04 is the OS used by the authors and offers compatibility with all of the software frameworks and tools above. https://ubuntu.com</td>
		</tr>
	</tbody>
</table>

deep neural networks for image-based dietary assessment

Vanwege de problemen en kosten die gepaard gaan met handmatige dieetbeoordelingsbenaderingen, zijn geautomatiseerde oplossingen nodig om het werk te vergemakkelijken en te versnellen en de kwaliteit ervan te verhogen. Tegenwoordig zijn geautomatiseerde oplossingen in staat om de voedingsinname van een persoon op een veel eenvoudigere manier vast te leggen, bijvoorbeeld door een foto te maken met een smartphonecamera. In dit artikel zullen we ons richten op dergelijke op afbeeldingen gebaseerde benaderingen van dieetbeoordeling. Voor het voedselbeeldherkenningsprobleem hebben diepe neurale netwerken de afgelopen jaren de state of the art bereikt en presenteren we ons werk op dit gebied. In het bijzonder beschrijven we eerst de methode voor beeldherkenning van eten en drinken met behulp van een diepe neurale netwerkarchitectuur, NutriNet genaamd. Deze methode is, zoals het meeste onderzoek gedaan in de begindagen van deep learning-gebaseerde voedselbeeldherkenning, beperkt tot één uitvoer per afbeelding en daarom ongeschikt voor afbeeldingen met meerdere voedsel- of drankproducten. Daarom zijn benaderingen die segmentatie van voedselimago's uitvoeren aanzienlijk robuuster, omdat ze in staat zijn om een willekeurig aantal voedsel- of drankproducten in het beeld te identificeren. We presenteren daarom ook twee methoden voor segmentatie van voedselimago' s - de ene is gebaseerd op volledig convolutionele netwerken (FCN's) en de andere op diepe restnetwerken (ResNet).

NutriNet werd getest tegen drie populaire deep learning-architecturen uit die tijd: AlexNet14, GoogLeNet51 en ResNet16. Er zijn ook meerdere trainingsparameters getest voor alle architecturen om de optimale waarden te definiëren2. Onder deze is de keuze van het oplossertype, dat bepaalt hoe de verliesfunctie wordt geminimaliseerd. Deze functie is de primaire kwaliteitsmaat voor het trainen van neurale netwerken, omdat deze beter geschikt is voor optimalisatie tijdens de training dan classificatienauwkeurigheid. We hebben drie oplossers getest: Stochastic Gradient Descent (SGD)52, Nesterov's Accelerated Gradient (NAG)53 en het Adaptive Gradient algorithm (AdaGrad)54. De tweede parameter is batchgrootte, waarmee het aantal afbeeldingen wordt gedefinieerd dat tegelijkertijd wordt verwerkt. De diepte van de deep learning-architectuur bepaalde de waarde van deze parameter, omdat diepere architecturen meer ruimte in het GPU-geheugen vereisen - het gevolg van deze aanpak was dat het geheugen volledig was gevuld met afbeeldingen voor alle architecturen, ongeacht de diepte. De derde parameter is de leersnelheid, die de snelheid definieert waarmee de neurale netwerkparameters tijdens de training worden gewijzigd. Deze parameter is eensgezind ingesteld met de batchgrootte, omdat het aantal gelijktijdig verwerkte afbeeldingen de convergentiesnelheid bepaalt. AlexNet-modellen werden getraind met behulp van een batchgrootte van 256 afbeeldingen en een basisleersnelheid van 0,02; NutriNet gebruikte een batchgrootte van 128 afbeeldingen en een snelheid van 0,01; GoogLeNet 64 afbeeldingen en een snelheid van 0.005; en ResNet 16-afbeeldingen en een snelheid van 0,00125. Voor alle architecturen werden drie andere parameters vastgesteld: leersnelheidsbeleid (step-down), stapgrootte (30%) en gamma (0,1). Deze parameters beschrijven samen hoe de leersnelheid in elk tijdvak verandert. Het idee achter deze aanpak is dat het leertempo geleidelijk wordt verlaagd om het model te verfijnen naarmate het dichter bij de optimale verlieswaarde komt. Ten slotte werd het aantal opleidingstijdvakken ook vastgesteld op 150 voor alle deep learning-architecturen2.
Het beste resultaat van alle geteste parameters die NutriNet behaalde, was een classificatienauwkeurigheid van 86,72% op de herkenningsgegevensset, die ongeveer 2% hoger was dan het beste resultaat voor AlexNet en iets hoger dan het beste resultaat van GoogLeNet. De best presterende architectuur in het algemeen was ResNet (met ongeveer 1%), maar de trainingstijd voor ResNet is aanzienlijk hoger in vergelijking met NutriNet (met een factor van ongeveer vijf), wat belangrijk is als modellen voortdurend opnieuw worden getraind om de nauwkeurigheid en het aantal herkenbare voedingsmiddelen te verbeteren. NutriNet, AlexNet en GoogLeNet behaalden hun beste resultaten met behulp van de AdaGrad-oplosser, terwijl het beste model van ResNet de NAG-oplosser gebruikte. NutriNet werd ook getest op de openbaar beschikbare UNIMIB2016 food image dataset38. Deze dataset bevat 3.616 afbeeldingen van 73 verschillende food items. NutriNet behaalde een herkenningsnauwkeurigheid van 86,39% op deze dataset en presteerde iets beter dan het baseline-herkenningsresultaat van de auteurs van de dataset, namelijk 85,80%. Bovendien werd NutriNet getest op een kleine dataset van 200 real-world afbeeldingen van 115 verschillende etens- en drinkwaren, waar NutriNet een top-5 nauwkeurigheid van 55% bereikte.
Om het FCN-8s fake-food beeldsegmentatiemodel te trainen, gebruikten we Adam55 als oplossertype, omdat we ontdekten dat het optimaal presteerde voor deze taak. Het basisleerpercentage was zeer laag ingesteld - tot 0,0001. De reden voor het lage getal is het feit dat slechts één afbeelding tegelijk kon worden verwerkt, wat een gevolg is van het classificatieproces op pixelniveau. De GPU-geheugenvereisten voor deze aanpak zijn aanzienlijk groter dan classificatie op afbeeldingsniveau. Het leertempo moest dus laag worden ingesteld, zodat de parameters niet te snel werden gewijzigd en naar minder optimale waarden werden geconvergeerd. Het aantal trainingstijdvakken werd ingesteld op 100, terwijl het leersnelheidsbeleid, de stapgrootte en gamma werden ingesteld op respectievelijk 34% en 0,1, omdat deze parameters de meest nauwkeurige modellen produceerden.
Nauwkeurigheidsmetingen van het FCN-8s-model werden uitgevoerd met behulp van de pixelnauwkeurigheidsmaat15, die analoog is aan de classificatienauwkeurigheid van traditionele deep learning-netwerken, met als belangrijkste verschil dat de nauwkeurigheid wordt berekend op pixelniveau in plaats van op afbeeldingsniveau:
<img alt="Equation 1" src="/files/ftp_upload/61906/61906eq01.jpg">
waarbij PA de pixelnauwkeurigheidsmaat is, is nij het aantal pixels uit klasse waarvan ik voorspelde dat het tot klasse j en ti = Σj nij zou behoren, het totale aantal pixels uit klasse in de grond-waarheidslabels1. Met andere woorden, de pixelnauwkeurigheidsmaat wordt berekend door correct voorspelde pixels te delen door het totale aantal pixels. De uiteindelijke nauwkeurigheid van het getrainde FCN-8s model was 92,18%. Figuur 2 toont drie voorbeeldafbeeldingen uit de dataset voor nep-voedselafbeeldingen (één van elk van de subsets voor training, validatie en testen), samen met de bijbehorende grondwaarheids- en modelvoorspellingslabels.
De parameters voor het trainen van het HTC20 ResNet-101-model voor segmentatie van voedselafbeeldingen werden als volgt ingesteld: het gebruikte solvertype was SGD omdat het beter presteerde dan andere oplossertypen. De basisleersnelheid is ingesteld op 0,00125 en de batchgrootte op 2 afbeeldingen. Het aantal trainingstijdvakken werd ingesteld op 40 per trainingsfase en er werden meerdere trainingsfasen uitgevoerd - eerst op de originele FRC-dataset zonder augmented images, vervolgens op de 8x-augmented en 4x-augmented FRC dataset meerdere keren op een afwisselende manier, waarbij telkens het best presterende model werd genomen en verfijnd in de volgende trainingsfase. Meer informatie over de trainingsfasen is te vinden in paragraaf 3.3 van de protocoltekst. Ten slotte werd het afbouwleerbeleid gebruikt, met vaste tijdperken voor wanneer het leertempo daalde (tijdvakken 28 en 35 voor de eerste opleidingsfase). Een belangrijk ding om op te merken is dat hoewel deze reeks trainingsfasen de beste resultaten heeft opgeleverd in onze tests in het bereik van de FRC, het gebruik van een andere dataset mogelijk een andere reeks vereist om optimale resultaten te produceren.
Deze op ResNet gebaseerde oplossing voor segmentatie van voedselimage werd geëvalueerd met behulp van de volgende precisiemaat19:
<img alt="Equation 2" src="/files/ftp_upload/61906/61906eq02.jpg">
waar P precisie is, is TP het aantal echte positieve voorspellingen door het segmentatiemodel voor voedselafbeeldingen, FP is het aantal fout-positieve voorspellingen en IoU is Intersection over Union, dat wordt berekend met deze vergelijking:
<img alt="Equation 3" src="/files/ftp_upload/61906/61906eq03.jpg">
waarbij Area of Overlap het aantal voorspellingen van het model vertegenwoordigt dat overlapt met de grondwaarheid, en Area of Union het totale aantal voorspellingen van het model samen met de grondwaarheid vertegenwoordigt, zowel op pixelniveau als voor elke individuele voedselklasse. Recall wordt gebruikt als secundaire meting en wordt op dezelfde manier berekend met behulp van de volgende formule19:
<img alt="Equation 4" src="/files/ftp_upload/61906/61906eq04.jpg">
waarbij R wordt teruggeroepen en FN het aantal valse negatieve voorspellingen is door het segmentatiemodel voor voedselafbeeldingen. De precisie- en terugroepmaatregelen worden vervolgens gemiddeld over alle klassen in de grondwaarheid. Met behulp van deze maatregelen bereikte ons model een gemiddelde precisie van 59,2% en een gemiddelde terugroepactie van 82,1%, die tweede werd in de tweede ronde van de Food Recognition Challenge19. Dit resultaat lag 4,2% achter op de eerste plaats en 5,3% op de derde plaats in termen van de gemiddelde precisiemeting. Tabel 1 bevat de uitslagen van de top-4 deelnemers aan de wedstrijd.
<img alt="Figure 1" class="xfigimg" src="/files/ftp_upload/61906/61906fig01.jpg"> Figuur 1: Diagram van de NutriNet deep neural network architecture. Dit cijfer is gepubliceerd in Mezgec et al.2. <a href="https://www.jove.com/files/ftp_upload/61906/61906fig01large.jpg" target="_blank">Klik hier om een grotere versie van deze figuur te bekijken.</a>
<img alt="Figure 2" class="xfigimg" src="/files/ftp_upload/61906/61906fig02.jpg"> Figuur 2: Afbeeldingen uit de fake-food image dataset. Originele afbeeldingen (links), handmatig gelabelde ground-truth labels (midden) en voorspellingen uit het FCN-8s model (rechts). Dit cijfer is gepubliceerd in Mezgec et al.1. <a href="https://www.jove.com/files/ftp_upload/61906/61906fig02large.jpg" target="_blank">Klik hier om een grotere versie van deze figuur te bekijken.</a>
<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always"><tbody>
<tr>
<td>Teamnaam</td>
			<td>Plaatsing</td>
			<td>Gemiddelde precisie</td>
			<td>Gemiddelde terugroepactie</td>
		</tr>
<tr>
<td>rssfete</td>
			<td>1</td>
			<td>63.4%</td>
			<td>88.6%</td>
		</tr>
<tr>
<td>simon_mezgec</td>
			<td>2</td>
			<td>59.2%</td>
			<td>82.1%</td>
		</tr>
<tr>
<td>arimboux</td>
			<td>3</td>
			<td>53.9%</td>
			<td>73.5%</td>
		</tr>
<tr>
<td>latentvec</td>
			<td>4</td>
			<td>48.7%</td>
			<td>71.1%</td>
		</tr>
</tbody></table>Tabel 1: Top-4 resultaten van de tweede ronde van de Food Recognition Challenge. Gemiddelde precisie wordt als primaire prestatiemaat en gemiddelde terugroepactie als secundaire meting genomen. De uitslagen zijn ontleend aan het officiële wedstrijdklassement19.
Aanvullende bestanden. <a href="https://www.jove.com/files/ftp_upload/61906/simon_mezgec_supplemental_files_revision1_.zip" target="_blank">Klik hier om dit Bestand te downloaden.</a>

Watch this Scientific Journal Video about Deep Neural Networks for Image-Based Dietary Assessment at JoVE.com

Deep Neural Networks for Image-Based Dietary Assessment

Het doel van het werk dat in dit artikel wordt gepresenteerd, is het ontwikkelen van technologie voor geautomatiseerde herkenning van voedsel- en drankartikelen uit afbeeldingen die door mobiele apparaten zijn gemaakt. De technologie bestaat uit twee verschillende benaderingen - de eerste voert voedselbeeldherkenning uit terwijl de tweede voedselbeeldsegmentatie uitvoert.

Diepe neurale netwerken voor op afbeeldingen gebaseerde dieetbeoordeling

Due to the issues and costs associated with manual dietary assessment approaches, automated solutions are required to ease and speed up the work and ...

Vanwege de problemen en kosten in verband met handmatige dieetbeoordelingsbenaderingen zijn geautomatiseerde oplossingen nodig om het werk te vergemakkelijken en te versnellen en de kwaliteit ervan te verhogen. Tegenwoordig zijn geautomatiseerde oplossingen in staat om de voedingsinname van een persoon op een veel eenvoudigere manier vast te leggen, bijvoorbeeld door een foto te maken met een smartphonecamera. In dit artikel zullen we ons richten op dergelijke op afbeeldingen gebaseerde benaderingen van dieetbeoordeling met behulp van diepe neurale netwerken, die de stand van de techniek in het veld vertegenwoordigen.In het bijzonder zullen we drie oplossingen presenteren, een voor voedselimagoherkenning, een voor beeldsegmentatie van voedselreplica's of nepvoedsel, en een voor beeldsegmentatie van echt voedsel. Verzamel een lijst met verschillende voedingsmiddelen en dranken die de outputs van het voedselbeeldherkenningsmodel zullen zijn. Sla de lijst met eten en drinken op in een tekstbestand, zoals TXT of CSV.Merk op dat het tekstbestand dat door de auteurs van dit artikel wordt gebruikt, te vinden is in de aanvullende bestanden onder voedselitems dot TXT en een lijst met 520 Sloveense voedselproducten bevat. Schrijf of download een Python-script dat de aangepaste zoek-API van Google gebruikt om afbeeldingen van elk voedselitem uit de lijst te downloaden en ze op te slaan in een aparte map voor elk voedselitem. Merk op dat het Python-script dat door de auteurs van dit artikel wordt gebruikt, te vinden is in de aanvullende bestanden onder downloadafbeeldingen dot pi.Als dit script wordt gebruikt, moeten de sleutelregel acht van de ontwikkelaarssleutelvariabele in de Python-scriptcode en aangepaste zoekmachine-ID-variabele CX-regel 28 in de Python-scriptcode worden vervangen door waarden die specifiek zijn voor het Google-account dat wordt gebruikt. Voer het Python-script uit vanaf stap 1.1.3. Maak een nieuwe versie van elke afbeelding op de voedselafbeeldingsgegevens die zijn ingesteld door deze 90 graden te roteren met behulp van de CLoDSA-bibliotheek.Merk op dat het Python-script met alle CLoDSA-opdrachten die door de auteurs van dit artikel worden gebruikt, te vinden is in een bestand dat is opgenomen in de aanvullende bestanden onder NutriNet-onderstrepingspunt pi. Maak een nieuwe versie van elke afbeelding op de voedselafbeeldingsgegevensset door deze 180 graden te roteren met behulp van de CLoDSA-bibliotheek. Maak een nieuwe versie van elke afbeelding op de voedselafbeeldingsgegevensset door deze 270 graden te roteren met behulp van de CLoDSA-bibliotheek.Maak een nieuwe versie van elke afbeelding op de voedselafbeeldingsgegevensset door deze horizontaal om te draaien met behulp van de CLoDSA-bibliotheek. Maak een nieuwe versie van elke afbeelding op de voedselafbeeldingsgegevens die zijn ingesteld door er willekeurige kleurruis aan toe te voegen met behulp van de CLoDSA-bibliotheek. Maak een nieuwe versie van elke afbeelding op de voedselafbeeldingsgegevensset door er met 25% op in te zoomen met behulp van de CLoDSA-bibliotheek.Sla afbeeldingen uit stap 1.3.1 tot en met 1.3.6 samen met de originele afbeeldingen op in een nieuwe gegevensset voor voedselafbeeldingen. In totaal zeven varianten per voedselbeeld. Importeer de voedselimagegegevensset vanaf stap 1.3.7 in de NVIDI-cijferomgeving en verdeel de gegevensset in subsets voor training, validatie en testen.Kopieer en plak de definitietekst van de NutriNet-architectuur in NVIDIA-cijfers. Merk op dat de NutriNet-architectuurdefinitie te vinden is in de aanvullende bestanden onder NutriNet dot proto TXT. Definieer optioneel trainingshyperparameters in NVIDIA-cijfers of gebruik de standaardwaarden.De hyperparameters die door de auteurs van dit artikel worden gebruikt, zijn te vinden in een bestand dat is opgenomen in de aanvullende bestanden onder NutriNet onderstreping hyperparameters dot proto TXT. Voer de training van het NutriNet-model uit. Nadat de training is voltooid, neemt u de best presterende NutriNet-model iteratie.Dit model wordt vervolgens gebruikt voor het testen van de prestaties van deze aanpak. Houd er rekening mee dat er meerdere manieren zijn om de best presterende model iteratie te bepalen. Raadpleeg de artikelteksten voor meer informatie.Verkrijg een gegevensset van nepvoedselafbeeldingen. Merk op dat de auteurs van dit artikel afbeeldingen ontvingen van nepvoedsel dat werd verzameld in een labomgeving. Maak handmatig aantekeningen bij elke voedselafbeelding op pixelniveau.Elke pixel in de afbeelding moet informatie bevatten over tot welke voedselklasse deze behoort. Merk op dat er veel tools zijn om dit te bereiken. De auteurs van dit artikel gebruikten JavaScript-segmentannotator.Het resultaat van deze stap is één annotatieafbeelding voor elke afbeelding uit de gegevensset van de voedselafbeelding, waarbij elke pixel een van de voedselklassen vertegenwoordigt. Voer dezelfde stappen uit als in sectie 1.3, maar alleen op afbeeldingen uit de trainingssubset van de gegevensset met voedselafbeeldingen. Houd er rekening mee dat, met uitzondering van stap 1.3.5, alle stappen voor gegevensvergroting ook moeten worden uitgevoerd op overeenkomstige annotatieafbeeldingen.Voer dezelfde stappen uit als in punt 1.4, met uitzondering van stap 1.4.2. Voer in plaats van die stap de stappen 2.3.2 en 2.3.3 uit. Merk op dat de trainingshyperparameters die door de auteurs van dit artikel worden gebruikt, te vinden zijn in het bestand dat is opgenomen in de aanvullende bestanden onder FCN-8S onderstrepingsteken hyperparameters dot proto TXT.Kopieer en plak de definitietekst van de FCN-8S-architectuur in NVIDIA-cijfers. Voer de voorgetrainde FCN-8S-modelgewichten in NVIDIA-cijfers in. Houd er rekening mee dat deze modelgewichten vooraf zijn getraind op de gegevensset van de pascal visuele objectklassen en te vinden zijn op internet.Download de voedselafbeeldingsgegevensset van de website van de Food Recognition Challenge. Voer de stappen 1.3.1 tot en met 1.3.4 uit. Merk op dat het Python-script met alle CLoDSA-opdrachten die door de auteurs van dit artikel worden gebruikt, te vinden is in het bestand dat is opgenomen in de aanvullende bestanden onder FRC-onderstreping augmentatie dot pi.Maak een nieuwe versie van elke afbeelding op de voedselafbeeldingsgegevensset door er gaussiaanse vervaging aan toe te voegen met behulp van de CLoDSA-bibliotheek. Maak een nieuwe versie van elke afbeelding op de voedselafbeeldingsgegevensset door deze te verscherpen met behulp van de CLoDSA-bibliotheek. Maak een nieuwe versie van elke afbeelding op de voedselimagegegevensset door er gammacorrectie op toe te passen met behulp van de CLoDSA-bibliotheek.Sla afbeeldingen uit stap 3.2.1 tot en met 3.2.4 samen met de originele afbeeldingen op in een nieuwe gegevensset voor voedselafbeeldingen. In totaal acht varianten per voedselbeeld. Sla afbeeldingen uit stap 3.2.2 tot en met 3.2.4 samen met de originele afbeeldingen op in een nieuwe gegevensset voor voedselafbeeldingen.In totaal vier varianten per voedselbeeld. Wijzig de bestaande HTC ResNet 101-architectuurdefinitie uit de MM Detection-bibliotheek zodat deze de gegevenssets voor voedselafbeeldingen accepteert uit stap 3.1.1, 3.2.5 en 3.2.6. Wijzig optioneel de architectuurdefinitie htc ResNet 101 uit stap 3.3.1 om hyperparameters voor training te definiëren of gebruik de standaardwaarden.Merk op dat de gewijzigde HTC ResNet 101 architectuur definitie kan worden gevonden in de aanvullende bestanden onder HTC onderstrepen ResNet 101 dot pi. Voer de training van het HTC ResNet 101-model uit op de gegevenssets voor voedselafbeeldingen vanaf stap 3.1.1 met behulp van de MM Detection-bibliotheek. Nadat de training van stap 3.3.3 is voltooid, neemt u de best presterende HTC ResNet 101-model iteratie en verfijnt u deze door de volgende fase van de training uit te voeren op de voedselafbeeldingsgegevensset van stap 3.2.5.Houd er rekening mee dat er meerdere manieren zijn om de best presterende model iteratie te bepalen. Raadpleeg de artikelteksten voor meer informatie. Dit is ook relevant voor de volgende stappen.Nadat de training van stap 3.3.4 is voltooid, neemt u de best presterende HTC ResNet 101-model iteratie en verfijnt u deze door de volgende fase van de training uit te voeren op de voedselafbeeldingsgegevensset van stap 3.2.6. Nadat de training van stap 3.3.5 is voltooid, neemt u de best presterende HTC ResNet 101-model iteratie en verfijnt u deze door opnieuw de volgende fase van de training uit te voeren op de voedselafbeeldingsgegevensset van stap 3.2.5. Nadat de training van stap 3.3.6 is voltooid, neemt u de best presterende HTC ResNet 101-model iteratie.Dit model wordt vervolgens gebruikt voor het testen van de prestaties van deze aanpak. Houd er rekening mee dat de stappen 3.3.3 tot en met 3.3.7 de beste resultaten hebben opgeleverd voor de doeleinden die door de auteurs van dit artikel zijn gedefinieerd. Experimenten zijn nodig voor elke gegevensset om de optimale volgorde van trainings- en gegevensvergrotingsstappen te vinden.Na het testen van het trendmodel bereikte NutriNet een classificatienauwkeurigheid van 86,72% op de herkenningsgegevensset, die ongeveer 2% hoger was dan AlexNet en iets hoger dan GoogLeNet, wat populaire diepe neurale netwerkarchitecturen van die tijd waren. Om de nauwkeurigheid van het FCN-8S nep food image segmentatiemodel te meten, werd de pixelnauwkeurigheidsmaat gebruikt. De nauwkeurigheid van het getrainde FCN-8S-model was 92,18%De op ResNet gebaseerde oplossing voor segmentatie van voedselimage werd geëvalueerd met behulp van de precisiemeting die werd gedefinieerd in de Food Recognition Challenge.Met deze maatregel behaalde het treinmodel een gemiddelde precisie van 59,2%, wat op de tweede plaats stond in de Food Recognition Challenge. In de afgelopen jaren zijn diepe neurale netwerken meerdere keren gevalideerd als een geschikte oplossing voor het herkennen van voedselbeelden. Ons werk in dit artikel dient om dit verder te bewijzen.De benadering van voedselbeeldherkenning met één uitgang is eenvoudig en kan worden gebruikt voor eenvoudige toepassingen. Terwijl de benadering van voedselbeeldsegmentatie meer werk vereist bij het maken van geannoteerde afbeeldingen, maar het is veel meer van toepassing op afbeeldingen uit de echte wereld. In de toekomst zal ons doel zijn om de ontwikkelde procedures voor beelden uit de echte wereld verder te evalueren.De eerste stap naar validatie in de echte wereld werd geleverd door de Food Recognition Challenge, die een dataset van echte voedselafbeeldingen bevatte. Maar er moet verder worden gewerkt aan het valideren van deze benadering van voedselbeelden van over de hele wereld en in samenwerking met diëtisten.

Research

JoVE Journal

Engineering

Concurrent Quantitative Conductivity and Mechanical Properties Measurements of Organic Photovoltaic Materials using AFM

Concurrent Kwantitatieve geleidbaarheid en mechanische eigenschappen metingen van organische fotovoltaïsche Materialen met AFM

Organic photovoltaic  (OPV) materials are inherently inhomogeneous at the nanometer scale. Nanoscale  inhomogeneity of OPV materials affects performance ...

Detection and Recovery of Palladium, Gold and Cobalt Metals from the Urban Mine Using Novel Sensors/Adsorbents Designated with Nanoscale Wagon-wheel-shaped Pores

Detectie en herstel van Palladium, Goud en Cobalt metalen uit de Urban Mine via innovatieve sensoren / Adsorbentia Aangewezen met nanoschaal Wagon-wheel-vormige poriën

Developing low-cost, efficient processes for recovering and recycling palladium, gold and cobalt metals from urban mine remains a significant challenge in ...

Preparation of Liquid Crystal Networks for Macroscopic Oscillatory Motion Induced by Light

Voorbereiding van vloeibare kristallen netwerken macroscopische oscillerende beweging door licht geïnduceerde

A strategy based on doped liquid crystalline networks is described to create mechanical self-sustained oscillations of plastic films under continuous ...

Indoor Experimental Assessment of the Efficiency and Irradiance Spot of the Achromatic Doublet on Glass (ADG) Fresnel Lens for Concentrating Photovoltaics

Indoor Experimental Assessment of the Efficiency and Irradiance Spot of the Achromatic Doublet on Glass ADG Fresnel Lens for Concentrating Photovoltaics

Indoor experimentele evaluatie van de efficiëntie en de bestralingssterkte plek van de Achromatische Doublet op glas (ADG) Fresnel Lens voor het bijeenbrengen van fotovoltaïsche zonne-energie

We present a method to characterize achromatic Fresnel lenses for photovoltaic applications. The achromatic doublet on glass (ADG) Fresnel lens is ...

Applicability Analysis of Assessment Methods for Morphological Parameters of Corroded Steel Bars

Analyse van de toepasbaarheid van de beoordelingsmethoden voor morfologische Parameters van gecorrodeerde Steel Bars

The irregular and uneven residual sections along the length of a corroded steel bar substantially change its mechanical properties and significantly ...

Impacts of Free-falling Spheres on a Deep Liquid Pool with Altered Fluid and Impactor Surface Conditions

Effecten van crashende bollen op een diep vloeibare zwembad met gewijzigde vloeistof en botslichaam oppervlakte voorwaarden

Vertical impacts of spheres on clean water have been the subject of numerous water entry investigations characterizing cavity formation, splash crown ...

Automated Deployment of an Internet Protocol Telephony Service on Unmanned Aerial Vehicles Using Network Functions Virtualization

Geautomatiseerde implementatie van een Internet Protocol Telephony-service op onbemande luchtvaartuigen met behulp van virtualisatie van netwerkfuncties

The Network Function Virtualization (NFV) paradigm is one of the key enabling technologies in the development of the 5th generation of mobile networks. ...

Automated Delivery of Microfabricated Targets for Intense Laser Irradiation Experiments

Geautomatiseerde levering van microfabriceerde doelen voor intense laser bestraling experimenten

Described is an experimental procedure that enables high-power laser irradiation of microfabricated targets. Targets are brought to the laser focus by a ...

UV-Vis Spectroscopic Characterization of Nanomaterials in Aqueous Media

UV-Vis spectroscopische karakterisering van nanomaterialen in waterige media

The physicochemical characterization of nanomaterials (NMs) is often an analytical challenge, due to their small size (at least one dimension in the ...

3D Printing - Evaluating Particle Emissions of a 3D Printing Pen

3D-printen - Deeltjesemissies van een 3D-printpen evalueren

Three-dimensional (3D) printing as a type of additive manufacturing shows continuing increase in application and consumer popularity. The fused filament ...