Name: deep neural networks for image-based dietary assessment
Uploaded: 2021-03-13T15:00:00
Duration: 13 min 19 s
Description: Watch this Scientific Journal Video about Deep Neural Networks for Image-Based Dietary Assessment at JoVE.com

Författarna vill tacka Tamara Bucher från University of Newcastle, Australien, för att ha tillhandahållit datauppsättningen för falska livsmedel. Detta arbete stöddes av EU:s forsknings- och innovationsprogram Horisont 2020 (bidragsnummer 863059 - FNS-Cloud, 769661 - SAAM); och slovenska forskningsbyrån (bidragsnummer P2-0098). Europeiska unionen och Sloveniens forskningsbyrå hade ingen roll i utformningen, analysen eller skrivandet av denna artikel.

1. Igenkänning av matbilder med NutriNet
<ol><li>Hämta datauppsättningen för matbilder
	<ol>
<li>Samla en lista över olika livsmedel och drycker som kommer att vara utdata från matbildigenkänningsmodellen. En varierad lista över populära livsmedel och drycker föredras, eftersom det kommer att möjliggöra träning av en robust modell för erkännande av matbilder.</li>
		<li>Spara mat- och dryckeslistan i en textfil (t.ex. "txt" eller "csv"). OBS: Textfilen som används av författarna till denna artikel finns i tilläggsfilerna ("food_items.txt") och innehåller en lista över 520 slovenska livsmedel.</li>
		<li>Skriv eller ladda ned ett Python43-skript som använder Google Custom Search API44 för att ladda ned bilder av varje matobjekt från listan och sparar dem i en separat mapp för varje matställe. OBS: Python-skriptet som används av författarna till den här artikeln finns i tilläggsfilerna ("download_images.py"). Om det här skriptet används måste utvecklarnyckeln (variabeln "developerKey", rad 8 i Python-skriptkoden) och anpassat sökmotor-ID (variabeln "cx", rad 28 i Python-skriptkoden) ersättas med värden som är specifika för Det Google-konto som används.</li>
		<li>Kör Python-skriptet från steg 1.1.3 (t.ex. med kommandot: "python download_images.py").</li>
	</ol></li>
	<li>(Valfritt) Rengöring av matbildsdatauppsättningen
	<ol>
<li>Träna en modell för identifiering av livsmedelsbilder på samma sätt som i avsnitt 1.4, förutom att endast använda två utgångar (livsmedel, icke-livsmedel) i motsats till listan över utgångar från steg 1.1.1. Författarna till den här artikeln använde bilder kombinerade från receptwebbplatser och ImageNet-datauppsättningen45 för att träna modellen för identifiering av matbilder. Eftersom fokus här ligger på igenkänning av matbilder och detta är ett valfritt steg för rengöring av igenkänningsdatauppsättningen utelämnas ytterligare detaljer. Istället finns mer information om detta tillvägagångssätt i Mezgec et al.2.</li>
		<li>Kör identifieringsmodellen från steg 1.2.1 i matavbildningsdatauppsättningen som är resultatet av steg 1.1.4.</li>
		<li>Ta bort alla bilder som har taggats som icke-livsmedel av identifieringsmodellen från steg 1.2.1.</li>
		<li>Kontrollera manuellt matbildsdatauppsättningen för andra felaktiga eller lågknyta bilder och för bild dubbletter.</li>
		<li>Ta bort bilder som finns i steg 1.2.4.</li>
	</ol></li>
	<li>Öka datauppsättningen för matbilder
	<ol>
<li>Skapa en ny version av varje bild från matbildsdatauppsättningen genom att rotera den med 90° med CLoDSA-biblioteket46 (raderna 19 till 21 i det medföljande Python-skriptet). OBS: Python-skriptet som innehåller alla CLoDSA-kommandon som används av författarna till den här artikeln finns i en fil som ingår i tilläggsfilerna ("nutrinet_augmentation.py"). Om det här skriptet används måste indatasökvägen (variabeln "INPUT_PATH", rad 8 i Python-skriptkoden) och utdatasökvägen (variabeln "OUTPUT_PATH", rad 11 i Python-skriptkoden) ersättas med sökvägar till önskade mappar.</li>
		<li>Skapa en ny version av varje bild från matbildsdatauppsättningen genom att rotera den med 180° med CLoDSA-biblioteket (raderna 19 till 21 i det medföljande Python-skriptet).</li>
		<li>Skapa en ny version av varje bild från matbildsdatauppsättningen genom att rotera den med 270° med CLoDSA-biblioteket (raderna 19 till 21 i det medföljande Python-skriptet).</li>
		<li>Skapa en ny version av varje bild från matbildsdatauppsättningen genom att vända den vågrätt med CLoDSA-biblioteket (raderna 23 och 24 i det medföljande Python-skriptet).</li>
		<li>Skapa en ny version av varje bild från matbildsdatauppsättningen genom att lägga till slumpmässigt färgljud i den med CLoDSA-biblioteket (raderna 26 och 27 i det medföljande Python-skriptet).</li>
		<li>Skapa en ny version av varje bild från matbildsdatauppsättningen genom att zooma in på den med 25 % med CLoDSA-biblioteket (raderna 29 och 30 i det medföljande Python-skriptet).</li>
		<li>Spara bilder från steg 1.3.1-1.3.6, tillsammans med originalbilderna (raderna 16 och 17 i det medföljande Python-skriptet), i en ny matbildsdatauppsättning (totalt 7 varianter per matbild). Detta görs genom att köra kommandot på rad 32 i det medföljande Python-skriptet.</li>
	</ol></li>
	<li>Utföra igenkänning av matbilder
	<ol>
<li>Importera matavbildningsdatauppsättningen från steg 1.3.7 till NVIDIA DIGITS-miljön47och dela upp datauppsättningen i tränings-, validerings- och testunderenheter i NVIDIA DIGITS-användargränssnittet.</li>
		<li>Kopiera och klistra in definitionstexten för NutriNet-arkitekturen2 i NVIDIA DIGITS som ett anpassat nätverk. OBS: NutriNet arkitektur definition text finns i tilläggsfilerna ("nutrinet.prototxt").</li>
		<li>(Valfritt) Definiera utbildningshyperparametrar i NVIDIA DIGITS-användargränssnittet. Hyperparametrar är parametrar som används för att definiera träningsprocessen innan den startas. De hyperparametrar som används av författarna till denna artikel finns i en fil som ingår i tilläggsfilerna ("nutrinet_hyperparameters.prototxt"). Medan experiment behövs för varje datauppsättning för att hitta de optimala hyperparametrarna, innehåller filen en hyperparameterkonfiguration som kan kopieras till NVIDIA DIGITS-användargränssnittet. Dessutom fyller NVIDIA DIGITS hyperparametrarna med standardvärden som kan användas som baslinje. Detta steg är därför frivilligt.</li>
		<li>Kör träningen av NutriNet-modellen.</li>
		<li>När träningen är klar bör du ta den bäst presterande NutriNet-modell iterationen. Den här modellen används sedan för att testa prestanda för den här metoden. Det finns flera sätt att avgöra den bäst presterande modell iterationen. Ett enkelt sätt att göra detta är följande. NVIDIA DIGITS ger ett diagram med noggrannhetsåtgärder för varje träningsepoken. Kontrollera vilken epok som uppnådde det lägsta förlustvärdet för valideringsunderuppsättningen i matbildsdatauppsättningen - den modell iterationen kan anses vara bäst presterande. Ett valfritt steg för att bestämma den bäst presterande modell iterationen är att observera hur förlustvärdet för träningsunderuppsättningen ändras från epok till epok och om det börjar sjunka kontinuerligt medan förlustvärdet för valideringsunderuppsättningen förblir detsamma eller stiger kontinuerligt, ta epoken före denna minskning av träningsförlustvärdet, som det kan signalera när modellen började övermontera på träningsbilderna.</li>
	</ol></li>
</ol>2. Segmentering av livsmedelsbilder med FCN
<ol><li>
Hämta datauppsättningen för falska livsmedel
	<ol>
<li>Få en datauppsättning med falska matbilder. Falska matbilder samlas in av forskare som genomför beteendestudier med hjälp av matrepliker. OBS: Författarna till denna artikel fick bilder av falsk mat som samlades in i en labbmiljö18.</li>
		<li>Kommentera varje matbild manuellt på pixelnivå - varje pixel i bilden måste innehålla information om vilken matklass den tillhör. Resultatet av det här steget är en anteckningsbild för varje bild från matbildsdatauppsättningen, där varje pixel representerar en av matklasserna. Obs: Det finns många verktyg för att uppnå detta - författarna till den här artikeln använde JavaScript Segment Annotator48.</li>
	</ol>
</li>
	<li>
Förstärkning av datauppsättningen för falska livsmedel
	<ol>
<li>Utför samma steg som i avsnitt 1.3, men bara på bilder från träningsundergruppen i matbildsdatauppsättningen. Obs: Med undantag för steg 1.3.5 måste alla dataförstoringssteg också utföras på motsvarande anteckningsbilder. Om skriptet från avsnitt 1.3 används måste indatasökvägen (variabeln "INPUT_PATH", rad 8 i Python43-skriptkoden) och Utdatasökvägen (variabeln "OUTPUT_PATH", rad 11 i Python-skriptkoden) ersättas med sökvägar till önskade mappar. Ställ dessutom in problemet (variabeln "PROBLEM", rad 6 i Python-skriptkoden) på "instance_segmentation" och anteckningsläget (variabeln "ANNOTATION_MODE", rad 7 i Python-skriptkoden) och utdataläget (variabeln "OUTPUT_MODE", rad 10 i Python-skriptkoden) till "coco".</li>
	</ol>
</li>
	<li>
Utföra bildsegmentering av falska livsmedel
	<ol>
<li>Utför samma steg som i avsnitt 1.4, med undantag för steg 1.4.2. Utför steg 2.3.2 och 2.3.3 i stället för det steget. Hyperparametrar är parametrar som används för att definiera träningsprocessen innan den startas. De träningshyperparametrar som används av författarna till denna artikel för det valfria steg 1.4.3 finns i en fil som ingår i tilläggsfilerna ("fcn-8s_hyperparameters.prototxt"). Medan experiment behövs för varje datauppsättning för att hitta den optimala uppsättningen hyperparametrar, innehåller filen en hyperparameterkonfiguration som kan kopieras till NVIDIA DIGITS47-användargränssnittet. Dessutom fyller NVIDIA DIGITS hyperparametrarna med standardvärden som kan användas som baslinje.</li>
		<li>Kopiera och klistra in definitionstexten för FCN-8s-arkitekturen15 i NVIDIA DIGITS-miljön som ett anpassat nätverk. FCN-8s arkitekturdefinitionstext är offentligt tillgänglig på GitHub49.</li>
		<li>Ange sökvägen till de förtränade FCN-8s-modellvikterna i NVIDIA DIGITS-användargränssnittet. OBS: Dessa modellvikter var förutbildade på PASCAL VOC-datauppsättningen17 och finns på Internet49.</li>
	</ol>
</li>
</ol>3. Segmentering av matbilder med HTC ResNet
<ol><li>Hämta datauppsättningen för matbilder
	<ol>
<li>Ladda ner matbildsdatauppsättningen från FRC:s webbplats19.</li>
	</ol></li>
	<li>Öka datauppsättningen för matbilder
	<ol>
<li>Utför steg 1.3.1-1.3.4. OBS: Python43-skriptet som innehåller alla CLoDSA46-kommandon som används av författarna till den här artikeln finns i en fil som ingår i tilläggsfilerna ("frc_augmentation.py"). Om det här skriptet används måste indatasökvägen (variabeln "INPUT_PATH", rad 8 i Python-skriptkoden) och utdatasökvägen (variabeln "OUTPUT_PATH", rad 11 i Python-skriptkoden) ersättas med sökvägar till önskade mappar.</li>
		<li>Skapa en ny version av varje bild från matbildsdatauppsättningen genom att lägga till gaussisk oskärpa i den med CLoDSA-biblioteket (raderna 26 och 27 i det medföljande Python-skriptet).</li>
		<li>Skapa en ny version av varje bild från matbildsdatauppsättningen genom att skärpa den med CLoDSA-biblioteket (raderna 29 och 30 i det medföljande Python-skriptet).</li>
		<li>Skapa en ny version av varje bild från matbildsdatauppsättningen genom att tillämpa gammakorrigering på den med CLoDSA-biblioteket (raderna 32 och 33 i det medföljande Python-skriptet).</li>
		<li>Spara bilder från steg 3.2.1-3.2.4, tillsammans med originalbilderna (raderna 16 och 17 i det medföljande Python-skriptet), i en ny matbildsdatauppsättning (totalt 8 varianter per matbild). Detta görs genom att köra kommandot på rad 35 i det medföljande Python-skriptet.</li>
		<li>Spara bilder från steg 3.2.2-3.2.4, tillsammans med originalbilderna (raderna 16 och 17 i det medföljande Python-skriptet), i en ny matbildsdatauppsättning (totalt 4 varianter per matbild). Detta görs genom att ta bort raderna 19 till 24 i det medföljande Python-skriptet och köra kommandot på rad 35.</li>
	</ol></li>
	<li>Utföra segmentering av matbilder
	<ol>
<li>Ändra den befintliga HTC20 ResNet-101-arkitekturen16-definitionen från MMDetection-biblioteket50 i avsnitten "modellinställningar" och "datauppsättningsinställningar" i arkitekturdefinitionsfilen så att den accepterar matbildsdatauppsättningarna från steg 3.1.1, 3.2.5 och 3.2.6.</li>
		<li>(Valfritt) Ändra HTC ResNet-101-arkitekturdefinitionen från steg 3.3.1 för att definiera utbildningshyperparametrar: batchstorlek i avsnittet "datauppsättningsinställningar", problemlösartyp och inlärningshastighet i avsnittet "optimering", inlärningsprincip i avsnittet "inlärningsprincip" och antal utbildningsepoken i avsnittet "körningsinställningar" i arkitekturdefinitionsfilen. OBS: Den modifierade HTC ResNet-101 arkitekturdefinitionsfilen finns i tilläggsfilerna ("htc_resnet-101.py"). Hyperparametrar är parametrar som används för att definiera träningsprocessen innan den startas. Även om experiment behövs för varje data uppsättning för att hitta den optimala uppsättningen hyperparametrar, innehåller filen redan en hyperparameter konfiguration som kan användas utan ändringar. Detta steg är därför frivilligt.</li>
		<li>Kör utbildningen av HTC ResNet-101-modellen på matbildsdatauppsättningen från steg 3.1.1 med MMDetection-biblioteket (t.ex. med kommandot: "python mmdetection/tools/train.py htc_resnet-101.py").</li>
		<li>När träningen från steg 3.3.3 är klar, ta den bäst presterande HTC ResNet-101-modell iterationen och finjustera den genom att köra nästa fas av träningen på matbildsdatauppsättningen från steg 3.2.5. Det finns flera sätt att avgöra den bäst presterande modell iterationen. Ett enkelt sätt att göra detta är följande. MMDetection-biblioteket matar ut värden för noggrannhetsmått för varje träningsepoken i kommandoradsgränssnittet. Kontrollera vilken epok som uppnådde det lägsta förlustvärdet för valideringsunderuppsättningen i matbildsdatauppsättningen - den modell iterationen kan anses vara bäst presterande. Ett valfritt steg för att bestämma den bäst presterande modell iterationen är att observera hur förlustvärdet för träningsunderuppsättningen ändras från epok till epok och om det börjar sjunka kontinuerligt medan förlustvärdet för valideringsunderuppsättningen förblir detsamma eller stiger kontinuerligt, ta epoken före denna minskning av träningsförlustvärdet, som det kan signalera när modellen började övermontera på träningsbilderna.</li>
		<li>När träningen från steg 3.3.4 är klar, ta den bäst presterande HTC ResNet-101-modell iterationen och finjustera den genom att köra nästa fas av träningen på matbildsdatauppsättningen från steg 3.2.6. OBS: Se anmärkning för steg 3.3.4.</li>
		<li>När träningen från steg 3.3.5 är klar, ta den bäst presterande HTC ResNet-101-modell iterationen och finjustera den genom att återigen köra nästa fas av träningen på matbildsdatauppsättningen från steg 3.2.5. OBS: Se anmärkning för steg 3.3.4.</li>
		<li>När utbildningen från steg 3.3.6 är klar, ta den bäst presterande HTC ResNet-101-modell iterationen. Den här modellen används sedan för att testa prestanda för den här metoden. OBS: Se anmärkning för steg 3.3.4. Steg 3.3.3-3.3.7 gav de bästa resultaten för de ändamål som definieras av författarna till denna artikel. Experiment behövs för varje datauppsättning för att hitta den optimala sekvensen av utbildnings- och dataförstoringssteg.</li>
	</ol></li>
</ol>

Författarna har inget att avslöja.

Under de senaste åren har djupa neurala nätverk validerats flera gånger som en lämplig lösning för att känna igen matbilder10,11,12,21,23,25,26,29,31,33. Vårt arbete som presenteras i den här artikeln tjänar till att ytterligare bevisadenna 1,2. Metoden med enkelmatsigenkänning av livsmedel är enkel och kan användas för enkla applikationer där bilder med endast en mat- eller dryckesartikel förväntas2.
Metoden för segmentering av livsmedelsbilder verkar särskilt lämplig för att känna igen matbilder i allmänhet, utan någon begränsning av antalet livsmedel1. Eftersom det fungerar genom att klassificera varje enskild pixel i bilden kan den inte bara känna igen ett antal matvaror i bilden, utan också ange var en matartikel finns, liksom hur stor den är. Den senare kan sedan användas för att utföra uppskattning av livsmedelsvikt, särskilt om den används med antingen ett referensobjekt eller en kamera med fast avstånd.
Det har gjorts en del arbete när det gäller tillgången på matbildsdatamängder3,22,27,30,36,37,38,39,40,41,42, och vi hoppas att mer kommer att göras i framtiden, särskilt när det gäller att aggregera matbildsdatauppsättningar från olika regioner över hela världen, vilket skulle göra det möjligt att utveckla mer robusta lösningar. För närvarande har noggrannheten hos automatiska lösningar för igenkänning av livsmedelsbilder ännu inte nått noggrannhet påmänsklig nivå 35, och detta beror sannolikt till stor del på användningen av matbildsdatauppsättningar av otillräcklig storlek och kvalitet.
I framtiden kommer vårt mål att vara att ytterligare utvärdera de utvecklade procedurerna för verkliga bilder. I allmänhet innehåller data uppsättningar i det här fältet ofta bilder tagna i kontrollerade miljöer eller avbildningar som optimerades manuellt för igenkänning. Det är därför det är viktigt att samla in en stor och mångsidig verklig matbildsdatauppsättning för att omfatta alla olika mat- och dryckesartiklar som individer kanske vill känna igen. Det första steget mot detta tillhandahölls av Food Recognition Challenge, som inkluderade en datauppsättning av verkliga matbilder19, men ytterligare arbete måste göras för att validera detta tillvägagångssätt på matbilder från hela världen och i samarbete med dietister.

Kostbedömning är ett avgörande steg för att bestämma handlingsbara områden i en individs kost. Att utföra kostbedömning med traditionellt manuella metoder är dock förknippat med betydande kostnader. Dessa tillvägagångssätt är också benägna att fel eftersom de ofta förlitar sig på självrapportering av individen. Automatiserad kostbedömning tar itu med dessa problem genom att tillhandahålla ett enklare sätt att kvantifiera och kvalificera matintag. Ett sådant tillvägagångssätt kan också lindra några av de fel som finns i manuella tillvägagångssätt, såsom missade måltider, oförmåga att noggrant bedöma matvolym etc. Därför finns det tydliga fördelar med att automatisera kostbedömning genom att utveckla lösningar som identifierar olika livsmedel och drycker och kvantifierar matintag1. Dessa lösningar kan också användas för att möjliggöra en uppskattning av näringsvärdena för livsmedel och drycker (hädanefter "livsmedel"). Följaktligen är automatiserad kostbedömning användbar för flera applikationer - från strikt medicinsk användning, till exempel att tillåta dietister att lättare och mer exakt spåra och analysera sina patienters dieter, till användningen inuti välbefinnandeappar riktade mot den allmänna befolkningen.
Att automatiskt känna igen matvaror från bilder är ett utmanande datorseendeproblem. Detta beror på att livsmedel vanligtvis är deformerbara föremål, och på grund av det faktum att en stor del av matartikelns visuella information kan gå förlorad under beredningen. Dessutom kan olika livsmedel tyckas vara mycket lika varandra, och samma mat kan tyckas vara väsentligt annorlunda på flera bilder2. Dessutom beror igenkänningsnoggrannheten på många fler faktorer, till exempel bildkvalitet, om livsmedelsartikeln hindras av ett annat föremål, avstånd från vilket bilden togs etc. Att känna igen dryckesartiklar innebär sin egen uppsättning utmaningar, den viktigaste är den begränsade mängden visuell information som finns tillgänglig i en bild. Denna information kan vara dryckesfärgen, dryckesbehållarens färg och struktur, och under optimala bildförhållanden dryckestätheten2.
För att framgångsrikt känna igen matvaror från bilder är det nödvändigt att lära sig funktioner i varje mat- och dryckesklass. Detta gjordes traditionellt med hjälp av manuellt definierade funktionsutdragare3,4,5,6 som utförigenkänning baserat på specifika objektfunktioner som färg, textur, storlek etc., eller en kombination av dessa funktioner. Exempel på dessa funktionsutdragare är flera kernel learning4, parvis lokalafunktioner 5 och påsen med funktioner modell6. På grund av komplexiteten hos matbilder uppnådde dessa metoder mestadels en låg klassificeringsnoggrannhet - mellan 10% och 40%3,4,5. Anledningen till detta är att det manuella tillvägagångssättet inte är tillräckligt robust för att vara tillräckligt exakt. Eftersom en matvara kan variera avsevärt i utseende är det inte möjligt att omfatta alla dessa avvikelser manuellt. Högre klassificeringsnoggrannhet kan uppnås med manuellt definierade funktionsextraktorer när antingen antalet matklasserminskas 5, eller olika bildfunktioner kombineras6, vilket indikerar att det finns ett behov av mer komplexa lösningar på detta problem.
Det är därför djupinlärning visade sig vara så effektivt för problemet med erkännande av livsmedelsbilder. Djupinlärning, eller djupa neurala nätverk, inspirerades av biologiska hjärnor och gör det möjligt för beräkningsmodeller som består av flera bearbetningslager att automatiskt lära sig funktioner genom träning på en uppsättningindatabilder 7,8. På grund av detta har djupinlärning avsevärt förbättrat den senaste tekniken inom en mängd olika forskningsområden7, med datorseende, och därefter erkännande av matbilder, som en av dem2.
I synnerhet är djupa invecklade neurala nätverk (DCNN) mest populära för erkännande av matbilder - dessa nätverk är inspirerade av djurens visuella system, där enskilda neuroner försöker få en förståelse för den visuella ingången genom att reagera på överlappande regioner i synfältet9. Ett invecklat neuralt nätverk tar indatabilden och utför en serie åtgärder i vart och ett av nätverksskikten, varav de vanligaste är invecklade, fullt anslutna och poolande lager. Convolutional layers innehåller lärbara filter som svarar på vissa funktioner i indata, medan helt anslutna lager komponerar utdata från andra lager för att få kunskap på högre nivå från den. Målet med att slå samman lager är att nedprova indata2. Det finns två metoder för att använda djupinlärningsmodeller som visade sig vara populära: att ta en befintlig djup neural nätverksdefinition10,11, kallad en djupinlärningsarkitektur i den här artikeln, eller definiera en ny djupinlärningsarkitektur12,13, och träna någon av dessa på en matbildsdatauppsättning. Det finns styrkor och svagheter i båda metoderna - när man använder en befintlig djupinlärningsarkitektur kan en arkitektur som fungerade bra för andra problem väljas och finjusteras för det önskade problemet, vilket sparar tid och säkerställer att en validerad arkitektur har valts. Att definiera en ny djupinlärningsarkitektur är å andra sidan mer tidsintensivt, men gör det möjligt att utveckla arkitekturer som är specifikt gjorda för att ta hänsyn till detaljerna i ett problem och därmed teoretiskt prestera bättre för det problemet.
I den här artikeln presenterar vi båda metoderna. För problemet med igenkänning av matbilder utvecklade vi en ny DCNN-arkitektur som heter NutriNet2, som är en modifiering av den välkända AlexNet-arkitekturen14. Det finns två huvudsakliga skillnader jämfört med AlexNet: NutriNet accepterar 512x512-pixelbilder som indata (i motsats till 256x256-pixelbilder för AlexNet), och NutriNet har ytterligare ett faltningslager i början av det neurala nätverket. Dessa två ändringar infördes för att extrahera så mycket information från igenkänningsdatauppsättningsbilderna som möjligt. Att ha bilder med högre upplösning innebar att det finns mer information om bilder och att ha mer invecklade lager innebar att ytterligare kunskap kunde extraheras från bilderna. Jämfört med AlexNets cirka 60 miljoner parametrar innehåller NutriNet färre parametrar: cirka 33 miljoner. Detta beror på skillnaden i dimensionalitet vid det första helt anslutna skiktet som orsakas av det extra faltningsskiktet2. Bild 1 innehåller ett diagram över NutriNet-arkitekturen. Matbilderna som användes för att träna NutriNet-modellen samlades in från Internet - proceduren beskrivs i protokolltexten.
För problemet med segmentering av livsmedelsbilder använde vi två olika befintliga arkitekturer: helt invecklade nätverk (FCN)15 och djupa restnätverk (ResNet)16, som båda representerade den senaste tekniken för bildsegmentering när vi använde dem för att utveckla sina respektive lösningar för segmentering av livsmedelsbilder. Det finns flera FCN-varianter som introducerades av Long et al.: FCN-32s, FCN-16s och FCN-8s15. FCN-32s matar ut en pixelkarta baserat på förutsägelserna från FCN: s sista lager, medan FCN-16s-varianten kombinerar dessa förutsägelser med de med de med ett tidigare lager. FCN-8s överväger ännu ett lagers förutsägelser och kan därför göra förutsägelser vid det finaste kornet, varför det är lämpligt för igenkänning av matbilder. FCN-8:orna som vi använde var förtränade på PASCAL Visual Object Classes (PASCAL VOC) datauppsättning17 och tränades och testades på bilder av matrepliker (hädanefter "falsk mat")18 på grund av deras visuella likhet med riktig mat och på grund av brist på kommenterade bilder av riktig mat på pixelnivå. Falsk mat används i olika beteendestudier och bilder tas för alla rätter från alla studiedeltagare. Eftersom matinnehållet i dessa bilder är känt gör det bild datauppsättningen användbar för djup inlärnings modell utbildning. Bearbetningssteg för datauppsättning beskrivs i protokolltexten.
Den ResNet-baserade lösningen utvecklades inom ramen för Food Recognition Challenge (FRC)19. Den använder Hybrid Task Cascade (HTC)20-metoden med en ResNet-10116-stamnät. Detta är en toppmodern metod för bildsegmenteringsproblemet som kan använda olika funktionsutdragare eller stamnät. Vi övervägde andra stamnät också, särskilt andra ResNet-varianter som ResNet-5016, men ResNet-101 var den mest lämpliga på grund av dess djup och förmåga att representera indatabilder på ett tillräckligt komplext sätt. Datauppsättningen som användes för att träna HTC ResNet-101-modellen var FRC-datauppsättningen med tillagda förstärkta bilder. Dessa förstärkningar presenteras i protokolltexten.
Denna artikel är avsedd som en resurs för maskininlärningsexperter som letar efter information om vilka djupinlärningsarkitekturer och dataförstoringssteg som fungerar bra för problemen med igenkänning och segmentering av livsmedelsbilder, samt för näringsforskare som vill använda vår metod för att automatisera erkännande av matbilder för användning i kostbedömning. I punkterna nedan presenteras djupinlärningslösningar och datamängder från området för igenkänning av livsmedelsbilder. I protokolltexten beskriver vi hur var och en av de tre metoderna användes för att träna djupa neurala nätverksmodeller som kan användas för automatiserad kostbedömning. Dessutom innehåller varje protokoll avsnitt en beskrivning av hur mat bild data uppsättningar som används för utbildning och testning förvärvades och bearbetades.
DCN uppnådde i allmänhet betydligt bättre resultat än andra metoder för erkännande och segmentering av livsmedelsbilder, varför den stora majoriteten av den senaste forskningen på området bygger på dessa nätverk. Kawano et al. använde DCNN för att komplettera manuellametoder 21 och uppnådde en klassificeringsnoggrannhet på 72,26% på UEC-FOOD100-datauppsättningen22. Använde dem uteslutande för att uppnå en högre noggrannhet på 84,90% på en självförvärvad datauppsättning23. Tanno et al. utvecklade DeepFoodCam - en smartphone-app för igenkänning av matbilder som använder DCNNs24. Liu et al. presenterade ett system som utför en Internet of Things-baserad kostbedömning med dcnn25. Martinel et al. introducerade en DCNN-baserad metod som utnyttjar detaljerna i matbilder26 och rapporterade en noggrannhet på 90,27% på Mat-101-datauppsättningen27. Zhou et al. författade en genomgång av djupinlärningslösningar inom livsmedelsområdet28.
Nyligen föreslog Zhao et al. ett nätverk specifikt för erkännande av livsmedelsbilder i mobila applikationer29. Den här metoden använder ett mindre "student"-nätverk som lär sig av ett större "lärarnätverk". Med det lyckades de uppnå en noggrannhet på 84% på UEC-FOOD25630 och en noggrannhet på 91,2% på Mat-101-datauppsättningen27. Hafiz et al. använde DCNNs för att utveckla en dryck-endast bildigenkänning lösning och rapporterade en mycket hög noggrannhet på 98.51%31. Shimoda et al. beskrev en ny metod för att upptäcka tallriksregioner i matbilder utan användning av pixelvis anteckning32. Ciocca m.fl. introducerade en ny datauppsättning som innehåller livsmedel från 20 olika livsmedelsklasser i 11 olika tillstånd (fast, skivad, krämig pasta etc.) och presenterade sin metod för utbildningsigenkänningsmodeller som kan känna igen livsmedelstillståndet, förutom livsmedelsklass33. utvärderade lösningar för igenkänning av livsmedelsbilder för mobila enheter34. Slutligen genomförde Furtado et al. en studie om hur det mänskliga visuella systemet jämförs med prestandan hos DCNN och fann att mänskligt erkännande fortfarande överträffar DCNN med en noggrannhet på 80% jämfört med 74,5%35. Författarna noterade att med ett litet antal matklasser fungerar DCN: erna bra, men på en datauppsättning med hundratals klasser är mänsklig igenkänningsnoggrannhethögre 35, vilket belyser problemets komplexitet.
Trots sina senaste resultat har djupinlärning en stor nackdel - det kräver en stor indatauppsättning för att träna modellen på. När det gäller igenkänning av livsmedelsbilder krävs en stor mat avbildnings datauppsättning, och den här datauppsättningen måste omfatta så många olika verkliga scenarier som möjligt. I praktiken innebär detta att för varje enskild mat eller dryck krävs en stor samling bilder, och så många olika föremål som möjligt måste finnas i datauppsättningen. Om det inte finns tillräckligt med bilder för ett visst objekt i datauppsättningen är det osannolikt att det objektet kommer att kännas igen. Å andra sidan, om endast ett litet antal artiklar omfattas av datauppsättningen, kommer lösningen att begränsas i omfattning och endast kunna känna igen en handfull olika livsmedel och drycker.
Flera datamängder har gjorts tillgängliga tidigare. Pittsburgh Fast-Food Image Dataset (PFID)3 introducerades för att uppmuntra mer forskning inom området igenkänning av livsmedelsbilder. University of Electro-Communications Food 100 (UEC-FOOD100)22 och University of Electro-Communications Food 256 (UEC-FOOD256)30 datamängder innehåller japanska rätter, utökade med några internationella rätter när det gäller UEC-FOOD256-datauppsättningen. Mat-101-datauppsättningen innehåller populära rätter som förvärvats från en webbplats27. Mat-5036 och Video Retrieval Group Food 172 (VireoFood-172)37 datamängder är kinabaserade samlingar av matbilder. Datauppsättningen University of Milano-Bicocca 2016 (UNIMIB2016) består av bilder av matbrickor från en italiensk matsal38. Recipe1M är en storskalig datauppsättning av matlagningsrecept och matbilder39. Datamängden Food-47540 samlar in fyra tidigare publicerade matbildsdatamängder27,30,36,37 till en. Beijing Technology and Business University Food 60 (BTBUFood-60) är en datauppsättning bilder avsedda för livsmedelsdetektering41. Nyligen gjordes ISIA Food-500 dataset42 av diverse matbilder tillgängliga. I jämförelse med andra offentligt tillgängliga datamängder för livsmedelsbilder innehåller den ett stort antal bilder, indelade i 500 livsmedelsklasser, och är avsedd att främja utvecklingen av multimedialösningar för livsmedelsigenkänning42.

<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td>HARDWARE</td>
			<td></td>
			<td></td>
			<td></td>
		</tr>
		<tr>
			<td>NVIDIA GPU</td>
			<td>NVIDIA</td>
			<td>N/A</td>
			<td>An NVIDIA GPU is needed as some of the software frameworks below will not work otherwise. https://www.nvidia.com</td>
		</tr>
		<tr>
			<td>SOFTWARE</td>
			<td></td>
			<td></td>
			<td></td>
		</tr>
		<tr>
			<td>Caffe</td>
			<td>Berkeley AI Research</td>
			<td>N/A</td>
			<td>Caffe is a deep learning framework. https://caffe.berkeleyvision.org</td>
		</tr>
		<tr>
			<td>CLoDSA</td>
			<td>J&#243;nathan Heras</td>
			<td>N/A</td>
			<td>CLoDSA is a Python image augmentation library. https://github.com/joheras/CLoDSA</td>
		</tr>
		<tr>
			<td>Google API Client</td>
			<td>Google</td>
			<td>N/A</td>
			<td>Google API Client is a Python client library for Google&#39;s discovery based APIs. https://github.com/googleapis/google-api-python-client</td>
		</tr>
		<tr>
			<td>JavaScript Segment Annotator</td>
			<td>Kota Yamaguchi</td>
			<td>N/A</td>
			<td>JavaScript Segment Annotator is a JavaScript image annotation tool. https://github.com/kyamagu/js-segment-annotator</td>
		</tr>
		<tr>
			<td>MMDetection</td>
			<td>Multimedia Laboratory, CUHK</td>
			<td>N/A</td>
			<td>MMDetection is an object detection toolbox based on PyTorch. https://github.com/open-mmlab/mmdetection</td>
		</tr>
		<tr>
			<td>NVIDIA DIGITS</td>
			<td>NVIDIA</td>
			<td>N/A</td>
			<td>NVIDIA DIGITS is a wrapper for Caffe that provides a graphical web interface. https://developer.nvidia.com/digits</td>
		</tr>
		<tr>
			<td>OpenCV</td>
			<td>Intel</td>
			<td>N/A</td>
			<td>OpenCV is a library for computer vision. https://opencv.org</td>
		</tr>
		<tr>
			<td>Python</td>
			<td>Python Software Foundation</td>
			<td>N/A</td>
			<td>Python is a programming language. https://www.python.org</td>
		</tr>
		<tr>
			<td>PyTorch</td>
			<td>Facebook AI Research</td>
			<td>N/A</td>
			<td>PyTorch is a machine learning framework. https://pytorch.org</td>
		</tr>
		<tr>
			<td>Ubuntu OS</td>
			<td>Canonical</td>
			<td>N/A</td>
			<td>Ubuntu 14.04 is the OS used by the authors and offers compatibility with all of the software frameworks and tools above. https://ubuntu.com</td>
		</tr>
	</tbody>
</table>

deep neural networks for image-based dietary assessment

På grund av de problem och kostnader som är förknippade med manuella kostbedömningsmetoder krävs automatiserade lösningar för att underlätta och påskynda arbetet och öka dess kvalitet. Idag kan automatiserade lösningar spela in en persons kostintag på ett mycket enklare sätt, till exempel genom att ta en bild med en smartphone-kamera. I den här artikeln kommer vi att fokusera på sådana bildbaserade metoder för kostbedömning. För problemet med erkännande av matbilder har djupa neurala nätverk uppnått den senaste tidens tillstånd, och vi presenterar vårt arbete inom detta område. I synnerhet beskriver vi först metoden för mat- och dryckesbildigenkänning med hjälp av en djup neural nätverksarkitektur, kallad NutriNet. Denna metod, som de flesta forskning som gjorts i början av djupinlärningsbaserad matbildsigenkänning, är begränsad till en utgång per bild och därför olämplig för bilder med flera mat- eller dryckesartiklar. Det är därför metoder som utför segmentering av matbilder är betydligt mer robusta, eftersom de kan identifiera valfritt antal mat- eller dryckesartiklar i bilden. Vi presenterar därför också två metoder för segmentering av livsmedelsbilder - den ena är baserad på helt invecklade nätverk (FCN) och den andra på djupa restnät (ResNet).

NutriNet testades mot tre populära djupinlärningsarkitekturer på den tiden: AlexNet14, GoogLeNet51 och ResNet16. Flera träningsparametrar testades också för alla arkitekturer för att definiera de optimalavärdena 2. Bland dessa är valet av problemlösartyp, som bestämmer hur förlustfunktionen minimeras. Denna funktion är det primära kvalitetsmåttet för träning av neurala nätverk eftersom den är bättre lämpad för optimering under träning än klassificeringsnoggrannhet. Vi testade tre problemlösare: Stokastisk gradientnedstigning (SGD)52, Nesterovs accelererade gradient (NAG)53 och adaptiv gradientalgoritm (AdaGrad)54. Den andra parametern är batchstorlek, som definierar antalet bilder som bearbetas samtidigt. Djupet i djupinlärningsarkitekturen bestämde värdet av denna parameter, eftersom djupare arkitekturer kräver mer utrymme i GPU-minnet - konsekvensen av denna metod var att minnet var helt fyllt med bilder för alla arkitekturer, oavsett djup. Den tredje parametern är inlärningshastighet, som definierar hur snabbt de neurala nätverksparametrarna ändras under träningen. Den här parametern har angetts i samklang med batchstorleken, eftersom antalet bearbetade bilder samtidigt dikterar konvergensfrekvensen. AlexNet-modeller tränades med en batchstorlek på 256 bilder och en bas inlärnings frekvens på 0,02; NutriNet använde en batchstorlek på 128 bilder och en hastighet på 0,01; GoogLeNet 64-bilder och en hastighet på 0,005; och ResNet 16-bilder och en hastighet på 0,00125. Tre andra parametrar fastställdes för alla arkitekturer: policy för inlärningsfrekvens (steg-down), stegstorlek (30 %) och gamma (0,1). Dessa parametrar beskriver gemensamt hur inlärningshastigheten förändras i varje epok. Tanken bakom detta tillvägagångssätt är att inlärningshastigheten gradvis sänks för att finjustera modellen ju närmare det kommer det optimala förlustvärdet. Slutligen fastställdes antalet träningsepoker också till 150 för alla djupinlärningsarkitekturer2.
Det bästa resultatet bland alla testade parametrar som NutriNet uppnådde var en klassificeringsnoggrannhet på 86,72% på igenkänningsdatauppsättningen, som var cirka 2% högre än det bästa resultatet för AlexNet och något högre än GoogLeNets bästa resultat. Den bäst presterande arkitekturen totalt sett var ResNet (med cirka 1%), men träningstiden för ResNet är betydligt högre jämfört med NutriNet (med en faktor på cirka fem), vilket är viktigt om modellerna kontinuerligt tränas om för att förbättra noggrannheten och antalet igenkännliga livsmedel. NutriNet, AlexNet och GoogLeNet uppnådde sina bästa resultat med hjälp av AdaGrad-problemlösaren, medan ResNets bästa modell använde NAG-problemlösaren. NutriNet testades också på den allmänt tillgängliga UNIMIB2016 matbildsdatauppsättningen38. Den här datauppsättningen innehåller 3 616 bilder av 73 olika livsmedel. NutriNet uppnådde en igenkänningsnoggrannhet på 86,39% på denna datauppsättning, något bättre än baslinjeigenkänningsresultatet för författarna till datauppsättningen, som var 85,80%. Dessutom testades NutriNet på en liten datauppsättning med 200 verkliga bilder av 115 olika mat- och dryckesartiklar, där NutriNet uppnådde en topp-5-noggrannhet på 55%.
För att träna FCN-8s modell för segmentering av falska livsmedel använde vi Adam55 som problemlösartyp, eftersom vi fann att den presterade optimalt för denna uppgift. Basinlärningsgraden sattes mycket lågt - till 0,0001. Anledningen till det låga talet är det faktum att endast en bild kan bearbetas åt gången, vilket är en följd av klassificeringsprocessen på pixelnivå. GPU-minneskraven för den här metoden är betydligt större än klassificeringen på bildnivå. Inlärningshastigheten måste därför sättas lågt så att parametrarna inte ändrades för snabbt och konvergera till mindre optimala värden. Antalet utbildningsepoken fastställdes till 100, medan inlärningsfrekvenspolicyn, stegstorleken och gamma var inställda på att minska, 34% respektive 0,1, eftersom dessa parametrar producerade de mest exakta modellerna.
Noggrannhetsmätningar av FCN-8s-modellen utfördes medpixelnoggrannhetsmåttet 15, vilket är analogt med klassificeringsnoggrannheten i traditionella djupinlärningsnätverk, den största skillnaden är att noggrannheten beräknas på pixelnivån istället för på bildnivå:
<img alt="Equation 1" src="/files/ftp_upload/61906/61906eq01.jpg">
där PA är pixelnoggrannhetsmåttet är nij antalet pixlar från klass I som förutspås tillhöra klass j och ti = Σj nij är det totala antalet pixlar från klassen i marksanningetiketterna 1. Med andra ord beräknas pixelnoggrannhetsmåttet genom att dividera korrekt förutsagda pixlar med det totala antalet pixlar. Den slutliga noggrannheten hos den utbildade FCN-8s-modellen var 92,18%. Figur 2 visar tre exempelbilder från datauppsättningen för falska livsmedel (en från var och en av delmängderna utbildning, validering och testning), tillsammans med motsvarande mark-sannings- och modellförutsägelseetiketter.
Parametrarna för att träna HTC20 ResNet-101-modellen för segmentering av matbilder sattes enligt följande: problemlösartypen som användes var SGD eftersom den överträffade andra problemlösartyper. Bas inlärnings frekvensen var inställd på 0.00125 och batch storleken till 2 bilder. Antalet träningsepoken var inställt på 40 per träningsfas, och flera träningsfaser utfördes - först på den ursprungliga FRC-datauppsättningen utan förstärkta bilder, sedan på den 8x-förstärkta och 4x-förstärkta FRC-datauppsättningen flera gånger på ett alternerande sätt, varje gång med den bäst presterande modellen och finjustera den i nästa träningsfas. Mer information om utbildningsfaserna finns i avsnitt 3.3 i protokolltexten. Slutligen användes politiken för steg-down-lärande, med fasta epoker för när inlärningsfrekvensen minskade (epokerna 28 och 35 för den första utbildningsfasen). En viktig sak att notera är att även om denna sekvens av utbildnings faser producerade de bästa resultaten i vår testning i omfattningen av FRC, med hjälp av en annan datauppsättning kan kräva en annan sekvens för att ge optimala resultat.
Denna ResNet-baserade lösning för segmentering av livsmedelsbilder utvärderades med följande precisionsmått19:
<img alt="Equation 2" src="/files/ftp_upload/61906/61906eq02.jpg">
Där P är precision är TP antalet sanna positiva förutsägelser från modellen för segmentering av livsmedelsbilder, FP är antalet falska positiva förutsägelser och IoU är skärningspunkt över union, som beräknas med den här ekvationen:
<img alt="Equation 3" src="/files/ftp_upload/61906/61906eq03.jpg">
där Överlappningsområdet representerar antalet förutsägelser från modellen som överlappar marksanningen, och unionsområdet representerar det totala antalet förutsägelser från modellen tillsammans med grundsanningen, både på pixelnivå och för varje enskild livsmedelsklass. Återkallelse används som ett sekundärt mått och beräknas på liknande sätt med hjälp av följande formel19:
<img alt="Equation 4" src="/files/ftp_upload/61906/61906eq04.jpg">
där R återkallas och FN är antalet falska negativa förutsägelser från modellen för segmentering av livsmedelsbilder. Precisions- och återkallelsemåtten är sedan genomsnittliga över alla klasser i grundsanning. Med hjälp av dessa åtgärder uppnådde vår modell en genomsnittlig precision på 59,2% och en genomsnittlig återkallelse på 82,1%, som rankades som tvåa i den andra omgången av Food Recognition Challenge19. Resultatet var 4,2 procent efter förstaplatsen och 5,3 procent före tredjeplatsen när det gäller det genomsnittliga precisionsmåttet. Tabell 1 innehåller resultaten för de fyra bästa deltagarna i tävlingen.
<img alt="Figure 1" class="xfigimg" src="/files/ftp_upload/61906/61906fig01.jpg"> Bild 1: Diagram över NutriNets djupa neurala nätverksarkitektur. Denna siffra har publicerats i Mezgec et al.2. <a href="https://www.jove.com/files/ftp_upload/61906/61906fig01large.jpg" target="_blank">Klicka här om du vill visa en större version av den här figuren.</a>
<img alt="Figure 2" class="xfigimg" src="/files/ftp_upload/61906/61906fig02.jpg"> Bild 2: Bilder från datauppsättningen för falska livsmedel. Originalbilder (vänster), manuellt märkta mark-sanningsetiketter (mitten) och förutsägelser från FCN-8s-modellen (höger). Denna siffra har publicerats i Mezgec et al.1. <a href="https://www.jove.com/files/ftp_upload/61906/61906fig02large.jpg" target="_blank">Klicka här om du vill visa en större version av den här figuren.</a>
<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always"><tbody>
<tr>
<td>Lagets namn</td>
			<td>Placering</td>
			<td>Genomsnittlig precision</td>
			<td>Genomsnittlig återkallelse</td>
		</tr>
<tr>
<td>rssfete (rssfete)</td>
			<td>1</td>
			<td>63.4%</td>
			<td>88.6%</td>
		</tr>
<tr>
<td>simon_mezgec</td>
			<td>2</td>
			<td>59.2%</td>
			<td>82.1%</td>
		</tr>
<tr>
<td>arimboux (olika betydelser)</td>
			<td>3</td>
			<td>53.9%</td>
			<td>73.5%</td>
		</tr>
<tr>
<td>latentvec (på senare tid)</td>
			<td>4</td>
			<td>48.7%</td>
			<td>71.1%</td>
		</tr>
</tbody></table>Tabell 1: Topp-4 resultat från den andra omgången av Food Recognition Challenge. Genomsnittlig precision används som det primära prestandamåttet och genomsnittlig återkallelse som ett sekundärt mått. Resultaten är tagna från den officiella topplistanför tävlingen 19.
Kompletterande filer. <a href="https://www.jove.com/files/ftp_upload/61906/simon_mezgec_supplemental_files_revision1_.zip" target="_blank">Klicka här för att ladda ner den här filen.</a>

Watch this Scientific Journal Video about Deep Neural Networks for Image-Based Dietary Assessment at JoVE.com

Deep Neural Networks for Image-Based Dietary Assessment

Målet med det arbete som presenteras i denna artikel är att utveckla teknik för automatiserad igenkänning av mat och dryck från bilder tagna av mobila enheter. Tekniken består av två olika metoder - den första utför matbildsigenkänning medan den andra utför segmentering av matbilder.

Djupa neurala nätverk för bildbaserad kostbedömning

Due to the issues and costs associated with manual dietary assessment approaches, automated solutions are required to ease and speed up the work and ...

På grund av de problem och kostnader som är förknippade med manuella kostbedömningsmetoder krävs automatiserade lösningar för att underlätta och påskynda arbetet och öka dess kvalitet. Idag kan automatiserade lösningar spela in en persons kostintag på ett mycket enklare sätt, till exempel genom att ta en bild med en smartphone-kamera. I den här artikeln kommer vi att fokusera på sådana bildbaserade metoder för kostbedömning med hjälp av djupa neurala nätverk, som representerar den senaste tekniken på fältet.I synnerhet kommer vi att presentera tre lösningar, en för erkännande av livsmedelsbilder, en för bildsegmentering av livsmedelsrepliker eller falsk mat och en för bildsegmentering av riktig mat. Samla en lista över olika livsmedel och drycker som kommer att vara utdata från matbildigenkänningsmodellen. Spara mat- och dryckeslistan i en textfil, till exempel TXT eller CSV.Observera att textfilen som används av författarna till denna artikel finns i tilläggsfilerna under livsmedel prick TXT och innehåller en lista över 520 slovenska livsmedel. Skriv eller ladda ned ett Python-skript som använder Googles anpassade sök-API för att ladda ned bilder av varje matobjekt från listan och sparar dem i en separat mapp för varje matställe. Observera att Python-skriptet som används av författarna till den här artikeln finns i tilläggsfilerna under nedladdningsbilder dot pi.Om det här skriptet används måste nyckelrad åtta för utvecklare i Python-skriptkoden och den anpassade sökmotor-ID-variabeln CX rad 28 i Python-skriptkoden ersättas med värden som är specifika för Det Google-konto som används. Kör Python-skriptet från steg 1.1.3. Skapa en ny version av varje bild från matbildsdatauppsättningen genom att rotera den med 90 grader med hjälp av CLoDSA-biblioteket.Observera att Python-skriptet som innehåller alla CLoDSA-kommandon som används av författarna till den här artikeln finns i en fil som ingår i tilläggsfilerna under NutriNet-understrecket augmentation dot pi. Skapa en ny version av varje bild från matbildsdatauppsättningen genom att rotera den med 180 grader med hjälp av CLoDSA-biblioteket. Skapa en ny version av varje bild från matbildsdatauppsättningen genom att rotera den med 270 grader med hjälp av CLoDSA-biblioteket.Skapa en ny version av varje bild från matbildsdatauppsättningen genom att vända den vågrätt med hjälp av CLoDSA-biblioteket. Skapa en ny version av varje bild från matbildsdatauppsättningen genom att lägga till slumpmässigt färgljud i den med hjälp av CLoDSA-biblioteket. Skapa en ny version av varje bild från matbildsdatauppsättningen genom att zooma in den med 25 % med CLoDSA-biblioteket.Spara bilder från steg 1.3.1 till 1.3.6 tillsammans med originalbilderna i en ny datauppsättning för matbilder. Totalt sju varianter per matbild. Importera datauppsättningen för livsmedelsbilder från steg 1.3.7 till NVIDI-siffermiljön och dela upp datauppsättningen i delmängder för utbildning, validering och testning.Kopiera och klistra in definitionstexten för NutriNet-arkitekturen i NVIDIA-siffror. Observera att NutriNet-arkitekturdefinitionen finns i tilläggsfilerna under NutriNet dot proto TXT. Du kan också definiera utbildningshyperparametrar i NVIDIA-siffror eller använda standardvärdena.De hyperparametrar som används av författarna till den här artikeln finns i en fil som ingår i tilläggsfilerna under NutriNet understryker hyperparametrar punkt proto TXT. Kör träningen av NutriNet-modellen. När träningen är klar bör du ta den bäst presterande NutriNet-modell iterationen.Den här modellen används sedan för att testa prestanda för den här metoden. Observera att det finns flera sätt att avgöra den bäst presterande modell iterationen. Se artikeltexterna för mer information.Få en datauppsättning falska matbilder. Observera att författarna till den här artikeln fick bilder av falsk mat som samlades in i en labbmiljö. Kommentera varje matbild manuellt på pixelnivå.Varje pixel i bilden måste innehålla information om vilken matklass den tillhör. Observera att det finns många verktyg för att uppnå detta. Författarna till den här artikeln använde JavaScript-segmentanteckningsanteckning.Resultatet av det här steget är en anteckningsbild för varje bild från matbildsdatauppsättningen, där varje pixel representerar en av matklasserna. Utför samma steg som i avsnitt 1.3, men bara på bilder från träningsundergruppen i datauppsättningen för matbilder. Observera att med undantag för steg 1.3.5 måste alla dataförstoringssteg också utföras på motsvarande anteckningsbilder.Utför samma steg som i avsnitt 1.4 med undantag för steg 1.4.2. I stället för det steget utför steg 2.3.2 och 2.3.3. Observera att de utbildningshyperparametrar som används av författarna till den här artikeln finns i filen som ingår i tilläggsfilerna under FCN-8S-understreck hyperparametrar prick proto TXT.Kopiera och klistra in definitionstexten för FCN-8S-arkitekturen i NVIDIA-siffror. Ange de förtränade FCN-8S-modellvikterna i NVIDIA-siffror. Observera att dessa modellvikter var förtränade på Pascal visuella objektklasser datauppsättning och finns på internet.Ladda ner datauppsättningen för matbilder från food recognition challenge-webbplatsen. Utför steg 1.3.1 till 1.3.4. Observera att Python-skriptet som innehåller alla CLoDSA-kommandon som används av författarna till den här artikeln finns i filen som ingår i tilläggsfilerna under FRC-understrecksförstoringspunkt pi.Skapa en ny version av varje bild från matbildsdatauppsättningen genom att lägga till gaussisk oskärpa i den med hjälp av CLoDSA-biblioteket. Skapa en ny version av varje bild från matbildsdatauppsättningen genom att skärpa den med hjälp av CLoDSA-biblioteket. Skapa en ny version av varje bild från mat avbildningsdatauppsättningen genom att tillämpa gammakorrigering på den med hjälp av CLoDSA-biblioteket.Spara bilder från steg 3.2.1 till 3.2.4 tillsammans med originalbilderna i en ny datauppsättning för matbilder. Totalt åtta varianter per matbild. Spara bilder från steg 3.2.2 till 3.2.4 tillsammans med originalbilderna i en ny datauppsättning för matbilder.Totalt fyra varianter per matbild. Ändra den befintliga HTC ResNet 101-arkitekturdefinitionen från MM Detection-biblioteket så att den accepterar matavbildningsdatauppsättningarna från steg 3.1.1, 3.2.5 och 3.2.6. Du kan också ändra ARKITEKTURDEFINITIONEN FÖR HTC ResNet 101 från steg 3.3.1 för att definiera träningshyperparametrar eller använda standardvärdena.Observera att den modifierade HTC ResNet 101-arkitekturdefinitionen finns i tilläggsfilerna under HTC-understrecket ResNet 101 dot pi. Kör utbildningen av HTC ResNet 101-modellen på matbildsdatauppsättningarna från steg 3.1.1 med hjälp av MM Detection-biblioteket. När träningen från steg 3.3.3 är klar, ta den bäst presterande HTC ResNet 101-modell iterationen och finjustera den genom att köra nästa fas av träningen på matbildsdatauppsättningen från steg 3.2.5.Observera att det finns flera sätt att avgöra den bäst presterande modell iterationen. Se artikeltexterna för mer information. Detta är också relevant för nästa steg.När träningen från steg 3.3.4 är klar, ta den bäst presterande HTC ResNet 101-modell iterationen och finjustera den genom att köra nästa fas av träningen på matbildsdatauppsättningen från steg 3.2.6. När träningen från steg 3.3.5 är klar, ta den bäst presterande HTC ResNet 101-modell iterationen och finjustera den genom att återigen köra nästa fas av träningen på matbildsdatauppsättningen från steg 3.2.5. När utbildningen från steg 3.3.6 är klar, ta den bäst presterande HTC ResNet 101-modell iterationen.Den här modellen används sedan för att testa prestanda för den här metoden. Observera att steg 3.3.3 till 3.3.7 gav de bästa resultaten för de ändamål som definieras av författarna till denna artikel. Experiment behövs för varje data uppsättning för att hitta den optimala sekvensen av utbildnings-och data förstärknings steg.Efter att ha testat trendmodellen uppnådde NutriNet en klassificeringsnoggrannhet på 86,72%på igenkänningsdatauppsättningen, vilket var cirka 2% högre än AlexNet och något högre än GoogLeNet, som var populära djupa neurala nätverksarkitekturer på den tiden. För att mäta noggrannheten hos FCN-8S-modellen för falska matbildssegmentering användes pixelnoggrannhetsmåttet. Noggrannheten hos den utbildade FCN-8S-modellen var 92,18%Den ResNet-baserade lösningen för segmentering av livsmedelsbilder utvärderades med hjälp av precisionsmåttet som definieras i Food Recognition Challenge.Med hjälp av detta mått uppnådde tågmodellen en genomsnittlig precision på 59,2%som rankades som tvåa i Food Recognition Challenge. Under de senaste åren har djupa neurala nätverk validerats flera gånger som en lämplig lösning för att känna igen matbilder. Vårt arbete som presenteras i den här artikeln tjänar till att ytterligare bevisa detta.Metoden med igenkänning av en enda utgång för livsmedelsbilder är enkel och kan användas för enkla applikationer. Medan metoden för segmentering av matbilder kräver mer arbete med att förbereda kommenterade bilder, men det är mycket mer tillämpligt på verkliga bilder. I framtiden kommer vårt mål att vara att ytterligare utvärdera de utvecklade procedurerna för verkliga bilder.Det första steget mot verklig validering tillhandahölls av Food Recognition Challenge, som inkluderade en datauppsättning med verkliga matbilder. Men ytterligare arbete måste göras för att validera detta tillvägagångssätt på matbilder från hela världen och i samarbete med dietister.

Research

JoVE Journal

Engineering

Concurrent Quantitative Conductivity and Mechanical Properties Measurements of Organic Photovoltaic Materials using AFM

Samtidig Kvantitativ Konduktivitet och mekaniska egenskaper Mätningar av organiska solceller material med AFM

Organic photovoltaic  (OPV) materials are inherently inhomogeneous at the nanometer scale. Nanoscale  inhomogeneity of OPV materials affects performance ...

Detection and Recovery of Palladium, Gold and Cobalt Metals from the Urban Mine Using Novel Sensors/Adsorbents Designated with Nanoscale Wagon-wheel-shaped Pores

Upptäckt och Återvinning av palladium, guld och kobolt Metals från Urban Mine Använda Nya Sensorer / Adsorbents Utsedda med Nanoscale Wagon-hjulformade porer

Developing low-cost, efficient processes for recovering and recycling palladium, gold and cobalt metals from urban mine remains a significant challenge in ...

Preparation of Liquid Crystal Networks for Macroscopic Oscillatory Motion Induced by Light

Beredning av flytande kristaller nätverk för makroskopisk oscillerande rörelse som induceras av ljus

A strategy based on doped liquid crystalline networks is described to create mechanical self-sustained oscillations of plastic films under continuous ...

Indoor Experimental Assessment of the Efficiency and Irradiance Spot of the Achromatic Doublet on Glass (ADG) Fresnel Lens for Concentrating Photovoltaics

Indoor Experimental Assessment of the Efficiency and Irradiance Spot of the Achromatic Doublet on Glass ADG Fresnel Lens for Concentrating Photovoltaics

Inomhus experimentell utvärdering av effektivitet och irradians plats av den akromatisk Doublet på glas (ADG) Fresnel lins för att koncentrera solenergi

We present a method to characterize achromatic Fresnel lenses for photovoltaic applications. The achromatic doublet on glass (ADG) Fresnel lens is ...

Applicability Analysis of Assessment Methods for Morphological Parameters of Corroded Steel Bars

Tillämpligheten analys av bedömningsmetoder för morfologiska parametrar för korroderat stål barer

The irregular and uneven residual sections along the length of a corroded steel bar substantially change its mechanical properties and significantly ...

Impacts of Free-falling Spheres on a Deep Liquid Pool with Altered Fluid and Impactor Surface Conditions

Effekterna av fritt sfärer på en djupt flytande Pool med förändrad vätske- och slaganordningens ytförhållanden

Vertical impacts of spheres on clean water have been the subject of numerous water entry investigations characterizing cavity formation, splash crown ...

Automated Deployment of an Internet Protocol Telephony Service on Unmanned Aerial Vehicles Using Network Functions Virtualization

Automatiserad distribution av en Internet Protocol telefonitjänst på obemannade luftfarkoster med nätverksfunktioner virtualisering

The Network Function Virtualization (NFV) paradigm is one of the key enabling technologies in the development of the 5th generation of mobile networks. ...

Automated Delivery of Microfabricated Targets for Intense Laser Irradiation Experiments

Automatiserad leverans av mikrotillverkade mål för intensiv Laser Bestrålning Experiment

Described is an experimental procedure that enables high-power laser irradiation of microfabricated targets. Targets are brought to the laser focus by a ...

UV-Vis Spectroscopic Characterization of Nanomaterials in Aqueous Media

UV-Vis spektroskopisk karakterisering av nanomaterial i vattenhaltiga medier

The physicochemical characterization of nanomaterials (NMs) is often an analytical challenge, due to their small size (at least one dimension in the ...

3D Printing - Evaluating Particle Emissions of a 3D Printing Pen

3D-utskrift - Utvärdera partikelutsläpp av en 3D-utskriftspenna

Three-dimensional (3D) printing as a type of additive manufacturing shows continuing increase in application and consumer popularity. The fused filament ...