Name: deep neural networks for image-based dietary assessment
Uploaded: 2021-03-13T15:00:00
Duration: 13 min 19 s
Description: Watch this Scientific Journal Video about Deep Neural Networks for Image-Based Dietary Assessment at JoVE.com

Os autores gostariam de agradecer a Tamara Bucher, da Universidade de Newcastle, Austrália, por fornecer o conjunto de dados de imagem falsa. Este trabalho foi apoiado pelos programas de pesquisa e inovação Horizon 2020 da União Europeia (números de subvenção 863059 - FNS-Cloud, 769661 - SAAM); e a Agência de Pesquisa eslovena (número de subvenção P2-0098). A União Europeia e a Agência de Pesquisa eslovena não tiveram papel na concepção, análise ou redação deste artigo.

1. Reconhecimento de imagem alimentar com NutriNet
<ol><li>Obtendo o conjunto de dados de imagem alimentar
	<ol>
<li>Reúna uma lista de diferentes alimentos e bebidas que serão as saídas do modelo de reconhecimento de imagem alimentar. Uma lista variada de alimentos e bebidas populares é preferida, pois isso permitirá a formação de um modelo robusto de reconhecimento de imagem alimentar.</li>
		<li>Salve a lista de alimentos e bebidas em um arquivo de texto (por exemplo, 'txt' ou 'csv'). NOTA: O arquivo de texto usado pelos autores deste artigo pode ser encontrado nos arquivos suplementares ('food_items.txt') e inclui uma lista de 520 alimentos eslovenos.</li>
		<li>Escreva ou baixe um script Python43 que usa a API44 do Google Custom Search para baixar imagens de cada item de comida da lista e salvá-las em uma pasta separada para cada item de comida. NOTA: O script Python usado pelos autores deste artigo pode ser encontrado nos arquivos suplementares ('download_images.py'). Se este script for usado, a Chave do Desenvolvedor (variável 'developerKey', linha 8 no código de script Python) e o Custom Search Engine ID (variável 'cx', linha 28 no código de script Python) precisam ser substituídos por valores específicos da conta do Google que está sendo usada.</li>
		<li>Execute o script Python a partir do passo 1.1.3 (por exemplo, com o comando: 'python download_images.py').</li>
	</ol></li>
	<li>(Opcional) Limpeza do conjunto de dados de imagem de alimentos
	<ol>
<li>Treine um modelo de detecção de imagem alimentar da mesma forma que na seção 1.4, exceto use apenas duas saídas (alimentos, não-alimentos) em oposição à lista de saídas da etapa 1.1.1. NOTA: Os autores deste artigo usaram imagens combinadas de sites de receitas e do conjunto de dados ImageNet45 para treinar o modelo de detecção de imagem alimentar. Como o foco aqui é o reconhecimento de imagem alimentar e este é um passo opcional para limpar o conjunto de dados de reconhecimento, mais detalhes são omitidos. Em vez disso, mais detalhes sobre essa abordagem podem ser encontrados em Mezgec et al.2.</li>
		<li>Execute o modelo de detecção a partir da etapa 1.2.1 no conjunto de dados de imagem alimentar que é o resultado da etapa 1.1.4.</li>
		<li>Exclua todas as imagens que foram marcadas como não-alimentos pelo modelo de detecção da etapa 1.2.1.</li>
		<li>Verifique manualmente o conjunto de dados da imagem alimentar para outras imagens errôneas ou de baixa qualidade e para duplicatas de imagem.</li>
		<li>Exclua imagens encontradas na etapa 1.2.4.</li>
	</ol></li>
	<li>Aumentando o conjunto de dados de imagem alimentar
	<ol>
<li>Crie uma nova versão de cada imagem a partir do conjunto de dados de imagem alimentar girando-a em 90° usando a biblioteca CLoDSA46 (linhas 19 a 21 no script Python incluído). NOTA: O script Python contendo todos os comandos CLoDSA usados pelos autores deste artigo pode ser encontrado em um arquivo incluído nos arquivos suplementares ('nutrinet_augmentation.py'). Se este script for usado, o Caminho de Entrada (variável 'INPUT_PATH', linha 8 no código de script Python) e o Caminho de Saída (variável 'OUTPUT_PATH', linha 11 do código de script Python) precisam ser substituídos por caminhos para as pastas desejadas.</li>
		<li>Crie uma nova versão de cada imagem a partir do conjunto de dados de imagem alimentar girando-a em 180° usando a biblioteca CLoDSA (linhas 19 a 21 no script Python incluído).</li>
		<li>Crie uma nova versão de cada imagem a partir do conjunto de dados de imagem alimentar girando-a em 270° usando a biblioteca CLoDSA (linhas 19 a 21 no script Python incluído).</li>
		<li>Crie uma nova versão de cada imagem a partir do conjunto de dados de imagem alimentar, invertendo-a horizontalmente usando a biblioteca CLoDSA (linhas 23 e 24 no script Python incluído).</li>
		<li>Crie uma nova versão de cada imagem a partir do conjunto de dados de imagem alimentar adicionando ruído de cor aleatório a ela usando a biblioteca CLoDSA (linhas 26 e 27 no script Python incluído).</li>
		<li>Crie uma nova versão de cada imagem a partir do conjunto de dados de imagem alimentar, ampliando-a em 25% usando a biblioteca CLoDSA (linhas 29 e 30 no script Python incluído).</li>
		<li>Salve imagens das etapas 1.3.1-1.3.6, juntamente com as imagens originais (linhas 16 e 17 no script Python incluído), em um novo conjunto de dados de imagem alimentar (no total, 7 variantes por imagem alimentar). Isso é feito executando o comando na linha 32 do script Python incluído.</li>
	</ol></li>
	<li>Realizando o reconhecimento de imagem alimentar
	<ol>
<li>Importe o conjunto de dados de imagem alimentar da etapa 1.3.7 para o ambiente NVIDIA DIGITS47,dividindo o conjunto de dados em subconjuntos de treinamento, validação e teste na interface de usuário NVIDIA DIGITS.</li>
		<li>Copie e cole o texto de definição da arquitetura NutriNet2 no NVIDIA DIGITS como uma rede personalizada. NOTA: O texto de definição da arquitetura NutriNet pode ser encontrado nos arquivos suplementares ('nutrinet.prototxt').</li>
		<li>(Opcional) Defina hiperparmetros de treinamento na interface de usuário NVIDIA DIGITS. NOTA: Hiperparmetros são parâmetros que são usados para definir o processo de treinamento antes de seu início. Os hiperparâmetros utilizados pelos autores deste artigo podem ser encontrados em um arquivo incluído nos arquivos suplementares ('nutrinet_hyperparameters.prototxt'). Embora a experimentação seja necessária para cada conjunto de dados para encontrar os hiperparmetros ideais, o arquivo contém uma configuração de hiperparômetro que pode ser copiada na interface do usuário NVIDIA DIGITS. Além disso, o NVIDIA DIGITS preenche os hiperparmetros com valores padrão que podem ser usados como linha de base. Este passo é, portanto, opcional.</li>
		<li>Executar o treinamento do modelo NutriNet.</li>
		<li>Após o treinamento ser concluído, pegue a iteração do modelo NutriNet de melhor desempenho. Este modelo é então usado para testar o desempenho desta abordagem. NOTA: Existem várias maneiras de determinar a iteração do modelo de melhor desempenho. Uma maneira simples de fazer isso é a seguinte. NVIDIA DIGITS produz um gráfico de medidas de precisão para cada época de treinamento. Verifique qual época alcançou o menor valor de perda para o subconjunto de validação do conjunto de dados de imagem alimentar - essa iteração do modelo pode ser considerada de melhor desempenho. Um passo opcional para determinar a iteração do modelo de melhor desempenho é observar como o valor da perda para o subconjunto de treinamento muda da época para a época e se ele começa a cair continuamente enquanto o valor de perda para o subconjunto de validação permanece o mesmo ou sobe continuamente, tome a época antes dessa queda no valor de perda de treinamento, como isso pode sinalizar quando o modelo começou a se adaptar demais nas imagens de treinamento.</li>
	</ol></li>
</ol>2. Segmentação de imagem alimentar com FCNs
<ol><li>
Obtendo o conjunto de dados de imagem de alimentos falsos
	<ol>
<li>Obtenha um conjunto de dados de imagens falsas de alimentos. Imagens falsas de alimentos são coletadas por pesquisadores que realizam estudos comportamentais usando réplicas de alimentos. NOTA: Os autores deste artigo receberam imagens de alimentos falsos que foram coletados em um ambiente de laboratório18.</li>
		<li>Anote manualmente todas as imagens de alimentos em um nível de pixel - cada pixel na imagem deve conter informações sobre a classe alimentar a que pertence. O resultado desta etapa é uma imagem de anotação para cada imagem do conjunto de dados de imagem alimentar, onde cada pixel representa uma das classes alimentares. NOTA: Existem muitas ferramentas para conseguir isso - os autores deste artigo usaram o JavaScript Segment Anotaator48.</li>
	</ol>
</li>
	<li>
Aumentando o conjunto de dados de imagem de alimentos falsos
	<ol>
<li>Execute os mesmos passos da seção 1.3, mas apenas em imagens do subconjunto de treinamento do conjunto de dados de imagem alimentar. NOTA: Com exceção da etapa 1.3.5, todas as etapas de aumento de dados também precisam ser executadas em imagens de anotação correspondentes. Se o script da seção 1.3 for usado, o Caminho de Entrada (variável 'INPUT_PATH', linha 8 no código de script Python43) e o Caminho de Saída (variável 'OUTPUT_PATH', linha 11 no código de script Python) precisam ser substituídos por caminhos para as pastas desejadas. Além disso, defina o Problema (variável 'PROBLEM', linha 6 no código de script Python) para 'instance_segmentation' e o Modo de Anotação (variável 'ANNOTATION_MODE', linha 7 no código de script Python) e Modo de Saída (variável 'OUTPUT_MODE', linha 10 no código de script Python) para 'coco'.</li>
	</ol>
</li>
	<li>
Realizando segmentação de imagens de alimentos falsos
	<ol>
<li>Execute as mesmas etapas da seção 1.4, com exceção da etapa 1.4.2. No lugar dessa etapa, realize as etapas 2.3.2 e 2.3.3. NOTA: Hiperparmetros são parâmetros que são usados para definir o processo de treinamento antes de seu início. Os hiperparâmetros de treinamento utilizados pelos autores deste artigo para a etapa opcional 1.4.3 podem ser encontrados em um arquivo incluído nos arquivos suplementares ('fcn-8s_hyperparameters.prototxt'). Embora a experimentação seja necessária para cada conjunto de dados para encontrar o conjunto ideal de hiperparmetros, o arquivo contém uma configuração de hiperparômetro que pode ser copiada na interface do usuário NVIDIA DIGITS47. Além disso, o NVIDIA DIGITS preenche os hiperparmetros com valores padrão que podem ser usados como linha de base.</li>
		<li>Copie e cole o texto de definição da arquitetura FCN-8s15 no ambiente NVIDIA DIGITS como uma rede personalizada. NOTA: O texto de definição de arquitetura FCN-8s está disponível publicamente no GitHub49.</li>
		<li>Insira o caminho para os pesos do modelo FCN-8s pré-treinados na interface de usuário NVIDIA DIGITS. NOTA: Esses pesos do modelo foram pré-treinados no conjunto de dados PASCAL VOC17 e podem ser encontrados na Internet49.</li>
	</ol>
</li>
</ol>3. Segmentação de imagem de alimentos com HTC ResNet
<ol><li>Obtendo o conjunto de dados de imagem alimentar
	<ol>
<li>Baixe o conjunto de dados de imagem alimentar do site da FRC19.</li>
	</ol></li>
	<li>Aumentando o conjunto de dados de imagem alimentar
	<ol>
<li>Realizar etapas 1.3.1-1.3.4. NOTA: O script Python43 contendo todos os comandos CLoDSA46 usados pelos autores deste artigo pode ser encontrado em um arquivo incluído nos arquivos suplementares ('frc_augmentation.py'). Se este script for usado, o Caminho de Entrada (variável 'INPUT_PATH', linha 8 no código de script Python) e o Caminho de Saída (variável 'OUTPUT_PATH', linha 11 do código de script Python) precisam ser substituídos por caminhos para as pastas desejadas.</li>
		<li>Crie uma nova versão de cada imagem a partir do conjunto de dados de imagem alimentar adicionando desfoque gaussiano a ela usando a biblioteca CLoDSA (linhas 26 e 27 no script Python incluído).</li>
		<li>Crie uma nova versão de cada imagem a partir do conjunto de dados de imagem alimentar, afiando-a usando a biblioteca CLoDSA (linhas 29 e 30 no script Python incluído).</li>
		<li>Crie uma nova versão de cada imagem a partir do conjunto de dados de imagem alimentar, aplicando correção gama a ela usando a biblioteca CLoDSA (linhas 32 e 33 no script Python incluído).</li>
		<li>Salve imagens dos passos 3.2.1-3.2.4, juntamente com as imagens originais (linhas 16 e 17 no script Python incluído), em um novo conjunto de dados de imagem alimentar (no total, 8 variantes por imagem alimentar). Isso é feito executando o comando na linha 35 do script Python incluído.</li>
		<li>Salve imagens dos passos 3.2.2-3.2.4, juntamente com as imagens originais (linhas 16 e 17 no script Python incluído), em um novo conjunto de dados de imagem alimentar (no total, 4 variantes por imagem alimentar). Isso é feito excluindo as linhas 19 a 24 do script Python incluído e executando o comando na linha 35.</li>
	</ol></li>
	<li>Realizando segmentação de imagem alimentar
	<ol>
<li>Modifique a atual definição de arquitetura HTC20 ResNet-10116 da biblioteca MMDetection50 nas seções 'configurações de modelo' e 'configurações de conjunto de dados' do arquivo de definição de arquitetura para que ele aceite os conjuntos de dados de imagem alimentar das etapas 3.1.1, 3.2.5 e 3.2.6.</li>
		<li>(Opcional) Modifique a definição de arquitetura HTC ResNet-101 da etapa 3.3.1 para definir hiperparmetros de treinamento: tamanho do lote em 'configurações de conjunto de dados' da seção, tipo de solver e taxa de aprendizado na seção 'otimizador', política de aprendizagem na seção 'política de aprendizagem' e número de épocas de treinamento na seção 'configurações de tempo de execução' do arquivo de definição de arquitetura. NOTA: O arquivo modificado de definição de arquitetura HTC ResNet-101 pode ser encontrado nos arquivos suplementares ('htc_resnet-101.py'). Hiperparmetros são parâmetros que são usados para definir o processo de treinamento antes de seu início. Embora a experimentação seja necessária para cada conjunto de dados para encontrar o conjunto ideal de hiperparmetros, o arquivo já contém uma configuração de hiperparômetro que pode ser usada sem modificação. Este passo é, portanto, opcional.</li>
		<li>Execute o treinamento do modelo HTC ResNet-101 no conjunto de dados de imagem alimentar a partir da etapa 3.1.1 usando a biblioteca MMDetection (por exemplo, com o comando: 'python mmdetection/tools/train.py htc_resnet-101.py').</li>
		<li>Após o treinamento da etapa 3.3.3 estar completo, pegue a iteração modelo HTC ResNet-101 de melhor desempenho e ajuste-a, executando a próxima fase de treinamento no conjunto de dados de imagem alimentar a partir da etapa 3.2.5. NOTA: Existem várias maneiras de determinar a iteração do modelo de melhor desempenho. Uma maneira simples de fazer isso é a seguinte. A biblioteca MMDetection produz valores de medidas de precisão para cada época de treinamento na interface da linha de comando. Verifique qual época alcançou o menor valor de perda para o subconjunto de validação do conjunto de dados de imagem alimentar - essa iteração do modelo pode ser considerada de melhor desempenho. Um passo opcional para determinar a iteração do modelo de melhor desempenho é observar como o valor da perda para o subconjunto de treinamento muda da época para a época e se ele começa a cair continuamente enquanto o valor de perda para o subconjunto de validação permanece o mesmo ou sobe continuamente, tome a época antes dessa queda no valor de perda de treinamento, como isso pode sinalizar quando o modelo começou a se adaptar demais nas imagens de treinamento.</li>
		<li>Após o treinamento da etapa 3.3.4 estar completo, pegue a iteração modelo HTC ResNet-101 de melhor desempenho e ajuste-a, executando a próxima fase de treinamento no conjunto de dados de imagem alimentar a partir da etapa 3.2.6. NOTA: Veja nota para a etapa 3.3.4.</li>
		<li>Após o treinamento da etapa 3.3.5 estar completo, pegue a iteração modelo HTC ResNet-101 de melhor desempenho e ajuste-a novamente executando-a novamente executando a próxima fase de treinamento no conjunto de dados de imagem alimentar a partir da etapa 3.2.5. NOTA: Veja nota para a etapa 3.3.4.</li>
		<li>Após o treinamento da etapa 3.3.6 estiver completo, pegue a iteração modelo HTC ResNet-101 de melhor desempenho. Este modelo é então usado para testar o desempenho desta abordagem. NOTA: Veja nota para a etapa 3.3.4. As etapas 3.3.3-3.3.7 produziram os melhores resultados para os propósitos definidos pelos autores deste artigo. A experimentação é necessária para cada conjunto de dados para encontrar a sequência ideal de etapas de treinamento e aumento de dados.</li>
	</ol></li>
</ol>

Os autores não têm nada a revelar.

Nos últimos anos, redes neurais profundas foram validadas várias vezes como uma solução adequada para o reconhecimento de imagens alimentares10,11,12,21,23,25,26,29,31,33. Nosso trabalho apresentado neste artigo serve para provar ainda mais este1,2. A abordagem de reconhecimento de imagem alimentar de uma saída única é simples e pode ser usada para aplicações simples onde imagens com apenas um item de alimentos ou bebidas são esperadas2.
A abordagem de segmentação de imagem alimentar parece particularmente adequada para o reconhecimento de imagens alimentares em geral, sem qualquer restrição ao número de alimentos1. Como funciona classificando cada pixel individual da imagem, ele é capaz de não apenas reconhecer qualquer número de itens alimentares na imagem, mas também especificar onde um item alimentar está localizado, bem como quão grande ele é. Este último pode então ser usado para realizar a estimativa de peso alimentar, particularmente se usado com um objeto de referência ou uma câmera de distância fixa.
Houve algum trabalho em relação à disponibilidade dos conjuntos de dados de imagem alimentar3,22,27,30,36,37,38,39,40,41,42, e esperamos que mais seja feito no futuro, especialmente quando se trata de agregar conjuntos de dados de imagem alimentar de diferentes regiões do mundo, o que permitiria que soluções mais robustas fossem desenvolvidas. Atualmente, a precisão das soluções automáticas de reconhecimento de imagem alimentar ainda não atingiu a precisão de nível humano35, e isso é provável em grande parte devido ao uso de conjuntos de dados de imagem alimentar de tamanho e qualidade insuficientes.
No futuro, nosso objetivo será avaliar ainda mais os procedimentos desenvolvidos em imagens do mundo real. Em geral, os conjuntos de dados neste campo geralmente contêm imagens tiradas em ambientes ou imagens controladas que foram otimizadas manualmente para reconhecimento. É por isso que é importante reunir um grande e diversificado conjunto de dados de imagem alimentar do mundo real para abranger todos os diferentes itens de alimentos e bebidas que os indivíduos podem querer reconhecer. O primeiro passo para isso foi dado pelo Desafio de Reconhecimento Alimentar, que incluiu um conjunto de dados de imagens alimentares do mundo real19,mas mais trabalho precisa ser feito para validar essa abordagem em imagens alimentares de todo o mundo e em cooperação com nutricionistas.

A avaliação alimentar é um passo crucial na determinação de áreas acionáveis da dieta de um indivíduo. No entanto, a realização de avaliação alimentar usando abordagens tradicionalmente manuais está associada a custos consideráveis. Essas abordagens também são propensas a erros, pois muitas vezes dependem de auto-relato por parte do indivíduo. A avaliação alimentar automatizada aborda essas questões, fornecendo uma maneira mais simples de quantificar e qualificar a ingestão de alimentos. Tal abordagem também pode aliviar alguns dos erros presentes em abordagens manuais, como refeições perdidas, incapacidade de avaliar com precisão o volume de alimentos, etc. Portanto, há benefícios claros para automatizar a avaliação alimentar, desenvolvendo soluções que identifiquem diferentes alimentos e bebidas e quantifiquem a ingestão alimentar1. Essas soluções também podem ser utilizadas para possibilitar uma estimativa dos valores nutricionais dos alimentos e bebidas (a partir de agora "alimentos"). Consequentemente, a avaliação alimentar automatizada é útil para múltiplas aplicações - desde usos estritamente médicos, como permitir que nutricionistas rastreiem e analisem com mais facilidade e precisão as dietas de seus pacientes, até o uso dentro de aplicativos de bem-estar voltados para a população em geral.
Reconhecer automaticamente itens alimentares de imagens é um problema desafiador de visão computacional. Isso se deve aos alimentos serem objetos tipicamente deformáveis, e devido ao fato de que uma grande quantidade de informações visuais do item alimentar pode ser perdida durante sua preparação. Além disso, diferentes alimentos podem parecer muito semelhantes uns aos outros, e a mesma comida pode parecer substancialmente diferente em múltiplas imagens2. Além disso, a precisão do reconhecimento depende de muitos outros fatores, como a qualidade da imagem, se o item alimentar está obstruído por outro item, distância da qual a imagem foi tirada, etc. Reconhecer itens de bebidas apresenta seu próprio conjunto de desafios, sendo o principal a quantidade limitada de informações visuais que está disponível em uma imagem. Essas informações podem ser a cor da bebida, a cor e a estrutura do recipiente de bebidas, e, em condições ideais de imagem, a densidade da bebida2.
Para reconhecer com sucesso os alimentos a partir de imagens, é necessário aprender características de cada aula de alimentos e bebidas. Isso foi tradicionalmente feito usando extratores de características definidos manualmente3,4,5,6 que realizam reconhecimento com base em características específicas de itens como cor, textura, tamanho, etc., ou uma combinação desses recursos. Exemplos desses extratores de características incluem vários aprendizados de kernel4, características locais em pares5 e o modelo de saco de recursos6. Devido à complexidade das imagens alimentares, essas abordagens alcançaram principalmente uma baixa precisão de classificação - entre 10% e 40%3,4,5. A razão para isso é que a abordagem manual não é robusta o suficiente para ser suficientemente precisa. Como um item alimentar pode variar significativamente na aparência, não é viável englobar todas essas variâncias manualmente. A maior precisão de classificação pode ser alcançada com extratores de características definidos manualmente quando o número de classes alimentares é reduzido5, ou diferentes características de imagem são combinadas6, indicando assim que há necessidade de soluções mais complexas para este problema.
É por isso que o aprendizado profundo mostrou-se tão eficaz para o problema do reconhecimento de imagem alimentar. O aprendizado profundo, ou redes neurais profundas, foi inspirado em cérebros biológicos, e permite que modelos computacionais compostos de múltiplas camadas de processamento aprendam automaticamente recursos através do treinamento em um conjunto de imagens de entrada7,8. Por causa disso, o aprendizado profundo melhorou substancialmente o estado da arte em uma variedade de campos de pesquisa7, com visão computacional, e, posteriormente, reconhecimento de imagem alimentar, sendo um deles2.
Em particular, redes neurais convolucionais profundas (DCNNs) são mais populares para o reconhecimento de imagem alimentar - essas redes são inspiradas no sistema visual dos animais, onde neurônios individuais tentam obter uma compreensão da entrada visual reagindo a regiões sobrepostas no campo visual9. Uma rede neural convolucional pega a imagem de entrada e realiza uma série de operações em cada uma das camadas de rede, as mais comuns são camadas convolucionais, totalmente conectadas e de agrupamento. As camadas convolucionais contêm filtros aprendeu que respondem a certos recursos nos dados de entrada, enquanto camadas totalmente conectadas compõem dados de saída de outras camadas para obter conhecimento de nível superior a partir dele. O objetivo de agrupar camadas é diminuir a amostra dos dados de entrada2. Existem duas abordagens para o uso de modelos de aprendizagem profunda que se mostraram populares: tomar uma definição de rede neural profunda existente10,11, referida como uma arquitetura de aprendizagem profunda neste artigo, ou definir uma nova arquitetura de aprendizagem profunda12,13, e treinar qualquer um deles em um conjunto de dados de imagem alimentar. Há pontos fortes e fracos em ambas as abordagens - ao usar uma arquitetura de deep learning existente, uma arquitetura que teve um bom desempenho para outros problemas pode ser escolhida e afinada para o problema desejado, economizando tempo e garantindo que uma arquitetura validada tenha sido escolhida. Definir uma nova arquitetura de aprendizagem profunda, por outro lado, é mais demorado, mas permite que o desenvolvimento de arquiteturas que são feitas especificamente levem em conta as especificidades de um problema e, portanto, teoricamente funcionam melhor para esse problema.
Neste artigo, apresentamos ambas as abordagens. Para o problema do reconhecimento de imagem alimentar, desenvolvemos uma nova arquitetura DCNN chamada NutriNet2,que é uma modificação da conhecida arquitetura AlexNet14. Existem duas principais diferenças em comparação com a AlexNet: a NutriNet aceita imagens de 512x512 pixels como entrada (em oposição às imagens de 256x256 pixels para AlexNet), e a NutriNet tem uma camada convolucional adicional no início da rede neural. Essas duas alterações foram introduzidas para extrair o máximo de informações das imagens do conjunto de dados de reconhecimento possível. Ter imagens de maior resolução significava que há mais informações presentes nas imagens e ter camadas mais convolucionais significava que conhecimentos adicionais poderiam ser extraídos das imagens. Em comparação com os cerca de 60 milhões de parâmetros da AlexNet, a NutriNet contém menos parâmetros: aproximadamente 33 milhões. Isso se deve à diferença de dimensionalidade na primeira camada totalmente conectada causada pela camada convolucional adicional2. A Figura 1 contém um diagrama da arquitetura NutriNet. As imagens de alimentos que foram usadas para treinar o modelo NutriNet foram coletadas da Internet - o procedimento está descrito no texto do protocolo.
Para o problema da segmentação de imagens alimentares, utilizamos duas arquiteturas diferentes existentes: redes totalmente convolucionais (FCNs)15 e redes residuais profundas (ResNet)16,ambas representando o estado da arte para segmentação de imagens quando as usamos para desenvolver suas respectivas soluções de segmentação de imagem alimentar. Existem várias variantes FCN que foram introduzidas por Long et al.: FCN-32s, FCN-16s e FCN-8s15. FcN-32s produz um mapa de pixels baseado nas previsões da camada final da FCN, enquanto a variante FCN-16s combina essas previsões com as de uma camada anterior. O FCN-8s considera mais uma outra camada de previsões e, portanto, é capaz de fazer previsões no melhor grão, razão pela qual é adequado para o reconhecimento de imagem alimentar. O FCN-8s que usamos foi pré-treinado no conjunto de dados PASCAL Visual Object Classes (PASCAL VOC)17 e treinado e testado em imagens de réplicas de alimentos (a partir de agora 'comida falsa')18 devido à sua semelhança visual com a comida real e devido à falta de imagens anotadas de alimentos reais em um nível de pixel. Alimentos falsos são usados em diferentes estudos comportamentais e imagens são tiradas para todos os pratos de todos os participantes do estudo. Como o conteúdo alimentar dessas imagens é conhecido, torna o conjunto de dados de imagem útil para o treinamento de modelos de aprendizagem profunda. As etapas de processamento do conjunto de dados estão descritas no texto do protocolo.
A solução baseada em ResNet foi desenvolvida no âmbito do Food Recognition Challenge (FRC)19. Ele usa o método Hybrid Task Cascade (HTC)20 com uma espinha dorsal ResNet-10116. Esta é uma abordagem de última geração para o problema de segmentação de imagem que pode usar diferentes extratores de características, ou backbones. Também consideramos outras redes backbone, particularmente outras variantes da ResNet, como o ResNet-5016,mas o ResNet-101 foi o mais adequado devido à sua profundidade e capacidade de representar imagens de entrada de forma bastante complexa. O conjunto de dados usado para treinar o modelo HTC ResNet-101 foi o conjunto de dados FRC com imagens aumentadas adicionadas. Esses aumentos são apresentados no texto do protocolo.
Este artigo destina-se a ser um recurso para especialistas em machine learning que buscam informações sobre quais arquiteturas de deep learning e etapas de aumento de dados funcionam bem para os problemas de reconhecimento e segmentação de imagens alimentares, bem como para pesquisadores de nutrição que procuram usar nossa abordagem para automatizar o reconhecimento de imagens alimentares para uso na avaliação alimentar. Nos parágrafos abaixo, são apresentadas soluções de deep learning e conjuntos de dados do campo de reconhecimento de imagem alimentar. No texto do protocolo, detalhamos como cada uma das três abordagens foi usada para treinar modelos de rede neural profunda que podem ser usados para avaliação alimentar automatizada. Além disso, cada seção de protocolo contém uma descrição de como os conjuntos de dados de imagem alimentar usados para treinamento e testes foram adquiridos e processados.
As DCNNs geralmente obtiveram resultados substancialmente melhores do que outros métodos de reconhecimento e segmentação de imagem alimentar, razão pela qual a grande maioria das pesquisas recentes no campo é baseada nessas redes. Kawano et al. utilizaram DCNNs para complementar abordagens manuais21 e obtiveram uma precisão de classificação de 72,26% no conjunto de dados UEC-FOOD10022. Christodoulidis et al. usaram-nas exclusivamente para obter uma maior precisão de 84,90% em um conjunto de dados auto-adquirido23. Tanno et al. desenvolveram o DeepFoodCam - um aplicativo para smartphone para reconhecimento de imagem alimentar que usa DCNNs24. Liu et al. apresentaram um sistema que realiza uma avaliação dietética baseada em Internet das Coisas usando DCNNs25. Martinel et al. introduziram uma abordagem baseada em DCNN que explora as especificidades das imagens alimentares26 e relatou uma precisão de 90,27% no conjunto de dados Food-10127. Zhou et al. autor de uma revisão de soluções de aprendizagem profunda no domínio alimentar28.
Recentemente, Zhao et al. propuseram uma rede especificamente para reconhecimento de imagem alimentar em aplicativosmóveis 29. Essa abordagem usa uma rede menor de "alunos" que aprende com uma rede maior de "professores". Com isso, conseguiram obter uma precisão de 84% sobre o UEC-FOOD25630 e uma precisão de 91,2% no conjunto de dados Food-10127. Hafiz et al. usaram DCNNs para desenvolver uma solução de reconhecimento de imagem somente para bebidas e relataram uma precisão muito alta de 98,51%31. Shimoda et al. descreveram um novo método para detectar regiões de placas em imagens de alimentos sem o uso da anotaçãopixel-wise 32. A Ciocca et al. introduziu um novo conjunto de dados contendo alimentos de 20 diferentes classes de alimentos em 11 estados diferentes (pasta sólida, fatiada, cremosa, etc.) e apresentou sua abordagem para modelos de reconhecimento de treinamento capazes de reconhecer o estado alimentar, além da classe alimentar33. Knez et al. avaliaram soluções de reconhecimento de imagem alimentar para dispositivosmóveis 34. Finalmente, Furtado et al. realizaram um estudo sobre como o sistema visual humano se compara ao desempenho das DCNNs e descobriu que o reconhecimento humano ainda supera dcnns com uma precisão de 80% versus 74,5%35. Os autores observaram que, com um pequeno número de aulas de alimentos, as DCNNs têm um bom desempenho, mas em um conjunto de dados com centenas de classes, a precisão do reconhecimento humano é maior35, destacando a complexidade do problema.
Apesar de seus resultados de última geração, o deep learning tem uma grande desvantagem - requer um grande conjunto de dados de entrada para treinar o modelo. No caso do reconhecimento de imagem alimentar, é necessário um grande conjunto de dados de imagem alimentar, e este conjunto de dados precisa abranger o maior número possível de cenários do mundo real. Na prática, isso significa que para cada item individual de alimentos ou bebidas, é necessária uma grande coleção de imagens, e o maior número possível de itens diferentes precisa estar presente no conjunto de dados. Se não houver imagens suficientes para um item específico no conjunto de dados, é improvável que esse item seja reconhecido com sucesso. Por outro lado, se apenas um pequeno número de itens for coberto pelo conjunto de dados, a solução será limitada em escopo, e só poderá reconhecer um punhado de alimentos e bebidas diferentes.
Vários conjuntos de dados foram disponibilizados no passado. O Pittsburgh Fast-Food Image Dataset (PFID)3 foi introduzido para incentivar mais pesquisas no campo do reconhecimento de imagens alimentares. A Universidade de Alimentos Eletro-Comunicações 100 (UEC-FOOD100)22 e a Universidade de Eletro-Comunicações Food 256 (UEC-FOOD256)30 conjuntos de dados contêm pratos japoneses, expandidos com alguns pratos internacionais no caso do conjunto de dados UEC-FOOD256. O conjunto de dados Food-101 contém pratos populares adquiridos a partir de um site27. Os conjuntos de dados Food-5036 e Video Retrieval Group Food 172 (VireoFood-172)37 são coleções chinesas de imagens de alimentos. O conjunto de dados da Universidade de Milano-Bicocca 2016 (UNIMIB2016) é composto por imagens de bandejas de alimentos de uma cantina italiana38. Recipe1M é um conjunto de dados em larga escala de receitas de cozimento e imagens de alimentos39. O conjunto de dados Food-47540 coleta quatro conjuntos de dados de imagem alimentar publicados anteriormente27,30,36,37 em um. O Beijing Technology and Business University Food 60 (BTBUFood-60) é um conjunto de imagens destinados à detecção de alimentos41. Recentemente, o conjunto de dados ISIA Food-50042 de imagens alimentares diversas foi disponibilizado. Em comparação com outros conjuntos de dados de imagem alimentar disponíveis publicamente, ele contém um grande número de imagens, divididas em 500 classes de alimentos, e tem como objetivo avançar o desenvolvimento de soluções multimídia de reconhecimento alimentar42.

<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td>HARDWARE</td>
			<td></td>
			<td></td>
			<td></td>
		</tr>
		<tr>
			<td>NVIDIA GPU</td>
			<td>NVIDIA</td>
			<td>N/A</td>
			<td>An NVIDIA GPU is needed as some of the software frameworks below will not work otherwise. https://www.nvidia.com</td>
		</tr>
		<tr>
			<td>SOFTWARE</td>
			<td></td>
			<td></td>
			<td></td>
		</tr>
		<tr>
			<td>Caffe</td>
			<td>Berkeley AI Research</td>
			<td>N/A</td>
			<td>Caffe is a deep learning framework. https://caffe.berkeleyvision.org</td>
		</tr>
		<tr>
			<td>CLoDSA</td>
			<td>J&#243;nathan Heras</td>
			<td>N/A</td>
			<td>CLoDSA is a Python image augmentation library. https://github.com/joheras/CLoDSA</td>
		</tr>
		<tr>
			<td>Google API Client</td>
			<td>Google</td>
			<td>N/A</td>
			<td>Google API Client is a Python client library for Google&#39;s discovery based APIs. https://github.com/googleapis/google-api-python-client</td>
		</tr>
		<tr>
			<td>JavaScript Segment Annotator</td>
			<td>Kota Yamaguchi</td>
			<td>N/A</td>
			<td>JavaScript Segment Annotator is a JavaScript image annotation tool. https://github.com/kyamagu/js-segment-annotator</td>
		</tr>
		<tr>
			<td>MMDetection</td>
			<td>Multimedia Laboratory, CUHK</td>
			<td>N/A</td>
			<td>MMDetection is an object detection toolbox based on PyTorch. https://github.com/open-mmlab/mmdetection</td>
		</tr>
		<tr>
			<td>NVIDIA DIGITS</td>
			<td>NVIDIA</td>
			<td>N/A</td>
			<td>NVIDIA DIGITS is a wrapper for Caffe that provides a graphical web interface. https://developer.nvidia.com/digits</td>
		</tr>
		<tr>
			<td>OpenCV</td>
			<td>Intel</td>
			<td>N/A</td>
			<td>OpenCV is a library for computer vision. https://opencv.org</td>
		</tr>
		<tr>
			<td>Python</td>
			<td>Python Software Foundation</td>
			<td>N/A</td>
			<td>Python is a programming language. https://www.python.org</td>
		</tr>
		<tr>
			<td>PyTorch</td>
			<td>Facebook AI Research</td>
			<td>N/A</td>
			<td>PyTorch is a machine learning framework. https://pytorch.org</td>
		</tr>
		<tr>
			<td>Ubuntu OS</td>
			<td>Canonical</td>
			<td>N/A</td>
			<td>Ubuntu 14.04 is the OS used by the authors and offers compatibility with all of the software frameworks and tools above. https://ubuntu.com</td>
		</tr>
	</tbody>
</table>

deep neural networks for image-based dietary assessment

Devido aos problemas e custos associados às abordagens manuais de avaliação alimentar, soluções automatizadas são necessárias para facilitar e acelerar o trabalho e aumentar sua qualidade. Hoje, soluções automatizadas são capazes de registrar a ingestão dietética de uma pessoa de uma forma muito mais simples, como tirar uma imagem com uma câmera de smartphone. Neste artigo, focaremos em tais abordagens baseadas em imagens para a avaliação alimentar. Para o problema do reconhecimento de imagens alimentares, redes neurais profundas alcançaram o estado da arte nos últimos anos, e apresentamos nosso trabalho neste campo. Em particular, descrevemos pela primeira vez o método de reconhecimento de imagem de alimentos e bebidas usando uma arquitetura de rede neural profunda, chamada NutriNet. Este método, como a maioria das pesquisas feitas nos primeiros dias de reconhecimento de imagem alimentar baseado em aprendizagem profunda, é limitado a uma saída por imagem e, portanto, inadequado para imagens com múltiplos itens de alimentos ou bebidas. É por isso que abordagens que realizam a segmentação de imagens alimentares são consideravelmente mais robustas, pois são capazes de identificar qualquer número de itens alimentares ou bebidas na imagem. Por isso, também apresentamos dois métodos para segmentação de imagens alimentares - um é baseado em redes totalmente convolucionais (FCNs) e outro em redes residuais profundas (ResNet).

NutriNet foi testado contra três arquiteturas populares de deep learning da época: AlexNet14, GoogLeNet51 e ResNet16. Vários parâmetros de treinamento também foram testados para todas as arquiteturas para definir os valores ideais2. Entre elas está a escolha do tipo solver, que determina como a função de perda é minimizada. Esta função é a principal medida de qualidade para o treinamento de redes neurais, pois é mais adequada para otimização durante o treinamento do que a precisão de classificação. Testamos três solucionadores: Descida de Gradiente Estocástico (SGD)52,Gradiente Acelerado (NAG)53 de Nesterov e algoritmo de gradiente adaptativo (AdaGrad)54. O segundo parâmetro é o tamanho do lote, que define o número de imagens que são processadas ao mesmo tempo. A profundidade da arquitetura de aprendizagem profunda determinou o valor desse parâmetro, pois arquiteturas mais profundas requerem mais espaço na memória da GPU - a consequência dessa abordagem foi que a memória estava completamente cheia de imagens para todas as arquiteturas, independentemente da profundidade. O terceiro parâmetro é a taxa de aprendizagem, que define a velocidade com que os parâmetros da rede neural estão sendo alterados durante o treinamento. Este parâmetro foi definido em uníssono com o tamanho do lote, pois o número de imagens processadas simultaneamente dita a taxa de convergência. Os modelos AlexNet foram treinados utilizando um tamanho de lote de 256 imagens e uma taxa básica de aprendizagem de 0,02; A NutriNet utilizou um tamanho de lote de 128 imagens e uma taxa de 0,01; Imagens GoogLeNet 64 e uma taxa de 0,005; e imagens ResNet 16 e uma taxa de 0,00125. Três outros parâmetros foram fixados para todas as arquiteturas: política de taxa de aprendizagem (step-down), tamanho do passo (30%) e gama (0,1). Esses parâmetros descrevem conjuntamente como a taxa de aprendizagem está mudando em todas as épocas. A ideia por trás dessa abordagem é que a taxa de aprendizagem está sendo gradualmente reduzida para ajustar o modelo quanto mais perto ele chega do valor ideal de perda. Finalmente, o número de épocas de treinamento também foi fixado para 150 para todas as arquiteturas de aprendizagem profunda2.
O melhor resultado entre todos os parâmetros testados que a NutriNet alcançou foi uma precisão de classificação de 86,72% no conjunto de dados de reconhecimento, que foi cerca de 2% maior do que o melhor resultado para a AlexNet e ligeiramente superior ao melhor resultado da GoogLeNet. A arquitetura de melhor desempenho em geral foi a ResNet (cerca de 1%), no entanto, o tempo de treinamento para ResNet é substancialmente maior em comparação com o NutriNet (por um fator de aproximadamente cinco), o que é importante se os modelos forem continuamente re-treinados para melhorar a precisão e o número de itens alimentares reconhecíveis. NutriNet, AlexNet e GoogLeNet alcançaram seus melhores resultados usando o solucionador AdaGrad, enquanto o melhor modelo da ResNet usou o solver NAG. NutriNet também foi testado no conjunto de dados de imagem alimentar unimib2016 disponível publicamente38. Este conjunto de dados contém 3.616 imagens de 73 itens alimentares diferentes. A NutriNet obteve uma precisão de reconhecimento de 86,39% neste conjunto de dados, superando ligeiramente o resultado de reconhecimento de linha de base dos autores do conjunto de dados, que foi de 85,80%. Além disso, a NutriNet foi testada em um pequeno conjunto de dados de 200 imagens do mundo real de 115 itens diferentes de alimentos e bebidas, onde a NutriNet alcançou uma precisão top-5 de 55%.
Para treinar o modelo de segmentação de imagens falsas de alimentos falsos FCN-8s, usamos o Adam55 como o tipo solucionador, pois descobrimos que ele se saiu bem para esta tarefa. A taxa básica de aprendizagem foi definida muito baixa - para 0,0001. A razão para o número baixo é o fato de que apenas uma imagem poderia ser processada de cada vez, o que é uma consequência do processo de classificação em nível de pixel. Os requisitos de memória gpu para esta abordagem são significativamente maiores do que a classificação de nível de imagem. Assim, a taxa de aprendizagem teve que ser fixada baixa para que os parâmetros não fossem alterados muito rapidamente e convergissem para valores menos ideais. O número de épocas de treinamento foi definido para 100, enquanto a política de taxa de aprendizagem, o tamanho do passo e a gama foram definidos para diminuir, 34% e 0,1, respectivamente, pois esses parâmetros produziram os modelos mais precisos.
As medições de precisão do modelo FCN-8s foram realizadas usando a medida de precisão de pixel15,que é análoga à precisão de classificação das redes tradicionais de deep learning, a principal diferença é que a precisão é calculada no nível do pixel em vez de no nível da imagem:
<img alt="Equation 1" src="/files/ftp_upload/61906/61906eq01.jpg">
onde pa é a medida de precisão de pixel, nij é o número de pixels da classe que eu previ pertencer à classe j e ti = Σj nij é o número total de pixels da classe nos rótulos de verdade de terra1. Em outras palavras, a medida de precisão de pixels é calculada dividindo pixels corretamente previstos pelo número total de pixels. A precisão final do modelo FCN-8s treinado foi de 92,18%. A Figura 2 mostra três imagens de exemplo do conjunto de dados de imagem de alimentos falsos (uma de cada um dos subconjuntos de treinamento, validação e teste), juntamente com os rótulos correspondentes de verdade de solo e de previsão de modelos.
Os parâmetros para treinar o modelo HTC20 ResNet-101 para segmentação de imagem alimentar foram definidos da seguinte forma: o tipo de solucionador utilizado foi OGD porque superou outros tipos de solucionador. A taxa básica de aprendizagem foi definida para 0,00125 e o tamanho do lote para 2 imagens. O número de épocas de treinamento foi definido para 40 por fase de treinamento, e várias fases de treinamento foram realizadas - primeiro no conjunto de dados frc original sem imagens aumentadas, depois no conjunto de dados FRC aumentado em 8x e 4x aumentado várias vezes de forma alternada, cada vez tomando o modelo de melhor desempenho e afinando-o na próxima fase de treinamento. Mais detalhes sobre as fases de treinamento podem ser encontrados na seção 3.3 do texto do protocolo. Finalmente, utilizou-se a política de aprendizagem de apenas um passo abaixo, com épocas fixas para quando a taxa de aprendizagem diminuísse (épocas 28 e 35 para a primeira fase de treinamento). Uma coisa importante a notar é que, embora esta sequência de fases de treinamento tenha produzido os melhores resultados em nossos testes no escopo da FRC, usar outro conjunto de dados pode exigir uma sequência diferente para produzir resultados ótimos.
Esta solução baseada em ResNet para segmentação de imagens de alimentos foi avaliada utilizando a seguinte medida de precisão19:
<img alt="Equation 2" src="/files/ftp_upload/61906/61906eq02.jpg">
onde P é precisão, TP é o número de previsões verdadeiras positivas pelo modelo de segmentação de imagem alimentar, FP é o número de previsões falsas positivas e IoU é Intersecção sobre União, que é computada com esta equação:
<img alt="Equation 3" src="/files/ftp_upload/61906/61906eq03.jpg">
onde a Área de Sobreposição representa o número de previsões pelo modelo que se sobrepõem à verdade do solo, e Área da União representa o número total de previsões pelo modelo juntamente com a verdade do solo, tanto no nível de pixel quanto em cada classe alimentar individual. O recall é usado como medida secundária e é calculado de forma semelhante, utilizando a seguinte fórmula19:
<img alt="Equation 4" src="/files/ftp_upload/61906/61906eq04.jpg">
onde R é recall e FN é o número de falsas previsões negativas pelo modelo de segmentação de imagem alimentar. As medidas de precisão e recall são então mediadas em todas as classes na verdade terrestre. Utilizando essas medidas, nosso modelo alcançou uma precisão média de 59,2% e um recall médio de 82,1%, que ficou em segundo lugar na segunda rodada do Desafio de Reconhecimento Alimentar19. Esse resultado ficou 4,2% atrás do primeiro colocado e 5,3% à frente do terceiro colocado em termos de medida média de precisão. A Tabela 1 contém os resultados para os quatro primeiros participantes da competição.
<img alt="Figure 1" class="xfigimg" src="/files/ftp_upload/61906/61906fig01.jpg"> Figura 1: Diagrama da arquitetura de rede neural profunda NutriNet. Este número foi publicado em Mezgec et al.2. <a href="https://www.jove.com/files/ftp_upload/61906/61906fig01large.jpg" target="_blank">Clique aqui para ver uma versão maior desta figura.</a>
<img alt="Figure 2" class="xfigimg" src="/files/ftp_upload/61906/61906fig02.jpg"> Figura 2: Imagens do conjunto de dados de imagem de alimentos falsos. Imagens originais (esquerda), etiquetas de verdade terrestre (meio) e previsões do modelo FCN-8s (à direita). Este número foi publicado em Mezgec et al.1. <a href="https://www.jove.com/files/ftp_upload/61906/61906fig02large.jpg" target="_blank">Clique aqui para ver uma versão maior desta figura.</a>
<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always"><tbody>
<tr>
<td>Nome da equipe</td>
			<td>Colocação</td>
			<td>Precisão Média</td>
			<td>Recall médio</td>
		</tr>
<tr>
<td>rssfete</td>
			<td>1</td>
			<td>63.4%</td>
			<td>88.6%</td>
		</tr>
<tr>
<td>simon_mezgec</td>
			<td>2</td>
			<td>59.2%</td>
			<td>82.1%</td>
		</tr>
<tr>
<td>arimboux</td>
			<td>3</td>
			<td>53.9%</td>
			<td>73.5%</td>
		</tr>
<tr>
<td>latentvec</td>
			<td>4</td>
			<td>48.7%</td>
			<td>71.1%</td>
		</tr>
</tbody></table>Tabela 1: Top-4 resultados da segunda rodada do Desafio de Reconhecimento alimentar. A precisão média é tomada como a medida de desempenho primário e o recall médio como medida secundária. Os resultados são retirados do ranking oficial da competição19.
Arquivos Suplementares. <a href="https://www.jove.com/files/ftp_upload/61906/simon_mezgec_supplemental_files_revision1_.zip" target="_blank">Clique aqui para baixar este Arquivo.</a>

Watch this Scientific Journal Video about Deep Neural Networks for Image-Based Dietary Assessment at JoVE.com

Deep Neural Networks for Image-Based Dietary Assessment

O objetivo do trabalho apresentado neste artigo é desenvolver tecnologia para reconhecimento automatizado de itens de alimentos e bebidas a partir de imagens tiradas por dispositivos móveis. A tecnologia é composta por duas abordagens diferentes - a primeira realiza o reconhecimento de imagem alimentar, enquanto a segunda realiza a segmentação de imagens alimentares.

Redes neurais profundas para avaliação dietética baseada em imagens

Due to the issues and costs associated with manual dietary assessment approaches, automated solutions are required to ease and speed up the work and ...

Devido aos problemas e custos associados às abordagens manuais de avaliação alimentar, soluções automatizadas são necessárias para facilitar e acelerar o trabalho e aumentar sua qualidade. Hoje, soluções automatizadas são capazes de registrar a ingestão dietética de uma pessoa de uma forma muito mais simples, como tirar uma imagem com uma câmera de smartphone. Neste artigo, focaremos em tais abordagens baseadas em imagens para a avaliação alimentar usando redes neurais profundas, que representam o estado da arte no campo.Em particular, apresentaremos três soluções, uma para reconhecimento de imagem alimentar, uma para segmentação de imagens de réplicas de alimentos, ou alimentos falsos, e uma para segmentação de imagem de alimentos reais. Reúna uma lista de diferentes alimentos e bebidas que serão as saídas do modelo de reconhecimento de imagem alimentar. Salve a lista de alimentos e bebidas em um arquivo de texto, como TXT ou CSV.Observe que o arquivo de texto usado pelos autores deste artigo pode ser encontrado nos arquivos suplementares sob itens alimentares ponto TXT e inclui uma lista de 520 alimentos eslovenos. Escreva ou baixe um script Python que usa a API de pesquisa personalizada do Google para baixar imagens de cada item de comida da lista e salva-as em uma pasta separada para cada item de comida. Observe que o script Python usado pelos autores deste artigo pode ser encontrado nos arquivos suplementares em imagens de download ponto pi.Se este script for usado, a linha de chave do desenvolvedor variável desenvolvedor de desenvolvedores oito no código de script Python e na variável CX 28 do mecanismo de busca personalizada na linha 28 do script Python precisam ser substituídas por valores específicos da conta do Google que está sendo usada. Execute o script Python a partir do passo 1.1.3. Crie uma nova versão de cada imagem a partir do conjunto de dados de imagem alimentar girando-a em 90 graus, usando a biblioteca CLoDSA.Observe que o script Python contendo todos os comandos CLoDSA usados pelos autores deste artigo pode ser encontrado em um arquivo incluído nos arquivos suplementares sob NutriNet sublinhar o aumento dot pi. Crie uma nova versão de cada imagem a partir do conjunto de dados de imagem alimentar girando-a em 180 graus, usando a biblioteca CLoDSA. Crie uma nova versão de cada imagem a partir do conjunto de dados de imagem alimentar girando-a em 270 graus, usando a biblioteca CLoDSA.Crie uma nova versão de cada imagem a partir do conjunto de dados de imagem alimentar, invertendo-a horizontalmente, usando a biblioteca CLoDSA. Crie uma nova versão de cada imagem a partir do conjunto de dados de imagem alimentar adicionando ruído de cor aleatório a ela, usando a biblioteca CLoDSA. Crie uma nova versão de cada imagem a partir do conjunto de dados de imagem alimentar, ampliando-a em 25% usando a biblioteca CLoDSA.Salve imagens das etapas 1.3.1 a 1.3.6, juntamente com as imagens originais em um novo conjunto de dados de imagem de alimentos. No total, sete variantes por imagem alimentar. Importar os dados de imagem alimentar definidos da etapa 1.3.7 para o ambiente de dígitos NVIDI, dividindo os dados definidos em subconjuntos de treinamento, validação e teste.Copie e cole o texto de definição da arquitetura NutriNet em dígitos NVIDIA. Observe que a definição de arquitetura NutriNet pode ser encontrada nos arquivos suplementares sob NutriNet dot proto TXT. Opcionalmente, defina os hiper parâmetros de treinamento em dígitos NVIDIA ou use os valores padrão.Os hiper parâmetros utilizados pelos autores deste artigo podem ser encontrados em um arquivo incluído nos arquivos suplementares sob NutriNet sublinham hiper-parâmetros ponto proto TXT. Executar o treinamento do modelo NutriNet. Após o treinamento ser concluído, pegue a iteração do modelo NutriNet com melhor desempenho.Este modelo é então usado para testar o desempenho desta abordagem. Observe que existem várias maneiras de determinar a melhor iteração do modelo de desempenho. Consulte os textos do artigo para obter mais detalhes.Obtenha um conjunto de dados de imagens falsas de alimentos. Note-se que os autores deste artigo receberam imagens de alimentos falsos que foram coletados em um ambiente de laboratório. Anotar manualmente todas as imagens de alimentos no nível do pixel.Cada pixel na imagem deve conter informações sobre a classe alimentar a que pertence. Observe que existem muitas ferramentas para conseguir isso. Os autores deste artigo usaram um anotador do segmento JavaScript.O resultado desta etapa é uma imagem de anotação para cada imagem do conjunto de dados de imagem alimentar, onde cada pixel representa uma das classes alimentares. Execute as mesmas etapas da seção 1.3, mas apenas em imagens do subconjunto de treinamento do conjunto de dados de imagem alimentar. Observe que, com exceção da etapa 1.3.5, todas as etapas de aumento de dados também precisam ser executadas em imagens de anotação correspondentes.Execute as mesmas etapas da seção 1.4, com exceção da etapa 1.4.2. No lugar dessa etapa, realize as etapas 2.3.2 e 2.3.3. Observe que os hiper parâmetros de treinamento utilizados pelos autores deste artigo podem ser encontrados no arquivo incluído nos arquivos suplementares sob FCN-8S ressaltam hiper-parâmetros ponto proto TXT.Copie e cole o texto de definição da arquitetura FCN-8S em dígitos NVIDIA. Digite os pesos do modelo FCN-8S pré-treinados em dígitos NVIDIA. Observe que esses pesos do modelo foram pré-treinados no conjunto de dados de classes de objetos visuais Pascal e podem ser encontrados na internet.Baixe o conjunto de dados de imagem alimentar do site do Food Recognition Challenge. Realizar etapas 1.3.1 a 1.3.4. Observe que o script Python contendo todos os comandos CLoDSA usados pelos autores deste artigo pode ser encontrado no arquivo incluído nos arquivos suplementares sob FRC sublinhar o ponto de aumento.Crie uma nova versão de cada imagem a partir do conjunto de dados de imagem alimentar adicionando desfoque gaussiano a ela, usando a biblioteca CLoDSA. Crie uma nova versão de cada imagem a partir do conjunto de dados de imagem alimentar, afiando-a, usando a biblioteca CLoDSA. Crie uma nova versão de cada imagem a partir do conjunto de dados de imagem alimentar, aplicando correção gama a ela, usando a biblioteca CLoDSA.Salve imagens das etapas 3.2.1 a 3.2.4, juntamente com as imagens originais em um novo conjunto de dados de imagem de alimentos. No total, oito variantes por imagem alimentar. Salve imagens das etapas 3.2.2 a 3.2.4, juntamente com as imagens originais em um novo conjunto de dados de imagem de alimentos.No total, quatro variantes por imagem alimentar. Modifique a definição de arquitetura HTC ResNet 101 existente da biblioteca DE Detecção MM para que ele aceite os conjuntos de dados de imagem de alimentos das etapas 3.1.1, 3.2.5 e 3.2.6. Opcionalmente, modifique a definição de arquitetura HTC ResNet 101 a partir da etapa 3.3.1 para definir os hiper parâmetros de treinamento ou usar os valores padrão.Observe que a definição modificada da arquitetura HTC ResNet 101 pode ser encontrada nos arquivos suplementares sob HTC sublinhar ResNet 101 ponto pi. Execute o treinamento do modelo HTC ResNet 101 nos conjuntos de dados de imagem alimentar a partir da etapa 3.1.1 usando a biblioteca de detecção mm. Após o treinamento da etapa 3.3.3 estar completo, pegue a iteração do modelo HTC ResNet 101 de melhor desempenho e ajuste-a melhor executando-a executando a próxima fase de treinamento sobre o conjunto de dados de imagem alimentar a partir da etapa 3.2.5.Observe que existem várias maneiras de determinar a melhor iteração do modelo de desempenho. Consulte os textos do artigo para obter mais detalhes. Isso também é relevante para os próximos passos.Após o treinamento da etapa 3.3.4 estar completo, pegue a iteração do modelo HTC ResNet 101 de melhor desempenho e ajuste-a melhor executando-a executando a próxima fase de treinamento sobre o conjunto de dados de imagem alimentar a partir da etapa 3.2.6. Após o treinamento da etapa 3.3.5 estar completo, pegue a iteração modelo HTC ResNet 101 de melhor desempenho e ajuste-a novamente executando a próxima fase de treinamento sobre o conjunto de dados de imagem alimentar a partir da etapa 3.2.5. Após o treinamento da etapa 3.3.6 estiver completo, pegue a iteração modelo HTC ResNet 101 de melhor desempenho.Este modelo é então usado para testar o desempenho desta abordagem. Note-se que as etapas 3.3.3 a 3.3.7 renderam os melhores resultados para os propósitos definidos pelos autores deste artigo. A experimentação é necessária para cada conjunto de dados para encontrar a sequência ideal de etapas de treinamento e aumento de dados.Depois de testar o modelo de tendência, a NutriNet alcançou uma precisão de classificação de 86,72% no conjunto de dados de reconhecimento, que era cerca de 2% maior que o AlexNet e ligeiramente maior que o GoogLeNet, que eram arquiteturas populares de rede neural profunda da época. Para medir a precisão do modelo de segmentação de imagem alimentar falsa FCN-8S, utilizou-se a medida de precisão de pixels. A precisão do modelo FCN-8S treinado foi de 92,18% A solução baseada em ResNet para segmentação de imagem alimentar foi avaliada utilizando a medida de precisão definida no Desafio de Reconhecimento Alimentar.Com essa medida, o modelo de trem alcançou uma precisão média de 59,2%, que ficou em segundo lugar no Desafio de Reconhecimento Alimentar. Nos últimos anos, redes neurais profundas foram validadas várias vezes como uma solução adequada para o reconhecimento de imagens alimentares. Nosso trabalho apresentado neste artigo serve para provar isso.A abordagem de reconhecimento de imagem alimentar de saída única é simples e pode ser usada para aplicações simples. Considerando que a abordagem de segmentação de imagens alimentares requer mais trabalho na preparação de imagens anotadas, mas é muito mais aplicável às imagens do mundo real. No futuro, nosso objetivo será avaliar ainda mais os procedimentos desenvolvidos em imagens do mundo real.O primeiro passo para a validação do mundo real foi fornecido pelo Desafio de Reconhecimento alimentar, que incluiu um conjunto de dados de imagens de alimentos do mundo real. Mas, mais trabalho precisa ser feito para validar essa abordagem sobre imagens de alimentos de todo o mundo e em cooperação com nutricionistas.

Research

JoVE Journal

Engineering

Concurrent Quantitative Conductivity and Mechanical Properties Measurements of Organic Photovoltaic Materials using AFM

Condutividade quantitativa concorrente e Medidas mecânicas de materiais fotovoltaicos orgânicos utilizando AFM

Organic photovoltaic  (OPV) materials are inherently inhomogeneous at the nanometer scale. Nanoscale  inhomogeneity of OPV materials affects performance ...

Engenharia

Detection and Recovery of Palladium, Gold and Cobalt Metals from the Urban Mine Using Novel Sensors/Adsorbents Designated with Nanoscale Wagon-wheel-shaped Pores

Detecção e recuperação de paládio, do ouro e cobalto Metais da Mina Urbana Usando novos sensores / adsorventes Designados com poros em nanoescala em forma de roda de carroça

Developing low-cost, efficient processes for recovering and recycling palladium, gold and cobalt metals from urban mine remains a significant challenge in ...

Preparation of Liquid Crystal Networks for Macroscopic Oscillatory Motion Induced by Light

Preparação das redes de cristal líquido para macroscópica movimento oscilatório induzido pela luz

A strategy based on doped liquid crystalline networks is described to create mechanical self-sustained oscillations of plastic films under continuous ...

Indoor Experimental Assessment of the Efficiency and Irradiance Spot of the Achromatic Doublet on Glass (ADG) Fresnel Lens for Concentrating Photovoltaics

Indoor Experimental Assessment of the Efficiency and Irradiance Spot of the Achromatic Doublet on Glass ADG Fresnel Lens for Concentrating Photovoltaics

Interior avaliação Experimental da eficiência e da irradiância Spot do dubleto acromático em vidro (ADG) lente de Fresnel para concentrar a energia fotovoltaica

We present a method to characterize achromatic Fresnel lenses for photovoltaic applications. The achromatic doublet on glass (ADG) Fresnel lens is ...

Applicability Analysis of Assessment Methods for Morphological Parameters of Corroded Steel Bars

Análise da aplicabilidade dos métodos de avaliação de parâmetros morfológicos das barras de aço corroídas

The irregular and uneven residual sections along the length of a corroded steel bar substantially change its mechanical properties and significantly ...

Impacts of Free-falling Spheres on a Deep Liquid Pool with Altered Fluid and Impactor Surface Conditions

Impactos das esferas em queda livre em um Pool profundo líquido com condições de superfície alterado fluido e pêndulo

Vertical impacts of spheres on clean water have been the subject of numerous water entry investigations characterizing cavity formation, splash crown ...

Automated Deployment of an Internet Protocol Telephony Service on Unmanned Aerial Vehicles Using Network Functions Virtualization

Implantação automatizada de um serviço de telefonia de protocolo de Internet em veículos aéreos não tripulados usando a virtualização das funções de rede

The Network Function Virtualization (NFV) paradigm is one of the key enabling technologies in the development of the 5th generation of mobile networks. ...

Automated Delivery of Microfabricated Targets for Intense Laser Irradiation Experiments

Entrega automatizada de alvos microfabricados para experimentos intensos de irradiação a laser

Described is an experimental procedure that enables high-power laser irradiation of microfabricated targets. Targets are brought to the laser focus by a ...

UV-Vis Spectroscopic Characterization of Nanomaterials in Aqueous Media

Caracterização espectroscópica UV-Vis de nanomateriais na mídia aquosa

The physicochemical characterization of nanomaterials (NMs) is often an analytical challenge, due to their small size (at least one dimension in the ...

3D Printing - Evaluating Particle Emissions of a 3D Printing Pen

Impressão 3D - Avaliando emissões de partículas de uma caneta de impressão 3D

Three-dimensional (3D) printing as a type of additive manufacturing shows continuing increase in application and consumer popularity. The fused filament ...