Name: deep neural networks for image-based dietary assessment
Uploaded: 2021-03-13T15:00:00
Duration: 13 min 19 s
Description: Watch this Scientific Journal Video about Deep Neural Networks for Image-Based Dietary Assessment at JoVE.com

Авторы хотели бы поблагодарить Тамару Бухер (Tamara Bucher) из Университета Ньюкасла (Австралия) за предоставление набора данных изображений с поддельными продуктами питания. Эта работа была поддержана научно-исследовательскими и инновационными программами Европейского союза Horizon 2020 (номера грантов 863059 - FNS-Cloud, 769661 - SAAM); и Словенское исследовательское агентство (номер гранта P2-0098). Европейский союз и Словенийское научно-исследовательское агентство не играли никакой роли в разработке, анализе или написании этой статьи.

Авторов нечего раскрывать.

В последние годы глубокие нейронные сети были проверены несколько раз в качестве подходящего решениядля распознавания изображений пищи 10,11,12,21,23,25,26,29,31,33. Наша работа, представленная в этой статье служит для дальнейшего доказатьэто 1,2. Подход распознавания изображений продуктов питания с одним выходом прост и может быть использован для простых приложений, где изображения только с одним пунктом питания или напитка, какожидается, 2.
Подход сегментации изображения еды кажется определенно целесообразным для узнавать изображения еды вообще, без любого ограничения на числе пунктоведы 1. Поскольку он работает, классифицируя каждый отдельный пиксель изображения, он способен не только распознавать любое количество продуктов питания на изображении, но и указывать, где находится пищевой товар, а также насколько он велик. Последний может быть использован для выполнения оценки веса пищи, особенно если он используется либо с эталоном объекта или камеры с фиксированным расстоянием.
Там была некоторая работа, проделанная в отношении наличия продуктов питания изображениянаборы данных 3,22,27,30,36,37,38,39,40,41,42, и мы надеемся, что больше будет сделано в будущем, особенно когда дело доходит до агрегирования продуктов питания изображения datasets из разных регионов по всему миру, что позволит более надежные решения, которые позволят более надежные решения, которые будут разработаны. В настоящее время точность автоматических решений распознавания изображений пищевых продуктов ещене достигла точности человеческого уровня 35,и это, вероятно, во многом связано с использованием наборов данных изображений пищевых продуктов недостаточного размера и качества.
В будущем нашей целью будет дальнейшая оценка разработанных процедур по реальным изображениям. Как правило, наборы данных в этой области часто содержат изображения, сделанные в контролируемых средах, или изображения, которые были оптимизированы вручную для распознавания. Вот почему важно собрать большой и разнообразный набор данных о образе продуктов питания в реальном мире, чтобы охватить все различные продукты питания и напитки, которые люди могут захотеть распознать. Первый шаг к этому был предоставлен Food Recognition Challenge, который включал набор данных реальныхизображений продуктов питания 19, но дальнейшая работа должна быть сделана для проверки этого подхода на изображения продуктов питания со всего мира и в сотрудничестве с диетологами.

<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td>HARDWARE</td>
			<td></td>
			<td></td>
			<td></td>
		</tr>
		<tr>
			<td>NVIDIA GPU</td>
			<td>NVIDIA</td>
			<td>N/A</td>
			<td>An NVIDIA GPU is needed as some of the software frameworks below will not work otherwise. https://www.nvidia.com</td>
		</tr>
		<tr>
			<td>SOFTWARE</td>
			<td></td>
			<td></td>
			<td></td>
		</tr>
		<tr>
			<td>Caffe</td>
			<td>Berkeley AI Research</td>
			<td>N/A</td>
			<td>Caffe is a deep learning framework. https://caffe.berkeleyvision.org</td>
		</tr>
		<tr>
			<td>CLoDSA</td>
			<td>J&#243;nathan Heras</td>
			<td>N/A</td>
			<td>CLoDSA is a Python image augmentation library. https://github.com/joheras/CLoDSA</td>
		</tr>
		<tr>
			<td>Google API Client</td>
			<td>Google</td>
			<td>N/A</td>
			<td>Google API Client is a Python client library for Google&#39;s discovery based APIs. https://github.com/googleapis/google-api-python-client</td>
		</tr>
		<tr>
			<td>JavaScript Segment Annotator</td>
			<td>Kota Yamaguchi</td>
			<td>N/A</td>
			<td>JavaScript Segment Annotator is a JavaScript image annotation tool. https://github.com/kyamagu/js-segment-annotator</td>
		</tr>
		<tr>
			<td>MMDetection</td>
			<td>Multimedia Laboratory, CUHK</td>
			<td>N/A</td>
			<td>MMDetection is an object detection toolbox based on PyTorch. https://github.com/open-mmlab/mmdetection</td>
		</tr>
		<tr>
			<td>NVIDIA DIGITS</td>
			<td>NVIDIA</td>
			<td>N/A</td>
			<td>NVIDIA DIGITS is a wrapper for Caffe that provides a graphical web interface. https://developer.nvidia.com/digits</td>
		</tr>
		<tr>
			<td>OpenCV</td>
			<td>Intel</td>
			<td>N/A</td>
			<td>OpenCV is a library for computer vision. https://opencv.org</td>
		</tr>
		<tr>
			<td>Python</td>
			<td>Python Software Foundation</td>
			<td>N/A</td>
			<td>Python is a programming language. https://www.python.org</td>
		</tr>
		<tr>
			<td>PyTorch</td>
			<td>Facebook AI Research</td>
			<td>N/A</td>
			<td>PyTorch is a machine learning framework. https://pytorch.org</td>
		</tr>
		<tr>
			<td>Ubuntu OS</td>
			<td>Canonical</td>
			<td>N/A</td>
			<td>Ubuntu 14.04 is the OS used by the authors and offers compatibility with all of the software frameworks and tools above. https://ubuntu.com</td>
		</tr>
	</tbody>
</table>

deep neural networks for image-based dietary assessment

Из-за проблем и затрат, связанных с ручными подходами к оценке рациона питания, требуются автоматизированные решения для облегчения и ускорения работы и повышения ее качества. Сегодня автоматизированные решения способны записывать диетическое потребление человека гораздо проще, например, путем съемки с помощью камеры смартфона. В этой статье мы сосредоточимся на таких имиджевых подходах к диетической оценке. Что касается проблемы распознавания образов продуктов питания, то глубокие нейронные сети достигли состояния искусства в последние годы, и мы представляем нашу работу в этой области. В частности, мы сначала описываем метод распознавания изображений продуктов питания и напитков с помощью глубокой архитектуры нейронной сети под названием NutriNet. Этот метод, как и большинство исследований, проведенных в первые дни глубокого обучения на основе распознавания изображений пищи, ограничивается одним выходом на изображение, и, следовательно, непригодным для изображений с несколькими продуктами питания или напитками. Именно поэтому подходы, которые выполняют сегментацию изображения продуктов питания, значительно более надежны, так как они способны определить любое количество продуктов питания или напитков на изображении. Поэтому мы также представляем два метода сегментации изображения пищевых продуктов - один основан на полностью скотобойнальных сетях (FCNs), а другой на глубоких остаточных сетях (ResNet).

NutriNet был протестирован против трех популярных глубокой архитектуры обучениятого времени:AlexNet 14 , GoogLeNet51 и ResNet16. Несколько параметров обучения были также протестированы для всех архитектур для определения оптимальных значений2. Среди них выбор типа решатера, который определяет, как функция потери сведена к минимуму. Эта функция является основным показателем качества для обучения нейронных сетей, поскольку она лучше подходит для оптимизации во время обучения, чем точность классификации. Мы протестировали три решатели: Стохастический градиентный спуск (SGD)52,ускоренный градиент Нестерова (NAG)53 и алгоритм адаптивного градиента (AdaGrad)54. Вторым параметром является размер партии, который определяет количество изображений, которые обрабатываются одновременно. Глубина глубокой архитектуры обучения определила ценность этого параметра, так как более глубокие архитектуры требуют больше места в памяти GPU - следствием этого подхода было то, что память была полностью заполнена изображениями для всех архитектур, независимо от глубины. Третьим параметром является скорость обучения, которая определяет скорость, с которой параметры нейронной сети меняются во время обучения. Этот параметр был установлен в унисон с размером партии, так как количество одновременно обработанных изображений диктует скорость конвергенции. Модели AlexNet были обучены с использованием партии размером 256 изображений и базовой скоростью обучения 0,02; NutriNet использовала пакет размером 128 изображений и скоростью 0,01; GoogLeNet 64 изображения и скорость 0,005; и ResNet 16 изображений и скорость 0,00125. Для всех архитектур были зафиксированы три других параметра: политика скорости обучения (шаг вниз), размер шага (30%) и гамма (0,1). Эти параметры совместно описывают, как меняется скорость обучения в каждую эпоху. Идея такого подхода заключается в том, что уровень обучения постепенно снижается, чтобы отладить модель, чем ближе она к оптимальному значению потери. Наконец, количество учебных эпох также было зафиксировано до 150 для всех глубокой архитектуры обучения2.
Лучшим результатом среди всех параметров, проверенных NutriNet, была точность классификации 86,72% на наборе данных распознавания, что было примерно на 2% выше наилучшего результата для AlexNet и немного выше наилучшего результата GoogLeNet. Наиболее эффективной архитектурой в целом был ResNet (примерно на 1%), однако время обучения для ResNet значительно выше по сравнению с NutriNet (в два раза примерно пять), что важно, если модели постоянно перенаучили для повышения точности и количества узнаваемых продуктов питания. NutriNet, AlexNet и GoogLeNet достигли своих лучших результатов с помощью решения AdaGrad, в то время как лучшая модель ResNet использовала решение NAG. NutriNet также был протестирован на общедоступном наборе данных изображений продуктов питания UNIMIB201638. Этот набор данных содержит 3616 изображений 73 различных продуктов питания. NutriNet достигла точности распознавания 86,39% на этом наборе данных, немного выихав базовый результат распознавания авторов набора данных, который составил 85,80%. Кроме того, NutriNet был протестирован на небольшом наборе данных из 200 реальных изображений 115 различных продуктов питания и напитков, где NutriNet достиг топ-5 точность 55%.
Для обучения модели сегментации изображений FCN-8 мы использовали Adam55 в качестве решатера, так как обнаружили, что он работает оптимально для выполнения этой задачи. Базовая ставка обучения была установлена очень низко - до 0,0001. Причиной низкого числа является тот факт, что только одно изображение может быть обработано одновременно, что является следствием процесса классификации пиксельного уровня. Требования к памяти GPU для этого подхода значительно больше, чем классификация уровня изображения. Таким образом, скорость обучения должна быть установлена на низком уровне, с тем чтобы параметры не менялись слишком быстро и не сходились с менее оптимальными значениями. Количество учебных эпох было установлено до 100, в то время как политика скорости обучения, размер шага и гамма были установлены на шаг вниз, 34% и 0,1, соответственно, так как эти параметры дали наиболее точные модели.
Измерения точности модели FCN-8s проводились с использованиемизмерения точности пикселей 15, что аналогично точности классификации традиционных сетей глубокого обучения, основное отличие в том, что точность вычисляется на уровне пикселей, а не на уровне изображения:
<img alt="Equation 1" src="/files/ftp_upload/61906/61906eq01.jpg">
где PA является измерение точности пикселей, nij это количество пикселей из класса я предсказал, чтобы принадлежать к классу j и т я й j nij является общее количество пикселей из класса в земле правды этикетки1. Другими словами, мера точности пикселей вычисляется путем деления правильно предсказанных пикселей на общее количество пикселей. Окончательная точность обученной модели FCN-8s составила 92,18%. На рисунке 2 показаны три примера изображений из набора данных изображений поддельных продуктов питания (по одному от каждого из подмножества обучения, проверки и тестирования), а также соответствующие метки прогнозирования на местах и модели.
Параметры для обучения модели HTC20 ResNet-101 для сегментации изображения еды были установлены следующим образом: используемый тип решения был SGD, потому что он превзошел другие типы решателя. Базовая ставка обучения была установлена на уровне 0,00125, а размер партии - до 2 изображений. Количество учебных эпох было установлено до 40 на каждом этапе обучения, и было выполнено несколько этапов обучения - сначала на исходном наборе данных FRC без дополненных изображений, затем на 8x-дополненном и 4x-дополненном наборе данных FRC несколько раз попеременно, каждый раз принимая наиболее эффективные модели и тонко настраивая его на следующем этапе обучения. Более подробную информацию о этапах обучения можно найти в разделе 3.3 текста протокола. Наконец, была использована политика поэтапного обучения с фиксированными эпохами, когда уровень обучения снизился (эпохи 28 и 35 для первого этапа обучения). Важно отметить, что, хотя эта последовательность этапов обучения дали наилучшие результаты в нашем тестировании в рамках FRC, использование другого набора данных может потребовать другой последовательности для получения оптимальных результатов.
Это решение на основе ResNet для сегментации изображения продуктов питания было оценено с использованием следующей точноймеры 19:
<img alt="Equation 2" src="/files/ftp_upload/61906/61906eq02.jpg">
где P является точность, TP является число истинных положительных прогнозов по модели сегментации изображения пищи, FP является число ложноположительный прогнозы и IoU пересечение над Союзом, который вычисляется с этим уравнением:
<img alt="Equation 3" src="/files/ftp_upload/61906/61906eq03.jpg">
где область перекрытия представляет количество предсказаний по модели, которая пересекается с наземной истиной, а Area of Union представляет общее количество прогнозов по модели вместе с наземной истиной, как на уровне пикселей, так и для каждого отдельного класса питания. Отзыв используется в качестве вторичной меры и рассчитывается аналогичным образом, используя следующую формулу19:
<img alt="Equation 4" src="/files/ftp_upload/61906/61906eq04.jpg">
где R является отзыв и FN является число ложных негативных прогнозов по модели сегментации изображения продуктов питания. Показатели точности и отзыва затем усредовываются по всем классам в наземной правде. Используя эти меры, наша модель достигла средней точности 59,2% и средний отзыв 82,1%, который занял второе место во втором туре продовольственного признания Challenge19. Этот результат на 4,2% отстает от первого места и на 5,3% опережает третье место по средней точности. Таблица 1 содержит результаты для 4 лучших участников конкурса.
<img alt="Figure 1" class="xfigimg" src="/files/ftp_upload/61906/61906fig01.jpg"> Рисунок 1: Диаграмма архитектуры глубокой нейронной сети NutriNet. Эта цифра была опубликована в Mezgec et al.2. <a href="https://www.jove.com/files/ftp_upload/61906/61906fig01large.jpg" target="_blank">Пожалуйста, нажмите здесь, чтобы просмотреть большую версию этой цифры.</a>
<img alt="Figure 2" class="xfigimg" src="/files/ftp_upload/61906/61906fig02.jpg"> Рисунок 2: Изображения из набора изображений поддельных продуктов питания. Оригинальные изображения (слева), этикетки наземной правды с ручной маркировкой (средний) и прогнозы из модели FCN-8s (справа). Эта цифра была опубликована в Mezgec et al.1. <a href="https://www.jove.com/files/ftp_upload/61906/61906fig02large.jpg" target="_blank">Пожалуйста, нажмите здесь, чтобы просмотреть большую версию этой цифры.</a>
<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always"><tbody>
<tr>
<td>Название команды</td>
			<td>Размещения</td>
			<td>Средняя точность</td>
			<td>Средний отзыв</td>
		</tr>
<tr>
<td>rssfete</td>
			<td>1</td>
			<td>63.4%</td>
			<td>88.6%</td>
		</tr>
<tr>
<td>simon_mezgec</td>
			<td>2</td>
			<td>59.2%</td>
			<td>82.1%</td>
		</tr>
<tr>
<td>Аримбо</td>
			<td>3</td>
			<td>53.9%</td>
			<td>73.5%</td>
		</tr>
<tr>
<td>скрытыйvec</td>
			<td>4</td>
			<td>48.7%</td>
			<td>71.1%</td>
		</tr>
</tbody></table>Таблица 1: Топ-4 результаты второго раунда конкурса по признанию продуктов питания. Средняя точность считается основным показателем производительности, а средний отзыв — второстепенным показателем. Результаты взяты из официальной таблице лидеров конкурса19.
Дополнительные файлы. <a href="https://www.jove.com/files/ftp_upload/61906/simon_mezgec_supplemental_files_revision1_.zip" target="_blank">Пожалуйста, нажмите здесь, чтобы загрузить этот файл.</a>

Watch this Scientific Journal Video about Deep Neural Networks for Image-Based Dietary Assessment at JoVE.com

Deep Neural Networks for Image-Based Dietary Assessment

Целью работы, представленной в данной статье, является разработка технологии автоматического распознавания продуктов питания и напитков на основе изображений, сделанных мобильными устройствами. Технология состоит из двух различных подходов - первый выполняет распознавание образов пищи, а второй выполняет сегментацию изображения пищи.

Глубокие нейронные сети для оценки рациона питания на основе изображений

Due to the issues and costs associated with manual dietary assessment approaches, automated solutions are required to ease and speed up the work and ...

Из-за проблем и затрат, связанных с ручным подходом к оценке рациона питания, необходимы автоматизированные решения для облегчения и ускорения работы и повышения ее качества. Сегодня автоматизированные решения способны записывать диетическое потребление человека гораздо проще, например, путем съемки с помощью камеры смартфона. В этой статье мы сосредоточимся на таких имиджевых подходах к диетической оценке с использованием глубоких нейронных сетей, которые представляют собой современное состояние в этой области.В частности, мы представят три решения: одно для распознавания образов продуктов питания, одно для сегментации изображений пищевых реплик, или поддельные продукты питания, и одно для сегментации изображений реальной пищи. Соберите список различных продуктов питания и напитков, которые будут выходы из модели распознавания изображений продуктов питания. Сохраните список продуктов питания и напитков в текстовом файле, например TXT или CSV.Обратите внимание, что текстовый файл, используемый авторами этой статьи, можно найти в дополнительных файлах под точкой TXT продовольственных товаров и включает в себя список из 520 словенских продуктов питания. Напишите или загрузите скрипт Python, который использует api пользовательского поиска Google для загрузки изображений каждого элемента питания из списка и сохраняет их в отдельной папке для каждого элемента питания. Обратите внимание, что скрипт Python, используемый авторами этой статьи, можно найти в дополнительных файлах под изображениями загрузки dot pi.Если этот скрипт используется, ключевая переменная строка ключа разработчика восемь в коде скрипта Python и пользовательский идентификатор поисковой системы ID переменной CX линии 28 в коде скрипта Python должны быть заменены значениями, специфичным для используемой учетной записи Google. Вы запустите скрипт Python из шага 1.1.3. Создайте новую версию каждого изображения из набора данных пищевого изображения, вращая его на 90 градусов, используя библиотеку CLoDSA.Обратите внимание, что скрипт Python, содержащий все команды CLoDSA, используемые авторами этой статьи, можно найти в файле, включеном в дополнительные файлы под NutriNet, подчеркивают увеличение точки pi. Создайте новую версию каждого изображения из набора данных пищевого изображения, вращая его на 180 градусов, используя библиотеку CLoDSA. Создайте новую версию каждого изображения из набора данных пищевого изображения, вращая его на 270 градусов, используя библиотеку CLoDSA.Создайте новую версию каждого изображения из набора данных пищевого изображения, перевернут его горизонтально, используя библиотеку CLoDSA. Создайте новую версию каждого изображения из набора данных пищевого изображения, добавив к нему случайный цветовой шум, используя библиотеку CLoDSA. Создайте новую версию каждого изображения из набора данных пищевого изображения, увеличив его на 25% с помощью библиотеки CLoDSA.Сохраните изображения от шагов от 1.3.1 до 1.3.6 вместе с исходными изображениями в новый набор данных изображения еды. В общей сложности, семь вариантов на изображение пищи. Импорт продовольственных изображений из шага 1.3.7 в среду цифр NVIDI, разделяя набор данных на подмножества обучения, проверки и тестирования.Копировать и вставлять текст определения архитектуры NutriNet в цифры NVIDIA. Обратите внимание, что определение архитектуры NutriNet можно найти в дополнительных файлах под NutriNet точка прото TXT. Дополнительно определите гипер-параметры обучения в цифрах NVIDIA или используйте значения по умолчанию.Гипер-параметры, используемые авторами этой статьи, можно найти в файле, включеном в дополнительные файлы под NutriNet подчеркивают гипер-параметры точка прото TXT. Запустите обучение модели NutriNet. После завершения обучения возьмите наиболее эффективные модели NutriNet итерации.Эта модель затем используется для проверки производительности этого подхода. Обратите внимание, что существует несколько способов определения наиболее эффективных итераций модели. Для получения более подробной информации обратитесь к текстам статей.Получить набор данных поддельных изображений пищи. Отметим, что авторы этой статьи получили изображения поддельной пищи, которые были собраны в лабораторных условиях. Вручную аннотировать каждое изображение пищи на уровне пикселей.Каждый пиксель на изображении должен содержать информацию о том, к какому классу продуктов питания он принадлежит. Обратите внимание, что есть много инструментов для достижения этой цели. Авторы этой статьи использовали аннотатор сегмента JavaScript.Результатом этого шага является одно аннотация изображения для каждого изображения из набора данных пищевого изображения, где каждый пиксель представляет один из классов питания. Выполните те же шаги, что и в разделе 1.3, но только на изображениях из подмножества учебных данных, установленных на изображении пищи. Обратите внимание, что, за исключением шага 1.3.5, все шаги по увеличению данных также должны выполняться на соответствующих аннотациях изображений.Выполните те же шаги, что и в разделе 1.4, за исключением шага 1.4.2. Вместо этого шага выполните шаги 2.3.2 и 2.3.3. Отметим, что учебные гипер-параметры, используемые авторами данной статьи, можно найти в файле, включенном в дополнительные файлы под FCN-8S, подчеркивают гипер-параметры точка прото TXT.Копирование и вставка текста определения архитектуры FCN-8S в цифры NVIDIA. Введите предварительно обученную модель FCN-8S веса в цифры NVIDIA. Обратите внимание, что эти весы модели были предварительно обучены на наборе данных классов визуальных объектов Pascal и могут быть найдены в Интернете.Загрузите набор данных изображений продуктов питания с веб-сайта Food Recognition Challenge. Выполните шаги от 1.3.1 до 1.3.4. Обратите внимание, что скрипт Python, содержащий все команды CLoDSA, используемые авторами этой статьи, можно найти в файле, включеном в дополнительные файлы под FRC, подчеркивают точку увеличения pi.Создайте новую версию каждого изображения из набора данных пищевого изображения, добавив к нему гауссианское размытие с помощью библиотеки CLoDSA. Создайте новую версию каждого изображения из набора данных пищевого изображения, заострив его с помощью библиотеки CLoDSA. Создайте новую версию каждого изображения из набора данных пищевого изображения, применяя к нему гамма-коррекцию с помощью библиотеки CLoDSA.Сохраните изображения с шагов от 3.2.1 до 3.2.4 вместе с исходными изображениями в новый набор данных пищевого изображения. В общей сложности, восемь вариантов на изображение пищи. Сохранить изображения из шагов 3.2.2 до 3.2.4 вместе с исходными изображениями в новый набор данных изображения пищи.В общей сложности, четыре варианта на изображение пищи. Измените существующее определение архитектуры HTC ResNet 101 из библиотеки обнаружения ММ так, чтобы он принял наборы данных изображений еды из шагов 3.1.1, 3.2.5 и 3.2.6. Дополнительно измените определение архитектуры HTC ResNet 101 со шага 3.3.1, чтобы определить гипер-параметры обучения или использовать значения по умолчанию.Обратите внимание, что модифицированное определение архитектуры HTC ResNet 101 можно найти в дополнительных файлах под HTC подчеркивают ResNet 101 точка пи. Запустите обучение модели HTC ResNet 101 на наборах данных изображений продуктов питания из шага 3.1.1 с помощью библиотеки обнаружения ММ. После завершения обучения от шага 3.3.3, возьмите наиболее эффективные HTC ResNet 101 модель итерации и тонко настроить его, проведя следующий этап обучения на пищевой набор данных изображения от шага 3.2.5.Обратите внимание, что существует несколько способов определения наиболее эффективных итераций модели. Для получения более подробной информации обратитесь к текстам статей. Это актуально и для следующих шагов.После завершения обучения с этапа 3.3.4 возьмите наиболее эффективные итерации модели HTC ResNet 101 и отполучат ее, проведя следующий этап обучения на наборе данных пищевого изображения из шага 3.2.6. После завершения обучения с этапа 3.3.5 возьмите наиболее эффективные htc ResNet 101 модель итерации и тонкой настройки его снова работает следующий этап обучения на пищевой набор данных изображения от шага 3.2.5. После завершения обучения на этапе 3.3.6 возьмите наиболее эффективные модели HTC ResNet 101.Эта модель затем используется для проверки производительности этого подхода. Отметим, что шаги от 3.3.3 до 3.3.7 дали наилучшие результаты для целей, определенных авторами данной статьи. Эксперименты необходимы для каждого набора данных, чтобы найти оптимальную последовательность обучения и шагов по увеличению данных.После тестирования трендовая модель NutriNet достигла точности классификации 86,72% на наборе данных распознавания, что было примерно на 2% выше, чем у AlexNet, и немного выше, чем у GoogLeNet, которые были популярны глубокой нейронной сетевой архитектурой того времени. Для измерения точности поддельной модели сегментации изображения продуктов питания FCN-8S использовалась мера точности пикселей. Точность обученной модели FCN-8S составила 92,18%Решение на основе ResNet для сегментации изображений пищевых продуктов было оценено с использованием точной меры, определенной в проблеме распознавания пищевых продуктов.Используя эту меру, модель поезда достигла средней точности 59,2%, которая заняла второе место в вызове распознавания продуктов питания. В последние годы глубокие нейронные сети неоднократно были проверены в качестве подходящего решения для распознавания изображений пищи. Наша работа, представленная в этой статье, служит для дальнейшего доказательства этого.Единый подход распознавания изображений продуктов питания прост и может быть использован для простых приложений. В то время как подход сегментации изображения еды требует больше работы в подготовке аннотированных изображений, но это гораздо более применимо к изображениям реального мира. В будущем нашей целью будет дальнейшая оценка разработанных процедур по изображениям реального мира.Первым шагом на пути к проверке реального мира стала компания Food Recognition Challenge, которая включала набор данных о реальных изображениях продуктов питания в реальном мире. Однако необходимо проработать дальнейшую работу по проверке этого подхода в области изображений продуктов питания со всего мира и в сотрудничестве с диетологами.

Research

JoVE Journal

Engineering

Concurrent Quantitative Conductivity and Mechanical Properties Measurements of Organic Photovoltaic Materials using AFM

Параллельно Количественные проводимости и механических измерений свойств органических фотогальванических материалов с помощью АСМ

Organic photovoltaic  (OPV) materials are inherently inhomogeneous at the nanometer scale. Nanoscale  inhomogeneity of OPV materials affects performance ...

Detection and Recovery of Palladium, Gold and Cobalt Metals from the Urban Mine Using Novel Sensors/Adsorbents Designated with Nanoscale Wagon-wheel-shaped Pores

Обнаружение и восстановление палладия, золота и кобальта металлов из рудника городской использующие новые Датчики / адсорбенты Места с наноразмерных Wagon колеса в форме порах

Developing low-cost, efficient processes for recovering and recycling palladium, gold and cobalt metals from urban mine remains a significant challenge in ...

Preparation of Liquid Crystal Networks for Macroscopic Oscillatory Motion Induced by Light

Подготовка жидких кристаллов сетей для макроскопических колебательного движения, вызванные света

A strategy based on doped liquid crystalline networks is described to create mechanical self-sustained oscillations of plastic films under continuous ...

Indoor Experimental Assessment of the Efficiency and Irradiance Spot of the Achromatic Doublet on Glass (ADG) Fresnel Lens for Concentrating Photovoltaics

Indoor Experimental Assessment of the Efficiency and Irradiance Spot of the Achromatic Doublet on Glass ADG Fresnel Lens for Concentrating Photovoltaics

Крытый экспериментальной оценки эффективности и освещенность пятно ахроматические Дуплет на стекло (ADG) линзы Френеля для сосредоточение Фотогальваника

We present a method to characterize achromatic Fresnel lenses for photovoltaic applications. The achromatic doublet on glass (ADG) Fresnel lens is ...

Applicability Analysis of Assessment Methods for Morphological Parameters of Corroded Steel Bars

Анализ применимости методов оценки для морфологических параметров коррозия стальной

The irregular and uneven residual sections along the length of a corroded steel bar substantially change its mechanical properties and significantly ...

Impacts of Free-falling Spheres on a Deep Liquid Pool with Altered Fluid and Impactor Surface Conditions

Воздействие сфер в свободном падении на глубокий жидкого бассейн с измененной жидкости и ударного элемента состояния поверхности

Vertical impacts of spheres on clean water have been the subject of numerous water entry investigations characterizing cavity formation, splash crown ...

Automated Deployment of an Internet Protocol Telephony Service on Unmanned Aerial Vehicles Using Network Functions Virtualization

Автоматизированное развертывание службы телефонии Интернет-протокола на беспилотных летательных аппаратах с использованием виртуализации сетевых функций

The Network Function Virtualization (NFV) paradigm is one of the key enabling technologies in the development of the 5th generation of mobile networks. ...

Automated Delivery of Microfabricated Targets for Intense Laser Irradiation Experiments

Автоматизированная доставка микрофабрикатов для интенсивных экспериментов лазерного облучения

Described is an experimental procedure that enables high-power laser irradiation of microfabricated targets. Targets are brought to the laser focus by a ...

UV-Vis Spectroscopic Characterization of Nanomaterials in Aqueous Media

УФ-Вис спектроскопическая характеристика наноматериалов в водных средах

The physicochemical characterization of nanomaterials (NMs) is often an analytical challenge, due to their small size (at least one dimension in the ...

3D Printing - Evaluating Particle Emissions of a 3D Printing Pen

3D-печать - Оценка выбросов частиц 3D-печати пера

Three-dimensional (3D) printing as a type of additive manufacturing shows continuing increase in application and consumer popularity. The fused filament ...