Name: deep neural networks for image-based dietary assessment
Uploaded: 2021-03-13T15:00:00
Duration: 13 min 19 s
Description: Watch this Scientific Journal Video about Deep Neural Networks for Image-Based Dietary Assessment at JoVE.com

著者らは、偽食品画像データセットを提供してくれたオーストラリアのニューカッスル大学のタマラ・ブッハーに感謝したいと考えています。この研究は、欧州連合のHorizon 2020研究およびイノベーションプログラム(助成金番号863059 - FNS-Cloud、769661 - SAAM)によって支えられ、;スロベニア研究庁(助成金番号P2-0098)を含む。欧州連合(EU)とスロベニア研究機関は、この記事の設計、分析、執筆に何の役割も持っていませんでした。

1. ニュートリネットによる食品画像認識
<ol><li>食品画像データセットの取得
	<ol>
<li>食品画像認識モデルの出力となるさまざまな食品や飲料のリストを収集します。一般的な食品や飲料の様々なリストが好ましく、堅牢な食品画像認識モデルのトレーニングが可能になります。</li>
		<li>食品と飲料のリストをテキスト ファイル (たとえば、'txt' や 'csv' ) に保存します。 注: この記事の作成者が使用するテキスト ファイルは、補足ファイル ('food_items.txt') に含まれており、520 のスロベニアの食品のリストが含まれています。</li>
		<li>Google カスタム検索 API44 を使用して各食品の画像をリストからダウンロードし、各食品アイテムの個別のフォルダに保存する Python43 スクリプトを作成またはダウンロードします。 注: この記事の作者が使用する Python スクリプトは、補足ファイル ('download_images.py' にあります。このスクリプトを使用する場合、開発者キー (変数 'developerKey'、Python スクリプト コードの 8 行目) とカスタム検索エンジン ID (変数 'cx'、Python スクリプトコードの 28 行目) を使用している Google アカウントに固有の値に置き換える必要があります。</li>
		<li>ステップ 1.1.3 から Python スクリプトを実行します (例: 'python download_images.py')。</li>
	</ol></li>
	<li>(オプション)食品画像のデータセットのクリーニング
	<ol>
<li>セクション 1.4 と同じ方法で食品画像検出モデルをトレーニングしますが、ステップ 1.1.1 からの出力のリストとは対照的に、2 つの出力 (食品、非食品) のみを使用します。 注:この記事の著者は、レシピのウェブサイトとImageNetデータセット45 から組み合わせた画像を使用して、食品画像検出モデルを訓練しました。ここでは食品画像認識に焦点を当てており、これは認識データセットを洗浄するためのオプションのステップであるため、詳細は省略されます。代わりに、このアプローチの詳細については、Mezgecら 2を参照してください。</li>
		<li>ステップ 1.1.4 の結果である食品画像データセットで、ステップ 1.2.1 から検出モデルを実行します。</li>
		<li>ステップ 1.2.1 から検出モデルによって非食品としてタグ付けされたすべての画像を削除します。</li>
		<li>食品画像データセットで、他の誤った画像や低品質の画像、および画像の重複を手動で確認します。</li>
		<li>ステップ 1.2.4 で見つかった画像を削除します。</li>
	</ol></li>
	<li>食品画像のデータセットの拡張
	<ol>
<li>CLoDSA ライブラリ46 (含まれている Python スクリプトの 19 行目から 21 行目) を使用して 90° 回転して、食品画像データセットから各画像の新しいバージョンを作成します。 注: この記事の作者が使用する CLoDSA コマンドをすべて含む Python スクリプトは、補足ファイル ('nutrinet_augmentation.py' に含まれるファイルにあります。このスクリプトを使用する場合、入力パス (変数 'INPUT_PATH'、Python スクリプト コードの 8 行目) と出力パス (Python スクリプト コードの変数 'OUTPUT_PATH' 行 11) は、目的のフォルダーへのパスに置き換える必要があります。</li>
		<li>CLoDSA ライブラリを使用して 180° 回転して、食品画像データセットから各画像の新しいバージョンを作成します (含まれている Python スクリプトの 19 行目から 21 行目)。</li>
		<li>CLoDSA ライブラリを使用して 270° 回転して、食品画像データセットから各画像の新しいバージョンを作成します (含まれている Python スクリプトの 19 行目から 21 行目)。</li>
		<li>CLoDSA ライブラリを使用して水平方向に反転して、食品画像データセットから各画像の新しいバージョンを作成します (含まれている Python スクリプトの 23 行目と 24 行目)。</li>
		<li>CLoDSA ライブラリ (含まれている Python スクリプトの 26 行目と 27 行目) を使用して、ランダムカラー ノイズを追加して、食品画像データセットから各画像の新しいバージョンを作成します。</li>
		<li>CLoDSA ライブラリを使用して 25% 拡大して、食品画像データセットから各画像の新しいバージョンを作成します (含まれている Python スクリプトの 29 行目と 30 行目)。</li>
		<li>手順 1.3.1~ 1.3.6 の画像を元の画像 (含まれている Python スクリプトの 16 行目と 17 行目) と共に、新しい食品画像データセットに保存します (合計で、食品画像あたり 7 つのバリエーション)。これは、含まれている Python スクリプトの 32 行目でコマンドを実行することによって行われます。</li>
	</ol></li>
	<li>食品画像認識の実行
	<ol>
<li>NVIDIA DIGITS ユーザーインターフェイスで、データセットをトレーニング、検証、テストのサブセットに分割して、ステップ 1.3.7 から食品画像データセットを NVIDIA DIGITS環境 47にインポートします。</li>
		<li>NutriNet アーキテクチャ2 の定義テキストをコピーして、カスタム ネットワークとして NVIDIA DIGITS に貼り付けます。 注: NutriNet アーキテクチャ定義テキストは、補足ファイル ('nutrinet.prototxt') にあります。</li>
		<li>(オプション)NVIDIA DIGITS ユーザー インターフェイスでトレーニング ハイパーパラメーターを定義します。 注: ハイパーパラメーターは、トレーニングプロセスの開始前に定義するために使用されるパラメーターです。この記事の作成者が使用するハイパーパラメーターは、補足ファイル ('nutrinet_hyperparameters.prototxt') に含まれるファイルにあります。最適なハイパーパラメーターを見つけるために各データセットに実験が必要ですが、ファイルには NVIDIA DIGITS ユーザー インターフェイスにコピーできるハイパーパラメーター構成が含まれています。さらに、NVIDIA DIGITS は、ベースラインとして使用できるデフォルト値をハイパーパラメーターに設定します。したがって、この手順はオプションです。</li>
		<li>ニュートリネットモデルのトレーニングを実行します。</li>
		<li>トレーニングが完了したら、最もパフォーマンスの高い NutriNet モデルのイテレーションを取ります。このモデルは、このアプローチのパフォーマンスをテストするために使用されます。 注: 最適なモデルイテレーションを決定するには、複数の方法があります。これを行う簡単な方法は次のとおりです。NVIDIA DIGITSは、各トレーニングエポックの精度測定のグラフを出力します。食品画像データセットの検証サブセットの最低損失値を達成したエポックを確認します。最適なモデル反復を決定する場合のオプションの手順は、トレーニングサブセットの損失値がエポックからエポックに変化し、検証サブセットの損失値が同じまままたは継続的に上昇している間に継続的に低下し始める場合、トレーニング損失値の低下の前にエポックを取る方法です。</li>
	</ol></li>
</ol>2. FCN による食品画像セグメンテーション
<ol><li>
偽食品画像データセットの取得
	<ol>
<li>偽食品画像のデータセットを取得します。偽食品画像は、食品レプリカを使用して行動研究を行う研究者によって収集されます。 注: この記事の著者は、ラボ環境18で収集された偽の食品の画像を受け取りました。</li>
		<li>ピクセルレベルのすべての食品画像に手動でコメントを付ける - 画像内の各ピクセルは、それが属する食品クラスに関する情報を含む必要があります。このステップの結果は、食品画像データセットの各画像に対して 1 つの注釈画像となり、各ピクセルは食品クラスの 1 つを表します。 注: これを達成するための多くのツールがあります - この記事の著者は、JavaScriptセグメントアノレーター48を使用しました。</li>
	</ol>
</li>
	<li>
偽食品画像データセットの拡張
	<ol>
<li>セクション 1.3 と同じ手順を実行しますが、食品画像データセットのトレーニングサブセットからの画像に対してのみ実行します。 注: ステップ 1.3.5 を除き、対応する注釈イメージに対するすべてのデータ拡張手順も実行する必要があります。セクション 1.3 のスクリプトを使用する場合、入力パス (変数 'INPUT_PATH'、Python43 スクリプト コードの 8 行目) と出力パス (変数 'OUTPUT_PATH'、Python スクリプト コードの 11 行目) を目的のフォルダーへのパスに置き換える必要があります。さらに、問題 (変数 'PROBLEM'、Python スクリプト コードの 6 行目) を 'instance_segmentation' に、アノテーション モード (変数 'ANNOTATION_MODE'、Python スクリプト コードの 7 行目) と出力モード (Python スクリプト コードの変数 'OUTPUT_MODE' 行 10) を 'coco' に設定します。</li>
	</ol>
</li>
	<li>
偽食品画像セグメンテーションの実行
	<ol>
<li>ステップ 1.4.2 を除き、セクション 1.4 と同じステップを実行します。その手順の代わりに、手順 2.3.2 および 2.3.3 を実行します。 注: ハイパーパラメーターは、トレーニングプロセスの開始前に定義するために使用されるパラメーターです。この記事の作成者がオプションのステップ 1.4.3 で使用するトレーニングハイパーパラメータは、補足ファイル ('fcn-8s_hyperparameters.prototxt') に含まれるファイルにあります。各データセットで最適なハイパーパラメーターセットを見つけるためには実験が必要ですが、このファイルには NVIDIA DIGITS47 ユーザー インターフェイスにコピーできるハイパーパラメータ構成が含まれています。さらに、NVIDIA DIGITS は、ベースラインとして使用できるデフォルト値をハイパーパラメーターに設定します。</li>
		<li>FCN-8s アーキテクチャ15 の定義テキストをコピーして、カスタム ネットワークとして NVIDIA DIGITS 環境に貼り付けます。 注: FCN-8s アーキテクチャ定義テキストは GitHub49で一般公開されています。</li>
		<li>事前に訓練された FCN-8s モデルの重み付けへのパスを NVIDIA DIGITS ユーザー・インターフェースに入力します。 注: これらのモデルウェイトは PASCAL VOC データセット17 で事前トレーニング済みで、インターネット49で見つけることができます。</li>
	</ol>
</li>
</ol>3. HTCレスネットによる食品画像セグメンテーション
<ol><li>食品画像データセットの取得
	<ol>
<li>FRCウェブサイト19から食品画像データセットをダウンロードします。</li>
	</ol></li>
	<li>食品画像のデータセットの拡張
	<ol>
<li>ステップ 1.3.1 から 1.3.4 を実行します。 注: この記事の作者が使用する CLoDSA46コマンドをすべて含む Python43スクリプトは、補足ファイル ('frc_augmentation.py') に含まれるファイルにあります。このスクリプトを使用する場合、入力パス (変数 'INPUT_PATH'、Python スクリプト コードの 8 行目) と出力パス (Python スクリプト コードの変数 'OUTPUT_PATH' 行 11) は、目的のフォルダーへのパスに置き換える必要があります。</li>
		<li>CLoDSA ライブラリを使用してガウスブラーを追加して、食品画像データセットから各画像の新しいバージョンを作成します (含まれている Python スクリプトの 26 行目と 27 行目)。</li>
		<li>CLoDSA ライブラリを使用してシャープにして、食品画像データセットから各画像の新しいバージョンを作成します (含まれている Python スクリプトの行 29 と 30)。</li>
		<li>CLoDSA ライブラリを使用してガンマ補正を適用して、食品画像データセットから各画像の新しいバージョンを作成します (含まれている Python スクリプトの行 32 と 33)。</li>
		<li>手順 3.2.1 ~ 3.2.4 の画像を元の画像 (含まれている Python スクリプトの 16 行目と 17 行目) と共に、新しい食品画像データセット (合計で、食品画像あたり 8 種類) に保存します。これは、含まれている Python スクリプトの 35 行目でコマンドを実行することによって行われます。</li>
		<li>手順 3.2.2 ~ 3.2.4 の画像を元の画像 (含まれている Python スクリプトの 16 行目と 17 行目) と共に、新しい食品画像データセット (合計で、食品画像あたり 4 つのバリエーション) に保存します。これは、含まれている Python スクリプトの 19 行目から 24 行目を削除し、35 行目でコマンドを実行することで行われます。</li>
	</ol></li>
	<li>食品画像のセグメンテーションの実行
	<ol>
<li>既存の HTC20 ResNet-101 アーキテクチャ16 定義を、セクションのセクション 'モデル設定' および 'データセット設定' のセクションのアーキテクチャ定義ファイル50 から変更して、手順 3.1.1、3.2.5、および 3.2.6 の食品画像データセットを受け入れるようにします。</li>
		<li>(オプション)ステップ 3.3.1 の HTC ResNet-101 アーキテクチャ定義を変更して、セクション 'データセット設定' のバッチ サイズ、セクション 'オプティマイザ' のソルバータイプと学習率、セクション '学習ポリシー' の学習ポリシー、およびアーキテクチャ定義ファイルのセクション 「ランタイム設定」のトレーニングエポック数を定義します。 注: 変更された HTC ResNet-101 アーキテクチャ定義ファイルは、補足ファイル ('htc_resnet-101.py') にあります。ハイパーパラメーターは、トレーニングプロセスの開始前に定義するために使用されるパラメーターです。各データセットで最適なハイパーパラメーターセットを見つけるためには実験が必要ですが、このファイルには、変更なしで使用できるハイパーパラメーター構成が既に含まれています。したがって、この手順はオプションです。</li>
		<li>MMDetectionライブラリを使用して、ステップ3.1.1から食品画像データセットに対するHTC ResNet-101モデルのトレーニングを実行します(例えば、「python mmdetection/ツール/train.py htc_resnet-101.py」コマンドを使用)。</li>
		<li>ステップ 3.3.3 からのトレーニングが完了したら、最もパフォーマンスの高い HTC ResNet-101 モデルの反復処理を行い、ステップ 3.2.5 から食品画像データセットで次の段階のトレーニングを実行して微調整します。 注: 最適なモデルイテレーションを決定するには、複数の方法があります。これを行う簡単な方法は次のとおりです。MMDetection ライブラリは、コマンド ライン インターフェイスの各トレーニング エポックの精度の測定値を出力します。食品画像データセットの検証サブセットの最低損失値を達成したエポックを確認します。最適なモデル反復を決定する場合のオプションの手順は、トレーニングサブセットの損失値がエポックからエポックに変化し、検証サブセットの損失値が同じまままたは継続的に上昇している間に継続的に低下し始める場合、トレーニング損失値の低下の前にエポックを取る方法です。</li>
		<li>ステップ 3.3.4 からのトレーニングが完了したら、最もパフォーマンスの高い HTC ResNet-101 モデルの反復処理を行い、ステップ 3.2.6 から食品画像データセットで次の段階のトレーニングを実行して微調整します。 注: ステップ 3.3.4 の注を参照してください。</li>
		<li>ステップ 3.3.5 からのトレーニングが完了したら、最もパフォーマンスの高い HTC ResNet-101 モデルの反復処理を行い、ステップ 3.2.5 から食品画像データセットの次の段階のトレーニングを再度実行して微調整します。 注: ステップ 3.3.4 の注を参照してください。</li>
		<li>ステップ 3.3.6 からのトレーニングが完了したら、最もパフォーマンスの高い HTC ResNet-101 モデルのイテレーションを取ります。このモデルは、このアプローチのパフォーマンスをテストするために使用されます。 注: ステップ 3.3.4 の注を参照してください。手順 3.3.3-3.3.7 は、この記事の著者によって定義された目的に最適な結果を得ました。各データセットで、トレーニングとデータ拡張の最適な順序を見つけるためには、実験が必要です。</li>
	</ol></li>
</ol>

著者らは開示するものは何もない。

近年、ディープニューラルネットワークは、食品画像10、11、12、21、23、25、26、29、31、33を認識するための適切なソリューションとして複数回検証されています。この記事で紹介した私たちの仕事は、この1、2をさらに証明するのに役立ちます。単一出力の食品画像認識アプローチは簡単で、食品または飲料アイテムが1つだけの画像が2を期待される簡単なアプリケーションに使用できます。
食品画像セグメンテーションアプローチは、食品の数に制限を設けずに、一般的に食品画像を認識するのに特に適しているようです1.画像の個々のピクセルを分類することで機能するため、画像内の任意の数の食品を認識するだけでなく、食品の場所や大きさを指定することもできます。後者は、特に参照オブジェクトまたは固定距離カメラのいずれかで使用される場合、食品重量の推定を実行するために使用することができます。
食品画像データセット3、22、27、30、36、37、38、39、40、41、42の可用性に関するいくつかの作業が行われ、特に世界中の異なる地域から食品画像データセットを集約することになると、将来的にはさらに多くのことを行い、より堅牢なソリューションを開発できることを願っています。現在、自動食品画像認識ソリューションの精度は人間レベルの精度35に達しておらず、これはサイズと品質が不十分な食品画像データセットの使用によるものと考えられます。
今後は、実際の画像に関する開発手順を評価することが目標です。一般に、このフィールドのデータセットには、制御された環境で撮影された画像や、手動で認識用に最適化された画像が含まれていることがよくあります。そのため、個人が認識したいさまざまな食品や飲料を含む、大規模で多様な実世界の食品画像データセットを収集することが重要です。これに向けた最初のステップは、現実世界の食品画像19のデータセットを含む食品認識チャレンジによって提供されましたが、世界中の食品画像でこのアプローチを検証し、栄養士と協力して、さらなる作業を行う必要があります。

食事評価は、個人の食事の実行可能な領域を決定する上で重要なステップです。しかし、伝統的に手動アプローチを使用して食事評価を行うことは、かなりのコストに関連しています。これらのアプローチは、多くの場合、個人による自己申告に依存しているため、エラーが発生しやすくなります。自動食事評価は、食品摂取量を定量化し、資格を得るためのより簡単な方法を提供することで、これらの問題に対処します。このようなアプローチは、食事の欠席、食品量の正確な評価ができないことなど、手動アプローチに存在するエラーの一部を軽減することもできます。したがって、異なる食品や飲料を識別し、食物摂取量を定量化するソリューションを開発することによって食事評価を自動化することには明らかな利点があります。これらのソリューションは、食品および飲料品目(今後「食品」)の栄養価の推定を可能にするためにも使用できます。その結果、栄養士がより簡単かつ正確に患者の食事を追跡し、分析することを可能にするなど、厳密に医療用途から、一般集団を対象としたウェルウェルアプリ内の使用まで、自動食事評価は複数の用途に役立ちます。
画像から食品を自動的に認識することは、コンピュータビジョンの問題です。これは、食品が一般的に変形可能な物体であり、食品の視覚情報が大量に調製中に失われる可能性があるためです。さらに、異なる食品は互いに非常に類似しているように見え、同じ食品は複数の画像2で実質的に異なっているように見える。また、認識精度は、画質、食品が別の項目によって妨害されているかどうか、画像が撮影された距離など、より多くの要因に依存します。飲料アイテムを認識することは、独自の課題のセットを提示し、主なものは、画像で利用可能な視覚情報の限られた量です。この情報は、飲料の色、飲料容器の色および構造、および、最適な画像条件下で、飲料密度2とすることができる。
画像から食品を認識するためには、各食品・飲料クラスの特徴を学ぶ必要があります。これは従来、手動で定義された機能抽出器3、4、5、6を使用して行われ、色、テクスチャ、サイズなどの特定の項目の機能や、これらの機能の組み合わせに基づいて認識を実行します。これらの機能抽出器の例としては、複数のカーネル学習4、ペアローカル機能5、バッグ オブ フィーチャー モデル6などがあります。食品画像の複雑さのために、これらのアプローチは、主に低分類精度を達成しました - 10%と40%3、4、5の間で。この理由は、手動のアプローチが十分に正確であるほど堅牢ではないためです。食品は外観が大きく異なるため、これらの差異をすべて手動で包含することは不可能です。食品クラスの数が5、または異なる画像特徴を組み合わせて6にした場合、手動で定義された特徴抽出器を使用して、より高い分類精度を達成できるため、この問題に対してより複雑な解決策が必要であることを示しています。
ディープラーニングが食品画像認識の問題に非常に効果的であることが判明したのはこのためです。ディープラーニング、またはディープニューラルネットワークは、生物学的脳に触発され、入力画像7、8のセットのトレーニングを通じて、複数の処理層で構成される計算モデルが自動的に機能を学習することを可能にします。このため、ディープラーニングは、コンピュータビジョンを用いて、その後食品画像認識を用いて、様々な研究分野7における最先端の技術を実質的に改善し、そのうちの1つである2。
特に、深畳み込みニューラルネットワーク(DCNN)は、食品画像認識に最も人気がある - これらのネットワークは、個々のニューロンが視野9の重なり合う領域に反応することによって視覚入力の理解を得ようとする動物の視覚システムに触発される。畳み込みニューラル ネットワークは、入力イメージを取得し、各ネットワーク 層で一連の操作を実行します。畳み込みレイヤーには、入力データの特定のフィーチャに応答する学習可能なフィルターが含まれていますが、完全に接続されたレイヤーは他のレイヤーからの出力データを構成して、より高いレベルの知識を得ることができます。レイヤをプールする目的は、入力データをダウンサンプリングすることです2.ディープ ラーニング モデルを使用する方法として、この記事ではディープ ラーニング アーキテクチャと呼ばれる既存のディープ ニューラル ネットワーク定義10、11、または新しいディープ ラーニング アーキテクチャ12、13を定義し、これらのいずれかのトレーニングを食品画像データセットに対して行う方法の 2 つがあります。両方のアプローチには長所と短所があります - 既存のディープラーニングアーキテクチャを使用する場合、他の問題に対してうまく機能したアーキテクチャを選択して、所望の問題に合わせて微調整できるため、時間を節約し、検証済みのアーキテクチャが確実に選択されるようにすることができます。一方、新しいディープラーニングアーキテクチャを定義することは、より時間のかかるものですが、特に問題の詳細を考慮して、理論的には、その問題に対してより良いパフォーマンスを発揮するように作られたアーキテクチャの開発を可能にします。
この記事では、両方のアプローチを紹介します。食品画像認識の問題のために、我々はNutriNet2と呼ばれる新しいDCNNアーキテクチャを開発しました。AlexNetと比較して2つの主な違いがあります:NutriNetは512x512ピクセルの画像を入力として受け入れ(AlexNetの場合は256x256ピクセルの画像とは対照的)、NutriNetはニューラルネットワークの最初に追加の畳み込みレイヤーを持っています。この 2 つの変更は、できるだけ多くの情報を認識データセット 画像から抽出するために導入されました。高解像度の画像を持つことは、画像に関するより多くの情報が存在し、より多くの畳み込み層を持つことを意味し、画像から追加の知識を抽出できることを意味しました。AlexNetの約6,000万のパラメータと比較すると、NutriNetには約3,300万個のパラメータが含まれています。これは、追加の畳み込み層2によって生じる最初の完全に接続された層における次元性の違いによる。 図 1 に NutriNet アーキテクチャの図を示します。NutriNetモデルのトレーニングに使用された食品画像は、インターネットから収集されました - 手順はプロトコルテキストに記載されています。
食品画像セグメンテーションの問題では、完全畳み込みネットワーク(FCN)15と深い残留ネットワーク(ResNet)16の2つの異なる既存のアーキテクチャを使用しました。ロングらによって導入された複数のFCNバリアントがあります:FCN-32s、FCN-16sおよびFCN-8s15.FCN-32s は FCN の最終レイヤーの予測に基づいてピクセル マップを出力しますが、FCN-16s バリアントはこれらの予測を以前のレイヤーの予測と組み合わせます。FCN-8sはさらに別の層の予測を考慮し、したがって、それが食品画像認識に適している理由である、最高級の穀物で予測を行うことができます。私たちが使用したFCN-8は、PASCALビジュアルオブジェクトクラス(PASCAL VOC)データセット17で事前に訓練され、実際の食品に視覚的に似ていることと、ピクセルレベルでの実際の食品のコメント画像の欠如のために、食品レプリカ(今後「偽の食べ物」)18の画像で訓練され、テストされました。偽の食べ物は、異なる行動研究で使用され、画像は、すべての研究参加者からのすべての料理のために撮影されています.これらの画像の食品コンテンツが既知であるため、ディープラーニングモデルのトレーニングに役立つ画像データセットを作成します。データセットの処理手順は、プロトコル テキストで説明されています。
レスネットベースのソリューションは、食品認識チャレンジ(FRC)19の範囲で開発されました。これは、ResNet-10116バックボーンを持つハイブリッド タスク カスケード (HTC)20メソッドを使用します。これは、異なる特徴抽出器、またはバックボーンを使用できる画像セグメンテーションの問題に対する最先端のアプローチです。他のバックボーンネットワーク、特にResNet-5016などの他のResNetバリアントも検討しましたが、その深さと複雑な方法で入力画像を表現する能力のために、ResNet-101が最も適していました。HTC ResNet-101 モデルのトレーニングに使用されるデータセットは、拡張画像を追加した FRC データセットでした。これらの拡張は、プロトコルテキストで示されます。
この記事は、食品画像認識とセグメンテーションの問題に対してどのディープラーニングアーキテクチャとデータ拡張ステップがうまく機能するかについての情報を探している機械学習の専門家のためのリソースとして、また、食事評価で使用するための食品画像認識を自動化するために私たちのアプローチを使用しようとしている栄養研究者のためのリソースとして意図されています。以下の段落では、食品画像認識分野のディープラーニングソリューションとデータセットを紹介しています。プロトコルテキストでは、3つのアプローチのそれぞれが、自動食事評価に使用できるディープニューラルネットワークモデルを訓練するためにどのように使用されたかを詳しく説明します。さらに、各プロトコル セクションには、トレーニングとテストに使用される食品画像データセットがどのように取得および処理されたかについて説明します。
DCNは一般的に、食品画像認識とセグメンテーションのための他の方法よりも大幅に良い結果を達成しました, この分野での最近の研究の大半は、これらのネットワークに基づいている理由です.河野らは、DCNNを使用して手動アプローチ21を補完し、UEC-FOOD100データセット22で72.26%の分類精度を達成した。クリストドゥリディスらは、自己取得データセット23で84.90%の高い精度を達成するためにそれらを独占的に使用しました。タンノらは、ディープFoodCamを開発しました - DCNN24を使用する食品画像認識のためのスマートフォンアプリ.劉らは、DCN25を使用してモノのインターネットベースの食事評価を行うシステムを提示した。Martinelら. 食品画像26の詳細を利用するDCNNベースのアプローチを導入し、Food-101データセット27で90.27%の精度を報告した。周らは、食品領域28におけるディープラーニングソリューションのレビューを作成しました。
最近、Zhaoらは、モバイルアプリケーション29における食品画像認識専用のネットワークを提案した。このアプローチでは、より大きな「教師」ネットワークから学習する、より小さな「学生」ネットワークを使用します。それにより、UEC-FOOD25630で84%の精度とFood-101データセット27で91.2%の精度を達成することができました。Hafizらは、飲料のみの画像認識溶液を開発するためにDCNNを使用し、98.51%31の非常に高い精度を報告した。下田らは、画素性注釈32を用いずに食品画像中のプレート領域を検出する新しい方法を説明した。Ciocca et al. は、11の異なる状態(固体、スライス、クリーミーペーストなど)の20種類の食品クラスの食品を含む新しいデータセットを導入し、食品クラス33に加えて、食品状態を認識できるトレーニング認識モデルのアプローチを提示した。Knezら. モバイルデバイス用の食品画像認識ソリューションを評価する。最後に、Furtadoらは、人間の視覚システムがDCNの性能と比較する方法に関する研究を行い、人間の認識は依然として80%対74.5%35の精度でDCNを上回ることを発見した。著者らは、少数の食品クラスでは、DCNは良好に機能するが、数百のクラスを持つデータセットでは、人間の認識精度が35高く、問題の複雑さを強調していると指摘した。
最先端の結果にもかかわらず、ディープラーニングには大きな欠点があり、モデルをトレーニングするには大きな入力データセットが必要です。食品画像認識の場合、大きな食品画像データセットが必要であり、このデータセットは、できるだけ多くの異なる現実世界のシナリオを包含する必要があります。実際には、個々の食品または飲料アイテムごとに、大量の画像が必要であり、データセットにできるだけ多くの異なるアイテムを存在する必要があることを意味します。データセット内の特定のアイテムに対して十分な画像がない場合、そのアイテムが正常に認識される可能性は低くなります。一方、データセットでカバーされる項目が少数の場合、ソリューションの範囲は限定され、一握りの異なる食品や飲料しか認識できません。
過去に複数のデータセットが利用可能になりました。ピッツバーグファーストフード画像データセット(PFID)3は、食品画像認識の分野でより多くの研究を奨励するために導入されました。電気通信食品100(UEC-FOOD100)22と電気通信食品256(UEC-FOOD256)30データセットには日本料理が含まれ、UEC-FOOD256データセットの場合には一部の国際料理で拡大されています。Food-101 データセットには、ウェブサイト27から入手した人気の料理が含まれています。Food-5036およびビデオ検索グループ食品172(VireoFood-172)37データセットは、中国ベースの食品画像のコレクションです。ミラノ・ビコッカ大学2016(UNIMIB2016)データセットは、イタリアの食堂38からの食品トレイの画像で構成されています。Recipe1M は、調理レシピと食品画像39の大規模なデータセットです。Food-475 データセット40は、以前に公開された 4 つの食品画像データセット27、30、36、37を 1 つに収集します。 北京技術とビジネス大学食品60(BTBUFood-60)は、食品検出のための画像のデータセットです41.最近、ISIA Food-500データセット42の雑食画像が利用可能になりました。他の一般に公開されている食品画像データセットと比較して、500の食品クラスに分けられた多数の画像を含み、マルチメディア食品認識ソリューション42の開発を進めることを意図している。

<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td>HARDWARE</td>
			<td></td>
			<td></td>
			<td></td>
		</tr>
		<tr>
			<td>NVIDIA GPU</td>
			<td>NVIDIA</td>
			<td>N/A</td>
			<td>An NVIDIA GPU is needed as some of the software frameworks below will not work otherwise. https://www.nvidia.com</td>
		</tr>
		<tr>
			<td>SOFTWARE</td>
			<td></td>
			<td></td>
			<td></td>
		</tr>
		<tr>
			<td>Caffe</td>
			<td>Berkeley AI Research</td>
			<td>N/A</td>
			<td>Caffe is a deep learning framework. https://caffe.berkeleyvision.org</td>
		</tr>
		<tr>
			<td>CLoDSA</td>
			<td>J&#243;nathan Heras</td>
			<td>N/A</td>
			<td>CLoDSA is a Python image augmentation library. https://github.com/joheras/CLoDSA</td>
		</tr>
		<tr>
			<td>Google API Client</td>
			<td>Google</td>
			<td>N/A</td>
			<td>Google API Client is a Python client library for Google&#39;s discovery based APIs. https://github.com/googleapis/google-api-python-client</td>
		</tr>
		<tr>
			<td>JavaScript Segment Annotator</td>
			<td>Kota Yamaguchi</td>
			<td>N/A</td>
			<td>JavaScript Segment Annotator is a JavaScript image annotation tool. https://github.com/kyamagu/js-segment-annotator</td>
		</tr>
		<tr>
			<td>MMDetection</td>
			<td>Multimedia Laboratory, CUHK</td>
			<td>N/A</td>
			<td>MMDetection is an object detection toolbox based on PyTorch. https://github.com/open-mmlab/mmdetection</td>
		</tr>
		<tr>
			<td>NVIDIA DIGITS</td>
			<td>NVIDIA</td>
			<td>N/A</td>
			<td>NVIDIA DIGITS is a wrapper for Caffe that provides a graphical web interface. https://developer.nvidia.com/digits</td>
		</tr>
		<tr>
			<td>OpenCV</td>
			<td>Intel</td>
			<td>N/A</td>
			<td>OpenCV is a library for computer vision. https://opencv.org</td>
		</tr>
		<tr>
			<td>Python</td>
			<td>Python Software Foundation</td>
			<td>N/A</td>
			<td>Python is a programming language. https://www.python.org</td>
		</tr>
		<tr>
			<td>PyTorch</td>
			<td>Facebook AI Research</td>
			<td>N/A</td>
			<td>PyTorch is a machine learning framework. https://pytorch.org</td>
		</tr>
		<tr>
			<td>Ubuntu OS</td>
			<td>Canonical</td>
			<td>N/A</td>
			<td>Ubuntu 14.04 is the OS used by the authors and offers compatibility with all of the software frameworks and tools above. https://ubuntu.com</td>
		</tr>
	</tbody>
</table>

deep neural networks for image-based dietary assessment

手動による食事評価アプローチに関連する問題とコストのために、自動化されたソリューションは、作業を容易かつ迅速化し、その品質を向上させるために必要とされます。今日、自動化されたソリューションは、スマートフォンのカメラで画像を撮るなど、はるかに簡単な方法で人の食事摂取量を記録することができます。今回は、このような画像ベースの食事評価手法に焦点を当てます。食品画像認識問題では、近年、ディープニューラルネットワークが最先端を実現しており、この分野での研究を紹介しています。特に、まず、NutriNetと呼ばれるディープニューラルネットワークアーキテクチャを用いて、食品や飲料の画像認識方法について説明します。この方法は、ディープラーニングベースの食品画像認識の初期に行われたほとんどの研究と同様に、画像ごとに1つの出力に制限されているため、複数の食品または飲料アイテムを持つ画像には適していません。そのため、食品画像のセグメンテーションを実行するアプローチは、画像内の任意の数の食品や飲料アイテムを識別することができるため、かなり堅牢です。したがって、食品画像のセグメンテーションには、完全に畳み込みネットワーク(FCN)に基づく方法と、深い残留ネットワーク(ResNet)に基づく方法の2つも提示します。

NutriNet は、当時の 3 つの一般的なディープ ラーニング アーキテクチャに対してテストされました: AlexNet14、 GoogLeNet51とレスネット16.また、すべてのアーキテクチャについて複数のトレーニング パラメータをテストし、最適な値を 2に定義します。これらの中には、損失関数を最小化する方法を決定するソルバータイプの選択があります。この関数は、分類精度よりもトレーニング中の最適化に適しているので、ニューラルネットワークのトレーニングに対する主要な品質尺度です。確率的勾配降下(SGD)52、ネステロフの加速勾配(NAG)53、適応型グラデーションアルゴリズム(AdaGrad)54の3つのソルバをテストしました。2 番目のパラメーターはバッチ サイズで、同時に処理されるイメージの数を定義します。ディープラーニングアーキテクチャの深さは、より深いアーキテクチャがGPUメモリのより多くのスペースを必要とするため、このパラメータの価値を決定しました - このアプローチの結果、メモリは深さに関係なく、すべてのアーキテクチャの画像で完全に満たされていました。3 番目のパラメーターは学習速度で、トレーニング中にニューラル ネットワーク パラメータが変更される速度を定義します。このパラメータは、同時に処理されるイメージの数が収束率を決定するので、バッチサイズと一緒に設定されました。AlexNetモデルは、256の画像のバッチサイズと0.02の基本学習率を使用して訓練されました。NutriNet は、128 枚の画像と 0.01 のレートのバッチ サイズを使用しました。グーグルネット64画像と0.005のレート。ResNet 16の画像と0.00125のレート。他の3つのパラメータは、すべてのアーキテクチャに対して修正されました:学習率ポリシー(ステップダウン)、ステップサイズ(30%)ガンマ (0.1)これらのパラメータは、各エポックにおける学習速度の変化を共同で記述します。このアプローチの背後にある考え方は、最適な損失値に近づくほどモデルを微調整するために学習率が徐々に低下しているということです。最後に、すべてのディープラーニングアーキテクチャ2に対して、トレーニングエポックの数も150に固定されました。
NutriNetが達成したすべてのパラメータの中で最も良い結果は、認識データセットの分類精度が86.72%であり、これはAlexNetの最良の結果よりも約2%高く、GoogLeNetの最良の結果よりもわずかに高かった。全体的に最もパフォーマンスの高いアーキテクチャはResNet(約1%)でしたが、ResNetのトレーニング時間はNutriNet(約5倍)と比較して大幅に高く、精度と認識可能な食品の数を改善するためにモデルが継続的に再訓練される場合に重要です。NutriNet、アレックスネット、グーグルネットはAdaGradソルバーを使用して最高の結果を達成しましたが、レスネットの最高のモデルはNAGソルバーを使用しました。NutriNetは、一般に公開されているUNIMIB2016食品画像データセット38でもテストされました。このデータセットには、73種類の食品の3,616画像が含まれています。NutriNet は、このデータセットで 86.39% の認識精度を達成し、データセットの作成者のベースライン認識結果をわずかに上回りましたが、85.80% でした。さらに、NutriNetは115種類の食品および飲料アイテムの200の実世界の画像の小さなデータセットでテストされ、NutriNetは55%のトップ5精度を達成しました。
FCN-8sの偽食品画像セグメンテーションモデルをトレーニングするために、このタスクに最適なパフォーマンスを発揮したAdam55 をソルバータイプとして使用しました。基本学習率は非常に低く設定されました - 0.0001に。この数が少ない理由は、一度に 1 つの画像しか処理できないという事実であり、これはピクセルレベルの分類プロセスの結果です。このアプローチの GPU メモリ要件は、画像レベルの分類よりも大幅に大きくなります。したがって、パラメータがあまり速く変更されず、最適でない値に収束しないように、学習率を低く設定する必要がありました。トレーニングエポックの数は100に設定され、学習率ポリシー、ステップサイズ、ガンマはそれぞれステップダウン、34%、0.1に設定され、これらのパラメータは最も正確なモデルを生成しました。
FCN-8sモデルの精度測定は、従来のディープラーニングネットワークの分類精度に類似したピクセル精度測定15を使用して行いましたが、主な違いは、精度が画像レベルではなくピクセルレベルで計算されることです。
<img alt="Equation 1" src="/files/ftp_upload/61906/61906eq01.jpg">
ここでPAはピクセル精度の尺度であり、nijはクラスjに属すると予測されたクラスiからのピクセル数であり、ti =Σj nijはグラウンドトゥルースラベル1のクラスからの総ピクセル数である。つまり、ピクセル精度の測定は、正しく予測されたピクセルをピクセルの合計数で割ることによって計算されます。訓練されたFCN-8sモデルの最終精度は92.18%でした。図 2は、偽食品画像データセットの 3 つのサンプル 画像 (各トレーニング、検証、テストサブセットから 1 つずつ) と、対応するグラウンドトゥルースとモデル予測ラベルを示しています。
食品画像のセグメンテーション用に HTC20 ResNet-101 モデルをトレーニングするためのパラメータは次のように設定されました: 他のソルバー タイプを上回るため、使用されるソルバーの種類は SGD でした。基本学習率は 0.00125 に設定され、バッチ サイズは 2 つの画像に設定されました。トレーニングエポックの数はトレーニングフェーズごとに40に設定され、複数のトレーニングフェーズが実行されました - 最初に拡張画像のない元のFRCデータセットで、次に8x拡張FRCデータセットと4x拡張FRCデータセットを交互に複数回実行し、毎回最高のパフォーマンスを発揮するモデルを取り、次のトレーニングフェーズで微調整します。トレーニングフェーズの詳細については、プロトコルテキストのセクション3.3を参照してください。最後に、ステップダウン学習ポリシーが使用され、学習率が低下したときの固定エポック(最初のトレーニングフェーズではエポック28と35)が使用されました。注意すべき重要なことは、この一連のトレーニングフェーズがFRCの範囲でのテストで最良の結果を生み出しましたが、別のデータセットを使用するには、最適な結果を生成するために異なるシーケンスが必要になる可能性があることです。
食品画像セグメンテーション用のこのResNetベースのソリューションは、次の精度測定19を用いて評価した。
<img alt="Equation 2" src="/files/ftp_upload/61906/61906eq02.jpg">
Pは精度、TPは食品画像セグメンテーション モデルによる真正予測の数、FPは誤検出予測の数、IoUは Union 上の交差値で、次の式で計算されます。
<img alt="Equation 3" src="/files/ftp_upload/61906/61906eq03.jpg">
ここで、重なりの面積は、地面の真理と重複するモデルによる予測の数を表し、ユニオンの面積は、ピクセルレベルと個々の食品クラスの両方で、地面の真理と一緒にモデルによる予測の合計数を表します。リコールは二次的なメジャーとして使用され、同様の方法で計算されます。
<img alt="Equation 4" src="/files/ftp_upload/61906/61906eq04.jpg">
ここで 、R はリコール 、FN は食品画像セグメンテーションモデルによる偽陰性予測の数です。精度とリコールの測定は、地上の真実のすべてのクラスで平均化されます。これらの対策を用いて、当社のモデルは平均精度59.2%、平均リコール82.1%を達成し、食品認識チャレンジ19の第2ラウンドで2位にランクされました。この結果は、平均精度測定で1位から4.2%、3位を5.3%上回りました。 表 1 に、コンペティションの上位 4 名の参加者の結果を示します。
<img alt="Figure 1" class="xfigimg" src="/files/ftp_upload/61906/61906fig01.jpg"> 図1: NutriNet ディープニューラルネットワークアーキテクチャの図 この図は、Mezgecら2に掲載されています。 <a href="https://www.jove.com/files/ftp_upload/61906/61906fig01large.jpg" target="_blank">この図の大きなバージョンを表示するには、ここをクリックしてください。</a>
<img alt="Figure 2" class="xfigimg" src="/files/ftp_upload/61906/61906fig02.jpg"> 図2: 偽食品画像データセットからの画像 オリジナルの画像(左)、手動でラベル付けされたグラウンドトゥルースラベル(中央)、FCN-8sモデルからの予測(右)。この図は、Mezgecら1に掲載されています。 <a href="https://www.jove.com/files/ftp_upload/61906/61906fig02large.jpg" target="_blank">この図の大きなバージョンを表示するには、ここをクリックしてください。</a>
<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always"><tbody>
<tr>
<td>チーム名</td>
			<td>配置</td>
			<td>平均精度</td>
			<td>平均リコール</td>
		</tr>
<tr>
<td>ルスフェテ</td>
			<td>1</td>
			<td>63.4%</td>
			<td>88.6%</td>
		</tr>
<tr>
<td>simon_mezgec</td>
			<td>2</td>
			<td>59.2%</td>
			<td>82.1%</td>
		</tr>
<tr>
<td>アリンボウ</td>
			<td>3</td>
			<td>53.9%</td>
			<td>73.5%</td>
		</tr>
<tr>
<td>潜在性</td>
			<td>4</td>
			<td>48.7%</td>
			<td>71.1%</td>
		</tr>
</tbody></table>表1:食品認識チャレンジの第2ラウンドのトップ4結果。 平均精度は、プライマリ パフォーマンス メジャーと平均リコールとしてセカンダリ メジャーとして取られます。結果は公式の競争リーダーボード19から取られる。
補助ファイル。<a href="https://www.jove.com/files/ftp_upload/61906/simon_mezgec_supplemental_files_revision1_.zip" target="_blank">このファイルをダウンロードするには、ここをクリックしてください。</a>

Watch this Scientific Journal Video about Deep Neural Networks for Image-Based Dietary Assessment at JoVE.com

Deep Neural Networks for Image-Based Dietary Assessment

この記事で紹介する作業の目的は、モバイルデバイスで撮影した画像から食品や飲料の商品を自動的に認識する技術を開発することです。この技術は2つの異なるアプローチで構成されています - 最初のものは食品画像認識を行い、2つ目は食品画像セグメンテーションを行います。

画像ベースの食事評価のためのディープニューラルネットワーク

Due to the issues and costs associated with manual dietary assessment approaches, automated solutions are required to ease and speed up the work and ...

手動による食事評価アプローチに関連する問題とコストのために、自動化されたソリューションは、作業を容易かつ迅速化し、その品質を向上させるために必要とされます。今日、自動化されたソリューションは、スマートフォンのカメラで画像を撮るなど、はるかに簡単な方法で人の食事摂取量を記録することができます。本稿では、この分野における最先端のニューラルネットワークを用いた、このような画像ベースのアプローチに焦点を当てます。特に、食品画像認識用、食品レプリカの画像セグメンテーション用、偽食品用、本物の食品の画像セグメンテーション用の3つのソリューションを紹介します。食品画像認識モデルの出力となるさまざまな食品や飲料のリストを収集します。食品や飲料のリストを TXT や CSV などのテキスト ファイルに保存します。この記事の作者が使用するテキスト ファイルは、食品ドット TXT の下の補足ファイルに含まれており、520 スロベニアの食品のリストが含まれていることに注意してください。Google カスタム検索 API を使用して、各食品の画像をリストからダウンロードし、各食品アイテムの個別のフォルダに保存する Python スクリプトを作成またはダウンロードします。この記事の作者が使用する Python スクリプトは、ダウンロードイメージドット pi の下の補助ファイルにあります。このスクリプトを使用する場合、Python スクリプト コードの開発者キー変数開発者キー行 8 と、Python スクリプト コードのカスタム検索エンジン ID 変数 CX 行 28 を使用している Google アカウントに固有の値に置き換える必要があります。ステップ 1.1.3 から Python スクリプトを実行します。CLoDSA ライブラリを使用して、90 度回転して、食品画像データ セットから各画像の新しいバージョンを作成します。この記事の作者が使用するすべての CLoDSA コマンドを含む Python スクリプトは、NutriNet アンダースコア拡張ドット pi の補足ファイルに含まれるファイルに含まれていることに注意してください。CLoDSA ライブラリを使用して、食品画像データ セットから 180 度回転して、各画像の新しいバージョンを作成します。CLoDSA ライブラリを使用して、食品画像データ セットから 270 度回転して、各画像の新しいバージョンを作成します。CLoDSA ライブラリを使用して、水平方向に反転して、食品画像データ セットから各画像の新しいバージョンを作成します。CLoDSA ライブラリを使用して、ランダムカラーノイズを追加して、食品画像データセットから各画像の新しいバージョンを作成します。CLoDSA ライブラリを使用して 25% 拡大して、食品画像データ セットから各画像の新しいバージョンを作成します。手順 1.3.1 ~ 1.3.6 の画像を元の画像と共に新しい食品画像データ セットに保存します。合計で、食品画像あたり7つの変種。ステップ 1.3.7 から食品画像データ・セットを NVIDI 桁環境にインポートし、データ・セットをトレーニング、検証、およびテストのサブセットに分割します。NutriNet アーキテクチャの定義テキストをコピーして NVIDIA の数字に貼り付けます。NutriNet アーキテクチャ定義は、NutriNet ドット proto TXT の補足ファイルにあります。必要に応じて、NVIDIA の数字でトレーニングハイパーパラメーターを定義するか、デフォルト値を使用します。この記事の作者が使用するハイパーパラメータは、NutriNetの下の補足ファイルに含まれるファイルに含まれています ハイパーパラメータードット proto TXT.ニュートリネットモデルのトレーニングを実行します。トレーニングが完了したら、最もパフォーマンスの高い NutriNet モデルのイテレーションを取ります。このモデルは、このアプローチのパフォーマンスをテストするために使用されます。最適なモデルイテレーションを決定する方法は複数あります。詳細については、記事のテキストを参照してください。偽の食品画像のデータセットを取得します。この記事の著者は、ラボ環境で収集された偽の食品の画像を受け取りました。ピクセルレベルのすべての食品画像に手動でコメントを付けます。画像の各ピクセルには、そのピクセルがどの食品クラスに属しているかに関する情報が含まれている必要があります。これを実現するための多くのツールがあることに注意してください。この記事の著者は、JavaScript セグメントアノターを使用しました。このステップの結果は、食品画像データセットの各画像に対して1つの注釈画像となり、各ピクセルは食品クラスの1つを表します。セクション 1.3 と同じ手順を実行しますが、食品画像データ セットのトレーニング サブセットからのイメージに対してのみ実行します。ステップ 1.3.5 を除き、対応する注釈イメージに対するすべてのデータ拡張手順も実行する必要があります。ステップ 1.4.2 を除いて、セクション 1.4 と同じステップを実行します。そのステップの代わりに、ステップ 2.3.2 および 2.3.3 を実行します。この記事の作者が使用するトレーニングハイパーパラメータは、FCN-8Sアンダースコアのハイパーパラメータドットproto TXTの下の補助ファイルに含まれているファイルに含まれていることに注意してください。FCN-8S アーキテクチャの定義テキストをコピーして、NVIDIA の数字に貼り付けます。事前トレーニング済み FCN-8S モデルの重みを NVIDIA の数字に入力します。これらのモデルの重みは、Pascal ビジュアルオブジェクトクラスのデータセットで事前にトレーニングされており、インターネット上で見つけることができます。食品認識チャレンジのウェブサイトから、食品画像のデータセットをダウンロードしてください。ステップ 1.3.1 から 1.3.4 を実行します。この記事の作者が使用するすべての CLoDSA コマンドを含む Python スクリプトは、FRC アンダースコアオーグメントドット pi の補足ファイルに含まれているファイルに含まれていることに注意してください。CLoDSA ライブラリを使用して、ガウス ブラーを追加して、食品画像データ セットから各画像の新しいバージョンを作成します。CLoDSA ライブラリを使用して、シャープ化して、食品画像データ セットから各画像の新しいバージョンを作成します。CLoDSA ライブラリを使用して、食品画像データ セットから新しいバージョンの各画像を作成し、ガンマ補正を適用します。ステップ 3.2.1 から 3.2.4 までの画像を元の画像と共に新しい食品画像データ セットに保存します。合計で、食品画像あたり8つの変種。ステップ 3.2.2 ~ 3.2.4 の画像を元の画像と共に、新しい食品画像データ セットに保存します。合計で、食品画像ごとに4つの変種。既存の HTC ResNet 101 アーキテクチャ定義を MM 検出ライブラリから変更して、手順 3.1.1、3.2.5、および 3.2.6 の食品イメージ データ セットを受け入れるようにします。必要に応じて、ステップ 3.3.1 から HTC ResNet 101 アーキテクチャ定義を変更して、トレーニングハイパーパラメーターを定義するか、デフォルト値を使用します。変更された HTC ResNet 101 アーキテクチャ定義は、HTC アンダースコア ResNet 101 ドット pi の下の補足ファイルに含まれています。MM検出ライブラリを使用して、ステップ3.1.1から食品画像データセットに対してHTC ResNet 101モデルのトレーニングを実行します。ステップ 3.3.3 からのトレーニングが完了したら、最もパフォーマンスの高い HTC ResNet 101 モデルの反復処理を行い、ステップ 3.2.5 から食品画像データ セットに対する次の段階のトレーニングを実行して微調整します。最適なモデルイテレーションを決定する方法は複数あります。詳細については、記事のテキストを参照してください。これは、次の手順にも関連しています。ステップ 3.3.4 からのトレーニングが完了したら、最もパフォーマンスの高い HTC ResNet 101 モデルの反復処理を行い、ステップ 3.2.6 から食品画像データ セットの次の段階のトレーニングを実行して微調整します。ステップ 3.3.5 からのトレーニングが完了したら、最もパフォーマンスの高い HTC ResNet 101 モデルの反復処理を行い、ステップ 3.2.5 から食品画像データ セットの次の段階のトレーニングを再度実行して微調整します。ステップ 3.3.6 からのトレーニングが完了したら、最もパフォーマンスのよい HTC ResNet 101 モデルの反復を取ります。このモデルは、このアプローチのパフォーマンスをテストするために使用されます。手順 3.3.3 ~ 3.3.7 は、この記事の作者が定義した目的に最適な結果を得られたことに注意してください。各データ セットで、トレーニングとデータ拡張の最適な順序を見つけるためには、実験が必要です。トレンドモデルのテスト後、NutriNetは認識データセットで86.72%の分類精度を達成しました。FCN-8S偽食品画像セグメンテーションモデルの精度を測定するために、画素精度測定を用いた。訓練されたFCN-8Sモデルの精度は92.18%食品画像セグメンテーションのためのResNetベースのソリューションは、食品認識チャレンジで定義された精度測定を使用して評価されました。この測定を用いて、列車モデルは食品認識チャレンジで2位にランクされた59.2%の平均精度を達成しました。近年、ディープニューラルネットワークは、食品画像を認識するための適切なソリューションとして複数回検証されています。この記事で紹介した私たちの仕事は、これをさらに証明するのに役立ちます。単一出力の食品画像認識アプローチは簡単で、簡単なアプリケーションに使用できます。食品画像のセグメンテーションアプローチでは、コメント付き画像を作成する作業が増えますが、実際の画像にははるかに適用可能です。今後の目標は、現実世界の画像に関する開発された手順をさらに評価することです。現実世界の検証に向けた最初のステップは、現実世界の食品画像のデータセットを含む食品認識チャレンジによって提供されました。しかし、世界中の食べ物のイメージと栄養士と協力して、このアプローチを検証するために、さらなる作業を行う必要があります。

Research

JoVE Journal

Engineering

Concurrent Quantitative Conductivity and Mechanical Properties Measurements of Organic Photovoltaic Materials using AFM

同時定量伝導率およびAFMを用いた有機太陽電池材料の機械的特性の測定

Organic photovoltaic  (OPV) materials are inherently inhomogeneous at the nanometer scale. Nanoscale  inhomogeneity of OPV materials affects performance ...

Detection and Recovery of Palladium, Gold and Cobalt Metals from the Urban Mine Using Novel Sensors/Adsorbents Designated with Nanoscale Wagon-wheel-shaped Pores

検出とパラジウムの回収は、都市鉱山からの金やコバルト金属は、ナノスケールワゴンホイール形の細孔を有する指定小説センサ/吸着剤を使用しました

Developing low-cost, efficient processes for recovering and recycling palladium, gold and cobalt metals from urban mine remains a significant challenge in ...

Preparation of Liquid Crystal Networks for Macroscopic Oscillatory Motion Induced by Light

巨視的揺動運動の光によって誘起される液晶ネットワークの準備

A strategy based on doped liquid crystalline networks is described to create mechanical self-sustained oscillations of plastic films under continuous ...

Indoor Experimental Assessment of the Efficiency and Irradiance Spot of the Achromatic Doublet on Glass (ADG) Fresnel Lens for Concentrating Photovoltaics

Indoor Experimental Assessment of the Efficiency and Irradiance Spot of the Achromatic Doublet on Glass ADG Fresnel Lens for Concentrating Photovoltaics

効率と集中太陽光発電用ガラス (ADG) フレネル レンズの色消しの放射照度場所の屋内の実験的評価

We present a method to characterize achromatic Fresnel lenses for photovoltaic applications. The achromatic doublet on glass (ADG) Fresnel lens is ...

Applicability Analysis of Assessment Methods for Morphological Parameters of Corroded Steel Bars

鉄筋腐食分布の形態学的パラメーターの評価法の適用性について分析

The irregular and uneven residual sections along the length of a corroded steel bar substantially change its mechanical properties and significantly ...

Impacts of Free-falling Spheres on a Deep Liquid Pool with Altered Fluid and Impactor Surface Conditions

変更された流体とインパクターの表面状態と深い液体プールに自由落下球体の影響

Vertical impacts of spheres on clean water have been the subject of numerous water entry investigations characterizing cavity formation, splash crown ...

Automated Deployment of an Internet Protocol Telephony Service on Unmanned Aerial Vehicles Using Network Functions Virtualization

ネットワーク機能仮想化を用いた無人航空機へのインターネットプロトコルテレフォニーサービスの自動展開

The Network Function Virtualization (NFV) paradigm is one of the key enabling technologies in the development of the 5th generation of mobile networks. ...

Automated Delivery of Microfabricated Targets for Intense Laser Irradiation Experiments

激しいレーザー照射実験のためのマイクロ加工対象の自動送達

Described is an experimental procedure that enables high-power laser irradiation of microfabricated targets. Targets are brought to the laser focus by a ...

UV-Vis Spectroscopic Characterization of Nanomaterials in Aqueous Media

水性メディアにおけるナノ材料のUV-Vis分光学的特性解析

The physicochemical characterization of nanomaterials (NMs) is often an analytical challenge, due to their small size (at least one dimension in the ...

3D Printing - Evaluating Particle Emissions of a 3D Printing Pen

3D プリント - 3D プリント ペンのパーティクル放出の評価

Three-dimensional (3D) printing as a type of additive manufacturing shows continuing increase in application and consumer popularity. The fused filament ...