デザインとスマートなメガネの食品の摂取量と身体活動の分類のための評価

要約

本稿ではプロトコルの設計と食物摂取のパターンを検出するメガネ型ウェアラブル デバイスを製造、ガラスの両方のヒンジのロードセルを使用してその他の注目の物理的な活動が挿入されます。

要約

本研究は、一連の設計および製造食品の摂取量と他の身体活動の間に側頭筋筋活動のパターンを検出するメガネ型ウェアラブル デバイスのプロトコルを示します。メガネとフレームの両方のヒンジに挿入された負荷セル統合プリント回路基板 (PCB) モジュールの 3 D プリントのフレームを作製しました。力信号を集録し、ワイヤレスでそれらを送信モジュールが使用されました。これらの手順は、歩行や waggling といった実用的な身に着けている条件で評価できる高いモビリティとシステムを提供します。分類のパフォーマンスは、食物摂取のパターンを区別するこれらの物理的な活動によっても評価されます。一連のアルゴリズムを用いて信号を前処理特徴ベクトルを生成し、いくつかのパターンを認識する活動 (咀嚼とウインク)、および他の物理的な活動 (、話して、歩いて、残りを定住) を特集します。注目の活動の中で分類の平均 F₁スコア 91.4% であったことがわかった。このアプローチは潜在的自動かつ客観的摂食問題を扱うための実用的な手段として精度の高い摂食行動の監視のために有用することができます考えています。

概要

継続的かつ客観的は食物摂取の監視は、過剰なエネルギーの蓄積は、overweightness と肥満¹、様々 な医療の合併症²になる可能性を引き起こす可能性があります人間の体のエネルギー バランスを維持するために不可欠です。エネルギーの不均衡の主な要因は過剰な食物摂取および十分な身体活動³知られています。毎日のエネルギーの支出の監視の様々 な研究は、でもウェアラブル デバイス^4,5,6, 身体活動パターンの自動と客観的測定を導入されている、最終消費者レベルと医療のステージ⁷。食物摂取量のモニタリングに関する研究はしかし、まだ、研究室の設定に、直接かつ客観的に食品の摂取量の活動を検出することは困難だからです。ここでは、デバイスの設計とその評価食品摂取量と日常生活の中で実践的なレベルで身体活動パターンを監視するための提示を目指します。

咀嚼・嚥下音^8,9,10、手首^11,12,13の動きを通じて食品の摂取量を監視し、画像に様々 な間接アプローチがあった分析¹⁴、および筋電図 (EMG)¹⁵。ただし、これらのアプローチが彼らの固有の制限があるため毎日の生活アプリケーションに適用することは困難: 音を使用してメソッドが環境音によって影響を受ける脆弱性食物を消費していない場合他の身体活動から区別するために、手首の動きを使用してメソッドが難しかった画像と筋電位信号を用いた方法は、運動と環境の境界によって制限されます。これらの研究は、センサーを使用して食品の摂取量の自動検出の機能を示したが、まだ実験室の設定を超えて日常生活に実用性の制限があった。

この研究では、食品摂取量の自動かつ客観的監視に側頭筋筋活動のパターンを使用しました。一般的に、側頭筋を繰り返し収縮と食品摂取量^16,17; 中に咀嚼筋の一部としてリラクゼーションしたがって、側頭筋の筋活動の周期的なパターンを検出することにより食品摂取量の活動を監視できます。最近、活動^18,19,20,21, 筋電図や圧電歪に使用筋肉の側頭筋を利用したいくつかの研究をされている人間の上に直接適用してセンサー皮膚。これらのアプローチは、しかし、筋電図電極またはひずみセンサーの皮膚の場所に敏感だった、運動や汗のため皮膚から簡単にデタッチされました。したがって、側頭筋筋活動両方のヒンジを所定の私たちの以前の研究²²で挿入する 2 つのロード セルその意味提案メガネのペアを使用して新しい、有効な方法です。この方法は、肌に触れることがなく高精度な食品摂取量の活動を検出の大きな可能性を示した。また非目障りな非侵入以来だった我々 は一般的なメガネ型デバイスを使用します。

本研究では、メガネ型デバイスを実装する方法と食品の摂取量と身体活動を監視するため側頭筋筋活動のパターンを使用する方法の詳細なプロトコルのシリーズを紹介します。プロトコルは、ハードウェア設計とメガネ、回路モジュール、およびデータ集録モジュールの 3 D プリントのフレームで構成される製造のプロセスを含めるし、データ処理・解析用ソフトウェア アルゴリズムを含めます。さらにいくつかの注目の活動 (例えば、咀嚼、歩行とウインク) の中で分類を行った食品摂取量と他の身体活動の分の違いを伝えることができる実用的なシステムとしての可能性を実証するにはパターン。

プロトコル

注: 被験者の使用を含むすべての手順は、単にメガネを着ての非侵襲的な方法によって達成されました。すべてのデータは、皮膚との直接接触ではなかったガラスの挿入のロードセルから力信号を測定することによって買収されました。データはワイヤレスでこの場合研究のため指定されたスマート フォンは、データ記録モジュールに送信されました。すべてのプロトコルが体内に関連はなかった/生体外の研究。薬や血液サンプルは、実験のために使用されなかった。インフォームド コンセントは、実験のすべての被験者から得られました。

1. センサー集積回路モジュールの製造

1. 回路モジュールを製造するための電子部品を購入します。
   1. それぞれの 0 N と 15 N の範囲で動作し、3.3 V の励起で最大 120 mV スパンと低い差動電圧の出力を生成する 2 つのボール型負荷セルを購入します。
      注: これらの負荷の測定に使用するセルは、左側と右側の眼鏡の両方の信号を強制します。
   2. 2 つの計装アンプと 2 つの 15 kΩ 利得設定抵抗を購入します。
      注: 計装アンプ、ゲイン設定抵抗、960 まで 8 回、ロードセルの力信号を増幅するされる mV。
   3. 無線機能 (例えばWi-Fi 接続)、10 ビット アナログ-デジタル変換器 (ADC) とマイクロ コントローラ ユニット (MCU) を購入します。
      注: MCU は力信号を読み取るし、ワイヤレス データ集録モジュールに送信されます。2 つのアナログの力の入力に 1 つのアナログ入力ピンを使用するため、1.1.4 の次のステップにマルチプレクサーの使用が導入します。
   4. MCU の 1 つの ADC ピンと 2 つの入力信号を処理する 2 ch アナログ ・ マルチプレクサーを購入します。
   5. 3.7 V の公称電圧、300 mAh 公称容量、1 C 放電率とリチウム イオン高分子 (リポ) バッテリーを購入します。
      注: 以上 200 mAh 1 時間あたり十分な電流を供給して実験の約 1.5 時間に確実にシステムを動作するように、バッテリー容量が選ばれました。
   6. 3.7 V バッテリー電圧が 3.3 V の線形ダウン規制用の 3.3 V のレギュレータを購入システムの電圧。
   7. 購入 5 12 kΩ 表面実装部品 (SMD) の形は、MCU のプルアップ抵抗として抵抗器です。抵抗器のフット プリントは、2.0 mm x 1.2 mm (2012 サイズ) です。
2. プリント回路基板 (Pcb) を製造します。この手順は、回路基板を描き、基板製造のアートワーク (すなわち、基板レイアウト、.brd ファイル) と (すなわち、.sch ファイル) の回路図を作ることです。アートワークと回路図ファイルの作成のプロセスの基本的な理解は、開発に必要です。
   1. 図 1 aに示すように、電子設計アプリケーションを使用してバッテリーを含む左の回路の回路図を描画します。アートワーク (.brd) と回路図 (.sch) ファイルとして、結果を保存します。
   2. 図 1 bに示すように、電子設計アプリケーションを使用して MCU を含む正しい回路の回路図を描画します。アートワーク (.brd) と回路図 (.sch) ファイルとして、結果を保存します。
   3. プリント基板製作会社に発注することで、回路基板を作製します。
   4. 図 2と図 3に示すように、Pcb の手順 1.1 で準備すべての電子部品をはんだ付けします。
      注意: 計装用アンプのはんだ付け温度に非常に敏感です。リード温度が 300 ° C、10 を超えないことを確認してください s はんだ付け時、それ以外の場合それはコンポーネントに永久的な損傷に原因します。

2 眼鏡のフレームの 3 D プリント

1. 図 4 aに示すように、3 D モデリング ツールを使用してガラスの頭の部分の 3 D モデルを描画します。結果を .stl ファイル形式にエクスポートします。
2. 図 4 bと図 4に示すように、ツールをモデリング 3D を使用してガラスの左と右の寺院の 3 D モデルを描画します。.Stl ファイル形式に結果をエクスポートします。
3. 240 ° C ノズル温度の層の温度 80 ° C で 3 D プリンターと炭素繊維のフィラメントを使用してヘッド部分とテンプル部分を印刷します。
   注: 任意の商業 3 D プリンターおよびアクリロニ トリル ・ ブタジエン ・ スチレン (ABS) などポリ乳酸 (PLA) 繊維のすべての種類の使用を許可できます。ノズルとベッドの温度はフィラメントや印刷条件によって調整されます。
4. 180 ° C 設定の熱風送風機を使用して寺院の先端を熱し、それら従来のグラスのような側頭筋の表皮を連絡する内側約 15 度を曲げます。
   注: 眼鏡のテンプルの曲げ加工の程度は、曲率の目的は、被写体の頭装備に合うメガネを助けることによってフォーム ファクターを増加する厳格なする必要はありません。ただし、注意としての重要なパターンを収集することは不可能になる側頭筋に触れてから寺院を防ぐため、過度の曲げ。
5. 図 4に示すように、複数の頭のサイズに合うようにメガネ フレームの 2 つの異なるサイズを印刷する手順 2.1-2.4 から手順を繰り返します。

3. ガラスのすべての部品の組立

1. 図 5に示すように、M2 ボルトを用いたガラスの寺院の両側に Pcb を挿入します。
2. 蝶番関節に M2 ボルトを挿入して頭の部分と寺院を組み立てます。
3. 図 5に示すように、3 ピン接続するワイヤを使用して左と右の Pcb に接続します。
4. 左の回路にバッテリーを接続、左のこめかみに粘着テープで取り付けます。PCB デザインにより異なりますので、バッテリの実装側は、重要ではありません。
5. 図 5に示すように、人間の皮膚とより多くの摩擦を追加する鼻パッドの先端のゴムのテープでガラスをカバーします。

4. データ収集システムの開発

注: データ集録システムは、伝送モジュールとデータ受信モジュールで構成されます。データ送信モジュール読み取り時間、力、双方の信号し、受信データを収集し、.tsv ファイルに書き込まれます、データ受信モジュールに送信します。

1. 手順 4.1.1–4.1.3 の手順に従って基板モジュールの MCU にアプリケーションを送信データをアップロードします。
   1. コンピューターを使用して補助ファイルに関連付けられている"GlasSense_Server"プロジェクトを実行します。
      注: このプロジェクトは、Arduino の統合開発環境 (IDE) でビルドされました。時間を読んで、力、200 サンプル/秒の信号およびデータ受信モジュールに送信する機能を提供します。
   2. モジュール基板をユニバーサル シリアル バス (USB) コネクタ経由でコンピューターに接続します。
   3. 4.1.1 ステップイン MCU からプログラミング コードをフラッシュする Arduino IDE の「アップロード」ボタンを押します。
2. 手順 4.2.1–4.2.3 の手順に従ってスマート フォン、ワイヤレスでデータを受信するために使用するデータの受信側アプリケーションをアップロードします。
   1. コンピューターを使用して補助ファイルに関連付けられている"GlasSense_Client"プロジェクトを実行します。
      注: このプロジェクトをプログラミング言語 c# でビルドされました。データを受信し、対象者の情報、名前、性別、年齢、ボディマス指数 (BMI) などを含む .tsv ファイルを保存する機能を提供します。
   2. スマート フォンをデータの受信側アプリケーションを構築する USB コネクタ経由でコンピューターに接続します。
   3. スマート フォンにデータ受信側アプリケーションを構築するには、c# プロジェクトの「ファイル > ビルドと実行」ボタンを押します。

5 ユーザー調査からデータ収集

注: この研究を収集 6 注目アクティビティ セット: 座りがちな休息 (SR)、座りがちな咀嚼 (SC)、(W) を歩いて、咀嚼 (CW) を歩きながら、座りがちな話 (ST) と座りがちなウインク (SW)。

1. テストするユーザーに適切なサイズを持っているメガネのペアを選択します。両方のヒンジ (図 5) でサポート ボルトで気密性を微調整します。
   注意: 本研究で用いた力センサーは動作範囲を超えて良い線形特性を失う可能性がありますのでフォース値必要があります 15 N を超えない。力値を緩めることにより微調整できます。 またはボルト締めサポート。
2. 4.2.3 のステップに建てられたアプリケーションに「記録」ボタンを押すことによってすべての科目の活動記録。
   1. 120 のブロックの中にアクティビティを記録し、それの録画ファイルを生成します。
      1. SR の場合、件名を椅子に座って、スマート フォンを使ったり、本を読んでもらいます。頭の動きを許可するが、全身の動きを避けます。
      2. SC と CW の場合、食品テクスチャー (トーストしたパンと咀嚼ゼリー) 別食品のプロパティを反映するための 2 つのタイプの食べる科目があります。食べるの良いサイズは 20 mm × 20 mm, スライスでトーストしたパンを提供します。
      3. W の場合 4.5 キロ/h の速度でトレッドミル上を歩く科目があります。
      4. ST の場合対象を座って、それらを読んだ本を大声で正常な音とスピードで。
      5. SW の場合 0.5 の鐘の音のタイミングにウインクする被験者に通知 s 長いすべての 3 s。
   2. 5.2.1 の手順で収集されたデータから .tsv 形式で録画ファイルを生成します。
      注: このファイルには、データが受信された時間順、左力信号、右の力信号と現在の顔のアクティビティを表すラベルが含まれています。ユーザーのブロックのすべての活動の時系列信号の可視化は図 6に描かれています。六つの注目のアクティビティ セット (SR, サウスカロライナ、W、CW、ST、SW) は、それぞれ 1、2、3、4、5、および 6、として標識しました。ラベルは、プロトコルのセクション 8 で予測されたクラスを比較する使用されました。
   3. 記録ブロック後 60 の休憩を取る。休憩中、メガネを取るし、記録ブロックの再起動時に再度再着用します。
   4. 各アクティビティの手順 5.2.1 と 5.2.2 のブロック割りセット 4 回を繰り返します。
   5. SW、場合 1 つのブロックの間に左目と繰り返しまばたきし、し、次のブロックの間に右目と繰り返しウインク件名を持ちます。
3. 手順 5.1-5.2 と 10 科目からデータを収集します。本研究で我々 使用 5 男女各 5 名、平均年齢 27.9 ± 4.3 (標準偏差; 標準偏差) 年、19-33 歳であったが、平均 BMI は 21.6 ± 3.2 (標準偏差) kg/m²17.9-27.4 kg/m²であった。
   注: 本研究は、食べ物をかむための医療条件を持っていなかった科目でウィンクし徒歩募集されたとこの条件を基準に使用されました。

6. 信号前処理とセグメンテーション

注: 左と右の信号は、次の手順で別々 に計算されます。

1. 2 の時間フレームのシリーズを準備 s 長い。
   1. セグメント、120 s は、図 6に示すように、MATLAB を使用して 1 の間隔でそれらをホッピングで 2 s フレームのセットに信号を記録しました。
      注: 2 の分割フレーム s 長いセクション 7 の特徴を抽出する使用されました。1 s ホッピング サイズは、5.2.1 のステップですでに 3 s ウインク間隔で信号を分割する決定されました。
   2. フレームごとに 10 Hz のカットオフ周波数を持つ 5^th順序バタワース フィルターを使って低域通過フィルター (LPF) を適用します。
   3. 7.1 の手順で次のステップの時間フレームとして 6.1.2 手順の結果を保存します。
2. 一連のスペクトルのフレームを準備します。
   1. 各フレームの眼鏡を掛けて、プリロードを削除する元の信号から中央値を減算します。
      注: プリロードの値は次の周波数分析の必要ありません、それでした、しかし、咀嚼、歩行、ウインク、等についての情報が含まれていないのでからの件名、対象から変えることができる重要な情報が含まれてすべての設定、メガネのと瞬間からも主題と眼鏡します。
   2. ハニング窓を周波数分析に基づくスペクトル漏れを減らすためにフレームごとに適用されます。
   3. 生成し、高速フーリエ変換 (FFT) を各フレームに適用することにより片面のスペクトルを保存します。
3. 時空間とフレーム ブロックとして同じ時間のスペクトル フレーム (またはフレーム) の組み合わせを定義します。

7. 特徴ベクトルの生成

注: プロトコルのセクション 6 で生成されるフレームごと特徴ベクトルが生成されます。左と右のフレームは別々 に計算され、次の手順で特徴ベクトル結合しています。すべての手順は、MATLAB で実施されました。

1. プロトコルの手順 6.1 で一時的なフレームから統計的特徴を抽出します。総数 54 機能のリストは、表 1で与えられます。
2. 手順 6.2 プロトコルのスペクトル フレームから統計的特徴を抽出します。総数 30 の機能のリストは、表 2で与えられます。
3. 上記時間及び分光特徴を組み合わせることにより 84 次元の特徴ベクトルを生成します。
4. プロトコルの手順 5.2 で録音から生成された特徴ベクトルのラベルを付けます。
5. フレームのすべてのブロックの手順 7.1-7.4 からの手順を繰り返し、特徴ベクトルのシリーズを生成します。

8 クラスに活動の分類

注: この手順は、与えられた問題 (すなわち、特徴ベクトル) から最高の精度を示すパラメーターを決定することによりサポート ベクトル マシン (SVM)²³の分類モデルを選択します。SVM は、よく知られているチャイルド機械学習法を汎化とカーネル関数とクラス最大マージンを使用して堅牢性で優れた性能を示しています。ペナルティパラ メーター C とカーネルを定義するグリッド検索と交差検証法を用いて動径基底関数 (RBF) カーネルのパラメーター γ。機械学習の手法と SVM の最低限の理解は、次の手順を実行する必要です。いくつか参考資料^23,24,25は機械学習技術と SVM アルゴリズムの理解を深めるためにお勧めします。このセクションのすべての手順は、LibSVM²⁵ソフトウェア パッケージを用いて実装されていました。

1. グリッド検索 (C, γ) のペアのグリッドを定義します。C のシーケンスを指数関数的に成長の使用 (2^-10、2^-5、...、2³⁰) と γ (2^-30、2^-25、...、2¹⁰)。
   注: これらのシーケンスされたヒューリスティックによって決定されます。
2. (C, γ) のペアを定義する (例えば、(2^-10、2^-30))。
3. 8.2 の手順で定義した grid を 10 倍のクロス検証スキームを実行します。
   注: この方式 10 一部サブセット全体特徴ベクトルに分けて他のサブセットによって訓練されて分類モデルから 1 つのサブセットをテストし、すべてのサブセットを繰り返して 1 つずつ。したがって、すべての特徴ベクトルを順番にテストできます。
   1. 全体の特徴ベクトルを 10 そのサブセットに分割します。
   2. サブセット、および残りの 9 のサブセットから設定訓練からテストのセットを定義します。
   3. 範囲に特徴ベクトルのすべての要素を拡大または縮小スケールのベクターを定義する [0, 1] に、トレーニング セット。
      注: スケールのベクターは、特徴ベクトルと同じ次元です。それはの範囲にすべての特徴ベクトルの同じ行 (または列) をスケール乗算器のセットので構成されています [0, 1]。たとえば、特徴ベクトルの最初の機能は線形の範囲に拡大縮小 [0, 1] トレーニング特徴ベクトルのすべての最初の機能です。テストのセットは、知られているに想定されるべきのでスケールのベクターがトレーニング セットから定義されていることに注意してください。この手順は、等しい範囲機能を作成し、計算中に誤差を回避によって分類の精度を向上します。
   4. トレーニングの範囲セットの各機能を拡張 [0, 1] 手順 8.2.3 で取得したスケールのベクターを使用します。
   5. テストの範囲に設定の各機能を拡張 [0, 1] 手順 8.2.3 で取得したスケールのベクターを使用します。
   6. 8.2 の手順で (C, γ) の定義されたペアに SVM をトレーニング セットし、分類モデルを作成します。
   7. 8.2 の手順で (C, γ) の定義されたペアに SVM によるテストのセットをテストし、訓練のプロシージャから得られる分類モデル。
   8. テスト セットの分類精度を計算します。精度は、正しく分類された特徴ベクトルの割合から算出しました。
   9. すべてのサブセットの手順 8.2.2–8.2.8 を繰り返し、すべてのサブセットの平均精度を計算します。
4. (C, γ) のペアのすべての格子点の 8.2-8.3.9 手順を繰り返します。
5. グリッドの最高精度の局所最大値を見つけます。セクション 8 のすべての手順を図 7に示します。
6. (省略可能)粗いグリッドのステップを考えると、ローカル最大値に近い細かいグリッドの手順 8.1-8.5 と 8.5 の手順で見つかったし、細かい格子の新しいローカル最大値を検索を繰り返します。
7. 精度、取り消し、および次の方程式から活動の各クラスの F₁のスコアを計算します。
                                      式 1
                                                方程式 2
             式 3
   どこ TP、FP、FN は、それぞれ真陽性、偽陽性、偽陰性、各アクティビティを表します。表 3のすべての活動の混同行列が与えられます。

結果

、プロトコルで説明されている手順を、図 4に示すように頭の部分、L_H (133 と 138 mm) や寺院、L_T (110 と 125 mm) の長さの差別化で 3 D 印刷されたフレームの 2 つのバージョンを準備しました。そのため、被験者の頭のサイズ、形状など対象を選んだユーザー研究のため自分の頭に合わせてフレームの一つから変えることができ?...

ディスカッション

この研究では、まず設計と食品の摂取量と身体活動のパターンを感じるガラスの製造プロセスを提案しました。この研究として (歩行、まばたきなど) その他の身体活動から食物摂取を区別するためにデータ分析を中心に、センサーとデータ集録システムの移動記録の実装が必要です。したがって、システムには、センサー、無線通信機能を備えた MCU とバッテリーが含まれています。提案プ?...

資料

Name	Company	Catalog Number	Comments
FSS1500NSB	Honeywell, USA		Load cell
INA125U	Texas Instruments, USA		Amplifier
ESP-07	Shenzhen Anxinke Technology, China		MCU with Wi-Fi module
74LVC1G3157	Nexperia, The Netherlands		Multiplexer
MP701435P	Maxpower, China		LiPo battery
U1V10F3	Pololu, USA		Voltage regulator
Ultimaker 2	Ultimaker, The Netherlands		3D printer
ColorFabb XT-CF20	ColorFabb, The Netherlands		Carbon fiber filament
iPhone 6s Plus	Apple, USA		Data acquisition device
Jelly Belly	Jelly Belly Candy Company, USA		Food texture for user study