日常生活環境におけるスマートフォンベースの人間活動の認識システムの評価

要約

A standardized evaluation method was developed for Wearable Mobility Monitoring Systems (WMMS) that includes continuous activities in a realistic daily living environment. Testing with a series of daily living activities can decrease activity recognition sensitivity; therefore, realistic testing circuits are encouraged for valid evaluation of WMMS performance.

要約

An evaluation method that includes continuous activities in a daily-living environment was developed for Wearable Mobility Monitoring Systems (WMMS) that attempt to recognize user activities. Participants performed a pre-determined set of daily living actions within a continuous test circuit that included mobility activities (walking, standing, sitting, lying, ascending/descending stairs), daily living tasks (combing hair, brushing teeth, preparing food, eating, washing dishes), and subtle environment changes (opening doors, using an elevator, walking on inclines, traversing staircase landings, walking outdoors).

To evaluate WMMS performance on this circuit, fifteen able-bodied participants completed the tasks while wearing a smartphone at their right front pelvis. The WMMS application used smartphone accelerometer and gyroscope signals to classify activity states. A gold standard comparison data set was created by video-recording each trial and manually logging activity onset times. Gold standard and WMMS data were analyzed offline. Three classification sets were calculated for each circuit: (i) mobility or immobility, ii) sit, stand, lie, or walking, and (iii) sit, stand, lie, walking, climbing stairs, or small standing movement. Sensitivities, specificities, and F-Scores for activity categorization and changes-of-state were calculated.

The mobile versus immobile classification set had a sensitivity of 86.30% ± 7.2% and specificity of 98.96% ± 0.6%, while the second prediction set had a sensitivity of 88.35% ± 7.80% and specificity of 98.51% ± 0.62%. For the third classification set, sensitivity was 84.92% ± 6.38% and specificity was 98.17 ± 0.62. F1 scores for the first, second and third classification sets were 86.17 ± 6.3, 80.19 ± 6.36, and 78.42 ± 5.96, respectively. This demonstrates that WMMS performance depends on the evaluation protocol in addition to the algorithms. The demonstrated protocol can be used and tailored for evaluating human activity recognition systems in rehabilitation medicine where mobility monitoring may be beneficial in clinical decision-making.

概要

ユビキタスセンシングが原因で、ますます強力な、小型で低コストのコンピューティングおよび感知装置¹に係研究領域となっています。消費者レベルのマイクロエレクトロニクスは、高精度で¹運動特性を検出することが可能であるため、ウェアラブルセンサを用いて移動度のモニタリングは、大きな関心を生成しました。 ^{4 -}ウェアラブルセンサを用いて人間の行動認識（HAR）は、1980年代と1990年代²で行われる予備的研究と、研究の最近の領域です。

現代のスマートフォンは、移動性活動認識のために必要なセンサおよびリアルタイム計算能力を含みます。デバイス上のリアルタイム解析は、ユーザーや研究者の介入なしに活動の分類とデータのアップロードが可能になります。移動度分析ソフトウェアを使用してスマートフォンを検出、自宅や作業の自動化、および自己管理exercis秋、フィットネス追跡、ヘルスモニタリングを提供することができますEプログラム^5。スマートフォンは、オンボードセンサ出力⁶で計算数学信号生成機能を使用して、ヒトにおいてモバイル活動及びモバイルパターンを検出するための慣性計測プラットフォームと考えることができます。共通の特徴の生成方法は、ヒューリスティック、時間領域、周波数領域、及びウェーブレット解析に基づくアプローチ^{7を含みます} 。

指定されたアクティビティ^{-1,5,6,7-を検出する}現代のスマートフォンHARシステムは、高い予測精度を示しました。ほとんどの研究が自分のトレーニングセット、環境設定、及びデータ収集プロトコルを持っているので、これらの研究は、評価方法と同様の精度が変化します。感度、特異性、精度、再現率、精度、およびF-スコアは、一般的に、予測品質を記述するために使用されます。しかし、情報のほとんどは、リアルタイムでの活動の変化を検出する能力の「コンカレント活動」の認識と評価のための方法で提供されています^1、いくつかの活動を分類しようとするHARシステム用。 HARのシステム精度のための評価法は、研究の間で実質的に変化。かかわらず、分類アルゴリズムまたは適用される機能の、金の説明は、標準的な評価方法は、ほとんどのHAR研究の曖昧です。

日常生活環境で活動認識が広く研究されていません。ほとんどのスマートフォンに基づく行動認識システムは、実世界環境にアルゴリズムではなく、現実的に有利であり得る評価プロトコルにつながる、制御された方法で評価しました。その評価制度の中で、参加者は多くの場合、現実の事象を模倣ではなく、連続して実行するために、参加者のための現実的な活動の広い範囲を適用するよりも、予測のために意図されたアクションのみを実行します。

一部のスマートフォンのHARは、階段や歩行のように、一緒に^8,9グループ同様の活動を研究ただし、データセットから他の活動を除外します。予測精度は、アルゴリズムが標的活性を同定する方法もすることによって決定されます。 Dernbach ら ^9は、参加者が連続チェンジの状態遷移を中断し、移動する前に、実行しようとした活動を記述していました。参加者は日常生活の設定で自然なアクションを実行しながら、HARシステムの評価はアルゴリズムを評価すべきです。これは、アプリケーションの毎日の使用を複製現実の評価を可能にするであろう。現実的な回路は、多くの状態変化、ならびにシステムによって断定ないアクションのミックスが含まれています。研究者はその後、このように異常な動きに、アルゴリズムの堅牢性を評価、これらの追加の動きに対するアルゴリズムの応答を評価することができます。

本論文では、現実の日常生活の環境を反映した制御コースを使用するウェアラブルモビリティモニタリングシステム（WMMS）評価プロトコルを提示します。 WMMS評価はその後、制御されていても、現実的な条件の下で行うことができます。このプロトコルでは、オタワ大学で開発された第三世代WMMSを使用して、オタワ病院研究所^11-15。 WMMSは、3軸加速度計とジャイロスコープを持つスマートフォン用に設計されました。モビリティアルゴリズムは、ユーザの変動を考慮し、変化の状態を同定するための偽陽性の数の減少を提供し、活動の分類に感度を増大させます。 WMMSはさらにWMMS分類を改善状況依存活性評価のために、状態の活動の変化が検出された短いビデオクリップ撮影をトリガーするため、誤検知を最小にすることが重要です。不要な映像記録が保管し、バッテリ使用中の非効率性を作成します。 WMMSアルゴリズムは、予測値の増加は量の増加を意味する異なる予測レベルを用いて低計算学習モデルとして構成され、評価されています認識可能なアクションの。

プロトコル

このプロトコルは、オタワ健康科学ネットワーク研究倫理委員会によって承認されました。

1.準備

1. 研究の概要と参加者を提供し、ご質問にお答えし、インフォームドコンセントを得ます。データシート上の（内果に例えば、年齢 、性別、身長、体重、ウエスト周囲径、上前腸骨棘から脚の高さ）レコード参加者の特徴、識別コード、および日付。ビデオをキャプチャするために使用される第2のスマートフォンは、第二の捕捉率あたり少なくとも30フレームに設定されていることを確認してください。
2. 安全参加者の右フロントベルトやズボンの腰に携帯電話のホルスターを接続します。移動度測定のスマートフォンでセンサデータを収集するために使用されるスマートフォンのアプリケーション（ すなわち 、データロギングやWMMSアプリケーション）を起動し、アプリケーションが適切に実行されていることを確認してください。デバイスの背面（背面C​​Aで、ホルスターにスマートフォンを配置外側に向けメラ）。
3. 二スマートフォンでデジタルビデオ録画を開始します。匿名性のために、人の顔を示すことなく、比較のビデオを記録するが、すべてのアクティビティの遷移を記録することを確認してください。携帯電話は、ハンドヘルドすることができます。

2.活動サーキット

1. 彼らは研究者によって話され、次のアクションを実行しながら、第二のスマートフォンで、参加者とビデオ彼らの行動に従ってください：
   1. 立ち位置からは、裁判の開始を示すために、スマートフォンを振ります。
   2. 少なくとも10秒間立って続行します。この立っ相電話姿勢校正¹⁴のために使用することができます。
   3. 近くの椅子に歩き、座ります。
   4. 立ち上がって、エレベーターに60メートルを歩きます。
   5. スタンドとエレベーターを待ってから、エレベーターの中に入ります。
   6. 二階にエレベーターを取ります。
   7. 電源を入れて、家庭環境の中に入ります。
   8. バスルーム、SIの中に入ります歯を磨くmulate。
   9. 髪をコーミングシミュレートします。
   10. 手洗いをシミュレートします。
   11. タオルを用いて乾燥した手。
   12. 台所に歩いてください。
   13. ラックから料理を取り、カウンターの上に置きます。
   14. 台所のシンクからの水とのやかんを埋めます。
   15. ストーブ​​の要素にやかんを置きます。
   16. トースターでパンを置きます。
   17. ダイニングルームに歩いてください。
   18. ダイニングルームのテーブルに座っています。
   19. テーブルで食事をシミュレートします。
   20. スタンドと台所の流しに戻って歩いてください。
   21. 料理を洗い流すと、ラックに配置します。
   22. バックエレベーターに台所から徒歩。
   23. スタンドとエレベーターを待ってから、エレベーターの中に入ります。
   24. 一階にエレベーターを取ります。
   25. 階段に50メートルを歩きます。
   26. ドアを開けて、階段を入力してください。
   27. （着陸約13段階、13段階の）階段を歩きます。
   28. 廊下に階段のドアを開きます。
   29. 右折して15メートルのために廊下を歩きます。
   30. 振り向くとバック吹き抜けに15メートルを歩きます。
   31. ドアを開けて、階段を入力してください。
   32. （着陸約13段階、13段階の）階段を歩いて。
   33. 階段を終了し、部屋に歩いてください。
   34. ベッドの上で横になって。
   35. アップ取得し、ランプに10メートルを歩きます。
   36. その後、ランプ（20メートル）の下、好転、ランプを歩きます。
   37. ホールに歩いて続行し、外部への扉を開きます。
   38. 舗装された経路上の100メートルを歩きます。
   39. 振り向くと、奥の部屋に歩いてください。
   40. 部屋に入ると、出発点に立っています。
   41. 立って続行した後、試験終了を示すために、スマートフォンを振ります。

3.試用完了

1. ビデオ録画スマートフォンを停止し、削除して、スマートフォンやホルスターを返すために、参加者に依頼してください。 SMAのデータロギングまたはWMMSアプリケーションを停止しますrtphone。後処理のためにコンピュータに両方の電話機から取得したモーションデータファイルとビデオ​​ファイルをコピーします。

4.後処理

1. シェイクアクションが開始された時刻を決定することにより、映像と生のセンサデータとの間のタイミングを同期させます。この振とう運動は、異なる加速度計信号及びビデオフレームに対応します。センサーと映像データ・ソースの場合、スタートブレ時間から終了ぶれ時間を減算することにより、同期エラーをチェックします。時間差は、2つのデータセット間の類似していなければなりません。
2. アクティビティ間の遷移でビデオフレームの開始ぶれ時間から時間差を記録することによって、金標準ビデオからの実際の状態変化回数を決定します。 0.033秒以内にタイミングを得るためにビデオ編集ソフトウェアを使用する（ すなわち 、第2のビデオレート毎秒30フレーム）。同等の変化 - の状態センサデータからを生成するWMMSソフトウェアを使用してください。
3. 二つのデータセットを生成する一真の活動予測活性を有する第二に、各ビデオフレームのための活動を標識することによってWMMS出力から各ビデオフレーム時間における予測の活性を計算し、次に（状態タイミングの変化に基づいて）。 WMMS性能評価のために、金の標準的なアクティビティの間で真の陽性、偽陰性、真陰性、偽陽性を計算し、WMMSは活動を予測しました。感度、特異性、およびF-スコアアウトカム指標を計算するためにこれらのパラメータを使用します。
   注：ウィンドウのいずれかの側の3つのデータウィンドウが分析されるの許容範囲の設定は、変化の状態の結果、分類の結果のための2つのデータウィンドウを決定するために使用することができます。 1第二のデータウィンドウがこの研究にWMMSのために使用されたので、この許容範囲内の連続変化が無視されるように、例えば、3秒前と現在のウィンドウの後を調べました。対価は3秒未満で起こる状態の変化が総フーマーのために無視することができるということでしたこれらの状態以降のn個の運動解析を一時的と考えられます。

結果

研究プロトコルは、オタワ病院から募集平均体重（11.1±）68.9だっキロ、高さは（11.4±）cmの173.9で、年齢は26（±9）であった年間15健常者の利便性のサンプルで実施されました大学オタワのスタッフと学生。スマートフォンは、変数40〜50 Hzのレートでセンサデータを捕獲しました。サンプルレートの変動は、スマートフォンのセンサーサンプリングのための典型的なものです。第二のスマート...

ディスカッション

ウェアラブルモビリティ監視システムと人間の活動の認識はウェアラブルコンピューティングやスマートフォンの技術の進歩と臨床意思決定と健康介入の評価に役立つ定量的なアウトカム指標のための体系的なニーズのために、近年ではより多くの注目を集めています。活動分類エラーは日常生活や歩行シナリオの幅広い活動が評価に含まれていなかった場合に存在していないことが判明し?...

資料

Name	Company	Catalog Number	Comments
Smartphone or wearable measurement device	Blackberry	Z10
Smartphone for video recording	Blackberry	Z10 or 9800
Phone holster	Any
Data logger application for the smartphone	BlackBerry World - TOHRC Data Logger for BlackBerry 10		http://appworld.blackberry.com/webstore/content/32013891/?countrycode=CA
Wearable mobility measurement	Custom Blackberry 10 and Matlab software for mobility monitoring		http://www.irrd.ca/cag/smartphone/
Video editing or analysis software	Motion Analysis Tools		http://www.irrd.ca/cag/mat/