Évaluation d'un système de reconnaissance de l'activité humaine basée à Smartphone dans un milieu de vie quotidien

Résumé

A standardized evaluation method was developed for Wearable Mobility Monitoring Systems (WMMS) that includes continuous activities in a realistic daily living environment. Testing with a series of daily living activities can decrease activity recognition sensitivity; therefore, realistic testing circuits are encouraged for valid evaluation of WMMS performance.

Résumé

An evaluation method that includes continuous activities in a daily-living environment was developed for Wearable Mobility Monitoring Systems (WMMS) that attempt to recognize user activities. Participants performed a pre-determined set of daily living actions within a continuous test circuit that included mobility activities (walking, standing, sitting, lying, ascending/descending stairs), daily living tasks (combing hair, brushing teeth, preparing food, eating, washing dishes), and subtle environment changes (opening doors, using an elevator, walking on inclines, traversing staircase landings, walking outdoors).

To evaluate WMMS performance on this circuit, fifteen able-bodied participants completed the tasks while wearing a smartphone at their right front pelvis. The WMMS application used smartphone accelerometer and gyroscope signals to classify activity states. A gold standard comparison data set was created by video-recording each trial and manually logging activity onset times. Gold standard and WMMS data were analyzed offline. Three classification sets were calculated for each circuit: (i) mobility or immobility, ii) sit, stand, lie, or walking, and (iii) sit, stand, lie, walking, climbing stairs, or small standing movement. Sensitivities, specificities, and F-Scores for activity categorization and changes-of-state were calculated.

The mobile versus immobile classification set had a sensitivity of 86.30% ± 7.2% and specificity of 98.96% ± 0.6%, while the second prediction set had a sensitivity of 88.35% ± 7.80% and specificity of 98.51% ± 0.62%. For the third classification set, sensitivity was 84.92% ± 6.38% and specificity was 98.17 ± 0.62. F1 scores for the first, second and third classification sets were 86.17 ± 6.3, 80.19 ± 6.36, and 78.42 ± 5.96, respectively. This demonstrates that WMMS performance depends on the evaluation protocol in addition to the algorithms. The demonstrated protocol can be used and tailored for evaluating human activity recognition systems in rehabilitation medicine where mobility monitoring may be beneficial in clinical decision-making.

Introduction

Détection Ubiquitous est devenue un domaine de recherche engageante raison de plus en plus puissant, petit, faible coût de l'informatique et de l'équipement de détection ^1. Suivi de la mobilité en utilisant les capteurs portables a suscité beaucoup d'intérêt depuis la microélectronique au niveau des consommateurs sont capables de détecter des caractéristiques de mouvement avec une grande précision ^1. La reconnaissance de l'activité humaine (HAR) en utilisant les capteurs portables est une zone récente de la recherche, des études préliminaires effectuées dans les années 1980 et 1990 ^{2 - 4.}

Smartphones modernes contiennent les capteurs nécessaires et de la capacité de calcul en temps réel pour la reconnaissance de l'activité de mobilité. Analyse en temps réel sur le dispositif permet la classification de l'activité et le téléchargement de données sans intervention de l'utilisateur ou enquêteur. Un smartphone avec le logiciel d'analyse de la mobilité pourrait fournir un suivi de remise en forme, la surveillance de la santé, détection de chute, la maison ou l'automatisation de travail, et exercis autogestionnaireles programmes de ^E5. Smartphones peuvent être considérés comme des plates-formes de mesure inertielle pour détecter les activités mobiles et les modèles mobiles chez les humains, en utilisant les caractéristiques de signaux mathématiques générées calculées avec des sorties de capteurs embarqués ^6. Méthodes de production de longs courants comprennent heuristique, dans le domaine temporel, domaine de fréquence, et les approches fondées sur l'analyse en ^{ondelettes-7.}

Systèmes de smartphones HAR modernes ont montré une précision élevées de prédiction lors de la détection des activités spécifiées ^1,5,6,7. Ces études varient dans la méthodologie d'évaluation ainsi que la précision puisque la plupart des études ont leur propre ensemble de la formation, la configuration de l'environnement, et le protocole de collecte des données. Sensibilité, la spécificité, la précision, le rappel, la précision, et F-score sont couramment utilisés pour décrire la qualité de prédiction. Cependant, peu ou pas d'informations sont disponibles sur les méthodes pour "activité simultanée" la reconnaissance et l'évaluation de la capacité de détecter les changements d'activité en temps réel^1, pour les systèmes HAR qui tentent de catégoriser plusieurs activités. Les méthodes d'évaluation pour la précision du système HAR varient considérablement entre les études. Indépendamment de l'algorithme de classification ou caractéristiques appliquées, des descriptions de méthodes d'évaluation standard d'or sont vagues pour la plupart des recherches HAR.

La reconnaissance de l'activité dans un environnement de la vie quotidienne n'a pas été largement étudié. La plupart des systèmes de reconnaissance activité basée smartphone sont évalués d'une manière contrôlée, conduisant à un protocole d'évaluation qui peuvent être avantageux de l'algorithme plutôt que réaliste à un environnement du monde réel. Au sein de leur système d'évaluation, les participants effectuent souvent que les actions destinées à la prévision, plutôt que l'application d'un large éventail d'activités réalistes pour le participant à effectuer consécutivement, imitant les événements de la vie réelle.

Certains smartphones HAR étudie ^8,9 groupe des activités similaires ensemble, tels que les escaliers et la marche, Mais excluent les autres activités de l'ensemble de données. Précision de la prédiction est alors déterminé par la façon dont l'algorithme a identifié les activités cibles. Dernbach et al. ⁹ avaient participants écrivent l'activité qu'ils étaient sur ​​le point d'exécuter avant de passer, interrompre transitions continues de changement d'état. HAR système évaluations devraient évaluer l'algorithme alors que le participant effectue des actions naturelles dans un cadre de vie quotidien. Cela permettrait une évaluation de la vie réelle qui reproduit l'utilisation quotidienne de l'application. Un circuit réaliste comprend de nombreux changements d'état ainsi que d'un mélange des actions non prévisibles par le système. Un enquêteur peut alors évaluer la réponse de l'algorithme à ces mouvements supplémentaires, évaluant ainsi la robustesse de l'algorithme à des mouvements anormaux.

Cet article présente un système de surveillance de la mobilité Wearable (WMMS) protocole d'évaluation qui utilise un cours contrôlé qui tient compte des environnements de la vie quotidienne de la vie réelle. WMMSévaluation peut alors être faite dans des conditions contrôlées, mais réalistes. Dans ce protocole, nous utilisons une troisième génération WMMS qui a été développé à l'Université d'Ottawa et Ottawa Hospital Research Institute ^11-15. Le WMMS a été conçu pour les smartphones avec un accéléromètre tri-axe et du gyroscope. Représente l'algorithme de la mobilité pour l'utilisateur de la variabilité, permet une réduction dans le nombre de faux positifs pour l'identification des changements d'état, et augmente la sensibilité de l'activité catégorisation. Minimiser les faux positifs est important car la WMMS déclenche court enregistrement de vidéo clip lorsque l'activité des changements d'état sont détectées, pour l'évaluation de l'activité contextuel qui améliore encore la classification WMMS. Enregistrement vidéo inutile crée des inefficacités dans le stockage et l'utilisation de la batterie. L'algorithme WMMS est structuré comme un modèle d'apprentissage à faible calcul et évaluée en utilisant différents niveaux de prédiction, où une augmentation du niveau de prédiction, signifie une augmentation de la quantitéactions de reconnaissable.

Protocole

Ce protocole a été approuvé par le Comité d'éthique de la recherche en santé d'Ottawa Science Network.

1. Préparation

1. Fournir aux participants un aperçu de la recherche, répondre à vos questions, et obtenir le consentement éclairé. Les caractéristiques des participants d'enregistrement (par exemple, âge, sexe, taille, poids, tour de taille, la hauteur des pieds de l'épine iliaque antéro-supérieure de la malléole interne), code d'identification, et la date sur une feuille de données. Assurez-vous que le second smartphone qui est utilisé pour capturer de la vidéo est fixé à au moins 30 images par seconde taux de capture.
2. Attacher solidement un étui de téléphone à la ceinture avant droite ou pantalon taille du participant. Démarrez l'application smartphone qui sera utilisé pour collecter les données de capteur (par exemple, l'exploitation forestière de données ou application WMMS) sur le smartphone de mesure de la mobilité et de veiller à ce que l'application fonctionne correctement. Placez le smartphone dans l'étui, avec le dos de l'appareil (à l'arrière camera) vers l'extérieur.
3. Début de l'enregistrement vidéo numérique sur un deuxième smartphone. Pour l'anonymat, enregistrer la vidéo de comparaison sans montrer le visage de la personne, mais veiller à enregistrer toutes les transitions d'activité. Le téléphone peut être portatif.

2. Activité Circuit

1. Suivez le participant et vidéo à leurs actions, sur le deuxième smartphone, pendant qu'ils effectuent les actions suivantes, prononcées par l'enquêteur:
   1. À partir d'une position debout, secouer le smartphone pour indiquer le début du procès.
   2. Continuer debout pendant au moins 10 secondes. Cette phase debout peut être utilisé pour l'orientation de téléphone étalonnage ^14.
   3. Marchez à une chaise à proximité et asseoir.
   4. Levez-vous et marchez 60 mètres à un ascenseur.
   5. Levez-vous et attendre l'ascenseur, puis marcher dans l'ascenseur.
   6. Prenez l'ascenseur jusqu'au deuxième étage.
   7. Tournez et marcher dans l'environnement de la maison.
   8. Promenez-vous dans la salle de bains et SiMulate se brosser les dents.
   9. Simuler peigner les cheveux.
   10. Simuler le lavage des mains.
   11. Séchez vos mains avec une serviette.
   12. Marche pour la cuisine.
   13. Prenez des plats à partir d'un rack et placez-les sur le comptoir.
   14. Remplir une bouilloire avec de l'eau de l'évier de la cuisine.
   15. Placer la bouilloire sur l'élément de fourneau.
   16. Placez le pain dans un grille-pain.
   17. Marche pour la salle à manger.
   18. Asseyez-vous à une table de salle à manger.
   19. Simuler un repas à la table.
   20. Se tenir debout et marcher de nouveau à l'évier de cuisine.
   21. Rincez les plats et les placer dans un rack.
   22. Marche de la cuisine vers l'ascenseur.
   23. Levez-vous et attendre l'ascenseur, puis marcher dans l'ascenseur.
   24. Prenez l'ascenseur jusqu'au premier étage.
   25. Marcher 50 mètres pour une cage d'escalier.
   26. Ouvrez la porte et entrez la cage d'escalier.
   27. Monter des escaliers (13 étapes, autour de l'atterrissage, 13 étapes).
   28. Ouvrez la porte de la cage d'escalier dans le couloir.
   29. Tournez à droite et marcher dans le couloir de 15 mètres.
   30. Tourner autour et marcher 15 mètres en arrière de la cage d'escalier.
   31. Ouvrez la porte et entrez la cage d'escalier.
   32. Descendez les escaliers (13 étapes, autour de l'atterrissage, 13 étapes).
   33. Sortez de la cage d'escalier et marcher dans une pièce.
   34. Allongez-vous sur un lit.
   35. Se lever et marcher 10 mètres pour une rampe.
   36. Marcher jusqu'à la rampe, tourner autour, puis vers le bas de la rampe (20 mètres).
   37. Continuez à marcher dans le couloir et ouvrez la porte vers l'extérieur.
   38. Marcher 100 mètres sur la voie pavée.
   39. Demi-tour et revenir à pied à la salle.
   40. Marchez dans la salle et se tenir au point de départ.
   41. Continuer debout, puis secouer le smartphone pour indiquer la fin du procès.

3. fin de l'essai

1. Arrêtez le smartphone d'enregistrement vidéo et de demander au participant de retirer et de retourner le smartphone et l'étui. Arrêter l'enregistrement de données ou application WMMS sur le SMArtphone. Copiez les fichiers de données de mouvement acquis et le fichier vidéo de deux téléphones à un ordinateur pour le post-traitement.

4. Post-traitement

1. Synchroniser la synchronisation entre la vidéo et les données de capteur brutes en déterminant le moment où l'action d'agitation a commencé. Ce mouvement d'agitation correspond à une trame de signal de l'accéléromètre et de la vidéo distincte. Vérifiez erreur de synchronisation en soustrayant le temps de bougé de l'extrémité de l'heure de début de bougé, pour les sources de données de capteurs et vidéo. Les différences de temps devrait être similaire entre les deux ensembles de données.
2. Déterminer les temps de la vidéo de l'étalon-or réelles de changement d'état par l'enregistrement de la différence de temps entre l'heure de début de l'agitation pour la trame vidéo à la transition entre les activités. Utilisez un logiciel de montage vidéo pour obtenir le calendrier à l'intérieur de 0,033 sec (soit 30 images par seconde vidéo). Utilisez un logiciel pour générer WMMS changements d'état comparables à partir des données de capteurs.
3. Générer deux ensembles de données, l'uneavec des activités vrai et le deuxième avec les activités prévues, par marquage de l'activité pour chaque trame vidéo (sur la base du changement d'état de synchronisation), puis en calculant l'activité prévue à chaque fois à partir de la sortie WMMS de trame vidéo. Pour l'évaluation de la performance WMMS, calculer vrais positifs, faux négatifs, vrais négatifs, faux positifs entre l'activité de l'étalon-or et WMMS prévu une activité. Utilisez ces paramètres pour calculer les résultats sensibilité, la spécificité, et F-scores mesures.
   Note: Un réglage de tolérance de 3 fenêtres de données de chaque côté de la fenêtre en cours d'analyse peut être utilisée pour la détermination des résultats de changement de l'état, et de 2 fenêtres de données pour les résultats de classification. Par exemple, depuis 1 seconde fenêtres de données ont été utilisés pour la WMMS dans cette étude, 3 secondes avant et après la fenêtre en cours ont été examinés afin que les changements consécutifs à l'intérieur de cette tolérance sont ignorés. La contrepartie a été que les changements d'état qui se produisent en moins de 3 secondes peut être ignorée de HUMA brutn analyse de mouvement puisque ces Etats serait considérée comme transitoire.

Résultats

Le protocole de l'étude a été menée auprès d'un échantillon de commodité de quinze participants valides dont le poids moyen était de 68,9 (± 11,1) kg, hauteur était de 173,9 (± 11,4) cm, et l'âge était de 26 (± 9) ans, recrutés dans L'Hôpital d'Ottawa et de l'Université d'Ottawa du personnel et des étudiants. Un smartphone capturé les données des capteurs à un taux de 40-50 Hz variable. Les variations de taux d'échantillonnage sont typiques pour l'échantillonnag...

Discussion

La reconnaissance de l'activité humaine avec un système de surveillance de la mobilité portable a reçu plus d'attention au cours des dernières années en raison des progrès techniques dans l'informatique et les smartphones portable et systématique des besoins pour les mesures des résultats quantitatifs qui aident à la prise de décision clinique et l'évaluation des interventions en santé. La méthodologie décrite dans le présent document a été efficace pour évaluer le développement WMMS ...

matériels

Name	Company	Catalog Number	Comments
Smartphone or wearable measurement device	Blackberry	Z10
Smartphone for video recording	Blackberry	Z10 or 9800
Phone holster	Any
Data logger application for the smartphone	BlackBerry World - TOHRC Data Logger for BlackBerry 10		http://appworld.blackberry.com/webstore/content/32013891/?countrycode=CA
Wearable mobility measurement	Custom Blackberry 10 and Matlab software for mobility monitoring		http://www.irrd.ca/cag/smartphone/
Video editing or analysis software	Motion Analysis Tools		http://www.irrd.ca/cag/mat/