Valutazione di un sistema di riconoscimento attività umana basata-Smartphone in un ambiente di vita quotidiana

Riepilogo

A standardized evaluation method was developed for Wearable Mobility Monitoring Systems (WMMS) that includes continuous activities in a realistic daily living environment. Testing with a series of daily living activities can decrease activity recognition sensitivity; therefore, realistic testing circuits are encouraged for valid evaluation of WMMS performance.

Abstract

An evaluation method that includes continuous activities in a daily-living environment was developed for Wearable Mobility Monitoring Systems (WMMS) that attempt to recognize user activities. Participants performed a pre-determined set of daily living actions within a continuous test circuit that included mobility activities (walking, standing, sitting, lying, ascending/descending stairs), daily living tasks (combing hair, brushing teeth, preparing food, eating, washing dishes), and subtle environment changes (opening doors, using an elevator, walking on inclines, traversing staircase landings, walking outdoors).

To evaluate WMMS performance on this circuit, fifteen able-bodied participants completed the tasks while wearing a smartphone at their right front pelvis. The WMMS application used smartphone accelerometer and gyroscope signals to classify activity states. A gold standard comparison data set was created by video-recording each trial and manually logging activity onset times. Gold standard and WMMS data were analyzed offline. Three classification sets were calculated for each circuit: (i) mobility or immobility, ii) sit, stand, lie, or walking, and (iii) sit, stand, lie, walking, climbing stairs, or small standing movement. Sensitivities, specificities, and F-Scores for activity categorization and changes-of-state were calculated.

The mobile versus immobile classification set had a sensitivity of 86.30% ± 7.2% and specificity of 98.96% ± 0.6%, while the second prediction set had a sensitivity of 88.35% ± 7.80% and specificity of 98.51% ± 0.62%. For the third classification set, sensitivity was 84.92% ± 6.38% and specificity was 98.17 ± 0.62. F1 scores for the first, second and third classification sets were 86.17 ± 6.3, 80.19 ± 6.36, and 78.42 ± 5.96, respectively. This demonstrates that WMMS performance depends on the evaluation protocol in addition to the algorithms. The demonstrated protocol can be used and tailored for evaluating human activity recognition systems in rehabilitation medicine where mobility monitoring may be beneficial in clinical decision-making.

Introduzione

Rilevamento onnipresente è diventata un'area di ricerca coinvolgente a causa di sempre più potenti, piccolo, di calcolo a basso costo e apparecchiature di rilevamento ^1. Mobilità monitoraggio tramite sensori indossabili ha generato un grande interesse da microelettronica a livello dei consumatori siano in grado di rilevare caratteristiche di movimento con elevata precisione ^1. Riconoscimento L'attività umana (HAR) utilizzando sensori indossabili è una recente settore della ricerca, con studi preliminari effettuati negli anni 1980 e 1990 ^2-4.

Moderni smartphone contengono i sensori necessari e la capacità di calcolo in tempo reale per il riconoscimento di attività di mobilità. Analisi in tempo reale sul dispositivo consente classificazione delle attività e caricamento dei dati, senza l'intervento dell'utente o investigatore. Uno smartphone con il software di analisi della mobilità potrebbe fornire fitness tracking, il monitoraggio sanitario, cadere rilevamento di casa e l'automazione di lavoro, e di auto-gestione exercisprogrammi di e ^5. Gli smartphone possono essere considerati piattaforme di misura inerziale per la rilevazione di attività mobili e modelli di mobili negli esseri umani, con caratteristiche di segnale matematici generati calcolati con uscite del sensore a bordo ^6. Metodi di generazione di funzionalità comuni includono euristica, nel dominio del tempo, nel dominio della frequenza, e wavelet approcci di analisi basati su ^7.

Sistemi smartphone HAR moderni hanno mostrato elevate precisioni di previsione quando rileva attività specificate ^1,5,6,7. Questi studi variano in metodologia di valutazione, così come la precisione da maggior parte degli studi hanno un proprio insieme di addestramento, l'installazione ambientale, e il protocollo di raccolta dei dati. La sensibilità, la specificità, la precisione, richiamo, precisione, e F-Score sono comunemente usati per descrivere la qualità previsione. Tuttavia, a poco a non sono disponibili informazioni sui metodi per il riconoscimento "attività simultanee" e valutazione della capacità di rilevare i cambiamenti di attività in tempo reale^1, per i sistemi HAR che tentano di classificare diverse attività. Metodi di valutazione per HAR precisione del sistema variano notevolmente tra gli studi. Indipendentemente dal algoritmo di classificazione o funzioni applicate, le descrizioni dei metodi di valutazione standard di oro sono vaghi per la maggior parte della ricerca HAR.

Il riconoscimento di attività in un ambiente di vita quotidiana non è stato ampiamente studiato. La maggior parte dei sistemi di riconoscimento di attività basati smartphone-sono valutate in modo controllato, portando ad un protocollo di valutazione che può essere vantaggioso per l'algoritmo piuttosto che realistico un ambiente reale. All'interno del loro schema di valutazione, i partecipanti spesso eseguono solo le azioni previste per la previsione, piuttosto che l'applicazione di una vasta gamma di attività realistici per il partecipante di eseguire consecutivamente, imitando eventi della vita reale.

Alcuni HAR smartphone studia ^8,9 gruppo attività simili insieme, come scale e passeggiate, Ma escludere altre attività dal set di dati. Accuratezza previsione è quindi determinato da quanto bene l'algoritmo ha individuato le attività target. Dernbach et al. ⁹ hanno avuto partecipanti scrivono l'attività che stavano per eseguire, prima di trasferirsi, di interrompere le transizioni continue di cambiamento di stato. Le valutazioni del sistema HAR dovrebbero valutare l'algoritmo mentre il partecipante compie azioni naturali in un ambiente vita quotidiana. Ciò consentirebbe una valutazione in vivo che riproduce l'uso quotidiano dell'applicazione. Un circuito realistico include molti cambiamenti di stato e un insieme di azioni non prevedibili dal sistema. Un investigatore può quindi valutare la risposta dell'algoritmo di questi movimenti supplementari, valutando in tal modo la robustezza dell'algoritmo di movimenti anomali.

Questo articolo presenta un protocollo di valutazione Wearable Mobility System Monitoring (WMMS) che utilizza un percorso controllato che riflette ambienti di vita quotidiana della vita reale. WMMSvalutazione può quindi essere effettuata in condizioni controllate, ma realistiche. In questo protocollo, si usa un WMMS terza generazione che è stato sviluppato presso l'Università di Ottawa e Ottawa Hospital Research Institute ^11-15. Il WMMS è stato progettato per gli smartphone con un accelerometro a tre assi e giroscopio. Conti L'algoritmo mobilità variabilità utente, fornisce una riduzione del numero di falsi positivi per l'identificazione cambiamenti di stato, e aumenta la sensibilità nell'attività categorizzazione. Minimizzare falsi positivi è importante in quanto la WMMS innesca breve registrazione video clip quando vengono rilevate modifiche di attività di stato, per la valutazione attività sensibile al contesto che migliora ulteriormente la classificazione WMMS. Registrazione video inutile crea inefficienze di immagazzinamento e l'uso della batteria. L'algoritmo WMMS è strutturata come un modello a basso computazionale apprendimento e valutata utilizzando diversi livelli di previsione, in cui un aumento del livello previsione indica un aumento nella quantitàazioni di riconoscibili.

Protocollo

Questo protocollo è stato approvato dal Consiglio di Ricerca Etica Ottawa Health Science Network.

1. Preparazione

1. Fornire ai partecipanti un quadro della ricerca, rispondere alle domande, e ottenere il consenso informato. Caratteristiche dei partecipanti record (ad esempio, età, sesso, altezza, peso, circonferenza vita, altezza gamba dal spinale anteriore superiore iliaca al malleolo mediale), il codice di identificazione, e la data su una scheda tecnica. Verificare che il secondo smartphone che viene utilizzata per catturare video è impostato su almeno 30 fotogrammi al secondo tasso di acquisizione.
2. Trovare e collegare una fondina per telefono anteriore destra cintura o mutanda vita del partecipante. Avviare l'applicazione per smartphone che verrà utilizzato per raccogliere i dati del sensore (ad esempio, di registrazione dei dati o di applicazione WMMS) sullo smartphone di misura di mobilità e assicurare che l'applicazione è in esecuzione in modo appropriato. Posizionare lo smartphone nella custodia, con la parte posteriore del dispositivo (ca posterioreMera) rivolto verso l'esterno.
3. Avviare la registrazione video digitale su un secondo smartphone. Per l'anonimato, registrare il video confronto senza mostrare il volto della persona, ma assicurarsi di registrare tutte le transizioni di attività. Il telefono può essere tenuto in mano.

2. Circuito Attività

1. Seguire il partecipante e il video le loro azioni, il secondo smartphone, mentre compiono le seguenti azioni, pronunciate dal ricercatore:
   1. Da una posizione eretta, agitare lo smartphone per indicare l'inizio del processo.
   2. Continuare in piedi per almeno 10 secondi. Questa fase in piedi può essere utilizzato per la calibrazione orientamento telefono ^14.
   3. A piedi da una sedia e sedersi.
   4. Alzarsi e camminare 60 metri di un ascensore.
   5. Stand e aspettare l'ascensore e poi a piedi in ascensore.
   6. Prendete l'ascensore fino al secondo piano.
   7. Girare e camminare in ambiente domestico.
   8. Entrate in bagno e siMulate lavarsi i denti.
   9. Simulare pettinatura dei capelli.
   10. Simulare lavarsi le mani.
   11. Asciugare le mani con un asciugamano.
   12. A piedi in cucina.
   13. Prendete i piatti da un rack e metterli sul banco.
   14. Riempire una pentola con l'acqua del lavandino della cucina.
   15. Posizionare il bollitore sul fornello elemento.
   16. Mettere il pane in un tostapane.
   17. A piedi dalla sala da pranzo.
   18. Sedersi a un tavolo da pranzo.
   19. Simulare mangiare un pasto a tavola.
   20. Alzarsi e camminare di nuovo al lavello della cucina.
   21. Risciacquare i piatti e metterli in un rack.
   22. A piedi dalla cucina di nuovo verso l'ascensore.
   23. Stand e aspettare l'ascensore e poi a piedi in ascensore.
   24. Prendete l'ascensore fino al primo piano.
   25. A piedi a 50 metri di una tromba delle scale.
   26. Aprire la porta ed entrate nella tromba delle scale.
   27. Salire le scale (13 gradini, circa atterraggio, 13 scalini).
   28. Aprire la porta delle scale nel corridoio.
   29. Girare a destra e proseguire a piedi lungo il corridoio per 15 metri.
   30. Girarsi e camminare 15 metri di nuovo alla tromba delle scale.
   31. Aprire la porta ed entrate nella tromba delle scale.
   32. Proseguire a piedi lungo le scale (13 gradini, circa atterraggio, 13 scalini).
   33. Uscire dalla tromba delle scale e entrare in una stanza.
   34. Sdraiatevi su un letto.
   35. Alzati e cammina 10 metri ad una rampa.
   36. Salite la rampa, girare intorno, poi giù per la rampa (20 metri).
   37. Proseguire a piedi nel corridoio ed aprite la porta verso l'esterno.
   38. Camminare per 100 metri sul sentiero lastricato.
   39. Girare intorno e tornare indietro per la stanza.
   40. Camminare nella stanza e stare al punto di partenza.
   41. Continuare in piedi, e poi agitare lo smartphone per indicare la fine della prova.

3. Completamento Trial

1. Fermare lo smartphone di registrazione video e chiedere al partecipante di rimuovere e restituire lo smartphone e fondina. Arrestare la registrazione dei dati o l'applicazione WMMS sulla SMARTphone. Copiare i file di dati acquisiti movimento e il file video da entrambi i telefoni a un computer per la post-elaborazione.

4. post-elaborazione

1. Sincronizzazione temporale tra il video ei dati grezzi sensore determinando il momento in cui l'azione shake iniziato. Questo movimento agitando corrisponde ad un telaio segnale dell'accelerometro e il video distinti. Verificare la presenza di errore di sincronizzazione sottraendo il tempo scossa fine dal momento scossa di inizio, per le origini dati di sensori e video. Differenze di tempo dovrebbero essere simili tra i due insiemi di dati.
2. Determinare i tempi effettivi di cambiamento di stato dal video gold-standard registrando la differenza di tempo dal momento in scossa inizio per il fotogramma video nel passaggio tra le attività. Utilizzare software di editing video per ottenere i tempi entro 0,033 sec (ad esempio, 30 fotogrammi al secondo tasso di video). Utilizzare il software WMMS per generare cambiamenti-of-state analoghe, i dati del sensore.
3. Generare due insiemi di dati, unocon veri attività e la seconda con attività previste, etichettando l'attività per ogni fotogramma video (in base al cambiamento di temporizzazione di stato) e poi calcolando l'attività prevista in ogni fotogramma video dall'uscita WMMS. Per la valutazione delle prestazioni WMMS, calcolare veri positivi, falsi negativi, veri negativi, falsi positivi tra l'attività gold-standard e WMMS predetto attività. Utilizzare questi parametri per calcolare misure esiti sensibilità, specificità, e F-score.
   Nota: L'impostazione di tolleranza di 3 finestre di dati su entrambi i lati della finestra analizzato può essere utilizzato per determinare i risultati di cambiamento di stato, e 2 finestre di dati per i risultati di classificazione. Ad esempio, dal 1 finestre secondi dati sono stati utilizzati per la WMMS in questo studio, 3 sec prima e dopo la finestra corrente sono stati esaminati in modo che i cambiamenti consecutivi all'interno della stessa tolleranza vengono ignorati. Il corrispettivo è stato che i cambiamenti di stato che avvengono in meno di 3 secondi può essere ignorato per Huma lordoanalisi del movimento n in quanto questi Stati sarebbe considerato transitorio.

Risultati

Il protocollo dello studio è stato condotto con un campione di convenienza di quindici partecipanti normodotati il ​​cui peso medio era 68,9 (± 11,1) kg, altezza era 173,9 (± 11.4) cm, e l'età era di 26 (± 9) anni, reclutati da L'ospedale di Ottawa e Università di Ottawa e personale degli studenti. Uno smartphone catturato dati del sensore a una velocità di 40-50 Hz variabile. Variazioni dei tassi di campionamento sono tipiche per il campionamento del sensore smartphone. Un secondo smartphone è stato...

Discussione

Riconoscimento L'attività umana, con un sistema di monitoraggio della mobilità indossabile ha ricevuto più attenzione negli ultimi anni grazie ai progressi tecnici nel campo dell'informatica e smartphone indossabili e le esigenze sistematici per misure quantitative di esito che aiutano con processo decisionale clinico e valutazione intervento sanitario. La metodologia descritta nel presente documento è stato efficace per valutare lo sviluppo WMMS poiché si è constatato che non sarebbe stato presente se una...

Materiali

Name	Company	Catalog Number	Comments
Smartphone or wearable measurement device	Blackberry	Z10
Smartphone for video recording	Blackberry	Z10 or 9800
Phone holster	Any
Data logger application for the smartphone	BlackBerry World - TOHRC Data Logger for BlackBerry 10		http://appworld.blackberry.com/webstore/content/32013891/?countrycode=CA
Wearable mobility measurement	Custom Blackberry 10 and Matlab software for mobility monitoring		http://www.irrd.ca/cag/smartphone/
Video editing or analysis software	Motion Analysis Tools		http://www.irrd.ca/cag/mat/