Bir Günlük Yaşam Ortamında Smartphone merkezli İnsan Aktivitesi Tanıma Sisteminin Değerlendirilmesi

Özet

A standardized evaluation method was developed for Wearable Mobility Monitoring Systems (WMMS) that includes continuous activities in a realistic daily living environment. Testing with a series of daily living activities can decrease activity recognition sensitivity; therefore, realistic testing circuits are encouraged for valid evaluation of WMMS performance.

Özet

An evaluation method that includes continuous activities in a daily-living environment was developed for Wearable Mobility Monitoring Systems (WMMS) that attempt to recognize user activities. Participants performed a pre-determined set of daily living actions within a continuous test circuit that included mobility activities (walking, standing, sitting, lying, ascending/descending stairs), daily living tasks (combing hair, brushing teeth, preparing food, eating, washing dishes), and subtle environment changes (opening doors, using an elevator, walking on inclines, traversing staircase landings, walking outdoors).

To evaluate WMMS performance on this circuit, fifteen able-bodied participants completed the tasks while wearing a smartphone at their right front pelvis. The WMMS application used smartphone accelerometer and gyroscope signals to classify activity states. A gold standard comparison data set was created by video-recording each trial and manually logging activity onset times. Gold standard and WMMS data were analyzed offline. Three classification sets were calculated for each circuit: (i) mobility or immobility, ii) sit, stand, lie, or walking, and (iii) sit, stand, lie, walking, climbing stairs, or small standing movement. Sensitivities, specificities, and F-Scores for activity categorization and changes-of-state were calculated.

The mobile versus immobile classification set had a sensitivity of 86.30% ± 7.2% and specificity of 98.96% ± 0.6%, while the second prediction set had a sensitivity of 88.35% ± 7.80% and specificity of 98.51% ± 0.62%. For the third classification set, sensitivity was 84.92% ± 6.38% and specificity was 98.17 ± 0.62. F1 scores for the first, second and third classification sets were 86.17 ± 6.3, 80.19 ± 6.36, and 78.42 ± 5.96, respectively. This demonstrates that WMMS performance depends on the evaluation protocol in addition to the algorithms. The demonstrated protocol can be used and tailored for evaluating human activity recognition systems in rehabilitation medicine where mobility monitoring may be beneficial in clinical decision-making.

Giriş

Ubiquitous algılama nedeniyle giderek güçlü, küçük, düşük maliyetli bilgisayar ve donanımları ¹ algılama için ilgi çekici bir araştırma alanı haline gelmiştir. Tüketici düzeyinde mikroelektronik yüksek doğruluk ¹ ile hareket özelliklerini saptayabilen beri giyilebilir sensörler kullanılarak Hareketlilik izleme ilgi bir hayli üretti. ^{4 -} ön çalışmalar ² 1990'lar 1980'lerde gerçekleştirilen ve birlikte giyilebilir sensörler kullanılarak insan faaliyeti tanıma (HAR), araştırma yeni bir alandır.

Modern akıllı telefonlar hareketlilik faaliyeti tanınması için gerekli sensörler ve gerçek zamanlı hesaplama yeteneği içerir. Cihaz üzerindeki gerçek zamanlı analiz kullanıcı veya araştırmacı müdahalesi olmadan faaliyet sınıflandırma ve veri yükleme izin verir. Hareket analiz yazılımı ile bir akıllı telefon tespiti, ev veya iş otomasyonu ve kendi kendini yöneten exercis sonbahar, spor izleme, sağlık izleme sağlayabilire programları ^5. Akıllı telefonlar onboard sensör çıkışları ⁶ ile hesaplanan oluşturulan matematiksel sinyal özelliklerini kullanarak, insanlarda mobil faaliyetleri ve mobil desenleri tespit etmek için atalet ölçüm platformları olarak kabul edilebilir. Ortak özellik nesil yöntemleri sezgisel, zaman etki, frekans domain ve dalgacık analizi temelli yaklaşımlar ⁷ arasındadır.

Belirtilen faaliyetleri ^1,5,6,7 tespit ettiğinde, modern akıllı telefon HAR sistemleri, yüksek tahmin doğrulukları göstermiştir. Çalışmaların çoğu, kendi eğitim seti, çevre kurulum ve veri toplama protokolü beri bu çalışmalar değerlendirme metodolojisi yanı sıra doğruluk değişebilir. Duyarlılık, özgüllük, doğruluk, hatırlama, hassas ve F-Puan yaygın tahmin kalitesini tanımlamak için kullanılır. Bununla birlikte, herhangi bir bilgi, küçük, gerçek zamanlı olarak aktivite değişiklikleri algılamak için yeteneği "eşzamanlı aktivitesi" tanıma ve değerlendirilmesi için yöntemler mevcuttur^1, çeşitli etkinlikler kategorize girişiminde HAR sistemleri. HAR sistem hassasiyeti için Değerlendirme yöntemleri çalışmalar arasında önemli ölçüde değişir. Ne olursa olsun sınıflandırma algoritması veya uygulamalı özelliklerin, altın standart değerlendirme yöntemlerinin açıklamaları çoğu HAR araştırma için belirsizdir.

Bir günlük yaşam ortamında Etkinlik tanıma yoğun araştırılmış değil. En akıllı telefon-temelli etkinlik tanıma sistemi, gerçek dünya ortamına algoritması yerine gerçekçi avantajlı olabilir bir değerlendirme protokolü yol açan, kontrollü bir şekilde değerlendirilir. Bunların değerlendirilmesi düzeni içinde, katılımcılar genellikle oldukça gerçek yaşam olaylarını taklit, ard arda gerçekleştirmek için katılımcı için gerçekçi faaliyetleri geniş bir ürün yelpazesi uygulamak daha tahmin yönelik sadece eylemleri gerçekleştirmek.

Bazı akıllı telefon HAR tür merdiven ve yürüyüş gibi birlikte ^8,9 grup benzer faaliyetleri, çalışmalarıAncak veri kümesinden diğer faaliyetleri hariç. Tahmin doğruluğu daha sonra algoritma hedef faaliyetlerini tespit ne kadar iyi belirlenir. Dernbach ve ark., ⁹ katılımcıların sürekli değişim-of-devlet geçişler kesintiye, hareket etmeden önce yürütmek için hakkında vardı yazma etkinliği vardı. Katılımcı bir günlük yaşam ortamında doğal eylemleri gerçekleştirir iken HAR sistem değerlendirmeler algoritması değerlendirmelidir. Bu uygulamanın günlük kullanım çoğaltır gerçek hayatta değerlendirilmesine olanak olacaktır. Gerçekçi bir devre birçok devlet değişikliklerini-yanı sıra sistem tarafından predicable olmayan eylemlerin bir karışımını içerir. Bir araştırmacı sonra bu şekilde anormal hareketlere algoritmanın sağlamlığını değerlendirmek, bu ek hareketlere algoritmanın yanıtını değerlendirmek olabilir.

Bu kağıt gerçek yaşam günlük yaşam ortamlarını yansıtan kontrollü bir kurs kullanan Giyilebilir Mobilite İzleme Sistemi (WMMS) değerlendirme protokolü sunar. WMMSDeğerlendirme sonra kontrollü ama gerçekçi koşullar altında yapılabilir. Bu protokol, biz Ottawa Üniversitesi ve Ottawa Hospital Research Institute ^11-15 geliştirildi üçüncü nesil WMMS kullanın. WMMS bir tri-eksenli ivmeölçer ve jiroskop ile akıllı telefonlar için tasarlanmıştır. Hareketlilik algoritması, kullanıcı değişkenliği hesapları değişiklik eyalet belirlenmesi için yanlış pozitif sayısında bir azalma sağlar ve etkinlik kategorizasyon hassasiyetini artırır. WMMS daha WMMS sınıflandırma geliştirir bağlam-duyarlı etkinlik değerlendirilmesi için devlet faaliyeti değişiklikleri tespit edilir kısa video klip kaydı tetikler çünkü yanlış pozitif en aza indirilmesi önemlidir. Gereksiz bir video kayıt depolama ve pil kullanımı yetersizliklere oluşturur. WMMS algoritması tahmin düzeyinde bir artış miktarında bir artış anlamına farklı tahmin seviyelerini kullanarak düşük hesaplama öğrenme modeli olarak yapılandırılmıştır ve değerlendirilirtanınabilir eylemler.

Protokol

Bu protokol Ottawa Sağlık Bilimleri Ağı Araştırma Etik Kurulu tarafından onaylanmıştır.

1. Hazırlık

1. , Bir araştırma taslak katılımcılara sağlayın sorulara cevap ve aydınlatılmış onam. Kayıt katılımcı özellikleri (örneğin, yaş, cinsiyet, boy, kilo, bel çevresi, anterior superior medial malleol için iliyak bacak yükseklik) Bir veri sayfasında, kimlik kodu, tarih ve. Video yakalamak için kullanılan ikinci akıllı telefon, ikinci yakalama hızı başına en az 30 kare olarak ayarlanmış olduğundan emin olun.
2. Güvenli katılımcının sağ ön kemer veya pantolon bel için bir telefon kılıfına ekleyin. Hareketlilik ölçüm smartphone sensör verileri (yani veri kaydı veya WMMS uygulaması) toplamak ve uygulama uygun çalıştığından emin olmak için kullanılacak akıllı telefon uygulamasını başlatın. Cihazın arkasındaki (arka ca ile tutucuya yerleştirin smartphonedışa bakan mera).
3. İkinci smartphone dijital video kayıt başlayın. Anonimlik için kişinin yüzünü göstermeden karşılaştırma video kaydetmek, ancak tüm faaliyet geçişleri kaydetmek için emin olun. Telefon el olabilir.

2. Etkinlik Devre

1. İkinci smartphone, onların eylemleri katılımcıyı ve videoyu izleyin onlar araştırmacı tarafından konuşulan şu eylemleri gerçekleştirmek ise:
   1. Ayakta pozisyondan, duruşmanın başladığını göstermek için smartphone sallayın.
   2. En az 10 sn bekletildikten devam edin. Bu duran faz, telefon yönlendirmesi kalibrasyon ¹⁴ için kullanılabilir.
   3. Yakındaki bir sandalyeye yürüyün ve otur.
   4. Ayağa kalk ve bir asansöre 60 metre yürüyün.
   5. Standı ve asansör için bekleyin ve daha sonra asansöre yürümek.
   6. İkinci katta asansörün atın.
   7. Çevirin ve ev ortamına yürüyün.
   8. Banyo ve si içine yürümekMulate diş fırçalama.
   9. Saç tarama benzetin.
   10. El yıkama benzetin.
   11. Bir havlu kullanarak Kuru eller.
   12. Mutfağa yürüyün.
   13. Bir raf yemekleri alın ve tezgahın üzerine koyun.
   14. Evye su ile bir su ısıtıcısı doldurun.
   15. Soba elemanı üzerindeki su ısıtıcısı yerleştirin.
   16. Bir tost ekmeği yerleştirin.
   17. Yemek odası yürüyün.
   18. Yemek odası masada oturmak.
   19. Masada yemek yeme benzetin.
   20. Standı ve geri evye yürüyün.
   21. Yemekleri durulayın ve bir rafa koyun.
   22. Asansör geri mutfaktan yürüyün.
   23. Standı ve asansör için bekleyin ve daha sonra asansöre yürümek.
   24. Birinci katta asansörün atın.
   25. Bir merdiven boşluğu 50 metre yürüyün.
   26. Kapıyı açın ve merdiven boşluğu girin.
   27. (Iniş yaklaşık 13 adımları, 13 adım) merdivenlerden yukarı yürüyün.
   28. Koridorda merdiven kapısını açın.
   29. Sağa dönün ve 15 metre koridordan yürüyün.
   30. Arkanı dön ve geri merdiven boşluğu 15 metre yürüyün.
   31. Kapıyı açın ve merdiven boşluğu girin.
   32. (Iniş yaklaşık 13 adımları, 13 adım) merdivenlerden aşağı yürüyün.
   33. Merdiven boşluğu çıkın ve bir odaya yürüyün.
   34. Bir yatakta yatmak.
   35. Kalk ve bir rampa 10 metre yürümek.
   36. Daha sonra rampa (20 metre) aşağı dönüp, rampa yukarı yürüyün.
   37. Salona yürümeye devam ve dışarıdan kapıyı açın.
   38. Döşeli yolu üzerinde 100 metre yürüyün.
   39. Arkanı dön ve odasına geri yürüyün.
   40. Odasına yürümek ve başlangıç ​​noktasında duruyor.
   41. Ayakta Devam ve ardından davanın sonunu belirtmek için akıllı sallayın.

3. Deneme Tamamlama

1. Video kayıt akıllı telefon durdurun ve kaldırmak ve akıllı ve kılıfından dönmek için katılımcıdan. Sma veri günlüğü ya da WMMS uygulamayı durdurmakrtphone. Post-processing için bir bilgisayara hem telefonlarından elde edilen hareket veri dosyalarını ve video dosyasını kopyalayın.

4. Post-processing

1. Shake eylemi başladığında vakit belirleyerek video ve ham sensör verileri arasındaki zamanlamayı senkronize edin. Bu sallayarak hareket ayrı bir ivme sinyali ve video karesine eşittir. Sensör ve video veri kaynakları için, başlangıç ​​sallamak zaman bitiş süresini shake çıkarılarak eşitleme hatası olup olmadığını kontrol edin. Zaman farkı iki veri kümesi arasındaki benzer olmalıdır.
2. Faaliyetleri arasındaki geçişte video karesine başlangıç ​​sallamak zaman zaman farkı kaydederek altın standart video gerçek değişim-of-devlet sürelerini belirler. 0.033 sn dahilinde zamanlama elde etmek için video düzenleme yazılımı kullanın (örneğin, ikinci bir video oranı 30 kare). Karşılaştırılabilir değişiklikler eyalet sensör verileri oluşturmak için WMMS yazılımını kullanın.
3. Iki veri setleri oluşturmak, tekGerçek faaliyetleri ve tahmin faaliyetleri ile ikinci olan her bir video çerçevesi için aktiviteyi etiketleyerek WMMS çıkışı her video çerçeve anda tahmin faaliyeti hesaplanması ve sonra (devlet zamanlaması değişikliğe göre). WMMS performans değerlendirmesi için altın standart aktivite arasındaki gerçek pozitifler, yanlış negatif, gerçek negatifler, yanlış pozitif hesaplamak ve WMMS aktivitesini öngördü. Duyarlılık, seçicilik ve F-skor sonuçları önlemler hesaplamak için bu parametreleri kullanın.
   Not: analiz edilen pencerenin her iki tarafında 3 veri pencerelerin bir tolerans ayar değişikliği eyalet sonuçlarını belirlemek için kullanılan ve sınıflandırma sonuçları için 2 veri pencereleri edilebilir. 1 ikinci veri pencereler bu çalışmada WMMS kullanıldı çünkü bu tolerans dahilinde ardışık değişiklikler göz ardı edilir, böylece Örneğin, 3 sn önce ve geçerli pencerenin sonra muayene edildi. Dikkate 3 saniyeden daha kısa meydana devlet değişiklikler brüt huma için göz ardı edilebilir olduğunuBu devletlerin beri n hareket analizi geçici olarak düşünülebilir.

Sonuçlar

Çalışma protokolü yüksekliği cm (11,4 ±) 173,9 idi, kimin ortalama ağırlığı 68.9 idi (11.1 ±) onbeş-güçlü gövdeli katılımcıların bir kolaylık numunesi kg yapılan ve yaş Ottawa Hastanesi işe, 26 (± 9) yıl idi ve Ottawa personelin ve öğrencilerin Üniversitesi. Bir akıllı telefon değişken 40-50 Hz hızında sensör verileri ele geçirdi. Örnek oranı varyasyonları smartphone sensörü örnekleme için tipiktir. İkinci akıllı telefon 1280x720 (720p) çözünürlükte dijital video kay...

Tartışmalar

Bir giyilebilir hareketlilik izleme sistemi ile insan faaliyetinin tanıma nedeniyle giyilebilir bilgisayar ve akıllı telefonlar ve klinik karar verme ve sağlık müdahalesi değerlendirmemize yardımcı kantitatif sonuç ölçümlerinin sistematik ihtiyaçlarını teknik gelişmeler son yıllarda daha fazla ilgi görmüştür. Bu yazıda anlatılan metodoloji etkinliği sınıflandırması hataları günlük yaşam aktiviteleri ve yürüyen senaryolar geniş bir yelpazede değerlendirmeye dahil olmasaydı mevcut olm...

Malzemeler

Name	Company	Catalog Number	Comments
Smartphone or wearable measurement device	Blackberry	Z10
Smartphone for video recording	Blackberry	Z10 or 9800
Phone holster	Any
Data logger application for the smartphone	BlackBerry World - TOHRC Data Logger for BlackBerry 10		http://appworld.blackberry.com/webstore/content/32013891/?countrycode=CA
Wearable mobility measurement	Custom Blackberry 10 and Matlab software for mobility monitoring		http://www.irrd.ca/cag/smartphone/
Video editing or analysis software	Motion Analysis Tools		http://www.irrd.ca/cag/mat/