تقييم لنظام التعرف على آخر الانسان ومقرها الذكي في صحيفة ظروف المعيشة

Summary

A standardized evaluation method was developed for Wearable Mobility Monitoring Systems (WMMS) that includes continuous activities in a realistic daily living environment. Testing with a series of daily living activities can decrease activity recognition sensitivity; therefore, realistic testing circuits are encouraged for valid evaluation of WMMS performance.

Abstract

An evaluation method that includes continuous activities in a daily-living environment was developed for Wearable Mobility Monitoring Systems (WMMS) that attempt to recognize user activities. Participants performed a pre-determined set of daily living actions within a continuous test circuit that included mobility activities (walking, standing, sitting, lying, ascending/descending stairs), daily living tasks (combing hair, brushing teeth, preparing food, eating, washing dishes), and subtle environment changes (opening doors, using an elevator, walking on inclines, traversing staircase landings, walking outdoors).

To evaluate WMMS performance on this circuit, fifteen able-bodied participants completed the tasks while wearing a smartphone at their right front pelvis. The WMMS application used smartphone accelerometer and gyroscope signals to classify activity states. A gold standard comparison data set was created by video-recording each trial and manually logging activity onset times. Gold standard and WMMS data were analyzed offline. Three classification sets were calculated for each circuit: (i) mobility or immobility, ii) sit, stand, lie, or walking, and (iii) sit, stand, lie, walking, climbing stairs, or small standing movement. Sensitivities, specificities, and F-Scores for activity categorization and changes-of-state were calculated.

The mobile versus immobile classification set had a sensitivity of 86.30% ± 7.2% and specificity of 98.96% ± 0.6%, while the second prediction set had a sensitivity of 88.35% ± 7.80% and specificity of 98.51% ± 0.62%. For the third classification set, sensitivity was 84.92% ± 6.38% and specificity was 98.17 ± 0.62. F1 scores for the first, second and third classification sets were 86.17 ± 6.3, 80.19 ± 6.36, and 78.42 ± 5.96, respectively. This demonstrates that WMMS performance depends on the evaluation protocol in addition to the algorithms. The demonstrated protocol can be used and tailored for evaluating human activity recognition systems in rehabilitation medicine where mobility monitoring may be beneficial in clinical decision-making.

Introduction

أصبح الاستشعار في كل مكان ومجال البحث إشراك بسبب قوية على نحو متزايد، صغيرة، منخفضة التكلفة الحوسبة والاستشعار عن المعدات ^1. مراقبة التنقل باستخدام أجهزة استشعار يمكن ارتداؤها قد ولدت قدرا كبيرا من الاهتمام منذ الالكترونيات الدقيقة على مستوى المستهلك هي قادرة على اكتشاف خصائص الحركة مع دقة عالية ^1. الاعتراف النشاط البشري (هار) باستخدام أجهزة استشعار يمكن ارتداؤها هي منطقة الأخيرة من البحوث، مع دراسات أولية أجريت في 1980s و 1990s ^2-4.

الهواتف الذكية الحديثة تحتوي على أجهزة استشعار اللازمة والقدرة على حساب الوقت الحقيقي للاعتراف النشاط التنقل. يسمح تحليل في الوقت الحقيقي على الجهاز تصنيف النشاط وتحميل البيانات دون تدخل المستخدم أو محقق. الهاتف الذكي مع برامج التحليل التنقل يمكن أن توفر تتبع اللياقة البدنية، والمراقبة الصحية، وتقع الكشف أو مسكنه أو أتمتة العمل، والتمارين ذاتية الإدارةبرامج البريد ^5. يمكن اعتبار الهواتف الذكية منصات قياس بالقصور الذاتي للكشف عن أنشطة الجوالة وأنماط المتنقلة في البشر، وذلك باستخدام ميزات إشارة الرياضية ولدت تحسب مع مخرجات الاستشعار على متن ^6. وتشمل السمات المشتركة أساليب الجيل الكشف عن مجريات الأمور، والوقت المجال، تردد المجال، والمويجات النهج القائم على تحليل ^7.

وقد أظهرت أنظمة الهاتف الذكي HAR الحديثة الدقة التنبؤ عالية عندما كشف الأنشطة المحددة ^1،5،6،7. هذه الدراسات تختلف في منهجية التقييم وكذلك دقة لأن معظم الدراسات الخاصة بها مجموعة التدريب والإعداد البيئي، وبروتوكول جمع البيانات. الحساسية والنوعية والدقة، أذكر، والدقة، وF-نتيجة تستخدم عادة لوصف نوعية التنبؤ. ذلك ما لم تتوفر معلومات حول طرق ل "النشاط المتزامن" الاعتراف وتقييم القدرة على اكتشاف التغيرات النشاط في الوقت الحقيقي^1، لأنظمة العمل الإنساني التي تحاول تصنيف العديد من الأنشطة. أساليب التقييم لتقرير العمل الإنساني دقة النظام تختلف بشكل كبير بين الدراسات. بغض النظر عن خوارزمية تصنيف أو ميزات تطبيقها، وصفا للأساليب تقييم موحدة الذهب غامضة بالنسبة لمعظم البحوث تقرير العمل الإنساني.

الاعتراف النشاط في بيئة الحياة اليومية لم يتم بحثها على نطاق واسع. يتم تقييم معظم أنظمة التعرف على النشاط القائم على الهواتف الذكية في الطريقة التي تسيطر عليها، مما أدى إلى بروتوكول التقييم التي قد يكون من المفيد أن الخوارزمية بدلا من الواقعي أن بيئة في العالم الحقيقي. ضمن مخطط تقييمها، المشاركين غالبا ما تؤدي فقط الإجراءات تهدف للتنبؤ، بدلا من تطبيق مجموعة واسعة من الأنشطة واقعية للمشارك لأداء على التوالي، ومحاكاة الأحداث من واقع الحياة.

يدرس بعض HAR الهاتف الذكي أنشطة مماثلة ^8،9 مجموعة معا، مثل السلالم والمشيولكن استبعاد أنشطة أخرى من مجموعة البيانات. ثم يتم تحديد دقة التنبؤ بمدى حددت خوارزمية الأنشطة المستهدفة. Dernbach وآخرون. ⁹ وكان المشاركون إرسال النشاط كانوا على وشك تنفيذ قبل الانتقال، انقطاع مستمر التغيير للللدولة التحولات. يجب تقييم نظام HAR تقييم الخوارزمية في حين يقوم المشارك الإجراءات الطبيعية في بيئة المعيشة اليومية. ومن شأن ذلك أن يسمح بتقييم واقع الحياة أن يعيد استخدام اليومي من التطبيق. وتشمل دارة واقعية العديد من التغيرات للدولة فضلا عن مزيج من الإجراءات لا متوقعة من قبل النظام. يمكن للمحقق ثم تقييم الاستجابة خوارزمية لهذه الحركات إضافية، وبالتالي تقييم متانة خوارزمية لحركات شاذة.

تقدم هذه الورقة لبس نظام مراقبة التنقل (WMMS) بروتوكول التقييم التي تستخدم دورة للرقابة التي تعكس بيئات الحياة اليومية من واقع الحياة. WMMSويمكن بعد ذلك يتم تقييم تحت ظروف محكومة ولكنها واقعية. في هذا البروتوكول، ونحن استخدام الجيل الثالث WMMS التي تم تطويرها في معهد أبحاث مستشفى أوتاوا ^11-15 جامعة أوتاوا و. تم تصميم WMMS للهواتف الذكية مع التسارع ثلاثي محور وجيروسكوب. حسابات خوارزمية التنقل لتقلب المستخدم، ويوفر تخفيض في عدد من ايجابيات كاذبة عن التغييرات من الدولة تحديد الهوية، ويزيد من حساسية في النشاط التصنيف. التقليل من ايجابيات كاذبة المهم منذ WMMS يطلق قصيرة تسجيل الفيديو كليب عندما يتم الكشف عن التغييرات نشاط الدولة، لحساسة للسياق تقييم النشاط الذي يحسن أيضا تصنيف WMMS. تسجيل فيديو لزوم لها من عدم الكفاءة في تخزين واستخدام البطارية. ويتمحور الخوارزمية WMMS كنموذج التعلم المنخفض الحسابية وتقييمها باستخدام مستويات التنبؤ مختلفة، حيث زيادة مستوى التنبؤ تعني زيادة في كميةإجراءات التعرف عليها.

Protocol

وقد وافق هذا البروتوكول من قبل البحوث الأخلاق مجلس أوتاوا شبكة العلوم الصحية.

1. إعداد

1. تزويد المشاركين مع الخطوط العريضة للبحوث، والإجابة على أي أسئلة، والحصول على الموافقة المسبقة. خصائص مشارك سجل (على سبيل المثال، العمر، الجنس، الطول، الوزن، محيط الخصر، وارتفاع الساق من أعلى العمود الفقري الأمامي الحرقفي إلى الكعب الإنسي)، رمز الهوية، والتاريخ على ورقة البيانات. ضمان أن يتم تعيين الهاتف الذكي الثاني الذي يتم استخدامه لالتقاط الفيديو للا يقل عن 30 لقطة في معدل التقاط الثاني.
2. نعلق آمن الحافظة الهاتف لالأمامي الأيمن حزام الخصر بانت أو المشارك. بدء تطبيق الهواتف الذكية التي سيتم استخدامها لجمع بيانات الاستشعار (أي تسجيل البيانات أو تطبيق WMMS) على التنقل قياس الذكي والتأكد من أن التطبيق يعمل بشكل مناسب. وضع الهاتف الذكي في الحافظة، مع الخلفي من الجهاز (كاليفورنيا الخلفيةميرا) التي تواجه الخارج.
3. بدء تسجيل الفيديو الرقمي على الهواتف الذكية الثاني. عدم الكشف عن هويته، تسجيل الفيديو المقارنة دون أن تظهر وجه الشخص، ولكن تأكد لتسجيل جميع التحولات النشاط. الهاتف يمكن أن يكون يده.

2. آخر حلبة

1. اتبع مشارك والفيديو أفعالهم، على الهاتف الذكي الثاني، في حين أنها تنفيذ الإجراءات التالية، التي يتحدث بها المحقق:
   1. من وضع الوقوف، هز الهاتف الذكي للإشارة إلى بدء المحاكمة.
   2. الاستمرار في الوقوف لمدة 10 ثانية على الأقل. ويمكن استخدام هذه المرحلة الوقوف لتوجيه الهاتف المعايرة ^14.
   3. المشي على كرسي قريب والجلوس.
   4. الوقوف والمشي 60 مترا إلى المصعد.
   5. الوقوف والانتظار لالمصعد ومن ثم السير في المصعد.
   6. خذ المصعد إلى الطابق الثاني.
   7. تحويل والسير في بيئة المنزل.
   8. المشي إلى الحمام والاشتراكيةmulate تفريش الأسنان.
   9. محاكاة تمشيط الشعر.
   10. محاكاة غسل اليدين.
   11. أيدي الجافة باستخدام منشفة.
   12. المشي إلى المطبخ.
   13. تأخذ أطباق من الرف ووضعها على الطاولة.
   14. ملء غلاية مع الماء من بالوعة المطبخ.
   15. وضع غلاية على عنصر موقد.
   16. وضع الخبز في محمصة.
   17. المشي إلى غرفة الطعام.
   18. الجلوس على طاولة غرفة الطعام.
   19. محاكاة تناول وجبة على الطاولة.
   20. الوقوف والمشي إلى بالوعة المطبخ.
   21. شطف الأطباق ووضعها في رف.
   22. سيرا على الأقدام من المطبخ إلى المصعد.
   23. الوقوف والانتظار لالمصعد ومن ثم السير في المصعد.
   24. خذ المصعد إلى الطابق الأول.
   25. المشي 50 مترا إلى الدرج.
   26. فتح الباب وأدخل الدرج.
   27. المشي وصعود الدرج (13 خطوة، نحو الهبوط، 13 خطوة).
   28. فتح باب الدرج في الرواق.
   29. يمينا والسير في القاعة لمدة 15 متر.
   30. بدوره حولها والسير 15 مترا إلى الدرج.
   31. فتح الباب وأدخل الدرج.
   32. المشي نزولا على الدرج (13 خطوة، نحو الهبوط، 13 خطوة).
   33. الخروج من الدرج والمشي في الغرفة.
   34. الاستلقاء على السرير.
   35. الحصول على ما يصل والمشي 10 مترا على منحدر.
   36. المشي التعلية، يستدير، ثم إلى أسفل المنحدر (20 مترا).
   37. مواصلة السير في القاعة وفتح الباب أمام الخارج.
   38. المشي 100 متر على الطريق المعبدة.
   39. بدوره حولها والسير مرة أخرى إلى الغرفة.
   40. السير في غرفة والوقوف في نقطة الانطلاق.
   41. مواصلة الوقوف، ثم هز الهاتف الذكي للإشارة إلى نهاية المحاكمة.

3. محاكمة الانتهاء

1. وقف تسجيل الفيديو الذكي ويطلب من المشاركين لإزالة وإعادة الهاتف الذكي والحافظة. وقف تسجيل البيانات أو تطبيق WMMS على SMArtphone. نسخ ملفات البيانات الحركة المكتسبة وملف فيديو من كل من الهواتف إلى جهاز كمبيوتر لمرحلة ما بعد المعالجة.

4. ما بعد المعالجة

1. مزامنة التوقيت بين الفيديو وبيانات الاستشعار الخام عن طريق تحديد الوقت الذي بدأ العمل هزة. هذه الحركة تهز يناظر إشارة التسارع والفيديو إطار واضح. تحقق من وجود خطأ تزامن ذلك بطرح الوقت هزة نهاية من وقت بداية اهتزاز، عن مصادر بيانات الاستشعار والفيديو. وينبغي أن تكون فروق التوقيت مماثل بين مجموعتين من البيانات.
2. تحديد التغيير من الدولة الأوقات الفعلية من الفيديو الذهب القياسية من خلال تسجيل الفارق الزمني من وقت بداية اهتزاز في إطار الفيديو في الانتقال بين الأنشطة. استخدام برامج تحرير الفيديو للحصول على توقيت في حدود 0.033 ثانية (أي 30 لقطة في الفيديو معدل الثاني). استخدام البرمجيات WMMS لتوليد تغيرات لدولة قابلة للمقارنة من بيانات الاستشعار.
3. توليد مجموعات البيانات اثنين، واحدمع الأنشطة الحقيقية والثانية مع الأنشطة المتوقعة، التي وصفها النشاط لكل إطار الفيديو (استنادا إلى تغيير توقيت دولة) ومن ثم حساب النشاط المتوقع في كل مرة إطار الفيديو من إخراج WMMS. لتقييم الأداء WMMS، وحساب الإيجابيات الحقيقية والسلبيات كاذبة والسلبيات الحقيقية، المغلوطة بين النشاط معيار الذهب وتوقع WMMS النشاط. استخدم هذه المعلمات لحساب التدابير نتائج الحساسية والنوعية، وF-النتيجة.
   ملاحظة: إعداد التسامح من 3 نوافذ بيانات على جانبي النافذة التي يجري تحليلها يمكن أن تستخدم لتحديد التغيير للللدولة النتائج، والنوافذ البيانات 2 لنتائج التصنيف. على سبيل المثال، استخدمت منذ 1 نوافذ بيانات ثانية لWMMS في هذه الدراسة، 3 ثانية قبل وبعد الإطار الحالي تم فحص بحيث يتم تجاهل تغييرات متتالية في هذا التسامح. هو أن التغييرات الخارجية التي تحدث في أقل من 3 ثوان يمكن تجاهلها النظر عن هوما الإجماليسينظر تحليل حركة ن لأن هذه الدول عابرة.

النتائج

وقد أجريت بروتوكول الدراسة على عينة راحة خمسة عشر المشاركين الأصحاء الذين يبلغ متوسط ​​وزن كان 68.9 (± 11.1) كجم، وكان ارتفاع 173.9 (± 11.4) سم، وكان سن 26 (± 9) سنوات، المعينين من مستشفى أوتاوا وجامعة أوتاوا الموظفين والطلاب. القبض على الهاتف الذكي بيانات الاستشعار في متغير معد...

Discussion

تلقى الاعتراف النشاط البشري مع نظام مراقبة الحركة يمكن ارتداؤها المزيد من الاهتمام في السنوات الأخيرة بسبب التطورات التقنية في مجال الحوسبة والهواتف الذكية يمكن ارتداؤها والاحتياجات المنتظمة لمقاييس النتائج الكمية التي تساعد في عملية صنع القرار السريري وتقييم ال...

Materials

Name	Company	Catalog Number	Comments
Smartphone or wearable measurement device	Blackberry	Z10
Smartphone for video recording	Blackberry	Z10 or 9800
Phone holster	Any
Data logger application for the smartphone	BlackBerry World - TOHRC Data Logger for BlackBerry 10		http://appworld.blackberry.com/webstore/content/32013891/?countrycode=CA
Wearable mobility measurement	Custom Blackberry 10 and Matlab software for mobility monitoring		http://www.irrd.ca/cag/smartphone/
Video editing or analysis software	Motion Analysis Tools		http://www.irrd.ca/cag/mat/