הערכה של מערכת פעילות אנושית המבוססת על טלפון חכם הכרה בימי סביבת חיים

Summary

A standardized evaluation method was developed for Wearable Mobility Monitoring Systems (WMMS) that includes continuous activities in a realistic daily living environment. Testing with a series of daily living activities can decrease activity recognition sensitivity; therefore, realistic testing circuits are encouraged for valid evaluation of WMMS performance.

Abstract

An evaluation method that includes continuous activities in a daily-living environment was developed for Wearable Mobility Monitoring Systems (WMMS) that attempt to recognize user activities. Participants performed a pre-determined set of daily living actions within a continuous test circuit that included mobility activities (walking, standing, sitting, lying, ascending/descending stairs), daily living tasks (combing hair, brushing teeth, preparing food, eating, washing dishes), and subtle environment changes (opening doors, using an elevator, walking on inclines, traversing staircase landings, walking outdoors).

To evaluate WMMS performance on this circuit, fifteen able-bodied participants completed the tasks while wearing a smartphone at their right front pelvis. The WMMS application used smartphone accelerometer and gyroscope signals to classify activity states. A gold standard comparison data set was created by video-recording each trial and manually logging activity onset times. Gold standard and WMMS data were analyzed offline. Three classification sets were calculated for each circuit: (i) mobility or immobility, ii) sit, stand, lie, or walking, and (iii) sit, stand, lie, walking, climbing stairs, or small standing movement. Sensitivities, specificities, and F-Scores for activity categorization and changes-of-state were calculated.

The mobile versus immobile classification set had a sensitivity of 86.30% ± 7.2% and specificity of 98.96% ± 0.6%, while the second prediction set had a sensitivity of 88.35% ± 7.80% and specificity of 98.51% ± 0.62%. For the third classification set, sensitivity was 84.92% ± 6.38% and specificity was 98.17 ± 0.62. F1 scores for the first, second and third classification sets were 86.17 ± 6.3, 80.19 ± 6.36, and 78.42 ± 5.96, respectively. This demonstrates that WMMS performance depends on the evaluation protocol in addition to the algorithms. The demonstrated protocol can be used and tailored for evaluating human activity recognition systems in rehabilitation medicine where mobility monitoring may be beneficial in clinical decision-making.

Introduction

חישה בכל מקום הפכה אזור מחקר מרתק בשל,, מחשוב חזק יותר ויותר קטן בעלות נמוכה וחישת ציוד ^1. ניטור ניידות באמצעות חיישנים לביש יצר עניין רב מאז המיקרואלקטרוניקה ברמת הצרכן היא מסוגל לאתר מאפייני תנועה ברמת דיוק גבוה ^1. הכרה אנושית פעילות (הר) באמצעות חיישנים לביש היא האזור האחרון של מחקר, עם מחקרים ראשוניים שבוצעו בשנת 1980 ו 1990 ^{2 - 4.}

טלפונים חכמים מודרניים מכילים חיישנים הדרושים ויכולת חישוב בזמן אמת להכרה פעילות ניידות. ניתוח בזמן אמת במכשיר מאפשר סיווג פעילות והעלאת נתונים ללא שימוש או התערבות חוקר. טלפון חכם עם תוכנת ניתוח ניידות יכול לספק מעקב כושר, ניטור בריאות, נופל זיהוי, בבית או בעבודת אוטומציה, וexercis ניהול עצמיתוכניות דואר ^5. יכולים להיחשב טלפונים חכמים פלטפורמות מדידת אינרציה לאיתור פעילויות ניידים ודפוסים ניידים בבני אדם, תוך שימוש בתכונות אות מתמטיות שנוצרו מחושבות עם יציאות חיישן משולבת ^6. שיטות נפוצה דור תכונה כוללות היוריסטי, תחום בזמן, תדירות-תחום, וידווה גישות מבוססות ניתוח ^7.

מערכות HAR הטלפון החכם מודרניות הראו דיוקי חיזוי גבוהים כאשר איתור פעילויות שצוינו ^1,5,6,7. מחקרים אלה משתנים במתודולוגיה הערכה, כמו גם דיוק שכן רוב המחקרים הסט שלהם הכשרה, התקנה סביבתית, ופרוטוקול איסוף נתונים. רגישות, סגוליות, דיוק, כזכור, דיוק, ו- F-ציון משמשים בדרך כלל כדי לתאר את איכות חיזוי. עם זאת, לא מעט מידע נגיש בשיטות להכרה "פעילות מקבילה" והערכה של היכולת לזהות שינויים בפעילות בזמן אמת^1, למערכות HAR המנסים לסווג את מספר פעילויות. שיטות הערכה לדיוק מערכת HAR להשתנות באופן משמעותי בין מחקרים. ללא קשר לאלגוריתם המיון או תכונות שימושיות, התיאורים של שיטות הערכה סטנדרטי זהב מעורפלים עבור רוב מחקר HAR.

הכרת פעילות בסביבה היומיומית לא נחקרה בהרחבה. רוב מערכות הכרת פעילות מבוססת הטלפון החכם מוערכות באופן מבוקר, שהוביל לפרוטוקול הערכה שעשויה להיות יתרון לאלגוריתם ולא מציאותי לסביבה בעולם אמיתי. בתוך תכנית הערכתם, משתתפים לעתים קרובות לבצע רק פעולות שנועדו לחיזוי, ולא יישום מגוון גדול של פעילויות מציאותיות למשתתף לבצע ברצף, מחקה אירועי חיים אמיתיים.

HAR הטלפון החכם כמה מחקרי פעילויות ^8,9 קבוצה דומות ביחד, כגון מדרגות והליכה, אבל לא לכלול פעילויות אחרות מקבוצת הנתונים. דיוק חיזוי נקבע אז על ידי כמה טוב האלגוריתם זיהה את פעילות היעד. Dernbach et al. ⁹ משתתפים היו לכתוב את הפעילות שהם עומדים לבצע לפני שעברו, קוטע את מעברי שינוי-של-מדינה רציפות. הערכות מערכת HAR צריכים להעריך את האלגוריתם בעוד המשתתף מבצע פעולות טבעיות בסביבת חיים יומיומית. זה יאפשר הערכת חיים אמיתיים שמשכפלת שימוש יומיומי של היישום. מעגל מציאותי כולל שינויים רבים למדינה, כמו גם שילוב של פעולות לא חיזוי על ידי המערכת. חוקר אז יכול להעריך את התגובה של האלגוריתם לתנועות נוספות אלה, ובכך להעריך את החוסן של האלגוריתם לתנועות חריגות.

מאמר זה מציג פרוטוקול הערכת מערכת ניטור ניידות לביש (WMMS) שמשתמש כמובן בשליטה המשקפת סביבות יומיומיות בחיים אמיתיים. WMMSהערכה אז יכולה להיות שנעשתה בתנאים מבוקרים, אבל מציאותיים. בפרוטוקול זה, אנו משתמשים WMMS דור שלישי שפותח באוניברסיטת אוטווה אוטווה ובית החולים מכון מחקר ^11-15. WMMS תוכנן עבור טלפונים חכמים עם תאוצה תלת-הצירי וג'ירוסקופ. אלגוריתם הניידות מהווה השתנות משתמש, מספק ירידה במספר של תוצאות חיוביות שגויות לזיהוי שינויים-של-מדינה, ומגביר את הרגישות בסיווג פעילות. מזעור תוצאות חיוביות שגויות הוא חשוב מאז WMMS מפעיל הקלטת וידאו קליפ קצרה כאשר שינויי פעילות של המדינה מזוהות, להערכת פעילות תלויה-קשר שמשפר את סיווג WMMS נוסף. הקלטת וידאו מיותרת יוצרת חוסר יעילות באחסון ושימוש בסוללה. אלגוריתם WMMS בנוי כמודל למידה חישובית נמוך והוערכו באמצעות רמות שונות חיזוי, שבו עלייה ברמת חיזוי מסמנת עלייה בכמותפעולות של זיהוי.

Protocol

פרוטוקול זה אושר על ידי הרשת למדעי בריאות אוטווה מחקר האתיקה.

1. הכנה

1. לספק למשתתפים עם קווי המתאר של המחקר, לענות על כל שאלה, ולקבל הסכמה מדעת. מאפייני משתתף רשומות (למשל, גיל, מין, גובה, משקל, היקף מותניים, גובה רגל מעמוד השדרה הקדמי מעולה הכסל לmalleolus המדיאלי), קוד זיהוי, ותאריך על גיליון נתונים. ודא שהטלפון החכם השני המשמש ללכידת וידאו מוגדר לפחות 30 מסגרות לשיעור לכידה שנייה.
2. מאובטח לצרף נרתיק טלפון לחגורה או מכנסיים המותניים הקדמיים הימני של המשתתף. הפעל את יישום הטלפון החכם שישמש לאיסוף נתונים חיישן (כלומר, רישום נתונים או יישום WMMS) בטלפון החכם מדידת הניידות ולהבטיח שהיישום פועל כראוי. הנח את הטלפון החכם בנרתיק, עם גב המכשיר (CA האחוריMera) פונה החוצה.
3. להתחיל בהקלטת וידאו דיגיטלית בטלפונים חכמים שני. לאנונימיות, להקליט וידאו ההשוואה בלי להראות את פניו של האדם, אלא להבטיח להקליט את כל מעברי הפעילות. הטלפון יכול להיות כף יד.

2. פעילות במעגל

1. בצע את המשתתף ווידאו את מעשיהם, על הטלפון החכם השני, תוך שהם מבצעים את הפעולות הבאות, שנאמרה על ידי החוקר:
   1. ממצב עמיד, לנער את הטלפון החכם כדי לציין את תחילת המשפט.
   2. תמשיך לעמוד לפחות 10 שניות. שלב עומד זה יכול לשמש לכיול נטייה טלפון ^14.
   3. ללכת לכיסא סמוך ולשבת.
   4. לקום וללכת 60 מטר למעלית.
   5. לעמוד ולחכות למעלית ולאחר מכן נכנס למעלית.
   6. קח את המעלית לקומה השנייה.
   7. הפעל ונכנסת לסביבה הביתית.
   8. ללכת לחדר האמבטיה וסיmulate צחצוח שיניים.
   9. לדמות סירוק שיער.
   10. לדמות שטיפת ידיים.
   11. ידיים יבשים באמצעות מגבת.
   12. ללכת למטבח.
   13. קח מנות ממדף ומניח אותם על הדלפק.
   14. מלא קומקום עם מים מכיור המטבח.
   15. מניחים את הקומקום על אלמנט התנור.
   16. מניחים לחם בטוסטר.
   17. ללכת לחדר האוכל.
   18. לשבת ליד שולחן בחדר אוכל.
   19. לדמות לאכול ארוחה ליד השולחן.
   20. לעמוד וללכת בחזרה לכיור המטבח.
   21. לשטוף את הכלים ומניחים אותם במעמד.
   22. ללכת מהמטבח בחזרה למעלית.
   23. לעמוד ולחכות למעלית ולאחר מכן נכנס למעלית.
   24. קח את המעלית לקומה הראשונה.
   25. ללכת 50 מטרים לחדר מדרגות.
   26. פתח את הדלת ולהיכנס לחדר המדרגות.
   27. ללכת עד מדרגות (13 מדרגות, סביב נחיתה, 13 צעדים).
   28. פתח את דלת חדר המדרגות למסדרון.
   29. פונה ימינה והולכים במסדרון במשך 15 מטרים.
   30. להסתובב וללכת 15 מטרים בחזרה לחדר המדרגות.
   31. פתח את הדלת ולהיכנס לחדר המדרגות.
   32. ללכת במורד מדרגות (13 מדרגות, סביב נחיתה, 13 צעדים).
   33. צא מחדר המדרגות ונכנסנו לחדר.
   34. לשכב על מיטה.
   35. לקום וללכת 10 מטרים לרמפה.
   36. ללכת עד הרמפה, להסתובב, ואז במורד הכבש (20 מ ').
   37. המשך ההליכה לאולם ולפתוח את הדלת לבחוץ.
   38. ללכת 100 מטרים על המסלול הסלול.
   39. להסתובב וללכת בחזרה לחדר.
   40. נכנסתי לחדר ולעמוד בנקודת ההתחלה.
   41. המשך מעמד, ואז ללחוץ הטלפון החכם כדי לציין את סוף המשפט.

3. השלמת משפט

1. עצור את הטלפון החכם הקלטת וידאו ולשאול את המשתתף להסיר ולהחזיר את הטלפון החכם ונרתיק. לעצור את נתוני רישום או יישום WMMS על SMArtphone. העתק את הקבצים שנרכשו תנועת נתונים וקבצי וידאו משני הטלפונים למחשב לעיבוד פוסט.

לאחר עיבוד 4.

1. לסנכרן עיתוי בין הווידאו ונתונים חיישן גלם על ידי קביעת הזמן שבו הפעולה לרעוד התחילה. תנועה רועדת זה מתאים למסגרת אות תאוצה ווידאו שונה. בדקו שגיאת סנכרון על ידי הפחתת הזמן לנער הסוף מרגע שייק ההתחלה, למקורות נתוני חיישן ווידאו. הבדלי זמן צריכים להיות דומים בין שתי קבוצות נתונים.
2. לקבוע זמני שינוי למדינה בפועל מווידאו תקן זהב על ידי הקלטת הפרש הזמן מרגע שייק ההתחלה למסגרת וידאו במעבר בין פעילויות. השתמש בתוכנת עריכת וידאו כדי לקבל תזמון כדי בתוך 0.033 שניות (כלומר, 30 מסגרות לשיעור וידאו שני). השתמש בתוכנת WMMS ליצור שינויים למדינה דומים מנתוני החיישן.
3. צור שתי ערכות נתונים, אחדעם פעילויות האמיתיות והשני עם פעילות חזויה, על ידי תיוג הפעילות לכל מסגרת וידאו (המבוסס על השינוי של עיתוי מדינה) ולאחר מכן חישוב הפעילות חזתה בכל פעם מסגרת וידאו מתפוקת WMMS. להערכת ביצועי WMMS, לחשב חיוביים אמיתי, תשלילי שווא, תשלילים אמיתיים, חיוביים שגוי בין פעילות תקן הזהב וWMMS חזה פעילות. להשתמש בפרמטרים אלה כדי לחשב מדדי תוצאות רגישות, סגוליות, ו- F-ציון.
   הערה: הגדרת סובלנות של 3 חלונות נתונים משני צדי החלון להיות מנותחים יכולה לשמש לקביעת תוצאות שינוי למדינה, ו -2 חלונות נתונים לתוצאות סיווג. לדוגמא, מאז 1 חלונות נתונים השנייה שימשה לWMMS במחקר זה, 3 שניות לפני ואחרי החלון הנוכחי נבדקו, כך ששינויים ברציפות בתוך סובלנות זה התעלם. התמורה שהשינויים של מדינה שיקרו בפחות מ -3 שניות ניתן להתעלם להומא ברוטוניתוח תנועת n מאז מדינות אלה ייחשב חולפים.

תוצאות

פרוטוקול המחקר נערך עם מדגם נוחות של חמש עשרה משתתפי הכשירים שממוצע משקל היה 68.9 (± 11.1) קילוגרם, גובה היה 173.9 (± 11.4) סנטימטר, והגיל היה 26 (± 9) שנים, גויס מבית החולים אוטווה ואוניברסיטת אוטווה צוות והתלמידים. טלפון חכם שנתפס נתוני חיישן בשיעור 40-50 הרץ משתנה. וריאציות קצב דגי...

Discussion

הכרת פעילות אנושית עם מערכת ניטור ניידות לביש קיבלה יותר תשומת לב בשנים האחרונות בשל ההתקדמות הטכנית בתחום מחשוב לביש וטלפונים חכמים והצרכים שיטתיים למדדי תוצאה כמותית, המסייעים בקבלת החלטות קלינית והערכת התערבות בריאות. המתודולוגיה שתוארה במאמר זה הייתה יעילה לה?...

Materials

Name	Company	Catalog Number	Comments
Smartphone or wearable measurement device	Blackberry	Z10
Smartphone for video recording	Blackberry	Z10 or 9800
Phone holster	Any
Data logger application for the smartphone	BlackBerry World - TOHRC Data Logger for BlackBerry 10		http://appworld.blackberry.com/webstore/content/32013891/?countrycode=CA
Wearable mobility measurement	Custom Blackberry 10 and Matlab software for mobility monitoring		http://www.irrd.ca/cag/smartphone/
Video editing or analysis software	Motion Analysis Tools		http://www.irrd.ca/cag/mat/