JoVE Logo
Authors
Contact Us

Sign In

In This Article

  • Summary
  • Abstract
  • Introduction
  • Protocol
  • النتائج
  • Discussion
  • Disclosures
  • Acknowledgements
  • Materials
  • References
  • Reprints and Permissions

Summary

نحن نقدم منهجية تعتمد على أجهزة استشعار متعددة الوسائط لتكوين نظام بسيط ومريح وسريع للكشف عن السقوط والتعرف على النشاط البشري. والهدف من ذلك هو بناء نظام للكشف الدقيق عن السقوط يمكن تنفيذه واعتماده بسهولة.

Abstract

تقدم هذه الورقة منهجية تستند إلى أجهزة استشعار متعددة الوسائط لتكوين نظام بسيط ومريح وسريع للكشف عن السقوط والتعرف على النشاط البشري يمكن تنفيذه واعتماده بسهولة. وتستند المنهجية إلى تكوين أنواع محددة من أجهزة الاستشعار وأساليب وإجراءات التعلم الآلي. وينقسم البروتوكول إلى أربع مراحل: (1) إنشاء قاعدة بيانات (2) تحليل البيانات (3) تبسيط النظام و (4) التقييم. وباستخدام هذه المنهجية، أنشأنا قاعدة بيانات متعددة الوسائط للكشف عن السقوط والتعرف على النشاط البشري، وهي الكشف عن الوفيات. وهو يتألف من عينات بيانات من 17 موضوعاً يقومون بـ 5 أنواع من السقوط و6 أنشطة بسيطة مختلفة، خلال 3 تجارب. تم جمع جميع المعلومات باستخدام 5 أجهزة استشعار يمكن ارتداؤها (مقياس التسارع ثلاثي المحاور، جيروسكوب وكثافة الضوء)، وخوذة كهربائية دماغ، و6 مستشعرات الأشعة تحت الحمراء كمستشعرات محيطة، وكاميراتين في وجهات النظر الجانبية والأمامية. وتضيف المنهجية الجديدة المقترحة بعض المراحل الهامة لإجراء تحليل عميق لقضايا التصميم التالية من أجل تبسيط نظام الكشف عن السقوط: (أ) اختيار أجهزة الاستشعار أو مجموعة من أجهزة الاستشعار التي ستستخدم في نظام بسيط للكشف عن السقوط، ب) تحديد أفضل وضع لمصادر المعلومات، ج) اختيار أنسب طريقة لتصنيف التعلم الآلي للكشف عن الخريف والكشف عن النشاط البشري والتعرف عليه. وعلى الرغم من أن بعض النهج المتعددة الوسائط الواردة في الأدبيات لا تركز إلا على واحدة أو اثنتين من المسائل المذكورة أعلاه، فإن منهجيتنا تسمح في الوقت نفسه بحل مشاكل التصميم الثلاث المتصلة بنظام الكشف عن السقوط البشري والكشف عن الأنشطة والتعرف عليها في الوقت نفسه.

Introduction

منذ ظاهرة العالم من شيخوخة السكان1، وقد زاد انتشار السقوط ويعتبر في الواقع مشكلة صحية رئيسية2. عندما يحدث سقوط، يحتاج الناس إلى اهتمام فوري من أجل الحد من العواقب السلبية. يمكن أن تقلل أنظمة الكشف عن السقوط من مقدار الوقت الذي يتلقى فيه الشخص الرعاية الطبية التي ترسل تنبيهًا عند حدوث سقوط.

هناك تصنيفات مختلفة لأنظمة الكشف عن السقوط3. الأعمال المبكرة4 تصنيف نظم الكشف عن الخريف من خلال طريقتها للكشف، وأساليب تحليلية تقريبا وأساليب التعلم الآلي. في الآونة الأخيرة ، واعتبر مؤلفون آخرون3،5،6 أجهزة استشعار الحصول على البيانات باعتبارها الميزة الرئيسية لتصنيف أجهزة الكشف عن الخريف. يقسم Igual et al.3 أنظمة الكشف عن السقوط إلى أنظمة واعية للسياق، وتشمل النهج القائمة على الرؤية وأجهزة الاستشعار المحيطة، وأنظمة الأجهزة القابلة للارتداء. يصنف موبشير وآخرون5 كاشفات الخريف إلى ثلاث مجموعات استنادًا إلى الأجهزة المستخدمة في الحصول على البيانات: الأجهزة القابلة للارتداء، وأجهزة استشعار الأجواء، والأجهزة القائمة على الرؤية. وينظر بيري وآخرون6 في أساليب قياس التسارع، وأساليب قياس التسارع إلى جانب أساليب أخرى، وأساليب عدم قياس التسارع. من هذه الدراسات الاستقصائية، يمكننا أن نحدد أن أجهزة الاستشعار والأساليب هي العناصر الرئيسية لتصنيف استراتيجية البحث العامة.

كل من أجهزة الاستشعار لديه نقاط ضعف ونقاط قوة نوقشت في شو وآخرون7. تستخدم الأساليب القائمة على الرؤية بشكل رئيسي الكاميرات العادية وكاميرات استشعار العمق و/أو أنظمة التقاط الحركة. كاميرات الويب العادية منخفضة التكلفة وسهلة الاستخدام ، ولكنها حساسة للظروف البيئية (تباين الضوء ، الانسداد ، إلخ) ، لا يمكن استخدامها إلا في مساحة مخفضة ، ولها مشاكل في الخصوصية. توفر كاميرات العمق، مثل Kinect، حركة ثلاثية الأبعاد كاملة الجسم7 وأقل تأثرًا بظروف الإضاءة من الكاميرات العادية. ومع ذلك، فإن النهج القائمة على Kinect ليست قوية وموثوقة. أنظمة التقاط الحركة هي أكثر تكلفة ويصعب استخدامها.

تستخدم الأساليب القائمة على أجهزة مقياس التسارع والهواتف الذكية / الساعات ذات مقاييس التسارع المدمجة بشكل شائع جدًا للكشف عن السقوط. العيب الرئيسي لهذه الأجهزة هو أنه يجب ارتداؤها لفترات طويلة. عدم الراحة، والتطفل، ووضع الجسم والتوجه هي قضايا التصميم التي يتعين حلها في هذه النهج. على الرغم من أن الهواتف الذكية والساعات الذكية هي أجهزة أقل تطفلاً التي أجهزة الاستشعار، كبار السن غالباً ما ينسون أو لا يرتدون دائماً هذه الأجهزة. ومع ذلك، فإن ميزة هذه أجهزة الاستشعار والأجهزة هي أنه يمكن استخدامها في العديد من الغرف و / أو في الهواء الطلق.

تستخدم بعض الأنظمة أجهزة استشعار توضع حول البيئة للتعرف على السقوط/ الأنشطة ، لذلك لا يضطر الناس إلى ارتداء أجهزة الاستشعار. ومع ذلك، تقتصر أجهزة الاستشعار هذه أيضًا على الأماكن التي يتم نشرها فيها8 ويصعب تثبيتها أحيانًا. وفي الآونة الأخيرة، تشمل نظم الكشف عن السقوط المتعدد الوسائط توليفات مختلفة من الرؤية وأجهزة استشعار يمكن ارتداؤها وأجهزة استشعار محيطة من أجل اكتساب المزيد من الدقة والمتانة. كما يمكنهم التغلب على بعض قيود جهاز الاستشعار واحد.

وترتبط المنهجية المستخدمة في الكشف عن السقوط ارتباطا وثيقا بسلسلة التعرف على النشاط البشري التي قدمها شركة Bulling et al.9،والتي تتألف من مراحل للحصول على البيانات، والتجهيز المسبق للإشارات وتجزئة ها، واستخراج المعالم واختيارها، والتدريب والتصنيف. يجب حل مشكلات التصميم لكل مرحلة من هذه المراحل. وتستخدم أساليب مختلفة في كل مرحلة.

نحن نقدم منهجية تقوم على أجهزة الاستشعار متعددة الوسائط لتكوين سقوط الإنسان بسيطة ومريحة وسريعة ونظام الكشف عن النشاط البشري / الاعتراف. والهدف من ذلك هو بناء نظام للكشف الدقيق عن السقوط يمكن تنفيذه واعتماده بسهولة. وتستند المنهجية الجديدة المقترحة إلى المركز، ولكنها تضيف بعض المراحل الهامة لإجراء تحليل عميق للمسائل التالية من أجل تبسيط النظام: (أ) اختيار أجهزة الاستشعار أو مجموعة من أجهزة الاستشعار التي ستستخدم في نظام بسيط للكشف عن السقوط؛ (ب) تحديد أجهزة الاستشعار أو مجموعة من أجهزة الاستشعار التي ستستخدم في نظام بسيط للكشف عن السقوط؛ (ب) تحديد أجهزة الاستشعار أو مجموعة من أجهزة الاستشعار التي ستستخدم في نظام بسيط للكشف عن السقوط؛ (ب) تحديد أجهزة الاستشعار أو مجموعة من أجهزة الاستشعار التي ستستخدم في نظام بسيط للكشف عن السقوط؛ (ب) تحديد أجهزة الاستشعار أو مجموعة من أجهزة الاستشعار التي ستستخدم في نظام بسيط للكشف عن السقوط؛ (ب) تحديد أجهزة الاستشعار أو مجموعة من أجهزة الاستشعار التي ستستخدم في نظام بسيط للكشف عن السقوط؛ (ب) تحديد أجهزة الاستشعار أو مجموعة من أجهزة الاستشعار التي ستستخدم في نظام بسيط لل (ب) تحديد أفضل وضع لمصادر المعلومات؛ (ج) اختيار أنسب طريقة لتصنيف التعلم الآلي للكشف عن السقوط والتعرف على النشاط البشري لإنشاء نظام بسيط.

هناك بعض الأعمال ذات الصلة في الأدب التي تعالج واحدة أو اثنتين من قضايا التصميم المذكورة أعلاه ، ولكن على حد علمنا ، لا يوجد عمل يركز على منهجية للتغلب على كل هذه المشاكل.

تستخدم المصنفات ذات الصلة أساليب متعددة الوسائط للكشف عن السقوط والتعرف على النشاط البشري10،11،12 من أجل اكتساب المتانة وزيادة الدقة. واقترح كلوميك وآخرون10 تصميم وتنفيذ نظام للكشف عن السقوط يستند إلى بيانات التسارع وخرائط العمق. وصمموا منهجية مثيرة للاهتمام يتم فيها تنفيذ مقياس تسارع ثلاثي المحاور للكشف عن السقوط المحتمل وكذلك حركة الشخص. إذا تجاوز مقياس التسارع عتبة، تستخرج الخوارزمية شخصًا يختلف عن خريطة العمق من الخريطة المرجعية للعمق المحدثة عبر الإنترنت. تم إجراء تحليل لتركيبات العمق ومقياس التسارع باستخدام مصنف آلة ناقلات الدعم.

وقدم أوفي لي وآخرون11 قاعدة بيانات للعمل البشري المتعدد الوسائط من أجل توفير اختبار لنظم جديدة للتعرف على الأنشطة البشرية. مجموعة البيانات مهمة حيث تم جمع الإجراءات في وقت واحد باستخدام نظام التقاط الحركة البصرية 1 ، 4 كاميرات متعددة المشاهدة ، 1 نظام Kinect ، 4 ميكروفونات ، و 6 مقاييس التسارع اللاسلكية. قدم المؤلفون نتائج لكل طريقة: Kinect، وmocap، والتسارع، والصوت.

واقترح دوفغان وآخرون12 نموذجا أوليا للكشف عن السلوك الشاذ، بما في ذلك السقوط، في كبار السن. قاموا بتصميم اختبارات لثلاثة أنظمة استشعار من أجل العثور على المعدات الأكثر ملاءمة للكشف عن السقوط والسلوك غير العادي. تتكون التجربة الأولى من بيانات من نظام استشعار ذكي مع 12 علامة متصلة بالوركين والركبتين والكاحلين والمعصمين والمرفقين والكتفين. كما أنشأوا مجموعة بيانات اختبار باستخدام نظام استشعار يوبيسينس واحد مع أربع علامات تعلق على الخصر والصدر وكلا الكاحلين، ومقياس تسارع Xsens واحد. في تجربة ثالثة ، أربعة مواضيع فقط استخدام نظام Ubisense أثناء تنفيذ 4 أنواع من السقوط ، 4 مشاكل صحية كسلوك شاذ ونشاط مختلف من الحياة اليومية (ADL).

أعمال أخرى في الأدب13،14،15 معالجة مشكلة العثور على أفضل موضع لأجهزة الاستشعار أو الأجهزة للكشف عن الخريف مقارنة أداء مجموعات مختلفة من أجهزة الاستشعار مع العديد من المصنفين. وقدم سانتويو وآخرون13 تقييماً منهجياً لتقييم أهمية موقع 5 أجهزة استشعار للكشف عن السقوط. قارنوا أداء مجموعات الاستشعار هذه باستخدام أقرب جيران K (KNN) ، ودعم آلات ناقلات (SVM) ، وبايز الساذج (NB) ومصنفي شجرة القرار (DT). ويخلصون إلى أن موقع جهاز الاستشعار عن هذا الموضوع له تأثير هام على أداء كاشف الخريف بمعزل عن المصنف المستخدم.

تم تقديم مقارنة بين مواضع أجهزة الاستشعار القابلة للارتداء على الجسم للكشف عن السقوط من قبل Özdemir14. من أجل تحديد موضع الاستشعار ، قام المؤلف بتحليل 31 تركيبة استشعار من المواقف التالية: الرأس والخصر والصدر والمعصم الأيمن والكاحل الأيمن والفخذ الأيمن. قام أربعة عشر متطوعًا بأداء 20 سقوطًا محاكيًا و16 من ADL. ووجد أنه تم الحصول على أفضل أداء عندما يتم وضع جهاز استشعار واحد على الخصر من هذه التجارب مزيج شامل. وقدمت نتانازيس15 مقارنة أخرى باستخدام مجموعة بيانات أودديمير. قارن المؤلفون المواقف الفردية على الرأس والصدر والخصر والمعصم والكاحل والفخذ باستخدام المصنفين التاليين: J48 و KNN وRF واللجنة العشوائية (RC) وSVM.

يمكن العثور على معايير أداء الأساليب الحسابية المختلفة للكشف عن السقوط في الأدب16،17،18. وقدم باغالا وآخرون16 مقارنة منهجية لقياس أداء ثلاثة عشر طريقة للكشف عن السقوط تم اختبارها على السقوط الحقيقي. أنها تعتبر فقط خوارزميات على أساس قياسات التسارع وضعت على الخصر أو الجذع. وقيّم بورك وآخرون17 أداء خمس خوارزميات تحليلية للكشف عن السقوط باستخدام مجموعة بيانات من الـ ADLs والسقوط استناداً إلى قراءات مقياس التسارع. أدلى Kerdegari18 أيضا مقارنة لأداء نماذج التصنيف المختلفة لمجموعة من بيانات التسارع المسجلة. وكانت الخوارزميات المستخدمة للكشف عن السقوط صفرر، ونآر، وNB، وDT، والإدراك المتعدد الطبقات، وSVM.

واقترح Alazrai وآخرون18 منهجية للكشف عن السقوط باستخدام واصف هندسي للحركة لبناء تمثيل تراكمي قائم على الرسم البياني للنشاط البشري. قاموا بتقييم الإطار باستخدام مجموعة بيانات تم جمعها مع أجهزة استشعار Kinect.

باختصار ، وجدنا متعدد الوسائط الكشف عن الخريف الأعمال ذات الصلة10،11،12 التي تقارن أداء مجموعات مختلفة من الطرائق. بعض المؤلفين معالجة مشكلة العثور على أفضل موضع من أجهزة الاستشعار13،14،15، أو مجموعات من أجهزة الاستشعار13 مع العديد من المصنفين13،15،16 مع أجهزة استشعار متعددة من نفس الطريقة ومقاييس التسارع. ولم يُعثر على أي عمل في المؤلفات التي تتناول التنسيب والتركيبات المتعددة الوسائط ومعيار التصنيف في نفس الوقت.

Protocol

وقد وافقت لجنة البحوث التابعة لكلية الهندسة في جامعة بانأمريكانا على جميع الأساليب الموصوفة هنا.

ملاحظة: تستند هذه المنهجية إلى تكوين أنواع محددة من أجهزة الاستشعار وأساليب وإجراءات التعلم الآلي من أجل تكوين نظام بسيط وسريع ومتعدد الوسائط للكشف عن السقوط والتعرف على النشاط البشري. ونتيجة لذلك، ينقسم البروتوكول التالي على مراحل: (1) إنشاء قاعدة بيانات (2) تحليل البيانات (3) تبسيط النظام و(4) التقييم.

1. إنشاء قاعدة البيانات

  1. إعداد نظام الحصول على البيانات. سيؤدي ذلك إلى جمع كافة البيانات من الأشخاص وتخزين المعلومات في قاعدة بيانات استرجاع.
    1. حدد أنواع أجهزة الاستشعار القابلة للارتداء وأجهزة الاستشعار المحيطة والأجهزة المستندة إلى الرؤية المطلوبة كمصادر للمعلومات. تعيين معرف لكل مصدر من مصادر المعلومات وعدد القنوات لكل مصدر والمواصفات الفنية ومعدل أخذ العينات لكل منها.
    2. توصيل جميع مصادر المعلومات (أي الأجهزة القابلة للارتداء وأجهزة الاستشعار المحيطة والأجهزة القائمة على الرؤية) بجهاز كمبيوتر مركزي أو نظام كمبيوتر موزع:
      1. تحقق من توصيل الأجهزة المستندة إلى الأسلاك بشكل صحيح بكمبيوتر عميل واحد. تحقق من أن الأجهزة المستندة إلى اللاسلكي مشحونة بالكامل. ضع في اعتبارك أن انخفاض البطارية قد يؤثر على الاتصالات اللاسلكية أو قيم المستشعر. وعلاوة على ذلك، فإن الاتصالات المتقطعة أو المفقودة ستزيد من فقدان البيانات.
    3. إعداد كل جهاز من الأجهزة لاسترداد البيانات.
    4. قم بإعداد نظام الحصول على البيانات لتخزين البيانات على السحابة. نظرًا لكمية البيانات الكبيرة التي سيتم تخزينها ، يتم اعتبار الحوسبة السحابية في هذا البروتوكول.
    5. التحقق من أن نظام الحصول على البيانات يفي بمزامنة البيانات واتساق البيانات20 خصائص. وهذا يحافظ على سلامة تخزين البيانات من جميع مصادر المعلومات. قد يتطلب أساليب جديدة في مزامنة البيانات. على سبيل المثال، انظر بينيافورت-أستورينو وآخرون20.
      1. ابدأ في جمع بعض البيانات باستخدام مصادر المعلومات وتخزين البيانات في نظام مفضل. تضمين الطوابع الزمنية في كافة البيانات.
      2. الاستعلام عن قاعدة البيانات وتحديد ما إذا كانت كافة مصادر المعلومات يتم جمعها بنفس معدلات العينة. إذا تم بشكل صحيح، انتقل إلى الخطوة 1.1.6. وبخلاف ذلك، قم بإجراء أخذ عينات أعلى أو أخذ عينات لأسفل باستخدام المعايير المبلغ عنها في بينيافورت - أستورينو، وآخرون20.
    6. إعداد البيئة (أو المختبر) من خلال النظر في الشروط المطلوبة والقيود التي يفرضها هدف النظام. وضع شروط لتميّن قوة الارتطام في السقوط المحاكي كأنظمة أرضية متوافقة مقترحة في Lachance، وآخرون23 لضمان سلامة المشاركين.
      1. استخدام فراش أو أي نظام الأرضيات المتوافقة الأخرى ووضعها في وسط البيئة (أو المختبر).
      2. إبقاء جميع الكائنات بعيدا عن فراش لإعطاء ما لا يقل عن متر واحد من الفضاء الآمن في كل مكان. إذا لزم الأمر، قم بإعداد معدات الحماية الشخصية للمشاركين (على سبيل المثال، القفازات، والغطاء، والنظارات الواقية، ودعم الركبة، وما إلى ذلك).
        ملاحظة: يمكن إيقاف البروتوكول مؤقتًا هنا.
  2. تحديد الأنشطة البشرية والسقوط الذي سيكتشفه النظام بعد التكوين. ومن المهم أن نضع في اعتبارنا الغرض من نظام الكشف عن السقوط والتعرف على الأنشطة البشرية، فضلا عن السكان المستهدفين.
    1. تحديد الهدف من نظام الكشف عن السقوط والتعرف على النشاط البشري. دوّنها في ورقة تخطيط. لهذه الدراسة الإفرادية ، والهدف هو تصنيف أنواع السقوط البشري والأنشطة التي تؤديها في الأماكن المغلقة يوميا من كبار السن.
    2. تحديد السكان المستهدفين للتجربة وفقًا لهدف النظام. دوّنها في ورقة التخطيط. في الدراسة، النظر في المسنين كالسكان المستهدفين.
    3. تحديد نوع الأنشطة اليومية. وتشمل بعض الأنشطة غير الخريف التي تبدو وكأنها السقوط من أجل تحسين الكشف عن السقوط الحقيقي. تعيين معرف لهم جميعا ووصفها مفصلة قدر الإمكان. تعيين الفترة الزمنية لكل نشاط ليتم تنفيذه. اكتب كل هذه المعلومات في ورقة التخطيط.
    4. تحديد نوع السقوط البشري. تعيين معرف لهم جميعا ووصفها مفصلة قدر الإمكان. تعيين الفترة الزمنية لكل خريف ليتم تنفيذها. النظر في ما إذا كان سيتم إنشاء السقوط ذاتيا من قبل المواضيع أو ولدت من قبل الآخرين (على سبيل المثال، دفع هذا الموضوع). اكتب كل هذه المعلومات في ورقة التخطيط.
    5. في ورقة التخطيط، دوّن تسلسل الأنشطة ويسقط الذي سيؤديه موضوع ما. حدد الفترة الزمنية، وعدد التجارب لكل نشاط/خريف، ووصف تنفيذ النشاط/الخريف، ومعرف النشاط/السقوط.
      ملاحظة: يمكن إيقاف البروتوكول مؤقتًا هنا.
  3. حدد المواضيع ذات الصلة للدراسة التي ستنفذ تسلسل الأنشطة والسقوط. السقوط هي أحداث نادرة للقبض على في الحياة الحقيقية وعادة ما تحدث إلى الأشخاص القدامى. ومع ذلك، ولأسباب تتعلق بالسلامة، لا تشمل المسنين وضعاف البصر في محاكاة الخريف بموجب المشورة الطبية. وقد استخدمت المثيرة لتجنب الإصابات22.
    1. تحديد نوع الجنس والفئة العمرية والوزن وطول الأشخاص. تحديد أي شروط ضعف مطلوبة. أيضا، تحديد الحد الأدنى من الموضوعات المطلوبة للتجربة.
    2. حدد عشوائياً مجموعة الموضوعات المطلوبة، باتباع الشروط المذكورة في الخطوة السابقة. استخدام دعوة للمتطوعين لتجنيدهم. الوفاء بجميع المبادئ التوجيهية الأخلاقية المطبقة من المؤسسة والبلد، وكذلك أي لائحة دولية عند تجربة البشر.
      ملاحظة: يمكن إيقاف البروتوكول مؤقتًا هنا.
  4. استرداد البيانات وتخزينها من الموضوعات. وستكون هذه المعلومات مفيدة لإجراء مزيد من التحليل التجريبي. أكمل الخطوات التالية تحت إشراف خبير سريري أو باحث مسؤول.
    1. ابدأ في جمع البيانات باستخدام نظام اكتساب البيانات الذي تم تكوينه في الخطوة 1.1.
    2. اطلب من كل من الأشخاص تنفيذ تسلسل الأنشطة والسقوط المعلن عنه في الخطوة 1.2. حفظ بوضوح الطوابع الزمنية لبدء ونهاية كل نشاط / سقوط. تحقق من حفظ البيانات من جميع مصادر المعلومات على السحابة.
    3. إذا لم يتم إجراء الأنشطة بشكل صحيح أو كانت هناك مشكلات في الأجهزة (على سبيل المثال، فقد الاتصال والبطارية المنخفضة والاتصال المتقطع)، تجاهل العينات وتكرار الخطوة 1.4.1 حتى لا يتم العثور على أية مشكلات في الجهاز. كرر الخطوة 1.4.2 لكل تجربة، لكل موضوع، المعلن عنها في تسلسل الخطوة 1.2.
      ملاحظة: يمكن إيقاف البروتوكول مؤقتًا هنا.
  5. معالجة مسبقة لجميع البيانات المكتسبة. تطبيق أخذ العينات لأعلى وأخذ العينات لأسفل لكل مصدر من مصادر المعلومات. انظر التفاصيل المتعلقة ببيانات ما قبل المعالجة للكشف عن السقوط والتعرف على النشاط البشري في مارتينيز - فيليسينيور وآخرون21.
    ملاحظة: يمكن إيقاف البروتوكول مؤقتًا هنا.

2- تحليل البيانات

  1. حدد وضع معالجة البيانات. حدد البيانات الخام إذا كانت البيانات المخزنة في قاعدة البيانات سيتم استخدامها بشكل صريح (أي استخدام التعلم العميق لاستخراج المعالم التلقائي) وانتقل إلى الخطوة 2.2. حدد بيانات الميزة إذا كان سيتم استخدام استخراج الميزات لمزيد من التحليل وانتقل إلى الخطوة 2.3.
  2. بالنسبة للبيانات الخام، لا توجد خطوات إضافية مطلوبة لذلك انتقل إلى الخطوة 2.5.
  3. لبيانات الميزة،استخرج الميزات من البيانات الخام.
    1. تقسيم البيانات الخام في الإطارات الزمنية. تحديد وتحديد طول الإطار الزمني (على سبيل المثال، إطارات بحجم ثانية واحدة). بالإضافة إلى ذلك، حدد ما إذا كانت هذه الإطارات الزمنية ستكون متداخلة أم لا. وتتمثل الممارسة الجيدة في اختيار 50 في المائة متداخلة.
    2. استخراج الميزات من كل جزء من البيانات. تحديد مجموعة من الميزات الزمنية والمتكررة التي سيتم استخراجها من الأجزاء. انظر مارتينيز-فيلاسينيور وآخرون21 لاستخراج السمات المشتركة.
    3. حفظ مجموعة بيانات استخراج الميزات على السحابة، في قاعدة بيانات مستقلة.
    4. إذا تم تحديد إطارات زمنية مختلفة، كرر الخطوات 2.3.1 إلى 2.3.3، واحفظ كل مجموعة بيانات ميزة في قواعد بيانات مستقلة.
      ملاحظة: يمكن إيقاف البروتوكول مؤقتًا هنا.
  4. حدد أهم الميزات المستخرجة وتقليل مجموعة بيانات الميزة. تطبيق بعض أساليب اختيار الميزات الشائعة الاستخدام (على سبيل المثال، اختيار univariate ، تحليل المكونات الرئيسية ، إزالة المعالم المتكررة ، أهمية الميزة ، مصفوفة الارتباط ، إلخ).
    1. حدد طريقة تحديد الميزات. هنا ، استخدمنا أهمية الميزة.
    2. استخدام كل ميزة لتدريب نموذج معين (استخدمنا RF) وقياس الدقة (انظر المعادلة 1).
    3. ترتيب الميزات عن طريق الفرز في ترتيب الدقة.
    4. حدد أهم الميزات. هنا ، استخدمنا أفضل الميزات العشرة الأولى في المرتبة.
      ملاحظة: يمكن إيقاف البروتوكول مؤقتًا هنا.
  5. حدد طريقة تصنيف التعلم الآلي وتدريب نموذج. هناك طرق تعلم آلي معروفة16,17,18,21، مثل: آلات ناقلات الدعم (SVM)، الغابات العشوائية (RF)، الإدراك الحسي متعدد الطبقات (MLP) وأقرب الجيران (KNN)، من بين العديد من الجيران الآخرين.
    1. اختياريا، إذا تم اختيار نهج التعلم العميق، ثم النظرفي 21: الشبكات العصبية الملتوية (CNN)، الشبكات العصبية الذاكرة على المدى القصير طويلة (LSTM)، من بين أمور أخرى.
    2. حدد مجموعة من أساليب التعلم الآلي. هنا ، استخدمنا الطرق التالية: SVM ، RF ، MLP و KNN.
    3. إصلاح المعلمات من كل من أساليب التعلم الآلي، كما هو مقترح في الأدب21.
    4. إنشاء مجموعة بيانات الميزات المجمعة (أو مجموعة البيانات الخام) باستخدام مجموعات بيانات الميزات المستقلة (أو مجموعات البيانات الخام)، لدمج أنواع مصادر المعلومات. على سبيل المثال، إذا كان هناك حاجة إلى مزيج من جهاز استشعار واحد يمكن ارتداؤه وكاميرا واحدة، ثم الجمع بين مجموعات بيانات الميزة من كل من هذه المصادر.
    5. تقسيم مجموعة بيانات الميزة (أو مجموعة البيانات الخام) في مجموعات التدريب والاختبار. الخيار الجيد هو تقسيم 70٪ بشكل عشوائي للتدريب و 30٪ للاختبار.
    6. تشغيل k-fold عبر التحقق من صحة21 باستخدام مجموعة بيانات الميزة (أو مجموعة البيانات الخام)، لكل طريقة التعلم الآلي. استخدم مقياسًا مشتركًا للتقييم، مثل الدقة (انظر المعادلة 1)لتحديد أفضل نموذج تم تدريبه لكل طريقة. كما يوصى بتجارب الإجازة (LOSO)3.
      1. افتح مجموعة بيانات ميزة التدريب (أو مجموعة البيانات الخام) في برنامج لغة البرمجة المفضل. يوصى ببيثون. لهذه الخطوة، استخدم مكتبة الباندا لقراءة ملف CSV على النحو التالي:
        training_set = pandas.csv ().
      2. تقسيم مجموعة بيانات الميزة (أو مجموعة البيانات الخام) في أزواج من المخرجات المدخلة. على سبيل المثال، استخدم Python لتعريف قيم x (المدخلات) والقيم y (المخرجات):
        training_set_X = training_set.drop ('tag', محور =1), training_set_Y = training_set.tag
        حيث تمثل العلامة عمود مجموعة بيانات الميزة التي تتضمن القيم المستهدفة.
      3. حدد طريقة تعلم آلية واحدة وحدد المعلمات. على سبيل المثال، استخدم SVM في Python مع sklearn المكتبة مثل الأمر التالي:
        المصنف = sklearn. SVC (نواة = 'بولي')
        التي يتم تحديد وظيفة النواة كمتعدد الحدود.
      4. تدريب نموذج التعلم الآلي. على سبيل المثال، استخدم المصنف أعلاه في بيثون لتدريب نموذج SVM:
        classifier.fit(training_set_X,training_set_Y).
      5. حساب قيم تقديرات النموذج باستخدام مجموعة بيانات ميزة الاختبار (أو مجموعة البيانات الخام). على سبيل المثال، استخدم دالة التقدير في Python على النحو التالي: التقديرات = classifier.predict(testing_set_X) حيث يمثل testing_set_X قيم x لمجموعة الاختبار.
      6. كرر الخطوات 2.5.6.1 إلى 2.5.6.5، أو عدد المرات المحددة في التحقق من صحة k-fold (أو عدد المرات المطلوبة لنهج LOSO).
      7. كرر الخطوات 2.5.6.1 إلى 2.5.6.6 لكل نموذج تعلم آلي تم اختياره.
        ملاحظة: يمكن إيقاف البروتوكول مؤقتًا هنا.
    7. قارن أساليب التعلم الآلي عن طريق اختبار النماذج المحددة مع مجموعة بيانات الاختبار. يمكن استخدام مقاييس أخرى للتقييم: الدقة(المعادلة 1)، الدقة(المعادلة 2)، الحساسية(المعادلة 3)، التحديد(المعادلة 4)أو F1 -score(المعادلة 5)، حيث TP هي الإيجابيات الحقيقية ، TN هي السلبيات الحقيقية ، FP هي الإيجابيات الخاطئة وFN هي السلبيات الزائفة.
      figure-protocol-11606
      figure-protocol-11677
      figure-protocol-11748
      figure-protocol-11819
      figure-protocol-11890
    8. استخدم مقاييس أداء مفيدة أخرى مثل مصفوفة الارتباك9 لتقييم مهمة تصنيف نماذج التعلم الآلي، أو منحنيات الدقة-الاستدعاء9 (PR) أو جهاز الاستقبالالمستقل. وفي هذه المنهجية، يعتبر الاستدعاء والحساسية متساويين.
    9. استخدام الميزات النوعية لنماذج التعلم الآلي للمقارنة بينها، مثل: سهولة تفسير التعلم الآلي؛ الأداء في الوقت الحقيقي؛ موارد محدودة من الوقت والذاكرة والحوسبة المعالجة؛ وسهولة نشر التعلم الآلي في أجهزة الحافة أو الأنظمة المضمنة.
    10. اختر أفضل نموذج للتعلم الآلي باستخدام المعلومات من: مقاييس الجودة(المعادلات 1-5)ومقاييس الأداء والميزات النوعية لجدوى التعلم الآلي للخطوات 2.5.6 و2.5.7 و2.5.8.
      ملاحظة: يمكن إيقاف البروتوكول مؤقتًا هنا.

3- تبسيط النظام

  1. حدد المواضع المناسبة لمصادر المعلومات. في بعض الأحيان ، من الضروري تحديد أفضل موضع لمصادر المعلومات (على سبيل المثال ، أي موقع لمستشعر يمكن ارتداؤه أفضل).
    1. تحديد المجموعة الفرعية من مصادر المعلومات التي سيتم تحليلها. على سبيل المثال، إذا كان هناك خمسة أجهزة استشعار يمكن ارتداؤها في الجسم وواحد فقط يجب أن يتم اختياره كأفضل جهاز استشعار وضعت، كل من هذه أجهزة الاستشعار ستكون جزءا من المجموعة الفرعية.
    2. لكل مصدر من مصادر المعلومات في هذه المجموعة الفرعية، قم بإنشاء مجموعة بيانات منفصلة وتخزينها بشكل منفصل. ضع في اعتبارك أن مجموعة البيانات هذه قد تكون مجموعة بيانات الميزة السابقة أو مجموعة البيانات الأولية.
      ملاحظة: يمكن إيقاف البروتوكول مؤقتًا هنا.
  2. حدد طريقة تصنيف التعلم الآلي وتدريب نموذج لمصدر واحد لوضع المعلومات. خطوات كاملة من 2.5.1 إلى 2.5.6 باستخدام كل مجموعة من مجموعات البيانات التي تم إنشاؤها في الخطوة 3.1.2. الكشف عن المصدر الأنسب لوضع المعلومات عن طريق الترتيب. لهذه الدراسة الإفرادية، نستخدم الطرق التالية: SVM، RF، MLP و KNN.
    ملاحظة: يمكن إيقاف البروتوكول مؤقتًا هنا.
  3. حدد المواضع المناسبة في نهج متعدد الوسائط إذا كانت هناك حاجة إلى مزيج من مصدرين أو أكثر من مصادر المعلومات للنظام (على سبيل المثال، الجمع بين جهاز استشعار واحد يمكن ارتداؤه وكاميرا واحدة). في دراسة الحالة هذه، استخدم مستشعر ًا قابلًا للارتداء وكاميرا 1 (عرض جانبي) كطريقة.
    1. حدد أفضل مصدر للمعلومات لكل طريقة في النظام وإنشاء مجموعة بيانات مشتركة للميزات (أو مجموعة بيانات أولية) باستخدام مجموعات البيانات المستقلة لمصادر المعلومات هذه.
    2. حدد طريقة تصنيف التعلم الآلي وتدريب نموذج لهذه المصادر المجمعة للمعلومات. إكمال الخطوات 2.5.1 إلى 2.5.6 باستخدام مجموعة بيانات الميزات المجمعة (أو مجموعة البيانات الخام). في هذه الدراسة، استخدم الطرق التالية: SVM، RF، MLP و KNN.
      ملاحظة: يمكن إيقاف البروتوكول مؤقتًا هنا.

4- التقييم

  1. إعداد مجموعة بيانات جديدة مع المستخدمين في ظروف أكثر واقعية. استخدم فقط مصادر المعلومات المحددة في الخطوة السابقة. ويفضل تنفيذ النظام في الفئة المستهدفة (مثل كبار السن). جمع البيانات في فترات زمنية أطول.
    1. اختيارياً إذا تم استخدام الفئة المستهدفة فقط، قم بإنشاء بروتوكول مجموعة اختيار بما في ذلك شروط الاستبعاد (على سبيل المثال، أي ضعف بدني أو نفسياً) ووقف الوقاية من المعايير (على سبيل المثال، الكشف عن أي إصابة جسدية أثناء التجارب؛ والمعاناة من الغثيان والدوخة و/أو القيء؛ والإغماء). النظر أيضا الشواغل الأخلاقية وقضايا خصوصية البيانات.
  2. تقييم أداء نظام الكشف عن السقوط والتعرف على النشاط البشري الذي تم تطويره حتى الآن. استخدم المعادلات 1-5 لتحديد دقة النظام وقوته التنبؤية، أو أي مقاييس أداء أخرى.
  3. مناقشة حول النتائج على النتائج التجريبية.

النتائج

إنشاء قاعدة بيانات
أنشأنا مجموعة بيانات متعددة الوسائط للكشف عن السقوط والتعرف على النشاط البشري، وهي الكشف عن UP-Fall21. وقد جُمعت البيانات على مدى أربعة أسابيع في كلية الهندسة في جامعة بانأمريكانا (مكسيكو سيتي، المكسيك). وقد اختير سيناريو الاختبار بالنظر إلى المتطلبات التالية: (أ) حيز يمكن فيه للمواضيع أن تؤدي السقوط والأنشطة بشكل مريح وآمن، و(ب) بيئة داخلية ذات ضوء طبيعي واصطناعي مناسب تماماً لإعدادات أجهزة الاستشعار المتعددة الوسائط.

هناك عينات بيانات من 17 موضوعًا قام بها 5 أنواع من السقوط و6 أنشطة بسيطة مختلفة ، خلال 3 تجارب. تم جمع جميع المعلومات باستخدام نظام داخلي للحصول على البيانات مع 5 أجهزة استشعار يمكن ارتداؤها (مقياس التسارع ثلاثي المحاور ، جيروسكوب وكثافة الضوء) ، وخوذة كهربائية واحدة ، و 6 مستشعرات الأشعة تحت الحمراء كمستشعرات محيطة ، و2 كاميرتين في وجهات النظر الجانبية والأمامية. ويبين الشكل 1 تخطيط موضع المستشعر في البيئة وعلى الجسم. معدل أخذ العينات من مجموعة البيانات بأكملها هو 18 هرتز. تحتوي قاعدة البيانات على مجموعتين من البيانات: مجموعة البيانات الخام الموحدة (812 جيجابايت)، ومجموعة بيانات الميزات (171 جيجابايت). جميع قواعد البيانات وير المخزنة في سحابة للوصول العام: https://sites.google.com/up.edu.mx/har-up/. ويمكن الاطلاع على مزيد من التفاصيل عن الحصول على البيانات وتجهيزها مسبقا وتوحيدها وتخزينها، فضلا عن تفاصيل عن التزامن واتساق البيانات في مارتينيز - فيليسينيور وآخرون21.

وبالنسبة لقاعدة البيانات هذه، كان جميع الأشخاص من المتطوعين الشباب الأصحاء (9 ذكور و 8 إناث) دون أي إعاقة، وتراوحت أعمارهم بين 18 و 24 سنة، ويتراوح متوسط الطول بين 1.66 متر والوزن المتوسط 66.8 كيلوغراما. وأثناء جمع البيانات، كان الباحث المسؤول التقني يشرف على أن جميع الأنشطة يقوم بها الأشخاص بشكل صحيح. أجرى الأشخاص خمسة أنواع من السقوط ، كل واحد لمدة 10 ثوان ، كما السقوط: إلى الأمام باستخدام اليدين (1) ، إلى الأمام باستخدام الركبتين (2) ، إلى الوراء (3) ، والجلوس في كرسي فارغ (4) وجنب (5). كما قاموا بستة أنشطة يومية لمدة 60 سنة لكل منها باستثناء القفز (30 سنة): المشي (6)، الوقوف (7)، التقاط جسم (8)، الجلوس (9)، القفز (10) ووضع (11). على الرغم من أن السقوط المحاكاة لا يمكن استنساخ جميع أنواع السقوط في الحياة الحقيقية ، فمن المهم على الأقل لتشمل أنواع تمثيلية من السقوط مما يتيح إنشاء نماذج أفضل للكشف عن السقوط. ومن المهم أيضاً استخدام ADLs، وعلى وجه الخصوص، الأنشطة التي يمكن أن تكون عادة خاطئة مع السقوط مثل التقاط كائن. تم اختيار أنواع الخريف وADLs بعد مراجعة أنظمة الكشف عن السقوط ذات الصلة21. على سبيل المثال، يعرض الشكل 2 سلسلة من الصور لنسخة تجريبية واحدة عندما يسقط موضوع ما جنبًا إلى جنب.

استخرجنا 12 الزمني (المتوسط، الانحراف المعياري، الحد الأقصى من السعة، الحد الأدنى من السعة، مربع متوسط الجذر، المتوسط، رقم صفر عبور، الانحراف، kurtosis، الربع الأول، الربع الثالث والارتباط التلقائي) و 6 متكررة (متوسط، متوسط، إنتروبيا، الطاقة، التردد الرئيسي وcentroid الطيفية) ميزات21 من كل قناة من أجهزة الاستشعار المحيطة التي يمكن ارتداؤها تتألف من 756 الميزات في المجموع. كما قمنا بحساب 400 ميزة مرئية21 لكل كاميرا حول الحركة النسبية للبكسل بين صورتين متجاورتين في مقاطع الفيديو.

تحليل البيانات بين النهج الأحادية الواسطة والنهج المتعددة الوسائط
من قاعدة بيانات UP-Fall Detection ، قمنا بتحليل البيانات لأغراض المقارنة بين النهج الأحادية الوسائط والمتعددة الوسائط. وبهذا المعنى، قارنا سبع مجموعات مختلفة من مصادر المعلومات: أجهزة استشعار الأشعة تحت الحمراء فقط (IR)؛ وأجهزة الاستشعار بالأشعة تحت الحمراء فقط (IR)؛ وأجهزة الاستشعار بالأشعة تحت الحمراء (IR)؛ وأجهزة الاستشعار بالأشعة تحت الحمراء (IR)؛ وأجهزة الاستشعار بالأشعة تحت الحمراء (الأشعة تحت الحمراء). أجهزة الاستشعار التي يمكن ارتداؤها فقط (IMU)؛ أجهزة استشعار وخوذة يمكن ارتداؤها (IMU + EEG)؛ الأشعة تحت الحمراء وأجهزة الاستشعار التي يمكن ارتداؤها وخوذة (IR + IMU + EEG)؛ الكاميرات فقط (CAM)؛ أجهزة استشعار الأشعة تحت الحمراء والكاميرات (IR +CAM)؛ وأجهزة الاستشعار التي يمكن ارتداؤها والخوذة والكاميرات (IMU + EEG + CAM). بالإضافة إلى ذلك ، قارنا ثلاثة أحجام زمنية مختلفة مع تداخل 50٪ : ثانية واحدة ، وثانيتين وثلاث ثوان. في كل شريحة، اخترنا الميزات الأكثر فائدة تطبيق اختيار ميزة والترتيب. باستخدام هذه الاستراتيجية، قمنا باستخدام 10 ميزات فقط لكل طريقة، باستثناء طريقة الأشعة تحت الحمراء باستخدام 40 ميزة. وعلاوة على ذلك، أجريت المقارنة على أربعة مصنفين معروفين للتعلم الآلي: RF، SVM، MLP و KNN. لقد وظفنا 10 أضعاف التحقق المتبادل ، مع مجموعات بيانات من 70 ٪ من القطار واختبار 30 ٪ ، لتدريب نماذج التعلم الآلي. ويبين الجدول 1 نتائج هذا المعيار، حيث يبلغ عن أفضل أداء تم الحصول عليه لكل طريقة حسب نموذج التعلم الآلي وأفضل تكوين لطول النافذة. مقاييس التقييم تقرير الدقة والدقة والحساسية والتحديد وF1-score. ويبين الشكل 3 هذه النتائج في تمثيل رسومي، من حيث درجة F1.

من الجدول 1، والنهج متعددة الوسائط (الأشعة تحت الحمراء وأجهزة الاستشعار التي يمكن ارتداؤها وخوذة ، IR + IMU + EEG ؛ وأجهزة الاستشعار التي يمكن ارتداؤها وخوذة والكاميرات ، IMU + EEG + CAM) حصلت على أفضل قيم درجة F1 ، بالمقارنة مع النهج أحادية الواسطة (الأشعة تحت الحمراء فقط ، الأشعة تحت الحمراء ؛ والكاميرات فقط ، CAM). كما لاحظنا أن أجهزة الاستشعار القابلة للارتداء فقط (IMU) حصلت على أداء مماثل للنهج المتعدد الوسائط. وفي هذه الحالة، اخترنا اتباع نهج متعدد الوسائط لأن مصادر المعلومات المختلفة يمكن أن تعالج القيود المفروضة على الآخرين. على سبيل المثال، يمكن التعامل مع التطفل في الكاميرات بواسطة أجهزة استشعار يمكن ارتداؤها، ويمكن استكمال عدم استخدام جميع أجهزة الاستشعار القابلة للارتداء بالكاميرات أو أجهزة الاستشعار المحيطة.

وفيما يتعلق بالمعيار المرجعي للنماذج القائمة على البيانات، أظهرت التجارب الواردة في الجدول 1 أن الترددات الراديوية تقدم أفضل النتائج في جميع التجارب تقريباً؛ في حين أن MLP و SVM لم تكن متسقة جدا في الأداء (على سبيل المثال، يظهر الانحراف المعياري في هذه التقنيات تقلباً أكبر مما كان عليه في RF). حول أحجام النوافذ ، لم تمثل هذه أي تحسن كبير فيما بينها. ومن المهم ملاحظة أن هذه التجارب قد أجريت لتصنيف النشاط الخريفي والبشري.

وضع الاستشعار وأفضل تركيبة متعددة الوسائط
من ناحية أخرى ، كنا نستهدف تحديد أفضل مزيج من الأجهزة متعددة الوسائط للكشف عن السقوط. لهذا التحليل، قمنا بتقييد مصادر المعلومات إلى أجهزة الاستشعار الخمسة القابلة للارتداء والكاميرتين. هذه الأجهزة هي الأكثر راحة لهذا النهج. بالإضافة إلى ذلك، نظرنا في فئتين: الخريف (أي نوع من السقوط) أو عدم السقوط (أي نشاط آخر). جميع نماذج التعلم الآلي ، وأحجام النوافذ لا تزال هي نفسها كما هو الحال في التحليل السابق.

لكل مستشعر يمكن ارتداؤه ، قمنا ببناء نموذج مصنف مستقل لكل طول نافذة. قمنا بتدريب النموذج باستخدام 10 أضعاف التحقق من صحة متقاطعة مع 70٪ من التدريب واختبار مجموعات البيانات. يلخص الجدول 2 نتائج ترتيب أجهزة الاستشعار القابلة للارتداء لكل مصنف أداء، استنادًا إلى درجة F1. تم فرز هذه النتائج بترتيب تنازلي. كما رأينا في الجدول 2، يتم الحصول على أفضل أداء عند استخدام جهاز استشعار واحد في الخصر أو الرقبة أو الجيب الأيمن الضيق (منطقة مظللة). وبالإضافة إلى ذلك، كان أداء أجهزة الاستشعار القابلة للارتداء في الكاحل والمعصم الأيسر هو الأسوأ. ويبين الجدول 3 تفضيل طول النافذة لكل جهاز استشعار يمكن ارتداؤها من أجل الحصول على أفضل أداء في كل مصنف. من النتائج، الخصر والرقبة وأجهزة استشعار الجيب الأيمن ضيق مع مصنف RF وحجم نافذة 3 ق مع 50٪ متداخلة هي أجهزة الاستشعار الأكثر ملاءمة يمكن ارتداؤها للكشف عن السقوط.

أجرينا تحليلًا مشابهًا لكل كاميرا في النظام. بنينا نموذج مصنف مستقل لكل حجم النافذة. للتدريب، قمنا بالتحقق من صحة متقاطعة 10 أضعاف مع 70٪ من التدريب واختبار مجموعات البيانات بنسبة 30٪. ويبين الجدول 4 ترتيب أفضل وجهة نظر الكاميرا لكل مصنف، استناداً إلى درجة F1. كما لوحظ ، فإن العرض الجانبي (الكاميرا 1) أدى أفضل اكتشاف الخريف. وبالإضافة إلى ذلك، تفوق أداء الترددات اللاسلكية بالمقارنة مع المصنفين الآخرين. أيضا ، الجدول 5 يظهر تفضيل طول النافذة لكل وجهة نظر الكاميرا. من النتائج ، وجدنا أن أفضل موقع للكاميرا هو في وجهة النظر الجانبية باستخدام RF في حجم نافذة 3 s و 50٪ متداخلة.

وأخيرا، اخترنا موضعين ممكنين من أجهزة الاستشعار التي يمكن ارتداؤها (أي الخصر والجيب الأيمن الضيق) ليتم دمجها مع كاميرا وجهة النظر الجانبية. بعد نفس الإجراء التدريبي، حصلنا على النتائج من الجدول 6. كما هو مبين ، حصل مصنف نموذج RF على أفضل أداء في الدقة ودرجة F1 في كل من الوسائط المتعددة. أيضا، الجمع بين الخصر والكاميرا 1 في المرتبة الأولى الحصول على 98.72٪ في الدقة و 95.77٪ في درجة F1.

figure-results-8612
الشكل 1: تخطيط أجهزة الاستشعار القابلة للارتداء (يسار) وأجهزة الاستشعار المحيطة (اليمنى) في قاعدة بيانات الكشف عن UP-Fall. يتم وضع أجهزة الاستشعار التي يمكن ارتداؤها في الجبهة، والمعصم الأيسر، والرقبة، والخصر، والجيب الأيمن من السراويل والكاحل الأيسر. أجهزة الاستشعار المحيطة هي ستة أجهزة استشعار الأشعة تحت الحمراء المقترنة للكشف عن وجود المواضيع واثنين من الكاميرات. وتقع الكاميرات في العرض الجانبي وفي العرض الأمامي، سواء فيما يتعلق بسقوط الإنسان. يرجى الضغط هنا لعرض نسخة أكبر من هذا الرقم.

figure-results-9364
الشكل 2: مثال على تسجيل فيديو مستخرج من قاعدة بيانات الكشف عن UP-Fall. في الأعلى ، هناك سلسلة من الصور لموضوع يسقط جنبًا إلى جنب. في الجزء السفلي ، هناك سلسلة من الصور التي تمثل ميزات الرؤية المستخرجة. هذه الميزات هي الحركة النسبية للبيكسلات بين صورتين متجاورتين. تمثل وحدات البكسل البيضاء حركة أسرع، بينما تمثل البيكسلات السوداء حركة أبطأ (أو قريبة من الصفر). يتم فرز هذا التسلسل من اليسار إلى اليمين، زمنياً. يرجى الضغط هنا لعرض نسخة أكبر من هذا الرقم.

figure-results-10076
الشكل 3: النتائج المقارنة التي تبلغ عن أفضل درجة F1 لكل طريقة فيما يتعلق بنموذج التعلم الآلي وأفضل طول النافذة. تمثل الأشرطة القيم الوسطى لـ F1-score. يمثل النص في نقاط البيانات الانحراف المتوسط والمعياري بين قوسين. يرجى الضغط هنا لعرض نسخة أكبر من هذا الرقم.

طريقهنموذجالدقة (في المائة)الدقة (في المائة)الحساسية (٪ )التحديد (في المائة)درجة F1 (٪ )
الاشعه تحت الحمراءRF (3 ثوان)67.38 ± 0.6536.45 ± 2.4631.26 ± 0.8996.63 ± 0.0732.16 ± 0.99
SVM (3 ثوان)65.16 ± 0.9026.77 ± 0.5825.16 ± 0.2996.31 ± 0.0923.89 ± 0.41
MLP (3 ثوان)65.69 ± 0.8928.19 ± 3.5626.40 ± 0.7196.41 ± 0.0825.13 ± 1.09
kNN (3 ثوان)61.79 ± 1.4730.04 ± 1.4427.55 ± 0.9796.05 ± 0.1627.89 ± 1.13
IMURF (1 ثانية)95.76 ± 0.1870.78 ± 1.5366.91 ± 1.2899.59 ± 0.0268.35 ± 1.25
SVM (1 ثانية)93.32 ± 0.2366.16 ± 3.3358.82 ± 1.5399.32 ± 0.0260.00 ± 1.34
MLP (1 ثانية)95.48 ± 0.2573.04 ± 1.8969.39 ± 1.4799.56 ± 0.0270.31 ± 1.48
kNN (1 ثانية)94.90 ± 0.1869.05 ± 1.6364.28 ± 1.5799.50 ± 0.0266.03 ± 1.52
IMU + EEGRF (1 ثانية)95.92 ± 0.2974.14 ± 1.2966.29 ± 1.6699.59 ± 0.0369.03 ± 1.48
SVM (1 ثانية)90.77 ± 0.3662.51 ± 3.3452.46 ± 1.1999.03 ± 0.0353.91 ± 1.16
MLP (1 ثانية)93.33 ± 0.5574.10 ± 1.6165.32 ± 1.1599.32 ± 0.0568.13 ± 1.16
kNN (1 ثانية)92.12 ± 0.3166.86 ± 1.3258.30 ± 1.2098.89 ± 0.0560.56 ± 1.02
IR+IMU+EEGRF (2 ثانية)95.12 ± 0.3674.63 ± 1.6566.71 ± 1.9899.51 ± 0.0369.38 ± 1.72
SVM (1 ثانية)90.59 ± 0.2764.75 ± 3.8952.63 ± 1.4299.01 ± 0.0253.94 ± 1.47
MLP (1 ثانية)93.26 ± 0.6973.51 ± 1.5966.05 ± 1.1199.31 ± 0.0768.19 ± 1.02
kNN (1 ثانية)92.24 ± 0.2567.33 ± 1.9458.11 ± 1.6199.21 ± 0.0260.36 ± 1.71
كامRF (3 ثوان)32.33 ± 0.9014.45 ± 1.0714.48 ± 0.8292.91 ± 0.0914.38 ± 0.89
SVM (2 ثانية)34.40 ± 0.6713.81 ± 0.2214.30 ± 0.3192.97 ± 0.0613.83 ± 0.27
MLP (3 ثوان)27.08 ± 2.038.59 ± 1.6910.59 ± 0.3892.21 ± 0.097.31 ± 0.82
kNN (3 ثوان)34.03 ± 1.1115.32 ± 0.7315.54 ± 0.5793.09 ± 0.1115.19 ± 0.52
IR +CAMRF (3 ثوان)65.00 ± 0.6533.93 ± 2.8129.02 ± 0.8996.34 ± 0.0729.81 ± 1.16
SVM (3 ثوان)64.07 ± 0.7924.10 ± 0.9824.18 ± 0.1796.17 ± 0.0722.38 ± 0.23
MLP (3 ثوان)65.05 ± 0.6628.25 ± 3.2025.40 ± 0.5196.29 ± 0.0624.39 ± 0.88
kNN (3 ثوان)60.75 ± 1.2929.91 ± 3.9526.25 ± 0.9095.95 ± 0.1126.54 ± 1.42
IMU + EEG + CAMRF (1 ثانية)95.09 ± 0.2375.52 ± 2.3166.23 ± 1.1199.50 ± 0.0269.36 ± 1.35
SVM (1 ثانية)91.16 ± 0.2566.79 ± 2.7953.82 ± 0.7099.07 ± 0.0255.82 ± 0.77
MLP (1 ثانية)94.32 ± 0.3176.78 ± 1.5967.29 ± 1.4199.42 ± 0.0370.44 ± 1.25
kNN (1 ثانية)92.06 ± 0.2468.82 ± 1.6158.49 ± 1.1499.19 ± 0.0260.51 ± 0.85

الجدول 1: النتائج المقارنة التي تبلغ عن أفضل أداء لكل طريقة فيما يتعلق بنموذج التعلم الآلي وأفضل طول النافذة (بين قوسين). تمثل كافة القيم في الأداء المتوسط والانحراف المعياري.

#نوع IMU
الترددات اللاسلكيهSvmMLPKNN
1(98.36) الخصر(83.30) الجيب الأيمن(57.67) الجيب الأيمن(73.19) الجيب الأيمن
2(95.77) الرقبة(83.22) الخصر(44.93) الرقبة(68.73) الخصر
3(95.35) الجيب الأيمن(83.11) رقبة(39.54) الخصر(65.06) الرقبة
4(95.06) الكاحل(82.96) الكاحل(39.06) المعصم الأيسر(58.26) الكاحل
5(94.66) المعصم الأيسر(82.82) المعصم الأيسر(37.56) الكاحل(51.63) المعصم الأيسر

الجدول 2: ترتيب أفضل جهاز استشعار يمكن ارتداؤه لكل مصنف، مصنف حسب درجة F1 (بين قوسين). تمثل المناطق في الظل المصنفين الثلاثة الأوائل للكشف عن السقوط.

نوع IMUطول النافذة
الترددات اللاسلكيهSvmMLPKNN
الكاحل الأيسر2 ثانية3 ثوان1 ثانية3 ثوان
الخصر3 ثوان1 ثانية1 ثانية2 ثانية
الرقبه3 ثوان3 ثوان2 ثانية2 ثانية
الجيب الأيمن3 ثوان3 ثوان2 ثانية2 ثانية
المعصم الأيسر2 ثانية2 ثانية2 ثانية2 ثانية

الجدول 3: طول النافذة الزمنية المفضل في أجهزة الاستشعار القابلة للارتداء لكل مصنف.

#عرض الكاميرا
الترددات اللاسلكيهSvmMLPKNN
1(62.27) عرض جانبي(24.25) عرض جانبي(13.78) عرض أمامي(41.52) عرض جانبي
2(55.71) عرض أمامي(0.20) عرض أمامي(5.51) عرض جانبي(28.13) عرض أمامي

الجدول 4: ترتيب أفضل وجهة نظر الكاميرا لكل مصنف، مرتبة حسب درجة F1 (بين قوسين). تمثل المناطق في الظل المصنف العلوي للكشف عن السقوط.

الكاميراطول النافذة
الترددات اللاسلكيهSvmMLPKNN
عرض جانبي3 ثوان3 ثوان2 ثانية3 ثوان
عرض أمامي2 ثانية2 ثانية3 ثوان2 ثانية

الجدول 5: طول النافذة الزمنية المفضل في وجهات نظر الكاميرا لكل مصنف.

المتعدد الوسائطالمصنفالدقة (في المائة)الدقة (في المائة)الحساسية (٪ )درجة F1 (٪ )
الخصر
+
عرض جانبي		الترددات اللاسلكيه98.72 ± 0.3594.01 ± 1.5197.63 ± 1.5695.77 ± 1.15
Svm95.59 ± 0.4010070.26 ± 2.7182.51 ± 1.85
MLP77.67 ± 11.0433.73 ± 11.6937.11 ± 26.7429.81 ± 12.81
KNN91.71 ± 0.6177.90 ± 3.3361.64 ± 3.6868.73 ± 2.58
الجيب الأيمن
+
عرض جانبي		الترددات اللاسلكيه98.41 ± 0.4993.64 ± 1.4695.79 ± 2.6594.69 ± 1.67
Svm95.79 ± 0.5810071.58 ± 3.9183.38 ± 2.64
MLP84.92 ± 2.9855.70 ± 11.3648.29 ± 25.1145.21 ± 14.19
KNN91.71 ± 0.5873.63 ± 3.1968.95 ± 2.7371.13 ± 1.69

الجدول 6: النتائج المقارنة لوجهة نظر أجهزة الاستشعار والكاميرا القابلة للارتداء مجتمعة باستخدام طول النافذة لمدة 3 ثوان. تمثل كافة القيم الانحراف المتوسط والمعياري.

Discussion

من الشائع مواجهة التحديات بسبب مشاكل عدم تناسق المزامنة والتنظيم والبيانات20 عند إنشاء مجموعة بيانات.

المزامنه
وفي الحصول على البيانات، تنشأ مشاكل في التزامن بالنظر إلى أن أجهزة الاستشعار المتعددة تعمل عادة بمعدلات مختلفة لأخذ العينات. أجهزة الاستشعار ذات الترددات الأعلى تجمع بيانات أكثر من تلك ذات الترددات الأقل. وبالتالي، لن يتم إقران البيانات من مصادر مختلفة بشكل صحيح. وحتى إذا كانت أجهزة الاستشعار تعمل بنفس معدلات أخذ العينات، فمن الممكن ألا تتم محاذاة البيانات. وفي هذا الصدد، قد تساعد التوصيات التالية على معالجة مشاكل التزامن هذه20:'1' تسجيل الطابع الزمني والموضوع والنشاط والتجربة في كل عينة بيانات يتم الحصول عليها من أجهزة الاستشعار؛ '2' تسجيل الطابع الزمني والموضوع والنشاط والتجربة في كل عينة بيانات يتم الحصول عليها من أجهزة الاستشعار؛ '2' تسجيل الطابع الزمني والموضوع والنشاط والتجربة في كل عينة بيانات تم الحصول عليها من أجهزة الاستشعار؛ '2' تسجيل الطابع الزمني والموضوع والنشاط والتجربة في كل عينة بيانات تم الحصول عليها من أجهزة الاستشعار؛ '2' تسجيل الطابع الزمني والموضوع والنشاط والتجربة في كل عينة بيانات تم الحصول عليها '2' يتعين استخدام أكثر مصادر المعلومات اتساقا وأقل تواترا كإشارة مرجعية للتزامن؛ و '3' استخدام إجراءات تلقائية أو شبه تلقائية لمزامنة تسجيلات الفيديو التي سيكون التفتيش اليدوي غير عملي.

المعالجة المسبقة للبيانات
يجب أيضاً إجراء المعالجة المسبقة للبيانات، والقرارات الحاسمة تؤثر على هذه العملية: (أ) تحديد أساليب تخزين البيانات وتمثيل البيانات من مصادر متعددة وغير متجانسة (ب) تحديد طرق تخزين البيانات في المضيف المحلي أو على السحابة (ج) تحديد تنظيم البيانات، بما في ذلك أسماء الملفات والمجلدات (د) التعامل مع القيم المفقودة من البيانات وكذلك التكرار الموجودة في أجهزة الاستشعار ، من بين أمور أخرى. بالإضافة إلى ذلك، بالنسبة لسحابة البيانات، يوصى بالتخزين المؤقت المحلي عندما يكون ذلك ممكنًا للتخفيف من فقدان البيانات في وقت التحميل.

عدم اتساق البيانات
عدم تناسق البيانات شائع بين التجارب التي تجد اختلافات في أحجام عينات البيانات. وتتعلق هذه المسائل بالحصول على البيانات في أجهزة الاستشعار القابلة للارتداء. تؤدي الانقطاعات القصيرة لاقتناء البيانات واصطدام البيانات من أجهزة استشعار متعددة إلى عدم تناسق البيانات. في هذه الحالات، خوارزميات الكشف عن عدم الاتساق مهمة للتعامل مع الفشل عبر الإنترنت في أجهزة الاستشعار. من المهم تسليط الضوء على أنه يجب مراقبة الأجهزة اللاسلكية بشكل متكرر طوال التجربة. قد يؤثر انخفاض البطارية على الاتصال ويؤدي إلى فقدان البيانات.

الاخلاقيه
الموافقة على المشاركة والموافقة الأخلاقية إلزامية في كل نوع من التجارب التي يشارك فيها الناس.

وفيما يتعلق بالقيود المفروضة على هذه المنهجية، من المهم ملاحظة أنها مصممة للنهج التي تنظر في طرائق مختلفة لجمع البيانات. يمكن أن تشمل الأنظمة أجهزة استشعار قابلة للارتداء ومحيطة و/أو رؤية. ويقترح النظر في استهلاك الطاقة من الأجهزة وعمر البطاريات في أجهزة الاستشعار اللاسلكية، وذلك بسبب قضايا مثل فقدان جمع البيانات، وتقلص الاتصال واستهلاك الطاقة في النظام بأكمله. وعلاوة على ذلك، فإن هذه المنهجية مخصصة للنظم التي تستخدم أساليب التعلم الآلي. وينبغي إجراء تحليل لاختيار نماذج التعلم الآلي هذه مسبقا. بعض هذه النماذج يمكن أن تكون دقيقة، ولكن تستهلك الكثير من الوقت والطاقة. ويجب أن تؤخذ في الاعتبار المفاضلة بين التقدير الدقيق ومحدودية الموارد المتاحة للحوسبة في نماذج التعلم الآلي. ومن المهم أيضا ملاحظة أن الأنشطة، في عملية جمع بيانات النظام، قد نُفذت بنفس الترتيب؛ أيضا، أجريت التجارب في نفس التسلسل. ولأسباب تتعلق بالسلامة، استُخدمت مرتبة واقية لوقوع الرعايا فيها. وبالإضافة إلى ذلك، كانت الشلالات ذاتية المبادرة. هذا هو الفرق المهم بين السقوط محاكاة وحقيقي، والتي تحدث عموما نحو المواد الصلبة. وبهذا المعنى، تقع مجموعة البيانات المسجلة هذه كرد فعل بديهي يحاول عدم السقوط. وعلاوة على ذلك، هناك بعض الاختلافات بين السقوط الحقيقي في المسنين أو المعوقين وتسقط المحاكاة؛ ويجب أن تؤخذ هذه في الاعتبار عند تصميم نظام جديد للكشف عن السقوط. وقد ركزت هذه الدراسة على الشباب الذين لا يعانون من أي إعاقة، ولكن من اللافت القول أن اختيار المواضيع ينبغي أن يتماشى مع هدف النظام والسكان المستهدفين الذين سيستخدمونه.

من الأعمال ذات الصلة المذكورة أعلاه10،11،12،13،14،15،16،17،18، يمكننا أن نلاحظ أن هناك مؤلفين يستخدمون أساليب متعددة الوسائط تركز في الحصول على كاشفات سقوط قوية أو التركيز على وضع أو أداء المصنف. وبالتالي ، فإنها تعالج واحدة أو اثنتين فقط من مشكلات التصميم للكشف عن السقوط. منهجيتنا تسمح بحل ثلاثة من مشاكل التصميم الرئيسية لنظام الكشف عن السقوط في وقت واحد.

وبالنسبة للعمل في المستقبل، نقترح تصميم وتنفيذ نظام بسيط متعدد الوسائط للكشف عن السقوط استنادا إلى النتائج التي تم التوصل إليها باتباع هذه المنهجية. وبالنسبة للاعتماد في العالم الحقيقي، ينبغي استخدام التعلم المنقول والتصنيف الهرمي ونُهج التعلم العميق في تطوير نظم أكثر قوة. لم يأخذ تنفيذنا في الاعتبار المقاييس النوعية لنماذج التعلم الآلي ، ولكن يجب أن تؤخذ موارد الحوسبة في الوقت الحقيقي والموارد المحدودة في الاعتبار لمزيد من التطوير لأنظمة الكشف /التعرف على السقوط البشري والنشاط. وأخيرا، من أجل تحسين مجموعة البيانات لدينا، يمكن النظر في أنشطة التعثر أو شبه السقوط ورصد المتطوعين في الوقت الحقيقي خلال حياتهم اليومية.

Disclosures

وليس لدى أصحاب البلاغ ما يكشفون عنه.

Acknowledgements

تم تمويل هذا البحث من قبل جامعة بانأمريكانا من خلال منحة "Fomento a la Investigación UP 2018"، بموجب رمز المشروع UP-CI-2018-ING-MX-04.

Materials

NameCompanyCatalog NumberComments
Inertial measurement wearable sensorMbientlabMTH-MetaTrackerTri-axial accelerometer, tri-axial gyroscope and light intensity wearable sensor.
Electroencephalograph brain sensor helmet MindWaveNeuroSky80027-007Raw brainwave signal with one forehand sensor.
LifeCam Cinema video cameraMicrosoftH5D-000022D RGB camera with USB cable interface.
Infrared sensorAleanABT-60Proximity sensor with normally closed relay.
Bluetooth dongleMbientlabBLEDongle for Bluetooth connection between the wearable sensors and a computer.
Raspberry PiRaspberryVersion 3 Model BMicrocontroller for infrared sensor acquisition and computer interface.
Personal computerDellIntel Xeon E5-2630 v4 @2.20 GHz, RAM 32GB

References

  1. United Nations. World Population Prospects: The 2017 Revision, Key Findings and Advance Tables. United Nations. Department of Economic and Social Affairs, Population Division. , (2017).
  2. World Health Organization. Ageing, and Life Course Unit. WHO Global Report on Falls Prevention in Older Age. , (2008).
  3. Igual, R., Medrano, C., Plaza, I. Challenges, Issues and Trends in Fall Detection Systems. Biomedical Engineering Online. 12 (1), 66 (2013).
  4. Noury, N., et al. Fall Detection-Principles and Methods. 2007 29th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. , 1663-1666 (2007).
  5. Mubashir, M., Shao, L., Seed, L. A Survey on Fall Detection: Principles and Approaches. Neurocomputing. 100, 144-152 (2002).
  6. Perry, J. T., et al. Survey and Evaluation of Real-Time Fall Detection Approaches. Proceedings of the 6th International Symposium High-Capacity Optical Networks and Enabling Technologies. , 158-164 (2009).
  7. Xu, T., Zhou, Y., Zhu, J. New Advances and Challenges of Fall Detection Systems: A Survey. Applied Sciences. 8 (3), 418 (2018).
  8. Rougier, C., Meunier, J., St-Arnaud, A., Rousseau, J. Robust Video Surveillance for Fall Detection Based on Human Shape Deformation. IEEE Transactions on Circuit Systems for Video Technologies. 21, 611-622 (2011).
  9. Bulling, A., Blanke, U., Schiele, B. A Tutorial on Human Activity Recognition Using Body-Worn Inertial Sensors. ACM Computing Surveys. 46 (3), 33 (2014).
  10. Kwolek, B., Kepski, M. Human Fall Detection on Embedded Platform Using Depth Maps and Wireless Accelerometer. Computational Methods and Programs in Biomedicine. 117, 489-501 (2014).
  11. Ofli, F., Chaudhry, R., Kurillo, G., Vidal, R., Bajcsy, R. Berkeley MHAD: A Comprehensive Multimodal Human Action Database. Proceedings of the 2013 IEEE Workshop on Applications of Computer Vision. , 53-60 (2013).
  12. Dovgan, E., et al. Intelligent Elderly-Care Prototype for Fall and Disease Detection. Slovenian Medical Journal. 80, 824-831 (2011).
  13. Santoyo-Ramón, J., Casilari, E., Cano-García, J. Analysis of a Smartphone-Based Architecture With Multiple Mobility Sensors for Fall Detection With Supervised Learning. Sensors. 18 (4), 1155 (2018).
  14. Özdemir, A. An Analysis on Sensor Locations of the Human Body for Wearable Fall Detection Devices: Principles and Practice. Sensors. 16 (8), 1161 (2016).
  15. Ntanasis, P., Pippa, E., Özdemir, A. T., Barshan, B., Megalooikonomou, V. Investigation of Sensor Placement for Accurate Fall Detection. International Conference on Wireless Mobile Communication and Healthcare. , 225-232 (2016).
  16. Bagala, F., et al. Evaluation of Accelerometer-Based Fall Detection Algorithms on Real-World Falls. PLoS One. 7, 37062 (2012).
  17. Bourke, A. K., et al. Assessment of Waist-Worn Tri-Axial Accelerometer Based Fall-detection Algorithms Using Continuous Unsupervised Activities. Proceedings of the Annual International Conference of the IEEE Engineering in Medicine and Biology Society. , 2782-2785 (2010).
  18. Kerdegari, H., Samsudin, K., Ramli, A. R., Mokaram, S. Evaluation of Fall Detection Classification Approaches. 4th International Conference on Intelligent and Advanced Systems. , 131-136 (2012).
  19. Alazrai, R., Mowafi, Y., Hamad, E. A Fall Prediction Methodology for Elderly Based on a Depth Camera. 37th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. , 4990-4993 (2015).
  20. Peñafort-Asturiano, C. J., Santiago, N., Núñez-Martínez, J. P., Ponce, H., Martínez-Villaseñor, L. Challenges in Data Acquisition Systems: Lessons Learned from Fall Detection to Nanosensors. 2018 Nanotechnology for Instrumentation and Measurement. , 1-8 (2018).
  21. Martínez-Villaseñor, L., et al. UP-Fall Detection Dataset: A Multimodal Approach. Sensors. 19 (9), 1988 (2019).
  22. Rantz, M., et al. Falls, Technology, and Stunt Actors: New approaches to Fall Detection and Fall Risk Assessment. Journal of Nursing Care Quality. 23 (3), 195-201 (2008).
  23. Lachance, C., Jurkowski, M., Dymarz, A., Mackey, D. Compliant Flooring to Prevent Fall-Related Injuries: A Scoping Review Protocol. BMJ Open. 6 (8), 011757 (2016).

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Explore More Articles

158

This article has been published

Video Coming Soon

JoVE Logo

Privacy

Terms of Use

Policies

Contact Us

Recommend to library

JoVE NEWSLETTERS

Research

Education

Authors

Librarians

ABOUT JoVE

Copyright © 2025 MyJoVE Corporation. All rights reserved