Проектирование и анализ для упрощения системы обнаружения падения

Резюме

Мы представляем методологию, основанную на мультимодальных датчиках для настройки простой, удобной и быстрой системы обнаружения падения и распознавания человеческой деятельности. Цель состоит в том, чтобы построить систему для точного обнаружения падения, которые могут быть легко реализованы и приняты.

Аннотация

В настоящем документе представлена методология, основанная на мультимодальных датчиках для настройки простой, удобной и быстрой системы обнаружения падений и распознавания человеческой деятельности, которая может быть легко внедрена и принята. Методология основана на конфигурации конкретных типов датчиков, методов и процедур машинного обучения. Протокол разделен на четыре этапа: (1) создание базы данных (2) упрощение системы (3) упрощение системы и (4) оценка. Используя эту методологию, мы создали мультимодальную базу данных для обнаружения падения и распознавания человеческой деятельности, а именно UP-Fall Detection. Он включает в себя образцы данных из 17 субъектов, которые выполняют 5 типов падений и 6 различных простых видов деятельности, в течение 3 испытаний. Вся информация была собрана с помощью 5 носимых датчиков (трехосный акселерометр, гироскоп и интенсивность света), 1 шлем электроэнцефалографа, 6 инфракрасных датчиков в качестве датчиков окружающей среды и 2 камеры в боковых и передних точках зрения. Предлагаемая новая методология добавляет некоторые важные этапы для выполнения глубокого анализа следующих проблем проектирования в целях упрощения системы обнаружения падения: а) выбрать, какие датчики или комбинации датчиков должны быть использованы в простой системе обнаружения падения, б) определить лучшее размещение источников информации, и в) выбрать наиболее подходящий метод классификации машинного обучения для падения и обнаружения и распознавания деятельности человека. Несмотря на то, что некоторые мультимодальные подходы, о которых сообщается в литературе, сосредоточены только на одном или двух из вышеупомянутых вопросов, наша методология позволяет одновременно решать эти три проблемы проектирования, связанные с человеческим падением и системой обнаружения и распознавания активности.

Введение

Так как в мире явление старения населения¹, падение распространенности увеличилось и на самом деле считается серьезной проблемой здравоохранения². Когда происходит падение, люди требуют немедленного внимания, чтобы уменьшить негативные последствия. Системы обнаружения падения могут уменьшить количество времени, в котором человек получает медицинскую помощь отправки оповещения, когда происходит падение.

Существуют различные категории систем обнаружения падения³. Ранние работы⁴ классифицируют системы обнаружения падения методом обнаружения, примерно аналитическими методами и методами машинного обучения. Совсем недавно другие авторы^3,,5,6 рассмотрели датчики сбора данных в качестве основной функции для классификации детекторов падения. Igual et al.³ делит системы обнаружения падений на системы, осведомленные о контексте, которые включают подходы на основе зрения и датчиков окружающей среды, а также системы носимых устройств. Mubashir et al.⁵ классифицирует детекторы падения на три группы на основе устройств, используемых для сбора данных: носимые устройства, датчики окружающей среды и устройства на основе зрения. Perry et al.⁶ рассматривают методы измерения ускорения, методы измерения ускорения в сочетании с другими методами и методы, не измеряющие ускорение. Из этих исследований мы можем определить, что датчики и методы являются основными элементами для классификации общей стратегии исследований.

Каждый из датчиков имеет слабые и сильные стороны, обсуждаемые в Сюй и др.⁷. Подходы на основе зрения в основном используют обычные камеры, камеры датчика глубины и/или системы захвата движения. Нормальные веб-камеры являются низкой стоимостью и простой в использовании, но они чувствительны к условиям окружающей среды (изменение света, окклюзия и т.д.), может быть использован только в ограниченном пространстве, и есть вопросы конфиденциальности. Глубина камеры, такие как Kinect, обеспечивают полное тело 3D движения⁷ и менее пострадавших от условий освещения, чем обычные камеры. Однако подходы, основанные на Kinect, не столь надежны и надежны. Системы захвата движения являются более дорогостоящими и трудными в использовании.

Подходы, основанные на акселерометрических устройствах и смартфонах/часах со встроенными акселерометрами, очень часто используются для обнаружения падения. Основным недостатком этих устройств является то, что они должны носить в течение длительного времени. Дискомфорт, навязчивость, размещение тела и ориентация являются вопросами дизайна, которые должны быть решены в этих подходах. Хотя смартфоны и смарт-часы являются менее навязчивыми устройствами, которые датчики, пожилые люди часто забывают или не всегда носят эти устройства. Тем не менее, преимущество этих датчиков и устройств в том, что они могут быть использованы во многих комнатах и / или на открытом воздухе.

Некоторые системы используют датчики, установленные вокруг окружающей среды для распознавания падений/действий, поэтому людям не приходится носить датчики. Тем не менее, эти датчики также ограничены местами, где они развернуты⁸ и иногда трудно установить. В последнее время мультимодальные системы обнаружения падения включают различные комбинации зрения, носимых и окружающих датчиков, чтобы получить больше точности и надежности. Они также могут преодолеть некоторые из ограничений одного датчика.

Методология, используемая для обнаружения падения, тесно связана с цепочкой распознавания человеческой деятельности (ARC), представленной Bulling et al.⁹, которая состоит из этапов для сбора данных, предварительной обработки и сегментации сигналов, извлечения и отбора функций, обучения и классификации. Вопросы проектирования должны быть решены для каждого из этих этапов. На каждом этапе используются различные методы.

Мы представляем методологию, основанную на мультимодальных датчиках для настройки простого, удобного и быстрого падения человека и системы обнаружения/распознавания человеческой деятельности. Цель состоит в том, чтобы построить систему для точного обнаружения падения, которые могут быть легко реализованы и приняты. Предлагаемая новая методология основана на ARC, но она добавляет некоторые важные этапы для проведения глубокого анализа следующих вопросов в целях упрощения системы: а) выбрать, какие датчики или комбинации датчиков должны использоваться в простой системе обнаружения падения; b) определить наилучшее размещение источников информации; и с) выбрать наиболее подходящий метод классификации машинного обучения для обнаружения падения и распознавания человеческой деятельности для создания простой системы.

Есть некоторые связанные работы в литературе, которые касаются одного или двух из вышеупомянутых вопросов дизайна, но, насколько нам известно, нет работы, которая фокусируется на методологии для преодоления всех этих проблем.

Похожие работы используют мультимодальные подходы для обнаружения падения и распознавания человеческой деятельности^10,,11,,12 для того, чтобы получить надежность и повысить точность. Kwolek et^{al. 10} предложила разработать и внедрить систему обнаружения падения на основе акселерометрических данных и карт глубины. Они разработали интересную методологию, в которой трехосный акселерометр реализован для обнаружения потенциального падения, а также движения человека. Если мера ускорения превышает порог, алгоритм извлекает человека, отличающегося от карты глубины от обновленной отображающейся карты глубины. Анализ глубины и акселерометра комбинаций был сделан с помощью классификатора векторной машины поддержки.

Ofli et al.¹¹ представили Мультимодальную базу данных по правам человека (MHAD) для того, чтобы обеспечить испытательный полигон для новых систем распознавания человеческой деятельности. Набор данных важен, так как действия были собраны одновременно с помощью 1 оптической системы захвата движения, 4 многовидных камер, 1 системы Kinect, 4 микрофона и 6 беспроводных акселерометров. Авторы представили результаты для каждого модальности: Kinect, mocap, акселерометр, и аудио.

Dovgan et al.¹² предложили прототип для обнаружения аномального поведения, в том числе падений, у пожилых людей. Они разработали тесты для трех сенсорных систем, чтобы найти наиболее подходящее оборудование для обнаружения падения и необычного поведения. Первый эксперимент состоит из данных смарт-сенсорной системы с 12 метками, прикрепленными к бедрам, коленям, лодыжкам, запястьям, локтям и плечам. Они также создали набор тестов, используя одну систему датчиков Ubisense с четырьмя метками, прикрепленными к талии, груди и обеих лодыжках, и одним акселерометротром Xsens. В третьем эксперименте, четыре субъекта используют систему Ubisense только при выполнении 4 типов падений, 4 проблемы со здоровьем, как аномальное поведение и различную активность повседневной жизни (ADL).

Другие работы в литературе^13,14,15 адрес проблемы поиска наилучшего размещения датчиков или устройств для обнаружения падения сравнения производительности различных комбинаций датчиков с несколькими классификаторами. Santoyo et al.¹³ представили системную оценку, оценивающую важность расположения 5 датчиков для обнаружения падения. Они сравнили производительность этих комбинаций датчиков с помощью k-ближайших соседей (KNN), векторных машин поддержки (SVM), наивных байесов (NB) и классификаторов дерева решений (DT). Они приходят к выводу, что расположение датчика на объекте оказывает значительное влияние на производительность детектора падения независимо от используемого классификатора.

Сравнение носимых сенсорных размещений на теле для обнаружения падения было представлено Оздемиром¹⁴. Для определения размещения датчика автор проанализировал 31 комбинацию датчиков следующих позиций: головка, талия, грудь, правое запястье, правая лодыжка и правое бедро. Четырнадцать добровольцев выполнили 20 смоделированных падений и 16 ADL. Он обнаружил, что лучшая производительность была получена, когда один датчик расположен на талии от этих исчерпывающих экспериментов комбинации. Другое сравнение было представлено Ntanasis¹⁵ с использованием набора данных Оздемира. Авторы сравнили отдельные позиции на голове, груди, талии, запястье, лодыжке и бедре с использованием следующих классификаторов: J48, KNN, RF, случайный комитет (RC) и SVM.

Ориентиры эффективности различных вычислительных методов для обнаружения осени также можно найти в литературе^16,,17,,18. Bagala et al.¹⁶ представили систематическое сравнение для сравнения эффективности тринадцати методов обнаружения падения, испытанных на реальных падениях. Они рассматривали только алгоритмы, основанные на измерениях акселерометра, размещенных на талии или туловище. Bourke et al.¹⁷ оценили эффективность пяти аналитических алгоритмов обнаружения падения с помощью набора данных ADLs и падений на основе показаний акселерометра. Kerdegari¹⁸ сделало также сравнение представления по-разному моделей классифицирования для комплекта записанных данных ускорения. Алгоритмы, используемые для обнаружения падения, были zeroR, oneR, NB, DT, многослойный перцептрон и SVM.

Методология обнаружения падения была предложена Alazrai et al.¹⁸ с использованием геометрического дескриптора позы движения для построения накопленного представления человеческой деятельности на основе гистограммы. Они оценивали фреймворк с помощью набора данных, собранного с помощью датчиков Kinect.

Таким образом, мы обнаружили, мультимодальных обнаружения падения связанных работ^10,11,12, которые сравнивают производительность различных комбинаций условий. Некоторые авторы решают проблему поиска наилучшего размещения датчиков^13,,14,,15или комбинаций датчиков¹³ с несколькими классификаторами^13,,15,,16 с несколькими датчиками одинаковой модальности и акселерометров. В литературе не было найдено работ, которые касаются размещения, мультимодальных комбинаций и эталона классификаторов одновременно.

протокол

Все описанные здесь методы были одобрены Исследовательским комитетом Инженерной школы Университета Панамерикана.

ПРИМЕЧАНИЕ: Эта методология основана на конфигурации конкретных типов датчиков, машинных методов и процедур для настройки простой, быстрой и мультимодальной системы обнаружения падений и распознавания человеческой деятельности. В связи с этим следующий протокол делится на этапы: (1) создание базы данных (2) упрощение системы (3) и (4) оценка.

1. Создание базы данных

1. Настройка системы сбора данных. Это позволит собирать все данные из субъектов и хранить информацию в базе данных поиска.
   1. Выберите типы носимых датчиков, датчиков окружающей среды и устройств на основе зрения, необходимых в качестве источников информации. Присваивайте идентификатор для каждого источника информации, количество каналов на источник, технические характеристики и частоту выборки каждого из них.
   2. Подключите все источники информации (наиболее носимые устройства и датчики окружающей среды, а также устройства на основе зрения) к центральному компьютеру или распределенной компьютерной системе:
      1. Убедитесь, что подключенные устройства должным образом подключены к одному клиенту. Убедитесь, что беспроводные устройства полностью заряжены. Учтите, что низкая батарея может повлиять на значения беспроводных соединений или датчиков. Кроме того, периодические или потерянные соединения увеличат потерю данных.
   3. Наполните каждое из устройств для получения данных.
   4. Настройка системы сбора данных для хранения данных в облаке. Из-за большого объема данных, которые будут храниться, облачные вычисления рассматриваются в этом протоколе.
   5. Проверка того, что система сбора данных выполняет синхронизацию данных и согласованность данных²⁰ свойств. Это поддерживает целостность хранения данных из всех источников информации. Это может потребовать новых подходов к синхронизации данных. Например, см. Пеньяфорт-Астуриано и др.²⁰.
      1. Начните собирать некоторые данные с источниками информации и хранить данные в предпочтительной системе. Включите метки времени во все данные.
      2. Задали вопрос ы на базу данных и определите, собираются ли все источники информации по одной и той же выборке. Если все сделано правильно, перейдите к шагу 1.1.6. В противном случае, выполнять вверх-выборки или вниз выборки с использованием критериев, зарегистрированных в Пеньяфорт-Астуриано, и др.²⁰.
   6. Настройка окружающей среды (или лаборатории) путем учета необходимых условий и ограничений, налагаемых целью системы. Установить условия для замещения силы удара в смоделированных падениях в качестве совместимых систем напольного покрытия, предложенных в Lachance, et^{al. 23} для обеспечения безопасности участников.
      1. Используйте матрас или любую другую совместимую систему напольных покрытий и поместите его в центр окружающей среды (или лаборатории).
      2. Держите все объекты подальше от матраса, чтобы дать по крайней мере один метр безопасного пространства все вокруг. При необходимости подготовьте средства индивидуальной защиты для участников (например, перчатки, кепка, очки, коленная поддержка и т.д.).
         ПРИМЕЧАНИЕ: Протокол можно приложить здесь.
2. Определите деятельность человека и падает, что система будет обнаруживать после конфигурации. Важно иметь в виду цель обнаружения падения и системы распознавания человеческой деятельности, а также целевой группы населения.
   1. Определите цель системы обнаружения падения и распознавания человеческой деятельности. Запишите это в листе планирования. Для этого тематического исследования, цель состоит в том, чтобы классифицировать типы человеческих падений и деятельности, выполняемой в помещении ежедневно пожилых людей.
   2. Определите целевую популяцию эксперимента в соответствии с целью системы. Запишите это в листе планирования. В исследовании, считают пожилых людей в качестве целевой популяции.
   3. Определите тип повседневной деятельности. Включите некоторые не-падение деятельности, которые выглядят как падает для того, чтобы улучшить реальное обнаружение падения. Назначай идентификатор для всех из них и опишите их как можно более подробно. Установите период времени для выполнения каждого действия. Запишите всю эту информацию в листе планирования.
   4. Определите тип человеческих падений. Назначай идентификатор для всех из них и опишите их как можно более подробно. Установите период времени для выполнения каждой осенью. Рассмотрим, если падения будут самостоятельно генерируемых субъектов или порожденных другими (например, нажатие предмета). Запишите всю эту информацию в листе планирования.
   5. В листе планирования, запишите последовательности действий и падает, что субъект будет выполнять. Укажите период времени, количество испытаний на активность/падение, описание для выполнения действия/падения и идентионы активности/падения.
      ПРИМЕЧАНИЕ: Протокол можно приложить здесь.
3. Выберите соответствующие предметы для исследования, которые будут выполнять последовательности деятельности и падает. Водопады редкие события, чтобы поймать в реальной жизни и, как правило, происходят пожилые люди. Тем не менее, по соображениям безопасности, не включают пожилых и инвалидов в осенней симуляции в соответствии с медицинскими консультациями. Трюки были использованы, чтобы избежать травм²².
   1. Определите пол, возрастной диапазон, вес и рост испытуемых. Определите любые условия обесценения, необходимые. Кроме того, определите минимальное количество предметов, необходимых для эксперимента.
   2. Случайно выберите набор предметов, необходимых, следуя условиям, указанным на предыдущем этапе. Используйте призыв к добровольцам, чтобы завербовать их. Выполняйте все этические принципы, применимые к учреждению и стране, а также любые международные правила при экспериментах с людьми.
      ПРИМЕЧАНИЕ: Протокол можно приложить здесь.
4. Извлекать и хранить данные из объектов. Эта информация будет полезна для дальнейшего экспериментального анализа. Выполнить следующие шаги под наблюдением клинического эксперта или ответственного исследователя.
   1. Начните собирать данные с системы сбора данных, настроенной в шаге 1.1.
   2. Попросите каждого из испытуемых выполнить последовательности действий и падений, заявленных в шаге 1.2. Очевидно, сохранить временные метки начала и конца каждого действия / падения. Проверить, что данные из всех источников информации сохраняются в облаке.
   3. Если действия не были выполнены должным образом или возникли проблемы с устройствами (например, потеря связи, низкая батарея, прерывистое соединение), отбросьте образцы и повторите шаг 1.4.1 до тех пор, пока не будут обнаружены проблемы с устройством. Повторите шаг 1.4.2 для каждого испытания, на субъект, объявленный в последовательности Шага 1.2.
      ПРИМЕЧАНИЕ: Протокол можно приложить здесь.
5. Предварительно обработайте все полученные данные. Для каждого из источников информации примените вверх выборку и нисотворию. Подробная информация о предварительной обработке данных для обнаружения падения и распознавания человеческой деятельности в мартынес-Вильясеньор и др.²¹.
   ПРИМЕЧАНИЕ: Протокол можно приложить здесь.

2. Анализ данных

1. Выберите способ обработки данных. Выберите Raw Data, если данные, хранящиеся в базе данных, будут использоваться сразу (т.е. с использованием глубокого обучения для автоматического извлечения функций) и перейдите к шагу 2.2. Выберите данные функций, если извлечение функций будет использовано для дальнейшего анализа, и перейдите к шагу 2.3.
2. Для raw Data никаких дополнительныхшагов не требуется, поэтому перейдите на шаг 2.5.
3. Для данных о функцияхизвлекайте функции из необработанных данных.
   1. Сегментируйте необработанные данные в временных окнах. Определить и зафиксировать длину временного окна (например, рамки размером один секунду). Кроме того, определить, если эти временные окна будут перекрытия или нет. Хорошей практикой является выбор 50% перекрытия.
   2. Извлекайте особенности из каждого сегмента данных. Определите набор временных и часто встречающихся объектов, которые будут извлечены из сегментов. Смотрите Мартинес-Вилласеньор и др.²¹ для общего извлечения функций.
   3. Сохранить набор данных извлечения функций в облаке в независимой базе данных.
   4. Если будут выбраны различные временные окна, повторите шаги 2.3.1 до 2.3.3 и сохраните каждый набор данных функций в независимых базах данных.
      ПРИМЕЧАНИЕ: Протокол можно приложить здесь.
4. Выберите наиболее важные функции, извлеченные и уменьшить набор данных функции. Примените некоторые часто используемые методы, выбора функций (например, выбор неивирата, анализ основных компонентов, рекурсивное устранение функций, важность функций, матрица корреляции и т.д.).
   1. Выберите метод выбора функций. Здесь мы использовали значение функции.
   2. Используйте каждую функцию для обучения данной модели (мы использовали RF) и измерения точности (см. Уравнение 1).
   3. Ранжируйте объекты, сортируя в порядке точности.
   4. Выберите наиболее важные функции. Здесь мы использовали лучшие рейтинги первых десяти функций.
      ПРИМЕЧАНИЕ: Протокол можно приложить здесь.
5. Выберите метод классификации машинного обучения и обучите модель. Существуют известные методы машинного обучения^16,17,18,21, такие как: машины векторной поддержки (SVM), случайный лес (RF), многослойный перцептрон (MLP) и k-ближайшие соседи (KNN), среди многих других.
   1. Дополнительно, если глубокое обучение подход выбран, а затем рассмотреть²¹: конволюционные нейронные сети (CNN), долгосрочные кратковременной памяти нейронных сетей (LSTM), среди других.
   2. Выберите набор методов машинного обучения. Здесь мы использовали следующие методы: SVM, RF, MLP и KNN.
   3. Зафиксировать параметры каждого из методов машинного обучения, как это предлагается в литературе²¹.
   4. Создание комбинированного набора данных функций (или необработанных наборов данных) с использованием независимых наборов данных функций (или необработанных наборов данных) для объединения типов источников информации. Например, если требуется сочетание одного носимого датчика и одной камеры, то объедините наборы данных о функциях из каждого из этих источников.
   5. Разделите набор данных функций (или необработанный набор данных) в наборах обучения и тестирования. Хорошим выбором является случайным образом разделить 70% для обучения и 30% для тестирования.
   6. Запустите перекрестную проверку k-fold²¹ с использованием набора данных функций (или необработанного набора данных) для каждого метода машинного обучения. Используйте общую метрику оценки, как точность (см. Уравнение 1),чтобы выбрать лучшую модель, обученную в методе. Оставьте один предмет из (LOSO) эксперименты³ также рекомендуются.
      1. Откройте набор данных функций обучения (или необработанный набор данных) в предпочтительном программном обеспечении на языке программирования. Рекомендуется python. Для этого шага используйте библиотеку панд для чтения файла CSV следующим образом:
         training_set и pandas.csv (злт;filename.csv'gt;).
      2. Разделите набор данных функций (или необработанный набор данных) на пары входных данных-выходов. Например, используйте Python для декларации значений x (входов) и y-значений (выходов):
         training_set_X - training_set.drop('тег',axis-1), training_set_Y и training_set.tag
         где тег представляет столбец набора данных функций, включающий целевые значения.
      3. Выберите один метод машинного обучения и установите параметры. Например, используйте SVM в Python с библиотечной sklearn, как следующая команда:
         классификатор и sklearn. SVC (ядро и 'поли')
         в котором функция ядра выбрана как полиномиальная.
      4. Обучить модель машинного обучения. Например, используйте вышеуказанный классификатор в Python для обучения модели SVM:
         classifier.fit (training_set_X,training_set_Y).
      5. Вычислите значения оценок модели с помощью набора данных функций тестирования (или необработанного набора данных). Например, используйте функцию оценки в Python следующим образом: оценки и classifier.predict(testing_set_X), где testing_set_X представляет x-значения набора тестирования.
      6. Повторите шаги 2.5.6.1 до 2.5.6.5, количество раз k, указанное в перекрестной проверке k-fold (или количество раз, необходимое для подхода LOSO).
      7. Повторите шаги от 2.5.6.1 до 2.5.6.6 для каждой выбранной модели машинного обучения.
         ПРИМЕЧАНИЕ: Протокол можно приложить здесь.
   7. Сравните методы машинного обучения, тестируя выбранные модели с набором данных тестирования. Другие метрики оценки могут быть использованы: точность (Уравнение 1), точность (Уравнение 2), чувствительность (Уравнение 3), специфичность (Уравнение 4) или F1-оценка (Уравнение 5), где TP являются истинными срабатываний, TN являются истинные негативы, FP являются ложными срабатываний и FN являются ложными негативами.
      
      
      
      
      
   8. Используйте другие полезные показатели производительности, такие как матрица путаницы⁹ для оценки задачи классификации моделей машинного обучения, или независимая от принятия решений точность отзыва⁹ (PR) или приемная, оперная⁹ (ROC) кривых. В этой методологии отзыв и чувствительность считаются эквивалентными.
   9. Используйте качественные характеристики моделей машинного обучения для сравнения между ними, такие как: простота интерпретации машинного обучения; производительность в реальном времени; ограниченные ресурсы времени, памяти и обработки вычислений; и простота развертывания машинного обучения в устройствах края или встроенных системах.
   10. Выберите лучшую модель машинного обучения, используя информацию из: Показатели качества(уравнения 1-5), показатели производительности и качественные характеристики машинного обучения осуществимость шагов 2.5.6, 2.5.7 и 2.5.8.
       ПРИМЕЧАНИЕ: Протокол можно приложить здесь.

3. Упрощение системы

1. Выберите подходящие места размещения источников информации. Иногда необходимо определить оптимальное размещение источников информации (например, какое расположение носимого датчика лучше).
   1. Определите подмножество источников информации, которые будут проанализированы. Например, если в организме есть пять носимых датчиков и один из них должен быть выбран в качестве лучшего датчика, каждый из этих датчиков будет частью подмножества.
   2. Для каждого источника информации в этом подмножестве создайте отдельный набор данных и храните его отдельно. Имейте в виду, что этот набор данных может быть либо предыдущим набором данных о функциях, либо необработанным набором данных.
      ПРИМЕЧАНИЕ: Протокол можно приложить здесь.
2. Выберите метод классификации машинного обучения и обучите модель для одного источника размещения информации. Завершите шаги от 2.5.1 до 2.5.6 с помощью каждого из наборов данных, созданных в шаге 3.1.2. Обнаружить наиболее подходящий источник размещения информации по ранжированию. Для данного тематического исследования мы используем следующие методы: SVM, RF, MLP и KNN.
   Примечание: Протокол можно приложить здесь.
3. Выберите подходящие места размещения в мультимодальном подходе, если для системы требуется сочетание двух или более источников информации (например, сочетание одного носимого датчика и одной камеры). В данном примере используйте в качестве условий использование датчика талии и камеры 1 (боковой вид).
   1. Выберите наилучший источник информации о каждом модальности в системе и создайте объединенный набор данных функций (или необработанный набор данных) с использованием независимых наборов данных этих источников информации.
   2. Выберите метод классификации машинного обучения и обучите модель для этих объединенных источников информации. Завершить шаги 2.5.1 до 2.5.6 с использованием комбинированного набора данных о функциях (или необработанном наборе данных). В этом исследовании используйте следующие методы: SVM, RF, MLP и KNN.
      ПРИМЕЧАНИЕ: Протокол можно приложить здесь.

4. Оценка

1. Подготовьте новый набор данных с пользователями в более реалистичных условиях. Используйте только источники информации, выбранные на предыдущем этапе. Предпочтительно, внедрить систему в целевую группу (например, пожилые люди). Сбор данных в более длительные периоды времени.
   1. Дополнительно, если целевая группа используется только, создать протокол группы отбора, включая условия исключения (например, любые физические или психологические нарушения) и остановить критерии профилактики (например, обнаружить любые физические травмы во время испытаний; страдающих тошнотой, головокружение и / или рвота; обморок; обморок). Рассмотрим также этические проблемы и вопросы конфиденциальности данных.
2. Оцените производительность системы обнаружения падения и распознавания человеческой деятельности, разработанной до сих пор. Используйте Equations 1-5 для определения точности и прогностической мощности системы или любых других показателей производительности.
3. Обсудите результаты экспериментальных исследований.

Результаты

Создание базы данных
Мы создали мультимодальный набор данных для обнаружения падения и распознавания человеческой деятельности, а именно UP-Fall Detection^21. Данные были собраны в течение четырех недель в Инженерной школе в Университете Панамерикана (Мексика, Мексика). Сценарий тестирования был выбран с учетом следующих требований: a) пространство, в котором субъекты могли бы комфортно и надежно выполнять падения и мероприятия, и b) крытая среда с естественным и искусственным светом, который хорошо подходит для настройки мультимодальных датчиков.

Есть образцы данных из 17 субъектов, которые выполнили 5 типов падений и 6 различных простых видов деятельности, в течение 3 испытаний. Вся информация была собрана с помощью внутридомовой системы сбора данных с 5 носимыми датчиками (трехосный акселерометр, гироскоп и интенсивность света), 1 шлем электроэнцефалографа, 6 инфракрасных датчиков в качестве датчиков окружающей среды и 2 камеры на боковых и передних точках зрения. На рисунке 1 показана планировка размещения датчика в окружающей среде и на теле. Скорость выборки всего набора данных составляет 18 Гц. База данных содержит два набора данных: сводный набор исходных данных (812 ГБ) и набор данных о функциях (171 ГБ). Все базы данных хранятся в облаке для общедоступного доступа: https://sites.google.com/up.edu.mx/har-up/. Более подробную информацию о приобретении данных, предварительной обработке, консолидации и хранении этой базы данных, а также подробную информацию о синхронизации и согласованности данных можно найти в Мартенес-Вильясеньор и^др.

Для этой базы данных все испытуемые были здоровыми молодыми добровольцами (9 мужчин и 8 женщин) без каких-либо нарушений, начиная от 18 до 24 лет, со средним ростом 1,66 м и средним весом 66,8 кг. В ходе сбора данных технически ответственный исследователь наблюдал за тем, чтобы все действия выполнялись субъектами правильно. Субъекты выполнили пять типов падений, каждый из которых в течение 10 секунд, как падение: вперед с помощью рук (1), вперед с помощью колен (2), назад (3), сидя в пустом кресле (4) и в сторону (5). Они также провели шесть ежедневных мероприятий по 60 с каждый, за исключением прыжков (30 с): ходьба (6), стоя (7), собирание объекта (8), сидя (9), прыжки (10) и укладка (11). Хотя смоделированные падения не могут воспроизвести все типы реальных падений, важно, по крайней мере, включать репрезентативные типы падений, позволяющие создавать лучшие модели обнаружения падения. Также имеет значение использование ADLs и, в частности, действий, которые обычно могут быть ошибочно приняты при падении, таких как подбор объекта. Типы падения и ADLs были выбраны после обзора связанных систем обнаружения падения²¹. На примере на рисунке 2 показана последовательность изображений одного испытания, когда объект падает боком.

Мы извлекли 12 временных (средний, стандартное отклонение, максимальная амплитуда, минимальная амплитуда, корня среднего квадрата, медиана, нулевое пересечение числа, перекос, куртоз, первый квартил, третий квартиля и автокорреляции) и 6 часто (средний, средний, энтропия, энергия, основная частота и спектральный центроид) имеет²¹ от каждого канала износа и эмбиозных датчиков. Мы также вычислили 400 визуальных функций²¹ для каждой камеры об относительном движении пикселей между двумя смежными изображениями в видео.

Анализ данных между Unimodal и мультимодальными подходами
Из базы данных UP-Fall Detection мы проанализировали данные для целей сравнения между unimodal и мультимодальными подходами. В этом смысле мы сравнили семь различных комбинаций источников информации: только инфракрасные датчики (ИК); только носимые датчики (IMU); носимые датчики и шлем (ИДУ-ЭЭГ); инфракрасные и носимые датчики и шлем (ИР-ИДУ-ЭЭГ); только камеры (CAM); инфракрасные датчики и камеры (ИРЗКАМ); и носимые датчики, шлем и камеры (IMU-EEG-CAM). Кроме того, мы сравнили три разных размера временных окон с перекрытием 50%: одна секунда, две секунды и три секунды. В каждом сегменте мы выбирали наиболее полезные функции, применяющие выбор функций и ранжирование. Используя эту стратегию, мы использовали только 10 функций на модальность, за исключением ИК-модальности, используя 40 функций. Кроме того, сравнение проводилось по четырем известным классификаторам машинного обучения: RF, SVM, MLP и KNN. Мы использовали 10-кратную перекрестную проверку, с наборами данных 70% поездов и 30% теста, для обучения моделей машинного обучения. В таблице 1 показаны результаты этого эталона, отчеты о наилучшей производительности, полученной для каждого модальности в зависимости от модели машинного обучения и наилучшей конфигурации длины окна. Метрики оценки сообщают о точности, точности, чувствительности, специфичности и F1-оценке. Рисунок 3 показывает эти результаты в графическом представлении, с точки зрения F1-оценка.

Из таблицы 1, мультимодальные подходы (инфракрасные и носимые датчики и шлем, ИР-ИМУЗЭГ; и носимые датчики и шлем и камеры, IMU-EEG-CAM) получили лучшие значения F1-оценки, по сравнению с одномодальными подходами (только инфракрасные, ИК; и только камеры, CAM). Мы также заметили, что только носимые датчики (ИДУ) получили аналогичную производительность, чем мультимодальный подход. В этом случае мы выбрали мультимодальный подход, поскольку различные источники информации могут обрабатывать ограничения от других. Например, навязчивость в камерах может быть обработана носимыми датчиками, а не использование всех носимых датчиков может быть дополнено камерами или датчиками окружающей среды.

Что касается эталона моделей, управляемых данными, то эксперименты в таблице 1 показали, что RF дает наилучшие результаты почти во всех экспериментах; в то время как MLP и SVM были не очень последовательны миасвоенки (например, стандартное отклонение в этих методах показывает большую изменчивость, чем в РФ). Что же не обошлось в размерах окон, то они не представляли каких-либо существенных улучшений среди них. Важно отметить, что эти эксперименты были проведены для падения и человеческой деятельности классификации.

Размещение датчиков и лучшая мультимодальная комбинация
С другой стороны, мы стремились определить наилучшее сочетание мультимодальных устройств для обнаружения падения. Для этого анализа мы ограничили источники информации пятью носимыми датчиками и двумя камерами. Эти устройства являются наиболее удобными для подхода. Кроме того, мы рассмотрели два класса: падение (любой тип падения) или не-падение (любое другое действие). Все модели машинного обучения и размеры окон остаются такими же, как и в предыдущем анализе.

Для каждого носимого датчика мы создали независимую модель классификатора для каждой длины окна. Мы обучили модель с помощью 10-кратной перекрестной проверки с 70% обучением и 30% наборами тестов. Таблица 2 подводит итоги рейтинга носимых датчиков на классификатор производительности, основанного на F1-оценке. Эти результаты были отсортированы в порядке убывания. Как видно из таблицы 2, наилучшая производительность получена при использовании одного датчика на талии, шее или плотном правом кармане (затененная область). Кроме того, лодыжки и левое запястье носимых датчиков выполняется худшее. Таблица 3 показывает предпочтение длины окна на носимый датчик, чтобы получить лучшую производительность в каждом классификаторе. По результатам, талии, шеи и жесткой правой карман датчики с классификатором RF и 3 s размер окна с 50% перекрытия являются наиболее подходящими носимых датчиков для обнаружения падения.

Мы провели аналогичный анализ для каждой камеры в системе. Мы создали независимую модель классификатора для каждого размера окна. Для обучения мы провели 10-кратную перекрестную проверку с 70% обучением и 30% наборами тестов. Таблица 4 показывает рейтинг лучшей точки зрения камеры на классификатор, основанный на F1-счете. Как уже отмечалось, боковой вид (камера 1) показал наилучшее обнаружение падения. Кроме того, РФ превзошла по сравнению с другими классификаторами. Кроме того, в таблице 5 показаны предпочтения длины окна в точке зрения камеры. Из результатов мы обнаружили, что лучшее расположение камеры находится в боковой точке зрения с использованием RF в 3 с размером окна и 50% перекрытия.

Наконец, мы выбрали два возможных размещения носимых датчиков (т.е. талии и плотного правого кармана), которые будут сочетаться с камерой боковой точки зрения. После той же процедуры обучения, мы получили результаты из таблицы 6. Как показано на рисунке, классификатор модели RF получил лучшую производительность по точности и F1-балл в обоих мультимодальных показателях. Кроме того, сочетание талии и камеры 1 занимает в первой позиции получения 98,72% в точности и 95,77% в F1-оценка.

Рисунок 1: Расположение носимых (слева) и окружающих (справа) датчиков в базе данных UP-Fall Detection. Носимые датчики помещаются в лоб, левое запястье, шею, талию, правый карман брюк и левую лодыжку. Датчики окружающей среды представляют шесть парных инфракрасных датчиков для обнаружения присутствия предметов и двух камер. Камеры расположены на боковом и на переднем, как в отношении человеческого падения. Пожалуйста, нажмите здесь, чтобы просмотреть большую версию этой цифры.

Рисунок 2: Пример видеозаписи, извлеченной из базы данных UP-Fall Detection. В верхней части, есть последовательность изображений субъекта падения боком. Внизу, есть последовательность изображений, представляющих функции видения извлечены. Эти функции представляют относительное движение пикселей между двумя смежными изображениями. Белые пиксели представляют собой более быстрое движение, в то время как черные пиксели представляют более медленное (или близкое к нулю) движение. Эта последовательность сортируется слева направо, в хронологическом порядке. Пожалуйста, нажмите здесь, чтобы просмотреть большую версию этой цифры.

Рисунок 3: Сравнительные результаты, сообщающие о лучших F1-оценках каждого модальности по отношению к модели машинного обучения и наилучшей длине окна. Бары представляют средние значения F1-score. Текст в точках данных представляет собой среднее и стандартное отклонение в скобках. Пожалуйста, нажмите здесь, чтобы просмотреть большую версию этой цифры.

Модальности	Модели	Точность (%)	Точность (%)	Чувствительность (%)	Специфика (%)	F1-оценка (%)
Ик	РФ (3 сек.	67,38 х 0,65	36,45 х 2,46	31.26 и 0,89	96,63 х 0,07	32.16 и 0.99
	SVM (3 сек)	65,16 х 0,90	26,77 х 0,58	25.16 и 0,29	96.31 и 0.09	23.89 и 0.41
	MLP (3 сек)	65,69 х 0,89	28.19 - 3,56	26.40 и 0,71	96.41 и 0.08	25,13 и 1,09
	kNN (3 сек)	61,79 х 1,47	30.04 - 1,44	27,55 евро 0,97	96,05 евро 0,16	27.89 и 1,13
Иду	RF (1 сек)	95,76 х 0,18	70,78 и 1,53	66,91 и 1,28	99,59 х 0,02	68,35 и 1,25 евро
	SVM (1 сек)	93.32 и 0.23	66,16 х 3,33	58,82 и 1,53	99,32 х 0,02	60.00 - 1,34
	MLP (1 сек)	95,48 х 0,25 евро	73.04 - 1,89	69,39 х 1,47	99,56 х 0,02	70.31 и 1,48
	kNN (1 сек)	94,90 и 0,18	69,05 и 1,63	64,28 и 1,57	99.50 и 0.02	66,03 и 1,52
ИДУЗЕГ	RF (1 сек)	95,92 х 0,29	74.14 - 1,29	66,29 х 1,66	99,59 х 0,03	69,03 и 1,48
	SVM (1 сек)	90,77 и 0,36	62,51 и 3,34	52,46 и 1,19	99,03 и 0,03	53,91 и 1,16
	MLP (1 сек)	93,33 и 0,55	74.10 - 1,61	65,32 х 1,15	99,32 х 0,05	68,13 и 1,16
	kNN (1 сек)	92.12 и 0.31	66,86 и 1,32	58.30 и 1,20	98,89 х 0,05	60,56 и 1,02
ИР-ИДУ-ЭЭГ	RF (2 сек.	95.12 и 0.36	74,63 и 1,65	66,71 и 1,98	99,51 и 0,03	69,38 х 1,72
	SVM (1 сек)	90,59 и 0,27	64,75 х 3,89	52,63 и 1,42	99.01 и 0.02	53,94 и 1,47
	MLP (1 сек)	93.26 и 0.69	73.51 - 1,59	66,05 и 1,11	99.31 и 0.07	68,19 х 1,02
	kNN (1 сек)	92,24 х 0,25	67,33 и 1,94	58.11 и 1,61	99,21 и 0,02	60,36 х 1,71
Камера	РФ (3 сек.	32,33 х 0,90	14.45 - 1,07	14.48 и 0.82	92,91 и 0,09	14.38 и 0.89
	SVM (2 сек)	34.40 - 0,67	13,81 х 0,22	14.30 и 0,31	92,97 и 0,06	13,83 и 0,27
	MLP (3 сек)	27.08 и 2,03	8,59 и 1,69	10,59 и 0,38	92,21 и 0,09	7,31 и 0,82
	kNN (3 сек)	34.03 и 1,11	15,32 и 0,73	15,54 и 0,57	93.09 и 0.11	15.19 и 0,52
ИРЗКАМ	РФ (3 сек.	65,00 и 0,65	33,93 х 2,81	29.02 и 0,89	96,34 х 0,07	29,81 и 1,16
	SVM (3 сек)	64,07 и 0,79	24.10 и 0.98	24.18 и 0.17	96.17 и 0.07	22.38 и 0,23
	MLP (3 сек)	65,05 - 0,66	28,25 х 3,20	25.40 и 0,51	96.29 и 0.06	24.39 и 0,88
	kNN (3 сек)	60,75 и 1,29	29,91 х 3,95	26,25 х 0,90	95,95 х 0,11	26,54 и 1,42
ИДУ-ЭЭГ-КАМ	RF (1 сек)	95.09 и 0.23	75,52 х 2,31	66,23 х 1,11	99.50 и 0.02	69,36 х 1,35
	SVM (1 сек)	91.16 и 0.25	66,79 х 2,79	53,82 х 0,70	99.07 и 0.02	55,82 х 0,77
	MLP (1 сек)	94.32 и 0.31	76,78 х 1,59	67,29 х 1,41	99,42 х 0,03	70,44 и 1,25
	kNN (1 сек)	92.06 и 0,24	68,82 и 1,61	58.49 и 1,14	99.19 и 0.02	60,51 и 0,85

Таблица 1: Сравнительные результаты, сообщающие о наилучшей производительности каждого модальности по отношению к модели машинного обучения и наилучшей длине окна (в скобках). Все значения производительности представляют среднее и стандартное отклонение.

#	Тип ИДУ
	Рф	Svm	Mlp	KNN
1	(98.36) Ваист	(83.30) Правый карман	(57.67) Правый карман	(73.19) Правый карман
2	(95.77) Шея	(83.22) Ваист	(44.93) Шея	(68.73) Ваист
3	(95.35) Правый карман	(83.11) Шея	(39.54) Ваист	(65.06) Шея
4	(95.06) Голеностопный сустав	(82.96) Голеностопный сустав	(39.06) Левая кистая	(58.26) Голеностопный сустав
5	(94.66) Левая кистая	(82.82) Левая кистая	(37.56) Голеностопный сустав	(51.63) Левая кистая

Таблица 2: Рейтинг лучших носимых датчиков на классификатор, отсортированный по F1-счету (в скобках). Области в тени представляют тройку классификаторов для обнаружения падения.

Тип ИДУ	Длина окна
	Рф	Svm	Mlp	KNN
Левая лодыжка	2-сек	3-сек	1 сек	3-сек
Талии	3-сек	1 сек	1 сек	2-сек
Шеи	3-сек	3-сек	2-сек	2-сек
Правый карман	3-сек	3-сек	2-сек	2-сек
Левая кистая	2-сек	2-сек	2-сек	2-сек

Таблица 3: Предпочтительная длина временного окна в носимых датчиках на классификатор.

#	Вид камеры
	Рф	Svm	Mlp	KNN
1	(62.27) Боковой вид	(24.25) Боковой вид	(13.78) Вид спереди	(41.52) Боковой вид
2	(55.71) Вид спереди	(0.20) Вид спереди	(5.51) Боковой вид	(28.13) Вид спереди

Таблица 4: Рейтинг лучшей точки зрения камеры на классификатор, отсортированный по F1-счету (в скобках). Области в тени представляют собой верхний классификатор для обнаружения падения.

Камеры	Длина окна
	Рф	Svm	Mlp	KNN
Боковой вид	3-сек	3-сек	2-сек	3-сек
Вид спереди	2-сек	2-сек	3-сек	2-сек

Таблица 5: Предпочтительная длина временного окна в точках зрения камеры на классификатор.

Мультимодальные	Классификатор	Точность (%)	Точность (%)	Чувствительность (%)	F1-оценка (%)
Талии + Боковой вид	Рф	98,72 х 0,35	94.01 и 1,51	97,63 и 1,56	95,77 и 1,15
	Svm	95,59 х 0,40	100	70.26 и 2.71	82,51 и 1,85
	Mlp	77,67 и 11,04	33,73 и 11,69	37.11 - 26,74	29,81 и 12,81
	KNN	91,71 и 0,61	77,90 х 3,33	61,64 х 3,68	68,73 х 2,58
Правый карман + Боковой вид	Рф	98,41 и 0,49	93,64 и 1,46	95,79 х 2,65	94,69 х 1,67
	Svm	95,79 х 0,58	100	71,58 х 3,91	83,38 и 2,64
	Mlp	84,92 х 2,98	55,70 и 11,36	48.29 и 25.11	45.21 - 14.19
	KNN	91,71 и 0,58	73,63 х 3,19	68,95 х 2,73	71.13 - 1,69

Таблица 6: Сравнительные результаты комбинированного носимого датчика и точки зрения камеры с использованием 3-секундной длины окна. Все значения представляют собой среднее и стандартное отклонение.

Обсуждение

При создании набора данных часто возникают проблемы, связанные²⁰ с проблемами синхронизации, организации и несогласованности данных.

Синхронизации
При получении данных возникают проблемы синхронизации с учетом того, что несколько датчиков обычно работают с разной скоростью отбора проб. Датчики с более высокими частотами собирают больше данных, чем данные с более низкими частотами. Таким образом, данные из разных источников не будут правильно сопряжены. Даже если датчики работают с одинаковыми показателями выборки, возможно, что данные не будут выровнены. В этой связи следующие рекомендации могли бы помочь справиться с этими проблемами синхронизации²⁰: i) регистрировать отметку времени, предмет, активность и испытания в каждой выборке данных, полученной от датчиков; ii) наиболее последовательный и менее частый источник информации должен использоваться в качестве эталонного сигнала для синхронизации; и iii) использовать автоматические или полуавтоматические процедуры для синхронизации видеозаписей, которые ручные проверки были бы непрактичными.

Предварительная обработка данных
Необходимо также проводить предварительную обработку данных, и критические решения влияют на этот процесс: а) определить методы хранения данных и представления данных нескольких и неоднородных источников (b) определить способы хранения данных в локальном узлах или в облаке (c) выбрать организацию данных, включая имена файлов и папки (d) обрабатывать недостающие значения данных, а также избыточность, найденную в датчиках, найденных в датчиках, найденных в датчиках, найденных в датчиках, найденных в датчиках, включая имена файлов и папок (d) обрабатывать недостающие значения данных, а также избыточность, найденную в датчиках, найденных в датчиках, найденных в датчиках, найденных в датчиках, найденных в датчиках, найденных в датчиках, в которых находятся в датчиках, в ключая и ныхфайлах, найденных в датчиках, , в частности. Кроме того, для облака данных рекомендуется локальное буферизация, когда это возможно, для уменьшения потери данных во время загрузки.

Несогласованность данных
Несогласованность данных является общей между испытаниями, обнаруживая различия в размерах выборки данных. Эти вопросы связаны с получением данных в носимых датчиках. Краткие перерывы в сборе данных и столкновение данных с нескольких датчиков приводят к несоответствиям данных. В этих случаях алгоритмы обнаружения несоответствий важны для обработки сбоев в работе датчиков в режиме онлайн. Важно подчеркнуть, что устройства беспроводной связи должны часто контролироваться на протяжении всего эксперимента. Низкая батарея может повлиять на подключение и привести к потере данных.

Этические
Согласие на участие и этичное одобрение являются обязательными в каждом типе экспериментов, где люди участвуют.

Что касается ограничений этой методологии, то важно отметить, что она предназначена для подходов, учитывая различные способы сбора данных. Системы могут включать носимые, окружающие и/или датчики зрения. Предлагается рассмотреть вопрос о энергопотреблении устройств и сроке службы батарей в беспроводных датчиках, в связи с такими вопросами, как потеря сбора данных, уменьшение подключения и энергопотребления во всей системе. Кроме того, эта методология предназначена для систем, которые используют методы машинного обучения. Анализ выбора этих моделей машинного обучения должен быть сделан заранее. Некоторые из этих моделей могут быть точными, но очень много времени и энергии. Необходимо учитывать компромисс между точной оценкой и ограниченной доступностью ресурсов для вычислений в моделях машинного обучения. Важно также отметить, что при сборе данных системы деятельность осуществлялась в том же порядке; кроме того, испытания проводились в одной последовательности. В целях безопасности, защитный матрас был использован для субъектов, чтобы упасть на. Кроме того, водопады были инициированы самостоятельно. Это важное различие между смоделированным и реальным и реальным и реальным и реальным и реальным и реальным и реальным и реальным и т.д. падениями, которые обычно происходят в сторону твердых материалов. В этом смысле этот набор данных, записанный падает с интуитивной реакцией, стараясь не упасть. Кроме того, существуют некоторые различия между реальным падением пожилых людей или людей с ограниченными возможностями и падением моделирования; и они должны быть приняты во внимание при разработке новой системы обнаружения падения. Это исследование было сосредоточено на молодых людях без каких-либо нарушений, но примечательно, что выбор предметов должен быть приведен в соответствие с целью системы и целевой группы населения, которая будет использовать его.

Из соответствующих работ, описанных выше^{10,11,12,13,,14,,15,,16,,17,18}, мы можем заметить, что Есть авторы, которые используют мультимодальные подходы упором в получении надежных детекторов падения или сосредоточиться на размещении или производительности классификатора. Таким образом, они рассматриваются только один или два из проблем проектирования для обнаружения осени. Наша методология позволяет решить одновременно три основные проектные задачи системы обнаружения падения.

Для будущей работы мы предлагаем разработать и внедрить простую мультимодальную систему обнаружения падений на основе полученных результатов, полученных по этой методологии. Для реального внедрения для разработки более надежных систем следует использовать подходы к передаче, иерархической классификации и глубокому обучению. Наша реализация не учитывала качественные показатели моделей машинного обучения, но для дальнейшего развития систем обнаружения/распознавания активности необходимо учитывать в режиме реального времени и ограниченные вычислительные ресурсы. Наконец, для того, чтобы улучшить наш набор данных, отключение или почти падение деятельности и в режиме реального времени мониторинга добровольцев в течение их повседневной жизни могут быть рассмотрены.

Материалы

Name	Company	Catalog Number	Comments
Inertial measurement wearable sensor	Mbientlab	MTH-MetaTracker	Tri-axial accelerometer, tri-axial gyroscope and light intensity wearable sensor.
Electroencephalograph brain sensor helmet MindWave	NeuroSky	80027-007	Raw brainwave signal with one forehand sensor.
LifeCam Cinema video camera	Microsoft	H5D-00002	2D RGB camera with USB cable interface.
Infrared sensor	Alean	ABT-60	Proximity sensor with normally closed relay.
Bluetooth dongle	Mbientlab	BLE	Dongle for Bluetooth connection between the wearable sensors and a computer.
Raspberry Pi	Raspberry	Version 3 Model B	Microcontroller for infrared sensor acquisition and computer interface.
Personal computer	Dell		Intel Xeon E5-2630 v4 @2.20 GHz, RAM 32GB