Дизайн и оценка смарт-очки для классификации физической активности и приема пищи

Резюме

Это исследование представляет протокол проектирования и изготовления очки тип носимых устройство, которое обнаруживает моделей потребления пищи и другие Рекомендуемые физической деятельности, с использованием тензодатчиков вставляется в обе петли очки.

Аннотация

Это исследование представляет собой серию протоколов проектирования и изготовления очки тип носимых устройство, которое обнаруживает характере деятельности височной мышцы во время приема пищи и других физической деятельности. Мы готовых 3D-печати кадр очки и нагрузки ячейки интегрированных печатной платы (PCB) модуль вставлен в обе петли кадра. Модуль был использован приобрести силу сигналов, и передавать их без проводов. Эти процедуры обеспечивают системы с более высокой мобильности, который может быть оценен в практических условиях носить такие как ходьба и тряся. Также производительность классификации оценивается путем разграничения структур приема пищи от этих физических видов деятельности. Серии алгоритмов были использованы для предварительной обработки сигналов, генерировать функция векторов и признать моделей нескольких Рекомендуемые мероприятия (жевательный и подмигивая) и другие физические нагрузки (малоподвижный отдых, разговаривали и ходьба). Результаты показали, что средний F₁ классификации среди Рекомендуемые мероприятия был 91,4%. Мы считаем, что этот подход может быть потенциально полезно для автоматического и объективного мониторинга фильтры поведения с высокой точностью в качестве практического средства для лечения фильтры проблем.

Введение

Непрерывное и объективный мониторинг потребления пищи имеет важное значение для поддержания энергетического баланса в организме человека, как накопления чрезмерной энергии может привести к overweightness и ожирение¹, которые могут привести к различных медицинских осложнений². Основными факторами в энергетического дисбаланса известны чрезмерное пищи и недостаточная физическая активность³. Различные исследования по мониторингу ежедневных расходов энергии были введены с автоматической и объективного измерения моделей физической активности путем носимых устройств^4,5,6, даже в конец потребитель уровня и медицинской этап⁷. Исследования по мониторингу потребления пищи, однако, все еще находится в лаборатории параметр, так как это трудно обнаружить деятельность потребление пищи в прямой и объективным образом. Здесь мы стремимся представить дизайн устройства и его оценки для контроля за приемом пищи и моделей физической активности на практическом уровне в повседневной жизни.

Там были различные косвенные подходы к контролировать потребление пищи через жевания и глотания звуки^8,9,10, движение запястья^11,12,13, изображения анализ¹⁴и¹⁵электромиограммы (ЭМГ). Однако, эти подходы были трудно применять в повседневной жизни приложения, из-за их ограничений, присущих: методы, с помощью звук уязвимы под влиянием окружающей среды звук; методы, с помощью движений запястья было трудно отличить от других физической деятельности, когда не потребления пищи; и методы, с помощью изображений и сигналов ГРП ограничены граница движения и охраны окружающей среды. Эти исследования показали возможность автоматического обнаружения потребляемой пищи, используя датчики, но по-прежнему имел ограничение практической применимости к повседневной жизни за пределами лабораторные параметры.

В этом исследовании мы использовали моделей деятельности височной мышцы как автоматическое и объективный мониторинг приема пищи. В общем височной мышцы повторяет сокращение и расслабление как частью жевательных мышц во время питания потребление^16,17; Таким образом деятельность потребление пищи может контролироваться путем обнаружения периодических моделей деятельности височной мышцы. Недавно, там было несколько исследований с использованием височной мышцы деятельность^18,19,20,21, который используется ГРП или пьезоэлектрического напряжения датчика и подключая их непосредственно на человека кожи. Эти подходы, однако, были чувствительны к месту кожи ГРП электродов или Тензодатчики и были легко отделяться от кожи вследствие физического перемещения или пот. Таким образом мы предложили новый и эффективный метод, с помощью пары очков это чувство, что височной мышцы деятельность через две тензодатчики, вставляется в обе петли в наших предыдущих исследования²². Этот метод показал огромный потенциал обнаружения активности потребление пищи с высокой точностью не трогая кожу. Это было также ООН навязчивой и неинтрузивный, поскольку мы использовали общие очки типа устройства.

В этом исследовании мы представляем серию подробных протоколов как реализовать очки тип устройства и способы использования моделей деятельности височной мышцы для контроля питания и физической активности. Протоколы включают процесс дизайн оборудования и изготовление, который состоит из 3D-печати кадр очки, цепи модуля и модуля сбора данных и включить алгоритмы программного обеспечения для обработки и анализа данных. Кроме того, мы изучили классификации среди нескольких Рекомендуемые мероприятия (например, жевательные, ходьбу и подмигивая) чтобы продемонстрировать потенциал как практическая система, которая может сказать мельчайшая разница между потребление пищи и других физической активности шаблоны.

протокол

Примечание: Все процедуры, включая использование человеческих субъектов были выполнены по неинвазивным способом просто носить очки. Все данные были приобретены путем измерения силы сигналов от Тензодатчики вставлен в очках, которые не были в непосредственном контакте с кожей. Беспроводное данные были переданы к модулю записи данных, который, в данном случае является назначенным смартфон для исследования. Все протоколы не были связаны с в vivo/в vitro человека исследования. Без наркотиков и крови образцы были использованы для экспериментов. Информированное согласие было получено от всех субъектов экспериментов.

1. Изготовление модуля датчика интегрированной цепи

1. Покупка электронных компонентов для изготовления цепи модуля.
   1. Приобрести две Бал типа тензодатчиков, каждый из которых работает в диапазоне между 0 N и 15 N и результат низкого дифференциального напряжения с максимум 120 МВ диапазона в 3,3 V возбуждения.
      Примечание: Эти нагрузки, которую клетки используются для измерения силы сигналов на левой и правой стороны стекла.
   2. Приобрести две Инструментальные усилители и два 15 kΩ усиления параметр резисторы.
      Примечание: Инструментальный усилитель и усиления параметр резистор используются для усилить сигнал сил нагрузки ячейки восемь раз, до 960 МВ.
   3. Приобрести блок микроконтроллер (MCU) с беспроводной связи (например, Wi-Fi подключение) и 10-разрядный аналого цифровой преобразователь (АЦП).
      Примечание: MCU используется читать силы сигналы и передавать их в модуль сбора данных без проводов. Потому что один аналоговый входной контакт используется для двух входных аналоговых силы, использование мультиплексор вводится в следующий шаг 1.1.4.
   4. Покупка 2 канальный аналоговый мультиплексор который обрабатывает два входных сигналов с одним контактом ADC на MCU.
   5. Приобрести литий ионная батарея полимера (LiPo) с 3.7 Номинальное напряжение В 1 C разряда и номинальной мощностью 300 мАч.
      Примечание: Емкость батареи был выбран предоставлять достаточный ток в час более чем 200 мАч и действуют системы надежно около 1,5 ч эксперимента.
   6. Приобрести 3.3 Регулятор напряжения V для линейных вниз регулирование 3.7 V напряжения батареи до 3,3 V рабочее напряжение системы.
   7. Приобретение пяти 12 kΩ устройства поверхностного монтажа (SMD) типа резисторы как нагрузочные резисторы MCU. Резистор след — 2,0 мм x 1,2 мм (размер 2012).
2. Изготовление печатных плат (ПХД). Этот шаг является о рисования печатных плат и делать иллюстрации (например, схема, .brd файл) и схема (т.е., SCH-файл) для изготовления печатных плат. Для развития требуется базовое понимание процесса создания файлов иллюстрации и схемы.
   1. Нарисуйте схема контура левого, содержащие аккумулятора с помощью приложения разработки электронных устройств, как показано на рисунке 1A. Сохраните результат, как произведения искусства (.brd) и схема (.sch) файлов.
   2. Нарисуйте схема правой цепи, содержащие MCU, использование электронных дизайн приложения, как показано на рисунке 1B. Сохраните результат, как произведения искусства (.brd) и схема (.sch) файлов.
   3. Изготовления плат размещая заказ с компанией изготовление печатных плат.
   4. Припой каждый электронный компонент, подготовленную на этапе 1.1 ПХД, как показано на рисунке 2 и на рисунке 3.
      Предупреждение: Инструментальный усилитель очень чувствителен к температуры пайки. Убедитесь, что температура свинца не превышает 300 ° C для 10 s во время пайки, в противном случае это может привести к повреждению компонентов.

2. 3D печать кадр очки

1. Нарисуйте 3D модель головы кусок стекла, используя инструмент 3D моделирования, как показано на рисунке 4A. Экспорт в формат файла .stl результат.
2. Нарисуйте 3D модель левой и правой храмов очки, с помощью 3D моделирования инструмент, как показано на рис. 4B и 4 c рисунок. Экспортируйте результаты в формате файл .stl.
3. Печать части головы кусок и Храм, с использованием 3D-принтер и углеродного волокна нити при 240 ° C температуры сопла и 80 ° C температуры кровати.
   Примечание: Можно разрешить использование любых коммерческих 3D принтер и любые виды нитей, такие как акрилонитрил-бутадиен-стирол (ABS) и полилактид (НОАК). Сопло и кровати температур могут быть отрегулированы согласно накаливания и условий печати.
4. Нагрейте советы храмов, с помощью вентилятора горячим воздухом 180 ° C параметра и согнуть их внутрь около 15 градусов связаться эпидермис височной мышцы как обычные очки.
   Примечание: Степень изгиба храма очки не нужно быть строгим, как кривизны призван увеличить форм-фактор, помогая очки подходят на предмет голову при надевании. Будьте осторожны, однако, как чрезмерное сгибание предотвратит храмов от прикосновения височной мышцы, что делает невозможным для сбора важных моделей.
5. Повторите шаги от шаг 2.1 – 2.4 для печати двух разных размеров очки рамки подходят несколько размеров головы, как показано на рисунке 4.

3. Ассамблея всех частей очки

1. Вставьте ПХД по обе стороны от храмов очки с помощью м2 болтов, как показано на рисунке 5.
2. Соберите верхнюю часть и храмы, вставив м2 болты в шарнирных соединений.
3. Соедините левый и правый ПХД, используя 3-контактный соединительные провода, как показано на рисунке 5.
4. Подключите батарею в левом цепи и прикрепить его скотчем к левого виска. Монтажная сторона батареи не является критическим, так как она может меняться в зависимости от конструкции ПХД.
5. Обложка очки с резиновыми лентами на кончик и нос pad добавить больше трения с человеческой кожей, как показано на рисунке 5.

4. развитие системы сбора данных

Примечание: Система сбора данных состоит из данных, препровождающее модулем и модулем приема данных. Модуль передачи данных считывает время и силы сигналов обеих сторон, а затем отправляет их в приёмный модуль данных, который собирает полученные данные и записывает их в файлы .tsv.

1. Загрузите приложение к MCU PCB модуля после процедуры, описанные в шагах 4.1.1–4.1.3 передачи данных.
   1. Запуск проекта «GlasSense_Server», придают дополнительные файлы, с помощью компьютера.
      Примечание: Этот проект был построен с Arduino интегрированной среды разработки (IDE). Это обеспечивает возможность прочитать время и силы сигналов с 200 образцов в секунду и передавать их в приёмный модуль данных.
   2. Подключение модуля ПХД к компьютеру через разъем универсальной последовательной шины (USB).
   3. Нажмите кнопку «Загрузить» на Arduino IDE для программирования кодов из шага 4.1.1 в MCU.
2. Загрузка данных принимающее приложение для смартфона, который используется для получения данных беспроволочно, следуя процедурам, описанным в шагах 4.2.1–4.2.3.
   1. Запуск проекта «GlasSense_Client», придают дополнительные файлы, с помощью компьютера.
      Примечание: Этот проект был построен с помощью C# язык программирования. Это обеспечивает возможность получения данных и сохранить .tsv файлы, которые содержат субъекта информацию, такую как имя, пол, возраст и индекс массы тела (ИМТ).
   2. Подключите смартфон к компьютеру через USB-разъем для построения данных принимающему приложению.
   3. Нажмите кнопку «Файл > Build & Run» на проект C# для создания данных принимающее приложение для смартфона.

5. сбор данных от пользователей исследования

Примечание: Это исследование собраны шесть наборов Рекомендуемые действия: малоподвижный отдых (SR), малоподвижный жевательный (SC), ходьба (W), жевать во время ходьбы (CW), малоподвижный говорить (ST) и сидячий подмигивание (SW).

1. Выберите пару очков, которые имеют соответствующий размер для пользователя, чтобы быть проверены. Отрегулировать затяжку с поддержкой болтами на обе петли (рис. 5).
   Предупреждение: Значения силы не должна превышать 15 N, поскольку силы датчики, используемые в данном исследовании может потерять штраф линейной характеристикой за пределами диапазона операции. Значения силы может быть скорректирован, ослабив или ужесточения поддержки болты.
2. Запись деятельности всех субъектов, нажав на кнопку «Record» на приложения построен в шаге 4.2.3.
   1. Запись действия во время блок 120-s и создать файл записи его.
      1. В случае SR сидеть в кресле субъекта и их использовать смартфон или почитать книгу. Разрешить перемещение головы, но избежать движения всего тела.
      2. В случаях SC и CW имеют есть два вида пищи текстуры (поджаренный хлеб и жевательные желе) с целью отражения различных пищевых свойств предметов. Служить поджаренный хлеб ломтиками 20 мм х 20 мм, который хороший размер для еды.
      3. В случае W у субъектов ходить со скоростью 4,5 км/ч на беговой дорожке.
      4. В случае ST садись субъектов и их читал книгу вслух в нормальном тоне и скорость.
      5. В случае SW, информировать темы подмигнул на сроках звук колокола 0.5 s долго каждые 3 s.
   2. Сгенерируйте файл записи в формате .tsv из данных, собранных в шаге 5.2.1.
      Примечание: Этот файл содержит последовательность того времени, когда данные были получены, левый силу сигнала, правом силы сигнала и метку, представляющий текущую деятельность лица. Визуализации временных сигналов всех видов деятельности в блоке пользователя были изображены на рисунке 6. Шесть наборов Рекомендуемые действия (SR, SC, W, CW, ST и SW) были помечены как 1, 2, 3, 4, 5 и 6, соответственно. Этикетки были использованы для сравнения предсказал классов в разделе 8 протокола.
   3. Сделайте перерыв 60-х годов после записи блока. Снять очки во время перерыва и повторно их носить снова при перезапуске записи блока.
   4. Повторите блок и брейк набор шагов 5.2.1 и 5.2.2 четыре раза для каждого вида деятельности.
   5. В случае SW имеют предметом Подмигнуть неоднократно с левым глазом в течение одного блока и затем неоднократно Подмигнуть с правым глазом во время следующего блока.
3. Повторите шаги 5.1-5.2 и собирать данные из 10 предметов. В этом исследовании, мы использовали пять самцов и пять самок, средний возраст составлял 27,9 ± 4.3 (стандартное отклонение, с.д.) лет, который составлял 19-33 лет, и средний индекс массы тела был 21.6 ± 3,2 (с.д.) кг/м², который составлял 17,9-27,4 кг/м².
   Примечание: В этом исследовании, предметы, которые не имеют каких-либо медицинских условий пережевывать пищу, подмигнул и ходьбы были набраны, и это состояние используется для включения критериев.

6. сигнал предобработки и сегментации

Примечание: Левый и правый сигналы рассчитываются отдельно в следующих процедурах.

1. Подготовить серию временных рамок 2 s длиной.
   1. Сегмент 120 s записаны сигналы в набор фреймов 2 s прыжковой их периодичностью 1-s, с использованием MATLAB, как показано на рисунке 6.
      Примечание: Сегментированные кадры 2 s длиной были использованы для извлечения компонентов в разделе 7. 1 Размер s прыжковой решил разделить сигналы на 3 s Подмигнуть интервал, уже упомянутый в шаге 5.2.1.
   2. Примените фильтр нижних частот (ФНЧ) с помощью 5^й фильтра Баттерворта порядка с частотой среза 10 Гц для каждого кадра.
   3. Сохраните результаты шага 6.1.2 как временные рамки для последующих шагов в шаге 7.1.
2. Подготовьте серию спектральных кадров.
   1. Вычтите средний от оригинального сигналов каждого кадра для удаления преднагрузки, когда носить очки.
      Примечание: Преднагрузки значение не требуется для следующих частотный анализ, поскольку она не включает любую информацию о жевательный, ходьба, подмигнул и т.д. , что он может, однако, содержат важную информацию, которая может варьироваться от подлежащих предмет, от Каждый параметр очки и даже с момента вопрос носит очки.
   2. Применить Ханнинг окно для каждого кадра для уменьшения спектральных утечки на частотный анализ.
   3. Производить и сохранить односторонний спектр путем применения быстрого преобразования Фурье (БПФ) для каждого кадра.
3. Определите сочетание временной и спектральной кадр то же время как блок кадра (или просто кадр).

7. Создание функции векторов

Примечание: Функция вектор генерируется в кадре, в статье 6 протокола. Левого и правого кадров рассчитываются отдельно и объединены в компонент вектора в следующих процедурах. Все процедуры были осуществлены в MATLAB.

1. Извлечение статистической функции из временной кадр на шаге 6.1 протокола. Список общего числа 54 функций приводится в таблице 1.
2. Извлечение статистической функции из спектральных кадра на шаге 6.2 протокола. Список общего числа 30 функций приводится в таблице 2.
3. Генерировать вектор 84-мерного функции, объединяя временной и спектральной функции выше.
4. Ярлык созданный компонент векторов от записи на шаге 5.2 протокола.
5. Повторите шаги от шагов 7.1-7.4 для всех блоков кадра и генерировать серию функция векторов.

8. классификация мероприятий в классы

Примечание: Этот шаг должен выбрать классификатор модель поддержки векторных машин (SVM)²³ путем определения параметров, которые показывают лучшую точность от данной проблемы (т.е. функция векторов). SVM — это известный под наблюдением машина обучения технике, которая показывает отличную производительность в обобщение и надежности с помощью максимальной разницы в классы и функции ядра. Мы использовали ГРИД Поиск и метод перекрестной проверки для определения наказания параметра C и ядра параметр γ Радиальная базисная функция (РБФ) ядра. Для выполнения следующих процедур требуется минимальное понимание машины, методы обучения и SVM. Для лучшего понимания машины, методы обучения и алгоритм SVM рекомендуются некоторые ссылочные материалы по^23,24,25 . Все процедуры в этом разделе были реализованы с использованием программного пакета LibSVM²⁵ .

1. Определите сетку пар (C, γ) для ГРИД Поиск. Использование экспоненциально растет последовательности C (2^-10, 2^-5,..., 2³⁰) и γ (2^-30, 2^-25,..., 2¹⁰).
   Примечание: Эти последовательности были определены эвристически.
2. Определить пару (C, γ) (например, (2^-10, 2^-30)).
3. Для определенной сетки на шаге 8.2 выполняют десятикратного перекрестной проверки схемы.
   Примечание: Данная схема делит весь компонент векторов на 10-часть подмножества, затем проверить одно подмножество от классификатора модели, подготовленных другими подмножеств и повторить его подмножествами все, один за другим. Таким образом каждый компонент векторов может быть проверена последовательно.
   1. Разделите весь компонент векторов на 10-часть подмножеств.
   2. Задать проверочный набор из подмножества и подготовка набора из оставшихся 9 подмножеств.
   3. Определить вектор масштабирования, который масштабирует все элементы функция векторов в диапазоне [0, 1] для обучающего набора.
      Примечание: Вектор масштабирования имеет же измерение с вектором функция. Он состоит из набора мультипликаторов, весы же строки (или столбца) всех компонентов векторов в диапазоне [0, 1]. Например, первая функция функция вектора линейно масштабируется в диапазоне [0, 1] для всех функций первый векторов особенность обучения. Обратите внимание, что вектор масштабирования определяется из обучающего набора, поскольку предполагается, что проверочный набор должен быть неизвестен. Этот шаг увеличивает точность классификации, сделав особенности одинаковый ассортимент и избегая численных ошибок во время вычисления.
   4. Масштабировать каждый компонент обучающего набора в диапазоне [0, 1] используя вектор масштабирования полученный на шаге 8.2.3.
   5. Масштабирование каждой функции тестирования установите диапазон [0, 1] используя вектор масштабирования полученный на шаге 8.2.3.
   6. Поезд набор для обучения через SVM с определенной пары (C, γ) в шаге 8.2 и затем построить модель классификатора.
   7. Тест проверочный набор через SVM с определенной пары (C, γ) в шаге 8.2, и модель классификатор полученные от процедуры подготовки.
   8. Рассчитайте степень точности классификации на проверочный набор. Точность была рассчитана из доли компонентов векторов, которые правильно классифицированы.
   9. Повторите шаги 8.2.2–8.2.8 для всех подмножеств и рассчитать средняя точность всех подмножеств.
4. Повторите шаги 8.2 – 8.3.9 для всех точек сетки пару (c, γ).
5. Найти локального максимума высочайшей точности сетки. Все процедуры раздела 8 показано на рисунке 7.
6. (Необязательно) Если шаг сетки считается грубой, повторите шаги 8.1 – 8,5 в тонкой сетки вблизи локального максимума найденных на шаге 8.5 и найти нового локального максимума тонкой сетки.
7. Вычислить точность, отзыве и F₁ Оценка каждого класса деятельности от следующих уравнений:
                                      Уравнение 1
                                                Уравнение 2
             Уравнение 3
   где TP, FP и FN представляют истинное срабатываний, ложных срабатываний и ложных негативы для каждого вида деятельности, соответственно. Матрицы смешивания всех мероприятий приводится в таблице 3.

Результаты

Посредством процедур, изложенных в протоколе мы подготовили две версии 3D печатной кадра, дифференцируя длина головной части, L_H (133 и 138 мм) и храмы, L_T (110 и 125 мм), как показано на рисунке 4. Таким образом мы можем покрыть несколько условий ношения...

Обсуждение

В этом исследовании мы впервые предложил дизайн и процесс изготовления стекол, которые чувство моделей потребления пищи и физической деятельности. Как это исследование главным образом сосредоточена на анализе данных, чтобы отличить от других физической деятельности (например, ходьба...

Материалы

Name	Company	Catalog Number	Comments
FSS1500NSB	Honeywell, USA		Load cell
INA125U	Texas Instruments, USA		Amplifier
ESP-07	Shenzhen Anxinke Technology, China		MCU with Wi-Fi module
74LVC1G3157	Nexperia, The Netherlands		Multiplexer
MP701435P	Maxpower, China		LiPo battery
U1V10F3	Pololu, USA		Voltage regulator
Ultimaker 2	Ultimaker, The Netherlands		3D printer
ColorFabb XT-CF20	ColorFabb, The Netherlands		Carbon fiber filament
iPhone 6s Plus	Apple, USA		Data acquisition device
Jelly Belly	Jelly Belly Candy Company, USA		Food texture for user study