Method Article
В этом документе описывается оценка крупной моторики младенцев с помощью мультисенсорного носимого устройства и его полностью автоматизированного конвейера анализа на основе глубокого обучения. Метод количественно оценивает позу и модели движений младенцев от лежания на спине до тех пор, пока они не овладеют самостоятельной ходьбой.
Разработка объективных и количественных методов ранней оценки крупной моторики имеет важное значение для лучшего понимания развития нервной системы и поддержки ранних терапевтических вмешательств. В этой статье мы представляем метод количественной оценки общей моторики с помощью мультисенсорного носимого устройства MAIJU (Motility Assessment of Infants with a JUmpsuit), который предлагает автоматизированную, масштабируемую, количественную и объективную оценку с использованием полностью автоматизированного облачного конвейера. Этот носимый костюм оснащен четырьмя датчиками движения, которые записывают синхронизированные данные на мобильный телефон с помощью Bluetooth-соединения с низким энергопотреблением. Автономный анализ на облачном сервере генерирует полностью проанализированные результаты в течение нескольких минут для каждой записи. Эти результаты включают в себя графический отчет о сеансе записи и подробную матрицу результатов, которая дает посекундную классификацию позы, движения, ношения младенца и свободного игрового времени. Наши недавние результаты показывают достоинства такой количественной оценки моторики, обеспечивающей потенциально эффективный метод для различения вариаций в развитии крупной моторики младенца.
Раннее развитие крупной моторики имеет важное значение для нейрокогнитивных способностей более высокого уровня, которые появляются позже, поддерживая исследование младенцами окружающей среды. Поэтому клиницисты и исследователи проявляют большой интерес к оценке раннего развития крупной моторики 1,2,3. Для поддержки доказательной медицины или научных исследований важно, чтобы оценки крупной моторики были количественными, надежными, объективными и экологически обоснованными. Тем не менее, существует дефицит таких методов, доступных как для клинических, так и для фундаментальных научных исследований.
Типичное раннее развитие крупной моторики протекает через предсказуемую последовательность вновь приобретенных навыков. Они обычно наблюдаются у младенцев при достижении дискретных двигательных этапов4, где стояние и ходьба часто считаются важными ориентирами на пути к более сложному поведенческому репертуару5. В дополнение к непосредственному наблюдению или опросу родителей о двигательных вехах, было разработано несколько широко используемых стандартизированных батарей 6,7,8,9 для проведения оценки младенцев в лабораторных или больничных условиях. Тем не менее, эти оценки страдают от множества предостережений: они требуют значительного опыта квалифицированных специалистов, они частично субъективны и категоричны, и они оценивают работу младенцев в неестественной с точки зрения младенца среде (больнице или лаборатории).
Регистрация спонтанной двигательной активности младенцев в течение длительного времени в родной среде, например, дома, позволяет более точно измерять двигательные способности. В одном из таких возможных методов оценка проводится для полной последовательности развития двигательных способностей младенца от лежания на спине до беглой ходьбы с помощью носимой системы, такой как носимая система MAIJU (Motor Assessment of the Infants with a JUmpsuit)10,11,12. Носимая система MAIJU (рис. 1) представляет собой текстильную одежду для всего тела, оснащенную датчиками движения, позволяющими проводить внебольничные/лабораторные оценки и записи без присмотра, которые анализируются с помощью автоматизированного конвейера, обеспечивая посекундную оценку осанки и моделей движений. Эти алгоритмические определения могут быть использованы для каждого типа позы и движения отдельно, или же они могут быть объединены для целостной оценки уровня созревания двигательных способностей младенца. Недавно опубликованным безусловным выражением такого показателя моторной зрелости является BIMS (Baba Infant Motor Score)10,12.
В этой статье будет описана оценка крупной моторики младенцев с помощью мультисенсорного носимого костюма; Обоснование, практическая производительность, конвейер анализа и потенциальные перспективы использования метрик, которые могут быть получены из автоматизированного конвейера анализа, доступного для записей с помощью носимого мультисенсорного устройства 10,11,12. Метод подходит для детальной количественной оценки спонтанной крупной моторики у всех младенцев, которые демонстрируют двигательные способности между лежанием на спине и беглой ходьбой.
Мультисенсорная носимая система состоит из трех компонентов: 1) комбинезона всего тела, оснащенного четырьмя датчиками движения, 2) мобильного устройства, использующего специально разработанное приложение для iOS, и 3) облачного аналитического конвейера (Babacloud, учетные данные для которого можно получить у авторов)11. Водонепроницаемые датчики инерциального измерительного блока (IMU) передают синхронизированные данные (3-осевой акселерометр и гироскоп) с частотой дискретизации 13-52 Гц на мобильный телефон с помощью Bluetooth-соединения с низким энергопотреблением. Данные изначально сохраняются в памяти (датчика или) мобильного устройства, после чего проводится автономный анализ на облачном сервере после остановки записи.
Исследования, проведенные с помощью этой системы, были рассмотрены Комитетом по этике Новой детской больницы Университетской больницы Хельсинки, и больница дала разрешение на проведение исследовательских проектов, описанных в оригинальных исследованиях, цитируемых в этой работе. Было получено информированное согласие на съемку ребенка на видео.
1. Подготовка костюма к сеансу записи
2. Подготовка и одевание младенца к сеансу записи
3. Сессия записи
4. Облачный анализ: загрузка сырых данных и выгрузка результатов
Представленный метод количественно оценивает крупную моторику младенцев путем классификации типов поз и движений для каждой секунды сеанса записи. Таким образом, пакет результатов из конвейера автоматизированного анализа включает полную классификационную матрицу (дополнительный файл 3) и графическую сводку (дополнительный файл 4) по всему сеансу записи. В зависимости от конкретного вопроса исследования, эти результаты могут быть проверены на разных уровнях.
Для разработки и валидации данного метода был использован контроль результатов.
Ниже мы представим четыре уровня проверки результатов, используемых для разработки и валидации этой методологии. В дополнительном файле 5 представлены репрезентативные примеры ключевых экспериментов по валидации, которые ранее были опубликованы во всех подробностях 10,11,12.
Во-первых, автоматические алгоритмы, обученные для определения движений и поз, были проверены на основе посекундных наблюдений человека за движением младенцев. Мы использовали несколько параллельно обученных экспертов, которые вслепую просматривали синхронизированные видеозаписи с записями носимых устройств. Все различные категории поз и движений сравнивались отдельно с индивидуальными аннотациями человека, и мы обнаружили очень высокое соответствие между алгоритмом и человеком для поз (средняя каппа 0,93); Существенное совпадение было обнаружено для категорий движения (каппа, специфичная для подкатегорий, в основном в диапазоне 60-80%). Пример матрицы несоответствий10 см. в дополнительном файле 5А. Кроме того, были оценены уровни взаимного согласия, чтобы подтвердить, что алгоритмы работают примерно на уровне человеческого эквивалента10,11.
Во-вторых, мы оценили, насколько хорошо количественная оценка категорий движения и осанки на основе классификатора будет соответствовать соответствующей количественной оценке из аннотаций человека второго уровня. Примеры точечных диаграмм, показанные в дополнительном файле 5B10 , показывают, что несколько ключевых категорий имеют почти идеальное соответствие (коэффициент корреляции >0,96) между алгоритмической и визуальной количественной оценкой человека. Это прямо подтверждает идею о том, что возрастные распределения количественной оценки подвижности (рис. 3A, B) являются надежными12.
В-третьих, идея целостной оценки моторной зрелости была подтверждена путем обучения прогнозированию возраста развития на основе комбинированных величин движений (см. выше), которые очень тесно коррелировали с фактическим возрастом у типично развивающихся младенцев (r=0,89; Дополнительный файл 5С). Впоследствии прогноз возраста был масштабирован до 0-100 в качестве безразмерной меры BIMS (Baba Infant Motor Score10), и его полезность для построения диаграмм моторного роста (дополнительный файл 5D) была проверена на типично развивающейся когорте младенцев, демонстрирующей зависящие от возраста и предсказуемые траектории роста. Мы также подтвердили его относительную точность, показав, что точность в графиках моторного роста хорошо сопоставима с хорошо известными графиками физического роста12.
В-четвертых, возможность выявления аномалий с помощью заданных показателей была подтверждена в эксперименте, в котором было показано, что отдельные моторные показатели четко различают младенцев с плохими и хорошими двигательными показателями соответственно (Дополнительный файл 5E)10.
Возможные вопросы для дальнейшего изучения на разных уровнях анализа
На рисунке 3 показаны примеры дальнейшего использования информации, предоставляемой носимым костюмом и его автоматизированным аналитическим конвейером. Во-первых, раннее развитие осанки и двигательных навыков может быть построено как функция возраста и сопоставлено с возрастно-зависимыми распределениями (рис. 3A, «диаграммы роста»12), или развитие может быть проследено с течением времени для каждого человека (рис. 3B). Во-вторых, когда исследуемый вопрос требует более целостной оценки крупной моторики, можно использовать комбинацию пропорций осанки и движений человека (как показано в Дополнительном файле 5D, рассчитанном на основе временных рядов в Дополнительном файле 5C) для создания индекса типа BIMS (Baba Infant Motor Score). Такие показатели поддерживают непосредственное использование в диаграммах моторного роста (Дополнительный файл 5C,D) и вычислении статистических выводов, таких как z-балл (рис. 3A). Использование серий обнаружений алгоритма (рис. 3C и дополнительный файл 3) позволяет исследовать детальную временную структуру моторики младенцев с помощью таких вопросов, как «Сколько переходов из одной позы в другую за единицу времени выполняет младенец?» или «Каково распределение эпох стояния во время спонтанной игры?».
Рисунок 1: Обзор мультисенсорной носимой системы и типичный процесс исследования от записи до анализа. Рисунок 1 адаптирован из Airaksinen et al.12, опубликованных под лицензией CC_BY. Фотография младенца публикуется с согласия родителей. Пожалуйста, нажмите здесь, чтобы увидеть увеличенную версию этого рисунка.
Рисунок 2: Категоризация позы и движений и пример визуализации исходных данных и результатов анализа (A) Схема категоризации позы и движений, используемая алгоритмическими классификаторами в полностью автоматизированном аналитическом конвейере для носимого мультисенсорного устройства. Этот рисунок перепечатан из Airaksinen et al.10 (B) Пример 10-минутных необработанных данных датчика акселерометра с каждого из четырех рукавов, полученных из записей MAIJU. Горизонтальные полосы ниже показывают выходные данные автоматического классификатора для определения позы (верхняя полоса) и движения (нижняя полоса) за ту же 10-минутную эпоху. Пожалуйста, нажмите здесь, чтобы увидеть увеличенную версию этого рисунка.
Рисунок 3: Пример результатов, полученных из необработанных выходных данных классификатора. (A) Пример сравнения данных между возрастом младенца и оценкой моторики младенцев по шкале Баба (BIMS). S-образная зеленая кривая показывает траекторию развития BIMS в большей популяции. На точке изображен пример индивидуума в возрасте 14 месяцев, с BIMS ~74, что соответствует немного ниже среднего возрастного типичного уровня (зеленая линия). (B) Пример когорты с индивидуальными траекториями моторного развития с использованием шкалы Baba Infant Motor Score over (BIMS). Каждая линия представляет младенца, записанного в нескольких возрастных точках (точки в строке). Линии раскрашены для среднего отклонения относительно типичного для возраста среднего значения (синяя S-образная кривая на заднем плане; см. также панель A. (C) Репрезентативная выходная матрица из автоматического классификатора в том виде, в каком она поступает из конвейера Babacloud. В первом столбце показано время, прошедшее с начала записи (в секундах) для каждого окна анализа в классификации (длительность окна 2,3 с, перекрытие 50%). Во втором и третьем столбцах показано определение классификатора по позе и движению соответственно. Третья и четвертая колонки являются вспомогательными классификаторами, описывающими эпохи, когда младенца носил кто-то другой, и когда младенец был вовлечен в самостоятельную игру, соответственно. (D) Иллюстрация краткого отчета. Панели A и B адаптированы из Airaksinen et al.10. Пожалуйста, нажмите здесь, чтобы увидеть увеличенную версию этого рисунка.
Дополнительный файл 1: Краткое руководство по записи с помощью носимого устройства MAIJU. Пожалуйста, нажмите здесь, чтобы скачать этот файл.
Дополнительный файл 2: Краткое руководство по переносу данных из Maijulogger на сервер анализа в Babacloud. Пожалуйста, нажмите здесь, чтобы скачать этот файл.
Дополнительный файл 3: Пример подробной классификационной матрицы, которая дает все посекундные классификации по осанке, движению, переноске младенцев и свободному игровому времени. Пожалуйста, нажмите здесь, чтобы скачать этот файл.
Дополнительный файл 4: Пример графического сводного отчета в формате PDF. Эти данные берутся из файла алгоритма, который включает в себя: (A) основную справочную информацию о сеансе записи (идентификатор и возраст субъекта, дату записи, продолжительность и общее количество эпох, использованных для окончательного анализа). (В) Графическое отображение полной записи с указанием распределения поз по всей записи и эпохам, которые исключены из количественной оценки. В) Типичные распределения, отображаемые в виде скрипичных графиков для всех шести поз (левая сторона) и 12 типов движений (правая сторона). Аналогичным образом, на рисунках справа изображены типы движений, обозначенные каждой позой, а также последовательность постепенного развития двигательной активности (точки, обозначающие результаты индивидуальной записи, и цветные скрипичные графики, указывающие возрастные распределения позы/движения соответствующего набора данных). Примечательно, что исходные значения, обозначенные точками, показывают фактические значения заданной производительности двигателя, и они могут быть использованы непосредственно в других контекстах. Пожалуйста, нажмите здесь, чтобы скачать этот файл.
Дополнительный файл 5: Проверочные эксперименты на разных уровнях анализа. (A) Матрицы несоответствий, показывающие согласованность между человеческими аннотациями (целевой класс) и обнаружениями алгоритма (прогнозируемый класс) как для категорий позы, так и для категорий движения. (B) Сравнение моторных квантитаций в течение полных сеансов записи между человеческими аннотациями и обнаружениями, полученными с помощью автоматического классификатора. (C) Корреляция между прогнозированием возраста развития на основе носимых данных (левая ось Y) и их перемасштабированием для получения оценки BIMS (правая ось Y). Фактический возраст младенца на момент записи отображается по оси X. (D) Корреляция прогноза возраста и фактического возраста при использовании аппроксимированной функции. Значения показывают соответствие модели при использовании группового среднего значения в изображенных временных окнах (синий), всех исходных значений (черный) или при учете повторных измерений каждого отдельного элемента (зеленый). (E) Сравнение индивидуальных моторных показателей между группами детей с хорошими и плохими показателями позволяет предположить, что несколько автоматически определяемых моторных показателей могут дифференцировать эти группы младенцев. Панель A,B,C адаптирована из Airaksinen et al.10. Панель D адаптирована из Airaksinen et al.12. Панель E адаптирована из "Airaksinen et al.11. Пожалуйста, нажмите здесь, чтобы скачать этот файл.
Количественная оценка и отслеживание развития моторики младенцев с помощью носимого решения, такого как MAIJU, технически просты в освоении и выполнении и могут быть легко внедрены в практику здравоохранения или клинических исследований 10,11,12. По сравнению с другими существующими методами оценки моторики, этот вид регистрации спонтанной двигательной активности младенцев в домашних условиях повышает экологическую валидность оценки. Кроме того, он обеспечивает количественный, прозрачный и полностью автоматизированный анализ двигательных способностей младенцев. Самое главное, что метрики, используемые в анализе, интуитивно понятны и объяснимы, что позволяет легко сравнивать их с другими клиническими и исследовательскими оценками, такими как факторы окружающей среды, когнитивное развитие или психосоциальные оценки. Целостная оценка моторного развития обеспечивает точность, которая хорошо сопоставима собычными показателями физического роста.
Важнейшие этапы протокола включают в себя тщательную подготовку носимого костюма. При подготовке к записи выбор правильного размера костюма имеет решающее значение, так как крепления датчика в рукавах и штанинах должны плотно прилегать для получения надежной записи движений тела. Также для успешной записи важно разместить датчики в карманах с правильной ориентацией, как указано в протоколе. Крепления датчиков не позволят датчикам вращаться во время записи. Однако неправильно ориентированный датчик записывает данные, которые трудно, если не невозможно, исправить впоследствии. Ребенка следует поощрять к свободному и самостоятельному движению во время записи. Продолжительность записи может варьироваться в зависимости от заданных учебных вопросов. Несколько эпох спонтанных движений объединяются, чтобы накопить достаточное количество спонтанных движений для каждой сессии записи.
Гибкое и практичное управление носимым устройством MAIJU позволяет использовать его в различных контекстах как в контролируемых, так и в неконтролируемых условиях, таких как исследовательские лаборатории или дома. Недавние результаты наших клинических испытаний показывают, что полностью неконтролируемые записи, проводимые в домашних условиях, могут давать результаты, сопоставимые с записями, проводимыми под полным или частичным наблюдением12. Тем не менее, на спонтанное двигательное поведение ребенка потенциально влияет несколько факторов, таких как окружающая среда (например, игра на улице или в помещении, планировка пространства, мебели и игрушек), уровень бдительности ребенка и участие родителей во время домашней записи. Когда запись ведется дома без присмотра, важно поощрять ребенка к спонтанной игре, т.е. играть или двигаться самостоятельно, без того, чтобы кто-то другой нес или держал ребенка, если в этом нет необходимости, и держать записывающий мобильный телефон на расстоянии Bluetooth (в той же комнате)10. Большинство текущих ситуаций, связанных с устранением неполадок во время записи, вызваны потерей соединения Bluetooth. В ближайшем будущем достижения в области сенсорных технологий улучшат возможности подключения по Bluetooth, а предстоящее внедрение большего объема памяти датчика позволит вести запись в автономном режиме, сохраняя данные о движении непосредственно в памяти датчика.
Внебольничные записи с помощью носимого решения такого рода легко масштабируются и могут повысить безопасность младенцев, например, за счет возможности удаленного мониторинга во время таких обстоятельств, как пандемия. Наши алгоритмы-классификаторы были обучены распознавать заданные двигательные способности, позы и движения, показанные на схеме описания моторики (рис. 2А). Эти явления были идентифицированы как характерные для движений младенцев в течение первых двух лет жизни. Другие типы движений или поз, наблюдаемые у детей старшего возраста, такие как бег или прыжки, потребуют модифицированных схем описания движений и соответствующих алгоритмов для их идентификации. Анализ, зависящий от контекста позы, является потенциально плодотворным подходом, при котором двигательная активность младенца анализируется отдельно в разных позах для поддержки изучения, например, коррелятов развития поведения младенцев 5,6,7,8,9,13. Кроме того, контекстно-зависимый двигательный анализ также может помочь оценить асимметрию двигательной функции при прогнозировании развития одностороннего церебрального паралича 10,12,14,15. Кроме того, оценка двигательных способностей с помощью системы MAIJU может быть объединена с другими методами исследования, например, отслеживанием движений глаз, визуализацией или видеозаписью, для получения мультимодальных данных, охватывающих различные типы и контексты. Мультимодальные данные могут быть полезны, например, для оценки эффектов социального взаимодействия или эффективности терапевтического вмешательства.
Для успеха новых носимых технологий во внебольничных условиях мониторинга младенцев необходимо учитывать определенные ограничения, проблемы и этические проблемы. Наши аналитические конвейеры были обучены и проверены на типично развивающихся младенцах в Финляндии 10,11,12. Результаты сырого анализа с чистыми позами и движениями должны быть универсальными. Однако их траектории развития могут потребовать корректировки с учетом различных культур и географических положений. Согласно отзывам родителей о носимых устройствах, к ним относятся положительно из-за удобства для младенцев16. Тем не менее, родители могут выражать обеспокоенность по поводу конфиденциальности, доступа к данным и семейных аспектов (например, наличие нескольких опекунов, посетителей и изменение графика). Ограничением метода можно считать зависимость от времени автономной работы датчиков и записывающего телефона. По нашему опыту, модель батареи (CR2025) обычно работает в течение полного дня (12-24 часа) при использовании непрерывной потоковой передачи данных. Примечательно, что это зависит как от марки аккумулятора, так и от мощности соединения Bluetooth, необходимого для беспроводной передачи данных, которая постоянно меняется, чтобы максимизировать передачу данных в среде записи. Например, большое расстояние между младенцем и телефоном или стена между ними могут привести к значительному увеличению расхода заряда батареи. Примечательно, что батареи большинства мобильных устройств также разряжаются примерно за одно и то же время при использовании непрерывной потоковой передачи по Bluetooth. На практике используемая в настоящее время непрерывная потоковая передача данных по Bluetooth-соединению означает, что как датчики, так и мобильные устройства нуждаются в ежедневной подзарядке/замене батареи. В ближайшем будущем появятся датчики с большим объемом памяти, которые позволят хранить данные в памяти датчика, поддерживая непрерывную запись в течение недели. Это устранит необходимость в энергоемкой потоковой передаче по Bluetooth, а также в переноске телефона в пределах диапазона Bluetooth, который может восприниматься как ограничивающий в ситуациях записи и подверженный человеческим ошибкам.
В целом, для отслеживания раннего развития нервной системы необходимы методы, чувствительные к естественной нейроповеденческой изменчивости. Развитие крупной моторики представляет собой сложный процесс, состоящий из вариаций в порядке и сроках, как на индивидуальном, так и накультурном уровнях. Выявление атипичного моторного развития эффективно для распознавания младенцев, подверженных риску широкого спектра нарушений развития нервной системы. Традиционные тестовые батареи со стандартизированными оценками развития нервной системы проводятся в контролируемых условиях, таких как больницы, и, по крайней мере, частично субъективны 7,8,9. Современные достижения в области сенсорных технологий и анализа сигналов позволили регистрировать спонтанные двигательные способности младенцев в течение длительных периодов времени во внебольничных условиях и количественно оценивать двигательное поведение с точностью, сравнимой с людьми-наблюдателями 10,11,12. Новые носимые технологии предлагают автоматизированные и масштабируемые методы мониторинга движений и эффективности терапевтического вмешательства у младенцев экологически обоснованным и объективным способом. Кроме того, новый индекс развития нервной системы Baba Infant Motor Score (BIMS) позволяет оценить зрелость двигательных способностей младенцев путем индивидуального отслеживания развития нервной системы10,12. Он может быть использован в ряде будущих приложений, таких как разработка диаграмм моторного роста младенцев12. Обучая автоматизированные классификаторы для других специфических движений (например, для детей старшего возраста или взрослых) с помощью различных схем и алгоритмов описания движений, носимые датчики движения имеют потенциал для клинического применения, например, для лечения двигательных расстройств или последующего наблюдения за эффектами терапевтических вмешательств независимо от стадииразвития человека.. В настоящее время, однако, это следует рассматривать как исследовательскую методологию, которая не должна использоваться для информирования о клиническом диагнозе или назначении лечения.
Е.И. является основателем компании Planno Oy, которая консультирует в области текстильной инженерии. Другие авторы не имеют соответствующих интересов в раскрытии информации.
Эта работа была поддержана Финской академией (314602, 335788, 335872, 332017, 343498), Финским педиатрическим фондом (Lastentautien tutkimussäätiö), Aivosäätiö, Фондом Сигрид Юселиус и исследовательскими фондами Детской больницы HUS/диагностического центра HUS.
Name | Company | Catalog Number | Comments |
iOS device (version 16.5 or higher) | Apple | n/a | |
MAIJU jumpsuit | Planno Ltd | n/a | customized for purpose |
Maijulogger (mobile application) and sensor firmware | BABA Center (www.babacenter.fi), Kaasa solutions GmbH | n/a | constructed by Kaasa Solutions, distributed by Baba Center |
Movesense movement sensor | Movesense (www.movesense.com) | n/a |
Запросить разрешение на использование текста или рисунков этого JoVE статьи
Запросить разрешениеThis article has been published
Video Coming Soon
Авторские права © 2025 MyJoVE Corporation. Все права защищены