Измерение кинематика движения повседневной жизни с системами захвата движения в виртуальной реальности

Резюме

Мы разработали виртуальной реальности тест для оценки инструментальные мероприятия повседневной жизни (МАЮД) с системой захвата движения. Мы предлагаем детальный кинематический анализ интерпретировать участника различных движений, включая траектории, движущихся расстояние и время завершения для оценки возможностей МАЮД.

Аннотация

Неспособность завершить инструментальные мероприятия повседневной жизни (МАЮД) является прекурсором для различных нервно-психического заболевания. На основе вопросника оценки МАЮД проста в использовании, но подвержены субъективным предвзятости. Здесь мы описываем Роман виртуальной реальности (VR) тест, чтобы оценить две сложные задачи МАЮД: обработка финансовых транзакций и общественном транспорте. В то время как участник выполняет задачи в обстановке VR, захвата движения системы следы положения и ориентации головы в трехмерной системе координат декартовых и доминирующей рукой. Кинематическая необработанные данные собираются и преобразуется в «кинематической показатели,» т.е., движения траектории, движущихся расстояние и время завершения. Траектории движения — это путь части конкретного органа (например, доминирующей рукой или руководитель) в пространстве. Перемещение расстояния ссылается на общее расстояние траектории, и время для завершения сколько времени потребовалось для завершения задачи МАЮД. Эти кинематической меры могли бы дискриминацию больных слабоумием от здоровых элементов управления. Развитие этого кинематической измерения протокола позволяет выявление ранних связанных с МАЮД когнитивные расстройства.

Введение

Инструментальная деятельность повседневной жизни (МАЮД), такие как обработка финансовых сделок, используя общественный транспорт и приготовления пищи, являются медицинские маркеры, поскольку они требуют множественные нейропсихологических функции¹. Таким образом нарушение МАЮД возможности считаются прекурсоров для неврологических заболеваний, таких как легкого когнитивного расстройства (MCI) и слабоумие². Всеобъемлющий обзор золота в МАЮД задачи³ сообщили, что познавательно более требовательных задач, как управление финансами и используя общественный транспорт, ранние предсказатель MCI и слабоумие.

На сегодняшний день, наиболее часто используемые оценки МАЮД являются сообщенные вопросники, информант на основе вопросников и на основе результатов оценки⁴. На основе вопросника оценки МАЮД экономически эффективной и простой в использовании, но подвержены субъективным предвзятости. Например когда самоотчетности, пациенты имеют тенденцию к над или под estimate возможности их МАЮД⁵. Аналогичным образом информаторы недооценивать МАЮД возможности из-за ошибочных представлений или пробелов знаний⁴наблюдателя. Таким образом по результатам оценок, которые просят больных для выполнения конкретных задач МАЮД были предпочтительным, хотя многие из задач являются неприемлемыми для общих клинических условиях⁶.

Недавно виртуальной реальности (VR) исследования показали, что эта технология может иметь значительные приложений в области медицины и здравоохранения, которая включает в себя все, от подготовки к реабилитации, к медицинской оценке⁷. Все участники могут быть проверены на тех же условиях VR, которые имитируют реальный мир. К примеру, Allain и др. ⁸ разработана задачу виртуальный кофе и показали, что пациенты с когнитивными нарушениями выполнил задачу плохо. Клингер и др. ⁹ разработал другой VR среды для почтовых и торговых задач и найти значимые отношения между время завершения задачи в VR и нейропсихологических тестов результаты. Предыдущие исследования VR МАЮД оценки главным образом были сосредоточены на простые показатели, например время реакции или точности при использовании обычных устройств ввода, таких как клавиатуры и мыши,^8,9. Таким образом, более подробные данные о МАЮД производительности необходимо эффективно экран для пациентов с MCI⁴.

Кинематический анализ в реальном времени движение захвата данных представляет собой мощный подход к количественно подробные производительности данные, связанные с задачами МАЮД документа. Например, белый и др. ¹⁰ развитых Виртуальная кухня, которая захватывает данные участника совместной угол во время ежедневных задач жизни и использовать собранные данные для количественной оценки эффективности физической терапии. Dimbwadyo-Terrer и др. ¹¹ развитых VR среда погружения для оценки производительности верхней конечности при проведении основных задач повседневной жизни и показал, что кинематической данные записаны в среде VR, тесно связана с функциональной весы верхней конечности. Эти кинематический анализ с системами захвата движения могли бы представить дополнительную возможность быстро оценить пациента когнитивных нарушений¹². Включение подробных кинематической данных в скрининга для пациентов с MCI значительно улучшили классификации пациентов по сравнению с¹³здорового контроля.

Здесь мы описываем протокол для оценки кинематика движения повседневной жизни с системами захвата движения в среде погружения VR. Протокол включает две сложные задачи МАЮД: «задача 1: снять деньги» (обработка финансовых транзакций) и «задача 2: сесть на автобус» (с использованием общественного транспорта). В то время как задачи были выполнены, система захвата движения Трассируется, позиции и ориентации доминирующей рук и головы. После завершения задачи 1, были собраны доминирующей рукой траектории, движущихся расстояние и время завершения. В задаче 2 были собраны головы траектории, движущихся расстояние и время завершения. В разделе представитель результаты в этой статье подробно предварительное тестирование больных с MCI (т.е., МАЮД возможности являются нарушениями) по сравнению с здорового управления (т.е., МАЮД возможности неповрежденными).

протокол

Все экспериментальные методы, описанные здесь были утверждены институционального обзора Совет Ханьян университета, согласно Хельсинкской декларации (HYI-15-029-2). 6 здоровых элементов управления (4 кобеля и 2 суки) и 6 МРП больных (3 кобеля и 3 суки) были набраны из третичного медицинского центра, больницы университета Ханьянг.

1. привлечение участников

1. Набирать пациентов MCI (то есть, нарушением МАЮД возможности) и здорового управления (то есть, нормальный МАЮД возможности), в возрасте 70-80 лет.
2. С помощью невролог с более чем 10 лет клинического опыта обзор медицинских историй пациентов и исключить пациентов с историей неврологические/психических заболеваний или Хирургия головного мозга.
   Примечание: Используйте следующие нейропсихологических тестов: Mini психического государственной экспертизы-деменция скрининг, корейский инструментальные мероприятия повседневной жизни, свободной и селективный Cued, напоминающие тест, цифра Span тест-вперед/назад, след делает тест-A/B¹³ и критерии Альберт и др. ¹⁴ для диагностики MCI.

2. установить VR программного обеспечения и подключение компьютеров

1. Установка оборудования в выделенный номер похож на рисунке 1. Выполнить этот протокол в номер размера погружения виртуальной среде (4 x 2,5 x 2,5 м³) содержащий 4 компьютеров, 4 стереоскопические трехмерные (3D) Проекторы и 8 камер движения отслеживания для отслеживания положения и ориентации доминирующей рукой и голова во время выполнения двух задач МАЮД.
   Примечание: VR технологий, используемых в этой статье, компьютерного оборудования и программного обеспечения, которые предлагают погружения и интерактивных 3D опытом, которыми реалистичные объекты и события могут быть представлены в виртуальной среде. Детали оборудования и программного обеспечения описаны в Таблице материалов.
2. Убедитесь, что все компьютеры оснащены необходимое программное обеспечение (распространяемого пакета Visual Studio 2012 (x86), DirectX и MiddleVR или эквивалент). Для MiddleVR, то есть, программное обеспечение middleware, проверьте на веб-сайте¹⁵ для получения последних версий библиотек для устройств ввода, стереоскопия, кластеризация и взаимодействия.
3. Подключение компьютеров к стереоскопический 3D проекторов. Графические настройки, 1920 x 1080 пикселей резолюции.
4. Создание домашней группы 10 Windows для подключения 4 компьютеров к домашней сети. На основном компьютере создайте папку и поделиться им с другими компьютерами домашней группы.
5. На основном компьютере инициировать промежуточного программного обеспечения. Нажмите кнопку «Кластер». Установите основной компьютер как сервер и другие компьютеры в качестве клиентов. Это будет синхронизировать состояние всех устройств. Нажмите кнопку «3D узлы». Укажите положение, ориентацию и размер экрана виртуальной среды.
6. Заполните параметры, основанные на веб-сайте¹⁵ и сохраните файл конфигурации.

3. Настройка системы захвата движения в виртуальной среде

1. Гора 8 отслеживания движения камеры в виртуальной среде для полного покрытия захвата тома. Зафиксируйте камеры так, что они остаются неподвижными во время захвата. Убедитесь, что объекты в виртуальной среде будет виден по крайней мере 2 камеры на все времена.
2. Установите программное обеспечение OptiTrack мотив, то есть, программное обеспечение захвата движения, на основном компьютере, используя ручной установки¹⁶. Подключите основной компьютер с системами захвата движения с кабели Ethernet категории 6.
3. Калибровка системы захвата движения с помощью следующих шагов, как описано в программного обеспечения ручного¹⁶.
   1. Удалите все посторонние соображения или ненужные маркеры захвата тома.
   2. Нажмите кнопку «Маска видимых» чтобы замаскировать нежелательные отражения или внешнего вмешательства.
   3. Нажмите на кнопку «Начать Шабдан». Используйте палочку калибровки для поддержки захвата выборки для того, чтобы вычислить соответствующие позиции и ориентации в трехмерном пространстве.
   4. Нажмите на кнопку «Рассчитать» для калибровки системы с использованием собранных образцов.
   5. Проверить результаты калибровки (в порядке от худших лучше): бедных, ярмарка, хороший, большой, отлично и очень хорошо. Если результат лучше, чем большой, нажмите кнопку «Применить». Если нет, нажмите кнопку «Отмена» и повторите процесс Ваньдине.
   6. Место на площади калибровки внутри 3D пространстве, где вы хотите происхождения будет расположен. Нажмите кнопку «Задать заземленной», чтобы создать отслеживаемого трехмерная система координат происхождения.
   7. Выберите связанный светоотражающая маркеры для доминирующей рук и головы. Нажмите на кнопку «Твердого тела» и затем нажмите кнопку «Создать из выбранных маркеры».
4. На движение захвата программного обеспечения, откройте меню «Течь». Убедитесь, что номер порта, указанный 3883 и выберите поле «Транслировать данные кадра» в категории «VRPN потокового двигатель». Нажмите «Ctrl» + «S», чтобы сохранить файл калибровки.
5. На основном компьютере инициировать промежуточного программного обеспечения. Нажмите «Устройства». Добавить VRPN Tracker для получения данных отслеживания из системы захвата движения, а затем сохраните файл конфигурации.

4. Подготовьте виртуальную среду для использования

1. Удалите все отражает объекты (например, часы, кольца, серьги, металлов, и т.д.) из виртуальной среды.
2. Включите компьютеры, стереоскопические 3D проекторы и системы захвата движения (360 кадров в секунду).
3. После 4 компьютеров, запустите программу VRDaemon. Например дважды щелкните на «VRDaemon.exe» которая расположена в «C:\Program Files (x86) \MiddleVR\bin.»
4. На основном компьютере инициировать программное обеспечение захвата движения. Нажмите на кнопку возле верхнем меню с надписью «Открыть существующий проект.» Загрузите файл Калибровка камеры.
5. На основном компьютере инициировать промежуточного программного обеспечения. Нажмите на кнопку «Моделирование». Загрузите соответствующий моделирования и конфигурации файлов из общей папки.
6. На промежуточного программного обеспечения нажмите кнопку «Run» для выполнения погружения виртуальное приложение с выбранным моделирования и файлов конфигурации.

5. ознакомить участников с виртуальной средой

1. Предоставить участнику стереоскопические очки, весом около 50 г. Частота отображения стереоскопических очков – 192 Гц. Убедитесь что стереоскопические очки удобно располагаются над глазами и ушами; Смотрите рисунок 2A.
2. Прикрепите Светоотражающий маркеры, весом менее 1 g участника доминирующей рук и головы. Будьте осторожны, чтобы прикрепить Светоотражающий маркеры плотно; Смотрите Рисунок 2B. Проинформировать участников, что они могут свободно передвигаться или вращаться в виртуальной среде с помощью движения головы и можно нажать кнопку виртуальных объектов с доминирующей рукой. Виртуальный руку появляется в виртуальной среде, чтобы имитировать позицию участника указательный палец; Смотрите Рисунок 3.
3. Попросите участников свободно двигаться (т.е., встать, сесть, налево и направо) в виртуальной среде на 5 минут, чтобы ознакомиться с VR окружающей среды. Затем попросите участников нажать виртуальные кнопки для 5 минут, чтобы ознакомиться с тем, как взаимодействовать с виртуальными объектами с доминирующей рукой. Предоставить еще 10 минут тренировки, если участник запрашивает один.
4. Проверьте, является ли участник иммунитет к болезни VR с симулятор болезни вопросника¹⁷.
   Предупреждение: Отслеживания на дисплей стереоскопического синхронизированные движения может привести к VR болезни, которая может привести к дискомфорт, головная боль, желудка осведомленность, тошнота, рвота, бледность, потливость, утомляемость, сонливость, дезориентация и апатии. Если участник жалуется на усталость или оценка болезни симулятор является слишком высокой, остановите протокол.

6. выполнить «задача 1: снять деньги»

Предупреждение: Противовес последовательности задач 1 и 2 задачи удалить переходящий эффект.

1. Объяснить участнику Подробности задачи и обеспечивают 8 практические шаги для завершения задачи в виртуальной среде. Шаги являются (1) Вставьте карту в Банкомат, (2) выберите меню «отозвать», (3) выберите сумму снять (4) выберите тип счета, (5) введите PIN-код (персональный идентификационный номер), (6) выберите вариант получения, (7) Извлеките карту и (8) принимать деньги от Банкомат (см. Рисунок 4).
2. На основном компьютере инициировать промежуточного программного обеспечения. На вкладке «Модели» выберите файл моделирования для задачи 1 и файла конфигурации. Нажмите на кнопку «Run»; «Задача 1: снять деньги» будет работать в виртуальной среде.
   Примечание: Для задачи 1 файла, см. прилагаемый файл «Задача 1 снять Money.zip» в дополнительных файлов 1. Обратите внимание, что виртуальный задача была разработана с Унити трехмерный двигатель.
3. Если «задача 1: снять деньги» выполняется в виртуальной среде, проинструктируйте участников выполнять следующим образом: «просьба снять KRW 70000 (что эквивалентно около 60 долларов) из Банкомата для покупок. Выберите два различных типов нот, один отмечает 50 000 KRW записку для 50 000 KRW и два 10 000 KRW 20000 KRW. Пароль для вашей сделки является текущая дата. Например если эксперимент проводится на 11 ноября, PIN-код-1111. Пожалуйста держите квитанцию для дальнейшего ведения.»
4. Когда задача завершена, проверьте кинематической данные в CSV-файлы (с разделителями-запятыми) для дальнейшего анализа из общей папки.
   Примечание: Использование системы захвата движения, во время «задача 1: снять деньги» запись позиции и ориентации доминирующей рукой при проведении задачи с частотой записи 1 мс.
5. Дать участник около 5 минут перерыв перед началом «задача 2: на автобусе.»

7. выполнить «задача 2: сесть на автобус»

1. Объяснить участнику Подробности задачи и приводятся инструкции по заполнению «задача 2: сесть на автобус» следующим: «подождите на автобусной остановке и сесть на автобус целевой. Целевой автобус информация будет предоставлена на экране VR на определенный номер строки, цвета и назначения. Когда целевой автобус прибывает, обязательно ходить из автобуса и передней двери автобуса целевого объекта. 8 различных целевых автобусов будет случайным образом генерируется и представил.» Смотрите Рисунок 5.
2. На основном компьютере инициировать промежуточного программного обеспечения. На вкладке «Модели» выберите файл моделирования для задачи 2 и файла конфигурации. Нажмите кнопку «Run», затем «задача 2: сесть на автобус» будет работать в виртуальной среде.
   Примечание: Для задачи 2 файла, увидеть вложенный файл «Задача 2 принять Bus.zip» в дополнительный файл 2. Обратите внимание, что виртуальный задача была разработана с Унити трехмерный двигатель.
3. Если «задача 2: сесть на автобус» выполняется в виртуальной среде, проинструктируйте участников ждать в автобусной остановки. Нажмите клавишу «Пробел» на клавиатуре, чтобы сделать автобусы прибывают на автобусной остановке.
4. Когда задача завершена, проверьте кинематической данные в файлы CSV для дальнейшего анализа из общей папки.
   Примечание: Использование системы захвата движения, во время «задача 2: сесть на автобус «запись позиции и ориентации головы при проведении задачи с частотой записи 1 мс.
5. Протокол является полным. Помочь участник удалить стереоскопические очки и отсоединить Светоотражающий маркеры от доминирующей рук и головы.

Результаты

CSV файлов от «задача 1: снять деньги» были проанализированы с использованием статистического программного обеспечения R для расчета траектории доминирующей рукой, движущихся расстояние и время завершения. Визуализировать траектории движения доминирующей рукой (

Обсуждение

Мы подробно кинематической измерения протокол повседневной жизни движений с системами захвата движения в среде погружения VR. Во-первых параметр экспериментальной, руководство по настройке, подготовить и ознакомить участников с VR среда погружения. Во-вторых мы разработали две стандар...

Материалы

Name	Company	Catalog Number	Comments
Computer	N/A	N/A	Computer requirements:                                                            - Single socket H3 (LGA 1150) supports - Intel® Xeon® E3-1200 v3, 4th gen. Core i7/i5/i3 processors - Intel® C226 Express PCH - Up to 32GB DDR3 ECC/non-ECC 1600MHz UDIMM in 4 sockets - Dual Gigabit Ethernet LAN ports - 8x SATA3 (6Gbps) - 2x PCI-E 3.0 x16, 3x PCI-E 2.0 x1, and 2x PCI 5V 32-bit slots - 6x USB 3.0 (2 rear + 4 via headers) - 10x USB 2.0 (4 rear + 6 via headers) - HD Audio 7.1 channel connector by Realtek ALC1150 - 1x DOM power connector and 1x SPDIF Out Header - 800W High Efficiency Power Supply - Intel Xeon E3-1230v3 - DDR3 PC12800 8GB ECC - WD 1TB BLUE WD 10EZEX  3.5" - NVIDIA QUADRO K5000 & SYNC
Stereoscopic 3D Projector	Barco	F35 AS3D WUXGA	Resolution: - WQXGA (2,560 x 1,600) - Panorama (2,560 x 1,080) - WUXGA (1,920 x 1,200), 1080p (1,920 x 1,080)
Stereoscopic Glasses	Volfoni	Edge 1.2	For further information, visit http://volfoni.com/en/edge-1-2/
Motion Capture Systems	NaturalPoint OptiTrack	17W	For further information, visit http://optitrack.com/products/prime-17w/
OptiTrack (Motion capture software)	NaturalPoint OptiTrack	Motive 2.0	For further information, visit https://optitrack.com/downloads/motive.html
MiddleVR (Middleware software)	MiddleVR	MiddleVR For Unity	For further information, visit http://www.middlevr.com/middlevr-for-unity/
VRDaemon (Middleware software)	MiddleVR	MiddleVR For Unity	For further information, visit http://www.middlevr.com/middlevr-for-unity/
Unity3D (Game engine)	Unity Technologies	Personal	For further information, visit https://unity3d.com/unity