Когда мы хватаемся за объект, несколько областей пальцев и кисти обычно соприкасаются с поверхностью объекта. Реконструкция таких контактных областей является сложной задачей. Здесь мы представляем метод приблизительной оценки областей контакта путем объединения захвата движения на основе маркеров с существующей реконструкцией ручной сетки на основе глубокого обучения.
Чтобы успешно захватить объект, мы должны выбрать соответствующие области контакта для наших рук на поверхности объекта. Однако выявление таких регионов является сложной задачей. В этом документе описывается рабочий процесс для оценки областей контакта на основе данных отслеживания на основе маркеров. Участники захватывают реальные объекты, в то время как мы отслеживаем 3D-положение как объектов, так и руки, включая суставы пальцев. Сначала мы определяем суставные углы Эйлера по выбору отслеживаемых маркеров, расположенных на тыльной стороне руки. Затем мы используем самые современные алгоритмы реконструкции ручной сетки для создания сетчатой модели руки участника в текущей позе и 3D-положении.
Использование объектов, которые были либо напечатаны на 3D-принтере, либо отсканированы на 3D-принтере и, таким образом, доступны как в виде реальных объектов, так и в виде данных сетки, позволяет совместно регистрировать сетки рук и объектов. В свою очередь, это позволяет оценить приблизительные области контакта путем вычисления пересечений между ручной сеткой и совместно зарегистрированной сеткой 3D-объекта. Этот метод может быть использован для оценки того, где и как люди захватывают объекты в различных условиях. Поэтому метод может быть интересен исследователям, изучающим визуальное и тактильное восприятие, управление моторикой, взаимодействие человека с компьютером в виртуальной и дополненной реальности, робототехнику.
Способность захватывать объекты и манипулировать ими является ключевой способностью, которая позволяет людям изменять окружающую среду в соответствии со своими желаниями и потребностями. Однако эффективное управление многошарнирными руками — сложная задача, требующая сложной системы управления. Эта система управления двигателем управляется несколькими формами сенсорного ввода, среди которых зрение имеет первостепенное значение. Благодаря зрению люди могут идентифицировать объекты в окружающей среде и оценивать их положение и физические свойства, а затем могут легко достигать, захватывать и манипулировать этими объектами. Понимание сложной системы, которая связывает вход на сетчатке с двигательными командами, которые управляют руками, является ключевой проблемой сенсомоторной нейробиологии. Чтобы смоделировать, предсказать и понять, как работает эта система, мы должны сначала изучить ее в деталях. Это требует высокоточных измерений как визуальных входов, так и выходов ручного двигателя.
Прошлая технология отслеживания движения наложила ряд ограничений на изучение человеческого хватания. Например, системы, требующие кабелей, прикрепленных к рукамучастников 1,2, имеют тенденцию ограничивать диапазон движений пальцев, потенциально изменяя хватательные движения или сами измерения. Несмотря на такие ограничения, предыдущие исследования смогли выявить несколько факторов, влияющих на визуально управляемое хватание. Некоторые из этих факторов включают форму объекта 3,4,5,6, шероховатость поверхности 7,8,9 или ориентацию объекта относительно руки 4,8,10. Однако, чтобы преодолеть предыдущие технологические ограничения, в большинстве этих предыдущих исследований использовались простые стимулы и очень ограниченные задачи, таким образом, основное внимание уделялось отдельным факторам 3,4,6,7,10, двузначным точным захватам 3,4,6,9,11,12, 13,14,15,16,17,18, отдельные объекты19 или очень простые 2D-фигуры 20,21. Как предыдущие результаты обобщают такие сокращенные и искусственные лабораторные условия, неизвестно. Кроме того, измерение контакта рука с предметом часто сводится к оценке точекконтакта цифр 22. Это упрощение может быть уместно для описания небольшого подмножества захватов, в которых только кончики пальцев соприкасаются с объектом. Однако в большинстве реальных схваток обширные области пальцев и ладони соприкасаются с объектом. Кроме того, недавнее исследование23 продемонстрировало, используя тактильную перчатку, что объекты можно распознать по тому, как их поверхность соприкасается с рукой. Это подчеркивает важность изучения расширенных областей контакта между руками и захваченными объектами, а не только точек контакта между объектами и кончиками пальцев22.
Последние достижения в области захвата движения и 3D-моделирования рук позволили нам преодолеть прежние ограничения и изучить хватание во всей его сложности. Пассивное отслеживание движения на основе маркеров теперь доступно с маркерами миллиметрового размера, которые могут быть прикреплены к тыльной стороне рук участника для отслеживания движений суставов24. Кроме того, алгоритмы автоматической идентификации маркеров для пассивных маркерных систем в настоящее время достаточно надежны, чтобы практически исключить необходимость обширной ручной постобработки маркерных данных25,26,27. Безмаркерные решения также достигают впечатляющего уровня производительности при отслеживании частей тела животных в видеороликах28. Таким образом, эти методы отслеживания движения, наконец, позволяют проводить надежные и неинвазивные измерения сложных многозначных движений рук24. Такие измерения могут информировать нас о кинематике суставов и позволяют нам оценить точки контакта между рукой и объектом. Кроме того, в последние годы сообщество компьютерного зрения занимается проблемой построения моделей человеческих рук, которые могут воспроизводить деформации мягких тканей при захвате объекта и даже при самостоятельном контакте между частями руки 29,30,31,32. Такие 3D-реконструкции сетки могут быть получены из различных типов данных, таких как видеоматериалы 33,34, скелетные суставы (полученные на основе маркеров35 или безмаркерного слежения 36) и изображения 37 глубины. Первый ключевой прогресс в этой области был сделан Ромеро и др.38, которые получили параметрическую модель руки (MANO) из более чем 1000 сканирований рук 31 субъекта в различных позах. Модель содержит параметры как для позы, так и для формы руки, что облегчает регрессию из разных источников данных к полной реконструкции руки. Более позднее решение DeepHandMesh29 основано на этом подходе, создавая параметризованную модель с помощью глубокого обучения и добавляя предотвращение проникновения, которое более точно воспроизводит физические взаимодействия между частями руки. Таким образом, комбинируя такие реконструкции ручной сетки с сетками 3D-отслеживаемых объектов, теперь можно оценивать контактные области не только на поверхности объектов32, но и на поверхности руки.
Здесь мы предлагаем рабочий процесс, который объединяет высокоточное 3D-отслеживание объектов и суставов рук с новыми алгоритмами реконструкции ручной сетки. Метод дает подробные карты поверхностей, контактирующих с руками и объектами. Эти измерения помогут нейробиологам сенсомоторных нейробиологов расширить наше теоретическое понимание зрительного захвата человека. Кроме того, метод может быть полезен исследователям в смежных областях. Например, исследователи человеческого фактора могут использовать этот метод для создания более совершенных систем человеко-машинного интерфейса в виртуальной и дополненной реальности18. Высокоточные измерения хватательного поведения человека также могут помочь робототехникам в разработке вдохновленных человеком роботизированных хватательных систем, основанных на принципах интерактивного восприятия 39,40,41,42,43. Таким образом, мы надеемся, что этот метод поможет продвинуть исследования в области нейробиологии и инженерии от скудных описаний сильно ограниченных задач до более полных характеристик натуралистического хватательного поведения со сложными объектами и реальными задачами. Общий подход показан на рисунке 1.
Рисунок 1: Ключевые этапы предлагаемого метода . (A) Камеры захвата движения отображают верстак под разными углами. (B) Объект стимула печатается на 3D-принтере из триангулированной сетчатой модели. (C) Четыре сферических светоотражающих маркера приклеиваются к поверхности реального объекта. Полуавтоматическая процедура идентифицирует четыре соответствующие точки на поверхности сетчатого объекта. Это соответствие позволяет нам рототрансформировать сетчатую модель в 3D-отслеживаемое положение реального объекта. (D) Светоотражающие маркеры прикрепляются к различным ориентирам на тыльной стороне руки участника с помощью двустороннего скотча. (E) Система захвата движения фиксирует траектории в 3D-пространстве отслеживаемого объекта и ручных маркеров в течение одного испытания. (F) Скелет руки конкретного участника конструируется с использованием программного обеспечения для компьютерной 3D-графики. Затем позы скелетных суставов оцениваются для каждого кадра каждого испытания в эксперименте с помощью обратной кинематики. (G) Совместные позы вводятся в модифицированную версию DeepHandMesh29, которая выводит предполагаемую 3D-сетку рук в текущей 3D-позе и положении. (H) Наконец, мы используем пересечение сетки для вычисления областей контакта рук и объектов. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.
Перед началом эксперимента участники должны дать информированное согласие в соответствии с институциональными руководящими принципами и Хельсинкской декларацией. Все протоколы, описанные здесь, были одобрены местным комитетом по этике Гиссенского университета им. Юстуса Либиха (LEK-FB06).
1. Установка всего необходимого программного обеспечения
2. Подготовка системы захвата движения
3. Калибровка камер
4. Создание объекта стимула
5. Подготовка объекта стимула
6. Совместная регистрация реальных и сетчатых модельных версий объекта стимула
7. Установка маркеров на руках
Рисунок 2: Размещение маркера на руке участника. Аббревиатура: RH = правая рука. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.
8. Получение одной пробной версии
9. Маркировка маркеров
10. Создание персонализированного определения скелета участника
11. Реконструируйте позы суставов скелетных суставов.
12. Создание реконструкций ручной сетки
13. Создание оценок области контакта рук с объектами
Первым требованием к предлагаемому методу является система точного отслеживания положения 3D-объектов и рук. Конкретная настройка показана на рисунке 1A и использует аппаратное и программное обеспечение, разработанное компанией Qualisys, занимающейся захватом движения. Мы располагаем верстак в объеме слежения (100 см x 100 см x 100 см), который снимается с разных ракурсов восемью камерами слежения и шестью видеокамерами, расположенными на кубической рамке, окружающей рабочее пространство. Камеры слежения отслеживают 3D-положение светоотражающих маркеров в объеме слежения со скоростью 180 кадров в секунду и с субмиллиметровым 3D-пространственным разрешением. Мы используем светоотражающие маркеры толщиной 4 мм, которые прикрепляются к предметам и рукам с помощью удобной для кожи двусторонней клейкой ленты. Положение 3D-маркеров обрабатывается программным обеспечением для захвата движения. В дискуссионном разделе также рассматриваются альтернативные системы захвата движения, которые могут быть использованы с предлагаемым методом.
Чтобы получить точные 3D-реконструкции реальных объектов, которые захватываются и манипулируются, мы предлагаем два варианта. Первый, который принят здесь, заключается в том, чтобы начать с виртуальной 3D-объектной модели в виде полигональной сетки. Такие 3D-модели могут быть построены с использованием соответствующего программного обеспечения (например, Blender 3D44), а затем напечатаны на 3D-принтере (рис. 1B). Второй вариант заключается в том, чтобы взять существующий, реальный 3D-объект и использовать технологию 3D-сканирования для создания реплики сетчатой модели объекта. Какой бы ни была стратегия, конечная цель состоит в том, чтобы получить как реальный 3D-объект, так и соответствующую виртуальную модель сетки 3D-объекта. Следует отметить, что описанный здесь подход работает только с жесткими (т.е. недеформируемыми) объектами.
После того, как 3D-поверхность объекта доступна в виде сетчатой модели, ее положение должно быть отслежено и совместно зарегистрировано (рис. 1C). Для этого к поверхности реального объекта прикрепляются четыре неплоских светоотражающих маркера, и объект помещается в объем слежения. Затем кратко фиксируются 3D-положения маркеров объектов. Этот захват используется для установления соответствия между четырьмя маркерами и четырьмя вершинами модели сетки объекта. Это делается с помощью простого специального программного маршрута, написанного в API Python Blender. В Blender's Viewport программа представляет виртуальный объект вместе с позициями маркеров, которые представлены в виде единого сетчатого объекта, состоящего из одной сферы для каждого маркера. Затем пользователь может поворачивать и переводить объект и/или маркеры, чтобы выровнять их таким образом, чтобы они совпали с реальными маркерами, размещенными на реальном объекте. Программа зарегистрирует вращения и перемещение, которые применяются для вычисления одного ротационного перемещения, которое, наконец, применяется к исходной сетке объекта, обеспечивая сетку объекта, которая регистрируется совместно с определением твердого тела в QTM.
Установив соответствие, всякий раз, когда реальный объект перемещается в пределах отслеживаемого объема, виртуальный объект может быть помещен в новое положение, вычислив ротационное перемещение между отслеживаемыми маркерами и четырьмя соответствующими вершинами сетки. Вместо этого для записи динамики захвата в общей сложности 24 сферических светоотражающих маркера прикреплены к различным ориентирам руки с помощью двустороннего скотча (рис. 1D и рис. 2).
В начале испытания (рис. 1E) участник кладет руку на верстак ладонью вниз и закрывает глаза. Экспериментатор помещает целевой объект на верстак перед участником. Затем звуковой сигнал сигнализирует участнику, чтобы он открыл глаза и выполнил захват. В наших демонстрациях задача состоит в том, чтобы дотянуться и схватить целевой объект, поднять его вертикально примерно на 10 см, опустить и вернуть руку в исходное положение. Эксперимент управляется сценарием, написанным на Python 3.7. В каждом испытании сценарий выбирает и сообщает экспериментатору текущие настройки условий (например, идентификацию и позиционирование объекта). Сценарий также управляет временем пробного периода, включая слуховые сигналы, а также начало и остановку записи захвата движения.
Конечности характеризуются не только их положением в 3D-пространстве, но и их позой. Таким образом, чтобы получить полную 3D-реконструкцию человеческой руки, выполняющей реальный захват, нам требуются не только положения каждого сустава в 3D-пространстве, но и относительное положение (перемещение и вращение) каждого сустава по отношению к его родительскому суставу (рис. 1F). Положение и ориентация скелетных суставов могут быть выведены из положения маркеров с использованием обратной кинематики. Для этого здесь мы используем решатель скелетов, предоставляемый программным обеспечением QTM. Чтобы решатель работал, мы должны сначала предоставить определение скелета, которое связывает положение и ориентацию каждого сустава с несколькими позициями маркеров. Таким образом, строится определение скелета, и скелетная установка связывается с данными маркера с помощью плагина QTM Connect для Maya. Мы создаем персонализированные определения скелета для каждого участника, чтобы максимально точно скелет соответствовал данным маркера. Для каждого участника мы вручную подгоняем скелет руки к одному кадру данных захвата движения. Получив определение скелета для конкретного участника, мы затем запускаем решатель скелета, чтобы оценить позы скелетных суставов для каждого кадра каждого испытания в эксперименте.
Для каждого кадра каждого испытания в эксперименте мы генерируем ручную сетку, которая реконструирует текущую позу руки с помощью предварительно обученного инструмента генерации ручной сетки с открытым исходным кодом DeepHandMesh28 (рис. 1G). DeepHandMesh — это глубокая сеть кодировщиков-декодеров, которая генерирует персонализированные ручные сетки из изображений. Во-первых, кодировщик оценивает положение руки на изображении (т. е. суставные углы Эйлера). Затем предполагаемая поза руки и персонализированный вектор идентификатора вводятся в декодер, который оценивает набор из трех аддитивных корректирующих элементов для сфальсифицированной сетки шаблона. Наконец, сетка шаблона деформируется в соответствии с предполагаемой позой руки и корректирующими факторами с использованием линейного смешивания кожи. Первая коррекция представляет собой ID-зависимую коррекцию скелета, с помощью которой скелетная установка настраивается для включения специфических для человека положений суставов. Два других корректирующих элемента представляют собой сетчатые коррективы, с помощью которых вершины сетки корректируются, чтобы лучше представлять поверхность руки участника. Одним из корректирующих факторов сетки является коррекция сетки, зависящая от идентификатора, которая учитывает структуру поверхности руки отдельного участника. Окончательная коррекция сетки вместо этого представляет собой коррекцию вершины, зависящую от позы, которая учитывает деформации поверхности руки из-за текущей позы руки.
DeepHandMesh обучается с использованием слабого надзора с 2D-совместными ключевыми точками и картами глубины сцены. Здесь мы используем только предварительно обученный декодер DeepHandMesh для создания реконструкций ручной сетки, модифицированных следующими способами (рис. 3). Во-первых, поскольку сеть не обучается на конкретных участниках, используется универсальная коррекция сетки, зависящая от идентификатора, поставляемая с предварительно обученной моделью (рис. 3A). Кроме того, ID-зависимая коррекция скелета выводится с использованием скелетного решателя QTM, как описано выше (рис. 3B). Предполагается пропорциональное масштабирование руки с длиной скелета, а толщина сетки равномерно масштабируется с помощью коэффициента, полученного из относительного масштабирования скелета, так что сетка лучше приближается к размеру руки участника (рис. 3C). Эта модифицированная сетка вводится в декодер вместе с текущим положением руки (полученным из данных маркера), а также 3D-положением и ориентацией запястья. Таким образом, декодер вычисляет текущую коррекцию, зависящую от позы, применяет все коррекции и ротационные перемещения и выводит 3D-реконструкцию ручной сетки текущей позы руки в той же системе координат, что и сетка 3D-отслеживаемого объекта (рис. 3D).
Рисунок 3: Модификации предварительно обученного декодера DeepHandMesh . (A) Исправлена, универсальная коррекция сетки, зависящая от идентификатора. (B) ID-зависимая коррекция скелета, полученная с помощью обратной кинематики на шаге 10. (C) Размер кистевой сетки определяется по тому же коэффициенту, что и скелетные суставы. (D) Окончательная 3D-реконструкция текущей позы рук. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.
Реконструировав 3D-модели сетки как для руки участника, так и для захваченного объекта, области контакта руки с объектом можно оценить, вычислив пересечение между сетками руки и объекта (рис. 1H). Предположение, стоящее за этим, заключается в том, что настоящая рука деформируется при контакте с поверхностью, а это означает, что скелет может подойти ближе к поверхности, чем это было бы возможно, если бы рука была жесткой, что позволяет частям ручной сетки проходить через сетку объекта. В результате области контакта могут быть аппроксимированы как области перекрытия между двумя сетками.
В частности, чтобы вычислить эти области перекрытия, мы определяем вершины сетки объектов, которые содержатся в 3D-объеме ручной сетки, как находящиеся в контакте с рукой. Эти вершины идентифицируются с использованием стандартного подходатрассировки лучей 45. Для каждой вершины сетки объектов луч отбрасывается от этой вершины к произвольной 3D-точке за пределами ручной сетки. Затем мы оцениваем количество пересечений, которые происходят между литым лучом и треугольниками, составляющими поверхность руки. Если число пересечений нечетное, то вершина объекта содержится внутри ручной сетки. Если число пересечений четное, то вершина объекта находится за пределами ручной сетки. Таким образом, контактные области на поверхности объекта могут быть аппроксимированы как набор граней треугольника, вершины которых содержатся в ручной сетке. Мы можем применить то же самое обоснование к вершинам ручной сетки, содержащимся в 3D-объеме сетки объекта, для оценки областей контакта на поверхности руки. Примечательно, что можно было бы использовать и более продвинутые подходы к логическим сетчатым операциям31.
На видео 1 показано видео, на котором рука, отслеживаемые точки и совместно зарегистрированная сетка движутся бок о бок во время одного захвата фигурки кошки, напечатанной на 3D-принтере. Вместо этого на рисунке 4A показан один кадр в момент контакта руки с объектом от захвата до круассана, напечатанного на 3D-принтере, вместе с реконструкциями сетки рука и объект (рис. 4B) и предполагаемыми областями контакта на поверхности круассана (рис. 4C).
Рисунок 4: Предполагаемые области контакта рук с предметом. (A) Отслеживаемая рука и объект, просматриваемые с одной из камер слежения во время захвата. (B) Реконструированная сетка рук и сетка отслеживаемого объекта, визуализированная с той же точки обзора, что и камера слежения. (C) Контактные области на поверхности объекта, видимые с нескольких точек зрения. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.
Видео 1: Сетчатые реконструкции руки и предмета. Gif-анимация руки, отслеживаемых маркеров и реконструкции сетки рук и объектов во время одного захвата, просматриваемого с одной и той же точки зрения камеры. Пожалуйста, нажмите здесь, чтобы загрузить это видео.
Предложен метод, позволяющий оценить области контакта при взаимодействии рук с объектами при многозначных захватах. Поскольку полное отслеживание всей поверхности руки в настоящее время трудноразрешимо, мы предлагаем использовать реконструкцию ручной сетки, поза которой определяется редкими ключевыми точками на руке. Для отслеживания этих разреженных ключевых точек в нашем решении используется система захвата движения исследовательского уровня, основанная на пассивном отслеживании маркеров. Конечно, с предлагаемым методом можно использовать и другие системы захвата движения, при условии, что они дают достаточно точные 3D-данные о местоположении. Мы не рекомендуем использовать активные системы захвата движения маркеров (такие как популярный, но снятый с производства Optotrak Certus), поскольку они требуют прикрепления кабелей и/или электронных устройств к рукам участников, что может ограничивать движения или, по крайней мере, давать менее типичные захваты, поскольку участники более сознательно осознают позу своих рук. Перчатки для отслеживания движения с использованием инерциальных измерительных блоков могут быть возможны, хотя эти системы, как известно, страдают от дрейфа, могут также ограничивать движения рук и не позволяют поверхности руки вступать в полный и прямой контакт с поверхностями объекта. Коммерческие решения для отслеживания рук без маркеров (например, Leap Motion46,47,48) также могут быть возможны, хотя может быть невозможно отслеживать положение объектов только с помощью этих систем. Наиболее перспективным альтернативным вариантом системы захвата движения исследовательского уровня являются решения для отслеживания без маркеров с открытым исходным кодом (например, Mathis et al.28). При использовании с несколькими совместно зарегистрированными камерами49 такие системы потенциально могут отслеживать положения суставов рук и объекты в 3D без необходимости использования маркеров, перчаток или кабелей. Однако эти решения, а также эта система на основе маркеров могут страдать от проблем с потерей данных из-за окклюзии.
Ограничения и будущие направления
Поскольку ручные реконструкции, полученные с помощью этого метода, не будут полностью точными, существуют некоторые ограничения на типы экспериментов, для которых следует использовать этот метод. Отклонения в реконструкциях ручной сетки от наземной истины будут проявляться в отклонениях в предполагаемых областях контакта рук с объектом. Таким образом, применение этого метода для получения абсолютных показателей потребует оценки точности оценок контактного региона. Тем не менее, даже приблизительные оценки все еще могут быть полезны в экспериментальных проектах внутри участников, потому что потенциальные смещения метода, вероятно, будут влиять на различные экспериментальные условия внутри участника аналогичным образом. Поэтому статистический анализ и выводы должны проводиться только по таким показателям, как различия в площади контакта между условиями, где направление эффекта будет коррелировать с соответствующей основной истиной. В будущих исследованиях мы планируем дополнительно проверить наш подход, например, сравнивая оценки области контакта с тепловыми отпечатками пальцев на объектах, покрытых термохромной краской.
Большинство этапов обработки, начиная со сбора данных и заканчивая окончательной оценкой области контакта, полностью автоматизированы и, таким образом, вносят важный вклад в стандартизированную процедуру оценки области контакта с ручным объектом. Тем не менее, первоначальная подгонка индивидуализированных скелетов к 3D-позициям отслеживаемых маркеров по-прежнему должна выполняться вручную, чтобы получить определение скелета для каждого участника. По мере увеличения числа участников эксперимента увеличивается и количество ручных подгонок, и в настоящее время это самый трудоемкий этап процедуры, требующий некоторого знакомства с ручной оснасткой в программном обеспечении Autodesk Maya. В будущем мы стремимся автоматизировать этот шаг, чтобы избежать влияния человека на процедуру, добавив автоматическую процедуру калибровки скелета.
Рабочий процесс, описанный здесь, основан на аппаратном и программном обеспечении Qualisys (например, решателе скелета QTM). В настоящее время это ограничивает доступность нашего метода для лабораторий, которые имеют аналогичную установку. В принципе, однако, метод может быть применен к любому источнику данных захвата движения. Чтобы расширить доступность, в текущей работе мы изучаем альтернативы, которые должны обобщить наш рабочий процесс и сделать его менее зависимым от конкретных лицензий на оборудование и программное обеспечение.
Другим важным ограничением метода является то, что в его нынешнем виде он может быть применен только к жестким (недеформируемым) объектам. В будущем это ограничение может быть преодолено с помощью методов регистрации формы поверхности захваченного объекта по мере его деформации. Кроме того, из-за своего приблизительного характера метод в настоящее время не очень хорошо подходит для очень маленьких или тонких объектов.
В заключение, интегрируя современное отслеживание движения с высокоточным моделированием поверхности руки, мы предлагаем метод оценки областей контакта руки с объектом во время захвата и манипуляций. В будущих исследованиях мы планируем использовать этот метод для изучения и моделирования визуально управляемого хватательного поведения у людей16. В дальнейшем мы планируем интегрировать эти инструменты с айтрекингом 46,50,51,52 и системами виртуальной/дополненной реальности 53,54,55 для исследования визуально управляемого моторного управления движением рук и глаз в реальных и виртуальных натуралистических средах 18,46,56,57 . По этим причинам предложенный метод может представлять интерес для исследователей, изучающих тактильное восприятие58, моторный контроль и взаимодействие человека с компьютером в виртуальной и дополненной реальности. Наконец, точные измерения хватательных способностей человека могут помочь в разработке надежных роботизированных систем, основанных на принципах интерактивного восприятия 39,40,41,42,43, и могут иметь трансляционное применение для протезирования верхних конечностей.
Авторы заявляют об отсутствии конкурирующих интересов.
Это исследование финансировалось Deutsche Forschungsgemeinschaft (DFG, Немецкое научно-исследовательское общество: проект No 222641018-SFB/TRR 135 TP C1 и IRTG-1901 «Мозг в действии») и исследовательским кластером «Адаптивный разум», финансируемым Программой передового опыта Министерства высшего образования, науки, исследований и искусства Гессена. Авторы благодарят команду поддержки Qualisys, в том числе Матиаса Банкея и Джеффри Тингволда, за помощь в разработке наших методов. Авторы также благодарят Микаэлу Йешке за то, что она позировала в качестве ручной модели. Все данные и сценарии анализа для воспроизведения метода и результатов, представленных в рукописи, доступны на Zenodo (doi: 10.5281/zenodo.7458911).
Name | Company | Catalog Number | Comments |
Anaconda Python distribution | (Anaconda 5.3.1 or later); https://repo.anaconda.com/archive/ | scripts and functions were generated in Python version 3.7 | |
Autodesk Maya | Autodesk, Inc. | Maya2022; https://www.autodesk.com/products/maya/overview | 3D computer graphics application. |
Blender | Blender Foundation | Blender 2.92; https://download.blender.org/release/ | 3D computer graphics application. |
Computer Workstation | N/A | N/A | OS: Windows 10 or higher. |
DeepHandMesh | Meta Platforms, Inc. (Meta Open Source) | https://github.com/facebookresearch/DeepHandMesh | Pre-trained hand mesh generation tool. |
Miqus M5 | Qualisys Ab | https://www.qualisys.com/cameras/miqus/ | Passive marker motion tracking camera (8 units). |
Miqus video camera | Qualisys Ab | https://www.qualisys.com/cameras/miqus-video/ | Color video camera, synchronized with Miquis M5 tracking cameras (6 units). |
Project repository | N/A | Data and Code Repository | Data and code to replicate the current project. The repository is currently under construction, but we provide a private link where reviewers can download the current and most up-to-date version of the repository. The final repository will be made publicly available upon acceptance. |
Python 3 | Python Software Foundation | Python Version 3.7 | Python3 and associated built-in libraries. |
QTM Connect for Maya | Qualisys Ab | https://github.com/qualisys/QTM-Connect-For-Maya | Stream skeleton, rigid bodies and marker data from QTM to Maya |
QTM Qualisys Track Manager | Qualisys Ab | Qualisys Track Manager 2021.2; https://www.qualisys.com/software/qualisys-track-manager/ | Motion capture software |
Qualisys SDK for Python | Qualisys Ab | https://github.com/qualisys/qualisys_python_sdk | Implements communication between QTM and Python |
Request permission to reuse the text or figures of this JoVE article
Request PermissionExplore More Articles
This article has been published
Video Coming Soon
ABOUT JoVE
Copyright © 2025 MyJoVE Corporation. All rights reserved