Method Article
Quando agarramos um objeto, várias regiões dos dedos e da mão normalmente entram em contato com a superfície do objeto. Reconstruir essas regiões de contato é um desafio. Aqui, apresentamos um método para estimar aproximadamente as regiões de contato combinando captura de movimento baseada em marcadores com reconstrução de malha manual baseada em aprendizado profundo existente.
Para agarrar um objeto com sucesso, devemos selecionar regiões de contato apropriadas para nossas mãos na superfície do objeto. No entanto, identificar essas regiões é um desafio. Este documento descreve um fluxo de trabalho para estimar as regiões de contato a partir de dados de rastreamento baseados em marcadores. Os participantes agarram objetos reais, enquanto rastreamos a posição 3D dos objetos e da mão, incluindo as articulações dos dedos. Primeiro, determinamos os ângulos de Euler articulares a partir de uma seleção de marcadores rastreados posicionados no dorso da mão. Em seguida, usamos algoritmos de reconstrução de malha manual de última geração para gerar um modelo de malha da mão do participante na pose atual e na posição 3D.
O uso de objetos que foram impressos em 3D ou digitalizados em 3D - e, portanto, estão disponíveis como objetos reais e dados de malha - permite que as malhas da mão e do objeto sejam co-registradas. Por sua vez, isso permite estimar regiões de contato aproximadas por meio do cálculo das interseções entre a malha manual e a malha de objetos 3D co-registrada. O método pode ser usado para estimar onde e como os seres humanos agarram objetos sob uma variedade de condições. Portanto, o método pode ser de interesse para pesquisadores que estudam percepção visual e háptica, controle motor, interação humano-computador em realidade virtual e aumentada e robótica.
A capacidade de apreender e manipular objetos é uma habilidade chave que permite aos seres humanos remodelar o ambiente de acordo com seus desejos e necessidades. No entanto, controlar mãos multiarticuladas de forma eficaz é uma tarefa desafiadora que requer um sofisticado sistema de controle. Este sistema de controle motor é guiado por várias formas de entrada sensorial, entre as quais a visão é fundamental. Através da visão, os indivíduos podem identificar os objetos no ambiente e estimar sua posição e propriedades físicas, podendo então alcançar, agarrar e manipular esses objetos com facilidade. Compreender o complexo sistema que liga a entrada nas retinas com os comandos motores que controlam as mãos é um desafio fundamental da neurociência sensório-motora. Para modelar, prever e entender como esse sistema funciona, primeiro devemos ser capazes de estudá-lo em detalhes. Isso requer medições de alta fidelidade de entradas visuais e saídas de motores manuais.
A tecnologia de rastreamento de movimento do passado impôs uma série de limitações ao estudo da apreensão humana. Por exemplo, sistemas que requerem cabos presos às mãos dos participantes1,2 tendem a restringir a amplitude de movimentos dos dedos, potencialmente alterando os movimentos de preensão ou as próprias medidas. Apesar dessas limitações, pesquisas anteriores conseguiram identificar vários fatores que influenciam a preensão guiada visualmente. Alguns desses fatores incluem a forma do objeto 3,4,5,6, a rugosidade superficial 7,8,9 ou a orientação de um objeto em relação à mão 4,8,10. No entanto, para superar limitações tecnológicas anteriores, a maioria das pesquisas anteriores empregou estímulos simples e tarefas altamente restritas, focando predominantemente fatores individuais 3,4,6,7,10, pegas de precisão de dois dígitos 3,4,6,9,11,12, 13,14,15,16,17,18, objetos únicos19, ou formas 2D muito simples 20,21. Como as descobertas anteriores se generalizam além de tais condições de laboratório reduzidas e artificiais é desconhecido. Além disso, a medida do contato mão-objeto é frequentemente reduzida à estimativa de pontos de contato dígitos22. Essa simplificação pode ser apropriada para descrever um pequeno subconjunto de preensões em que apenas as pontas dos dedos estão em contato com um objeto. No entanto, na maioria das captações do mundo real, extensas regiões dos dedos e da palma da mão entram em contato com um objeto. Além disso, um estudo recente23 demonstrou, usando uma luva háptica, que os objetos podem ser reconhecidos pela forma como sua superfície colide com a mão. Isso ressalta a importância de se estudar as regiões de contato estendidas entre as mãos e os objetos apreendidos, e não apenas os pontos de contato entre os objetos e as pontas dos dedos22.
Avanços recentes em captura de movimento e modelagem manual 3D nos permitiram superar limitações anteriores e estudar a preensão em toda a sua complexidade. O rastreamento de movimento passivo baseado em marcadores está agora disponível com marcadores de tamanho milimétrico que podem ser fixados no dorso das mãos do participante para rastrear os movimentos articulares24. Além disso, algoritmos de identificação automática de marcadores para sistemas de marcadores passivos são agora suficientemente robustos para quase eliminar a necessidade do extenso pós-processamento manual de dados de marcadores25,26,27. As soluções sem marcadores também estão atingindo níveis impressionantes de desempenho no rastreamento de partes do corpo de animais em vídeos28. Esses métodos de rastreamento de movimento, portanto, finalmente permitem medidas confiáveis e não invasivas de movimentos complexos de mãos com vários dígitos24. Tais medidas podem nos informar sobre a cinemática articular e nos permitir estimar os pontos de contato entre a mão e um objeto. Além disso, nos últimos anos, a comunidade de visão computacional vem enfrentando o problema da construção de modelos das mãos humanas que possam replicar as deformações dos tecidos moles durante a apreensão de objetos e até mesmo durante o autocontato entre as partes da mão 29,30,31,32. Tais reconstruções em malha 3D podem ser derivadas de diferentes tipos de dados, como filmagens de vídeo 33,34, articulações esqueléticas (derivadas de rastreamento baseado em marcadores 35 ou rastreamento sem marcadores36) e imagens de profundidade 37. O primeiro avanço importante nesse domínio foi fornecido por Romero et al.38, que derivaram um modelo paramétrico de mão (MANO) a partir de mais de 1.000 varreduras manuais de 31 sujeitos em várias poses. O modelo contém parâmetros tanto para a pose quanto para a forma da mão, facilitando a regressão de diferentes fontes de dados para uma reconstrução completa da mão. A solução mais recente do DeepHandMesh29 se baseia nessa abordagem, construindo um modelo parametrizado por meio de aprendizado profundo e adicionando prevenção de penetração, que replica com mais precisão as interações físicas entre as partes da mão. Ao combinar essas reconstruções de malha manual com malhas de objetos rastreados em 3D, agora é possível estimar regiões de contato não apenas na superfície dos objetos32, mas também na superfície da mão.
Aqui, propomos um fluxo de trabalho que reúne o rastreamento 3D de alta fidelidade de objetos e articulações manuais com novos algoritmos de reconstrução de malha manual. O método produz mapas detalhados de superfícies de contato mão-objeto. Essas medidas ajudarão os neurocientistas sensório-motores a estender nossa compreensão teórica da apreensão visual humana. Além disso, o método pode ser útil para pesquisadores de áreas adjacentes. Por exemplo, pesquisadores do fator humano podem usar esse método para construir melhores sistemas de interface homem-máquina em realidade virtual e aumentada18. Medidas de alta fidelidade de comportamentos de preensão humana também podem auxiliar roboticistas a projetar sistemas robóticos de preensão inspirados em humanos baseados nos princípios da percepção interativa 39,40,41,42,43. Esperamos, portanto, que este método ajude a avançar a pesquisa de apreensão em campos de neurociência e engenharia, desde descrições esparsas de tarefas altamente restritas até caracterizações mais completas de comportamentos de apreensão naturalistas com objetos complexos e tarefas do mundo real. A abordagem geral é descrita na Figura 1.
Figura 1: Principais passos do método proposto . (A) As câmeras de captura de movimento visualizam uma bancada de trabalho de vários ângulos. (B) Um objeto de estímulo é impresso em 3D a partir de um modelo de malha triangulada. (C) Quatro marcadores reflexivos esféricos são colados na superfície do objeto real. Um procedimento semi-automatizado identifica quatro pontos correspondentes na superfície do objeto de malha. Essa correspondência nos permite traduzir roto-o o modelo de malha para a posição rastreada em 3D do objeto real. (D) Marcadores reflexivos são fixados em diferentes pontos de referência no dorso da mão do participante usando fita dupla face. (E) O sistema de captura de movimento adquire as trajetórias no espaço 3D do objeto rastreado e marcadores manuais durante uma única tentativa. (F) Um esqueleto de mão específico do participante é construído usando software de computação gráfica 3D. As poses das articulações esqueléticas são então estimadas para cada quadro de cada ensaio em um experimento através da cinemática inversa. (G) As poses conjuntas são inseridas para uma versão modificada do DeepHandMesh29, que produz uma malha manual 3D estimada na pose e posição 3D atuais. (H) Finalmente, usamos a interseção de malha para calcular as regiões de contato mão-objeto. Clique aqui para ver uma versão maior desta figura.
Antes de iniciar um experimento, os participantes devem fornecer consentimento informado de acordo com as diretrizes institucionais e a Declaração de Helsinque. Todos os protocolos aqui descritos foram aprovados pelo comitê de ética local da Justus Liebig University Giessen (LEK-FB06).
1. Instalação de todo o software necessário
2. Preparação do sistema de captura de movimento
3. Calibrando as câmeras
4. Criando um objeto de estímulo
5. Preparação do objeto de estímulo
6. Co-registro das versões real e do modelo de malha do objeto de estímulo
7. Configuração de marcadores nas mãos
Figura 2: Posicionamento do marcador na mão do participante. Abreviação: RH = mão direita. Clique aqui para ver uma versão maior desta figura.
8. Aquisição de um único teste
9. Rotulagem dos marcadores
10. Criação de uma definição de esqueleto personalizada para o participante
11. Reconstruir as posturas da articulação esquelética
12. Geração de reconstruções de malha manual
13. Geração de estimativas de região de contato mão-objeto
O primeiro requisito para o método proposto é um sistema para rastrear com precisão a posição de objetos 3D e mãos. A configuração específica é mostrada na Figura 1A e utiliza hardware e software produzidos pela empresa de captura de movimento Qualisys. Posicionamos uma bancada de trabalho dentro de um volume de rastreamento (100 cm x 100 cm x 100 cm), que é fotografado de vários ângulos por oito câmeras de rastreamento e seis câmeras de vídeo dispostas em um quadro cúbico ao redor do espaço de trabalho. As câmeras de rastreamento rastreiam a posição 3D dos marcadores reflexivos dentro do volume de rastreamento a 180 quadros / s e com resolução espacial 3D submilimétrica. Empregamos marcadores refletivos de 4 mm, que são fixados aos objetos e às mãos usando fita adesiva dupla face amigável para a pele. As posições do marcador 3D são processadas pelo software de captura de movimento. A seção de discussão também revisa sistemas alternativos de captura de movimento que poderiam ser empregados com o método proposto.
Para obter reconstruções 3D precisas de objetos reais sendo apreendidos e manipulados, propomos duas opções. A primeira, que é a adotada aqui, é partir de um modelo de objeto 3D virtual na forma de uma malha poligonal. Tais modelos 3D podem ser construídos usando software apropriado (por exemplo, Blender 3D44) e, em seguida, impressos em 3D (Figura 1B). A segunda opção é pegar um objeto 3D real existente e usar a tecnologia de digitalização 3D para construir uma réplica de modelo de malha do objeto. Seja qual for a estratégia, o objetivo final é obter um objeto 3D real e o modelo de malha de objeto 3D virtual correspondente. Vale ressaltar que a abordagem descrita aqui funciona apenas com objetos rígidos (ou seja, não deformáveis).
Uma vez que a superfície 3D de um objeto esteja disponível como um modelo de malha, sua posição deve ser rastreada e co-registrada (Figura 1C). Para fazer isso, quatro marcadores reflexivos não planares são anexados à superfície do objeto real, e o objeto é colocado dentro do volume de rastreamento. As posições 3D dos marcadores de objeto são então brevemente capturadas. Essa captura é usada para estabelecer a correspondência entre os quatro marcadores e os quatro vértices do modelo de malha de objetos. Isso é feito usando uma rota de software ad hoc simples escrita na API Python do Blender. Dentro do Viewport do Blender, o programa apresenta o objeto virtual juntamente com as posições do marcador que são representadas como um único objeto de malha composto por uma esfera para cada marcador. O usuário pode então girar e traduzir o objeto e/ou os marcadores para alinhá-los de modo que eles co-alinhem com os marcadores reais colocados no objeto real. O programa registrará as rotações e translações que são aplicadas para calcular uma única roto-tradução que é finalmente aplicada à malha de objeto original, fornecendo uma malha de objeto que é co-registrada com a definição de corpo rígido no QTM.
Tendo a correspondência estabelecida, sempre que o objeto real é movido dentro do volume de rastreamento, o objeto virtual pode ser colocado na nova posição calculando a roto-tradução entre os marcadores rastreados e os quatro vértices de malha correspondentes. Para registrar a dinâmica da preensão, um total de 24 marcadores reflexivos esféricos são fixados em diferentes pontos da mão usando fita dupla face (Figura 1D e Figura 2).
No início de uma tentativa (Figura 1E), o participante coloca a mão apoiada na bancada com a palma da mão voltada para baixo e fecha os olhos. O experimentador coloca um objeto alvo na bancada de trabalho na frente do participante. Em seguida, uma pista auditiva sinaliza para que o participante abra os olhos e execute a preensão. Em nossas demonstrações, a tarefa é alcançar e agarrar o objeto alvo, erguê-lo verticalmente por aproximadamente 10 cm, colocá-lo para baixo e retornar a mão à sua posição inicial. Um script escrito em Python 3.7 controla o experimento. Em cada teste, o script seleciona e comunica as configurações de condição atuais ao experimentador (por exemplo, identidade e posicionamento do objeto). O roteiro também controla o tempo do teste, incluindo pistas auditivas e o início e a parada das gravações de captura de movimento.
Os membros não são caracterizados apenas por sua posição no espaço 3D, mas também por sua pose. Assim, para obter uma reconstrução 3D completa de uma mão humana executando uma preensão real, precisamos não apenas das posições de cada articulação no espaço 3D, mas também da posição relativa (translação e rotação) de cada articulação em relação à sua articulação pai (Figura 1F). As posições e orientações das articulações esqueléticas podem ser inferidas a partir das posições dos marcadores usando cinemática inversa. Para isso, aqui empregamos o solucionador de esqueleto fornecido pelo software QTM. Para que o solucionador funcione, devemos primeiro fornecer uma definição de esqueleto que ligue a posição e a orientação de cada articulação a várias posições de marcador. Uma definição de esqueleto é, portanto, construída, e a plataforma de esqueleto é ligada aos dados do marcador usando o plugin QTM Connect para Maya. Criamos definições de esqueleto personalizadas para cada participante para maximizar a precisão dos ajustes do esqueleto aos dados do marcador. Para cada participante, ajustamos manualmente um esqueleto de mão a um único quadro de dados de captura de movimento. Tendo obtido uma definição de esqueleto específica do participante, executamos o solucionador de esqueleto para estimar as poses da articulação esquelética para cada quadro de cada ensaio no experimento.
Para cada quadro de cada ensaio em um experimento, geramos uma malha manual que reconstrói a pose atual da mão usando a ferramenta de geração de malha manual de código aberto e pré-treinada, DeepHandMesh28 (Figura 1G). DeepHandMesh é uma rede codificadora-decodificadora profunda que gera malhas manuais personalizadas a partir de imagens. Primeiro, o codificador estima a pose de uma mão dentro de uma imagem (ou seja, os ângulos de Euler conjuntos). Em seguida, a pose de mão estimada e um vetor de identificação personalizado são inseridos no decodificador, que estima um conjunto de três corretivos aditivos para uma malha de modelo manipulada. Finalmente, a malha do molde é deformada de acordo com a postura estimada da mão e corretivos usando esfolamento de mistura linear. O primeiro corretivo é um corretivo de esqueleto dependente de ID através do qual a plataforma esquelética é ajustada para incorporar as posições conjuntas específicas da pessoa. Os outros dois corretivos são corretivos de malha através dos quais os vértices de malha são ajustados para melhor representar a superfície da mão do participante. Um dos corretivos de malha é um corretivo de malha dependente de ID que responde pela estrutura de superfície da mão de um participante individual. O corretivo de malha final é um corretivo de vértice dependente da pose que explica as deformações da superfície da mão devido à atual postura da mão.
O DeepHandMesh é treinado usando supervisão fraca com pontos-chave de articulação 2D e mapas de profundidade de cena. Aqui, usamos apenas o decodificador DeepHandMesh pré-treinado para gerar reconstruções de malha manual, modificadas das seguintes maneiras (Figura 3). Primeiro, como a rede não é treinada em participantes específicos, o corretivo genérico de malha dependente de ID fornecido com o modelo pré-treinado é empregado (Figura 3A). Além disso, o corretivo de esqueleto dependente de ID é derivado usando o solucionador de esqueleto QTM conforme descrito acima (Figura 3B). Assume-se a escala proporcional da mão com o comprimento do esqueleto, e a espessura da malha é uniformemente dimensionada por um fator derivado da escala relativa do esqueleto de modo que a tela se aproxime melhor do tamanho da mão do participante (Figura 3C). Esta malha modificada é introduzida no descodificador, juntamente com a posição atual da mão (derivada dos dados do marcador) e a posição e orientação 3D do pulso. O decodificador, portanto, calcula o corretivo dependente da pose atual, aplica todos os corretivos e roto-traduções, e produz uma reconstrução de malha manual 3D da pose de mão atual no mesmo quadro de coordenadas que a malha de objeto rastreado 3D (Figura 3D).
Figura 3: Modificações no decodificador DeepHandMesh pré-treinado . (A) Corretivo de malha fixo, genérico dependente de ID. (B) Corretivo de esqueleto dependente de ID derivado através de cinemática inversa na etapa 10. (C) O tamanho da malha manual é dimensionado pelo mesmo fator que as articulações esqueléticas. (D) Reconstrução final em malha manual 3D da atual postura da mão. Clique aqui para ver uma versão maior desta figura.
Tendo reconstruído modelos de malha 3D tanto para a mão de um participante quanto para um objeto agarrado, as regiões de contato mão-objeto podem ser estimadas calculando-se a intersecção entre as malhas da mão e do objeto (Figura 1H). A suposição por trás disso é que a mão real é deformada pelo contato com a superfície, o que significa que o esqueleto pode se aproximar mais da superfície do que seria possível se a mão fosse rígida, o que permite que partes da malha da mão passem pela malha do objeto. Como resultado, as áreas de contato podem ser aproximadas como as regiões de sobreposição entre as duas malhas.
Especificamente, para calcular essas regiões de sobreposição, definimos vértices de malha de objeto que estão contidos no volume 3D da malha da mão como estando em contato com a mão. Esses vértices são identificados usando uma abordagem padrão de raytracing45. Para cada vértice da malha do objeto, um raio é lançado desse vértice para um ponto 3D arbitrário fora da malha manual. Em seguida, avaliamos o número de interseções que ocorrem entre o raio fundido e os triângulos que compõem a superfície da mão. Se o número de interseções for ímpar, o vértice do objeto estará contido dentro da malha manual. Se o número de interseções for par, o vértice do objeto estará fora da malha manual. As regiões de contato na superfície do objeto podem, assim, ser aproximadas como o conjunto de faces triangulares cujos vértices estão todos contidos na malha manual. Podemos aplicar o mesmo raciocínio aos vértices da malha manual contidos no volume 3D da malha do objeto para estimar as regiões de contato na superfície da mão. Notavelmente, abordagens mais avançadas para operações de malha booleana também poderiam ser usadas31.
O vídeo 1 mostra um vídeo de uma mão, pontos rastreados e malha co-registrada, todos se movendo lado a lado durante uma única pegada para uma estatueta de gato impressa em 3D. Em vez disso, a Figura 4A mostra um único quadro no momento do contato mão-objeto de uma pega para um croissant impresso em 3D, juntamente com as reconstruções de malha mão-objeto (Figura 4B) e as regiões de contato estimadas na superfície do croissant (Figura 4C).
Figura 4: Regiões estimadas de contato mão-objeto. (A) Mão rastreada e objeto visualizado de uma das câmeras de rastreamento durante uma pegada. (B) Malha manual reconstruída e malha de objeto rastreada renderizada do mesmo ponto de vista da câmera de rastreamento. (C) Regiões de contato na superfície do objeto vistas de múltiplos pontos de vista. Clique aqui para ver uma versão maior desta figura.
Vídeo 1: Reconstruções de malha da mão e do objeto. Animação Gif da mão, marcadores rastreados e reconstruções de malha de mão e objeto durante uma única pegada vista do mesmo ponto de vista da câmera. Clique aqui para baixar este vídeo.
Propomos um método que permite estimar regiões de contato para interações mão-objeto durante apreensão de múltiplos dígitos. Como o rastreamento completo de toda a superfície de uma mão é atualmente intratável, propomos o uso de uma reconstrução de uma malha de mão cuja pose é determinada por pontos-chave esparsos na mão. Para rastrear esses pontos-chave esparsos, nossa solução emprega um sistema de captura de movimento de nível de pesquisa baseado no rastreamento passivo de marcadores. Naturalmente, outros sistemas de captura de movimento também poderiam ser empregados com o método proposto, desde que produzam dados de posição 3D suficientemente precisos. Desaconselhamos sistemas ativos de captura de movimento com marcadores (como o popular, mas descontinuado Optotrak Certus), uma vez que estes requerem a fixação de cabos e/ou dispositivos eletrônicos às mãos dos participantes, o que pode restringir os movimentos ou, pelo menos, produzir agarrões menos típicos à medida que os participantes são tornados mais conscientes da pose de suas mãos. Luvas de rastreamento de movimento usando unidades de medida inerciais podem ser uma possibilidade, embora esses sistemas sejam conhecidos por sofrer de deriva, também podem restringir os movimentos das mãos e não permitem que a superfície da mão entre em contato total e direto com as superfícies dos objetos. Soluções comerciais de rastreamento manual sem marcadores (por exemplo, o Leap Motion46,47,48) também podem ser uma possibilidade, embora não seja possível rastrear posições de objetos apenas com esses sistemas. A opção alternativa mais promissora para um sistema de captura de movimento de nível de pesquisa é dada por soluções de rastreamento de código aberto e sem marcadores (por exemplo, Mathis et al.28). Se usados com várias câmeras co-registradas49, tais sistemas poderiam rastrear posições de juntas manuais e posições de objetos em 3D sem a necessidade de marcadores, luvas ou cabos. Estas soluções, bem como este sistema baseado em marcadores, podem sofrer, no entanto, de problemas de perda de dados devido a oclusões.
Limitações e direções futuras
Como as reconstruções manuais obtidas através deste método não serão totalmente precisas, existem algumas limitações para os tipos de experimentos para os quais o método deve ser usado. Desvios nas reconstruções de malha manual da verdade do solo se manifestarão em desvios nas regiões estimadas de contato mão/objeto. Assim, a aplicação desse método para derivar medidas absolutas exigiria avaliar a fidelidade das estimativas da região de contato. No entanto, mesmo estimativas aproximadas ainda podem ser úteis em desenhos experimentais intraparticipantes, porque os vieses potenciais do método provavelmente afetarão diferentes condições experimentais dentro de um participante de maneira semelhante. Portanto, análises estatísticas e inferências devem ser realizadas apenas em medidas como as diferenças de área de contato entre condições, onde a direção de um efeito se correlacionará com a respectiva verdade fundamental. Em pesquisas futuras, planejamos validar ainda mais nossa abordagem, por exemplo, comparando estimativas de regiões de contato com impressões digitais térmicas em objetos cobertos por tinta termocrômica.
A maioria das etapas de processamento, desde a coleta de dados até a estimativa da região de contato final, é totalmente automatizada e, portanto, oferece contribuições importantes para um procedimento padronizado de estimação da região de contato mão-objeto. No entanto, um ajuste inicial dos esqueletos individualizados às posições 3D dos marcadores rastreados ainda deve ser realizado manualmente para obter uma definição de esqueleto para cada participante. À medida que o número de participantes para um experimento aumenta, aumenta também o número de ajustes manuais, e esta é atualmente a etapa mais demorada do procedimento e requer alguma familiaridade com o rigging manual no Autodesk Maya Software. No futuro, pretendemos automatizar esta etapa para evitar a influência humana no procedimento, adicionando um procedimento automático de calibração do esqueleto.
O fluxo de trabalho descrito aqui depende do hardware e software da Qualisys (por exemplo, o QTM skeleton solver). Atualmente, isso limita a acessibilidade do nosso método a laboratórios que possuem uma configuração semelhante. Em princípio, no entanto, o método pode ser aplicado a qualquer fonte de dados de captura de movimento. Para expandir a acessibilidade, em trabalhos contínuos, estamos explorando alternativas que devem generalizar nosso fluxo de trabalho e torná-lo menos dependente de licenças específicas de hardware e software.
Outra limitação importante do método é que, em sua forma atual, ele só pode ser aplicado a objetos rígidos (não deformáveis). No futuro, essa limitação poderia ser superada usando métodos para registrar a forma da superfície do objeto apreendido à medida que ele se deforma. Além disso, devido à sua natureza aproximada, o método não é atualmente adequado para objetos muito pequenos ou finos.
Em conclusão, ao integrar o rastreamento de movimento de última geração com a modelagem de superfície manual de alta fidelidade, fornecemos um método para estimar as regiões de contato mão-objeto durante a preensão e manipulação. Em pesquisas futuras, planejamos implantar esse método para investigar e modelar o comportamento de preensão guiado visualmente em humanos16. Planejamos ainda integrar essas ferramentas com o rastreamento ocular 46,50,51,52 e sistemas de realidade virtual/aumentada 53,54,55 para investigar o controle motor dos movimentos oculares e das mãos guiados visualmente em ambientes naturalísticos reais e virtuais 18,46,56,57 . Por essas razões, o método proposto pode ser de interesse para pesquisadores que estudam percepção háptica58, controle motor e interação humano-computador em realidade virtual e aumentada. Finalmente, medidas precisas das habilidades de preensão humana podem informar o projeto de sistemas robóticos robustos baseados nos princípios da percepção interativa 39,40,41,42,43 e podem ter aplicações translacionais para próteses de membros superiores.
Os autores declaram que não existem interesses concorrentes.
Esta pesquisa foi financiada pela Deutsche Forschungsgemeinschaft (DFG, Fundação Alemã de Pesquisa: projeto No. 222641018-SFB/TRR 135 TP C1 e IRTG-1901 "The Brain in Action") e pelo Research Cluster "The Adaptive Mind" financiado pelo Programa de Excelência do Ministério Hessian de Ensino Superior, Ciência, Pesquisa e Arte. Os autores agradecem à equipe de suporte da Qualisys, incluindo Mathias Bankay e Jeffrey Thingvold, pelo auxílio no desenvolvimento de nossos métodos. Os autores também agradecem a Michaela Jeschke por posar como modelo de mão. Todos os dados e roteiros de análise para reproduzir o método e os resultados apresentados no manuscrito estão disponíveis no Zenodo (doi: 10.5281/zenodo.7458911).
Name | Company | Catalog Number | Comments |
Anaconda Python distribution | (Anaconda 5.3.1 or later); https://repo.anaconda.com/archive/ | scripts and functions were generated in Python version 3.7 | |
Autodesk Maya | Autodesk, Inc. | Maya2022; https://www.autodesk.com/products/maya/overview | 3D computer graphics application. |
Blender | Blender Foundation | Blender 2.92; https://download.blender.org/release/ | 3D computer graphics application. |
Computer Workstation | N/A | N/A | OS: Windows 10 or higher. |
DeepHandMesh | Meta Platforms, Inc. (Meta Open Source) | https://github.com/facebookresearch/DeepHandMesh | Pre-trained hand mesh generation tool. |
Miqus M5 | Qualisys Ab | https://www.qualisys.com/cameras/miqus/ | Passive marker motion tracking camera (8 units). |
Miqus video camera | Qualisys Ab | https://www.qualisys.com/cameras/miqus-video/ | Color video camera, synchronized with Miquis M5 tracking cameras (6 units). |
Project repository | N/A | Data and Code Repository | Data and code to replicate the current project. The repository is currently under construction, but we provide a private link where reviewers can download the current and most up-to-date version of the repository. The final repository will be made publicly available upon acceptance. |
Python 3 | Python Software Foundation | Python Version 3.7 | Python3 and associated built-in libraries. |
QTM Connect for Maya | Qualisys Ab | https://github.com/qualisys/QTM-Connect-For-Maya | Stream skeleton, rigid bodies and marker data from QTM to Maya |
QTM Qualisys Track Manager | Qualisys Ab | Qualisys Track Manager 2021.2; https://www.qualisys.com/software/qualisys-track-manager/ | Motion capture software |
Qualisys SDK for Python | Qualisys Ab | https://github.com/qualisys/qualisys_python_sdk | Implements communication between QTM and Python |
Solicitar permissão para reutilizar o texto ou figuras deste artigo JoVE
Solicitar PermissãoThis article has been published
Video Coming Soon
Copyright © 2025 MyJoVE Corporation. Todos os direitos reservados