Stima delle regioni di contatto tra mani e oggetti durante la presa umana a più cifre

Riepilogo

Quando afferriamo un oggetto, più regioni delle dita e della mano in genere entrano in contatto con la superficie dell'oggetto. Ricostruire tali regioni di contatto è impegnativo. Qui, presentiamo un metodo per stimare approssimativamente le regioni di contatto combinando l'acquisizione del movimento basata su marker con la ricostruzione della mesh manuale basata sul deep learning esistente.

Abstract

Per afferrare un oggetto con successo, dobbiamo selezionare le regioni di contatto appropriate per le nostre mani sulla superficie dell'oggetto. Tuttavia, identificare tali regioni è difficile. Questo documento descrive un flusso di lavoro per stimare le aree di contatto dai dati di rilevamento basati su marker. I partecipanti afferrano oggetti reali, mentre noi tracciamo la posizione 3D sia degli oggetti che della mano, comprese le articolazioni delle dita. Per prima cosa determiniamo gli angoli di Eulero del giunto da una selezione di marcatori tracciati posizionati sul dorso della mano. Quindi, utilizziamo algoritmi di ricostruzione della mesh a mano all'avanguardia per generare un modello mesh della mano del partecipante nella posa corrente e nella posizione 3D.

L'utilizzo di oggetti stampati in 3D o scansionati in 3D e quindi disponibili sia come oggetti reali che come dati mesh, consente di registrare congiuntamente le mesh di mani e oggetti. A sua volta, ciò consente la stima di regioni di contatto approssimative calcolando le intersezioni tra la mesh manuale e la mesh di oggetti 3D co-registrata. Il metodo può essere utilizzato per stimare dove e come gli esseri umani afferrano gli oggetti in una varietà di condizioni. Pertanto, il metodo potrebbe essere di interesse per i ricercatori che studiano la percezione visiva e tattile, il controllo motorio, l'interazione uomo-computer nella realtà virtuale e aumentata e la robotica.

Introduzione

La capacità di afferrare e manipolare gli oggetti è un'abilità chiave che consente agli esseri umani di rimodellare l'ambiente secondo i loro desideri e bisogni. Tuttavia, controllare efficacemente le mani multi-articolate è un compito impegnativo che richiede un sofisticato sistema di controllo. Questo sistema di controllo motorio è guidato da diverse forme di input sensoriali, tra cui la visione è fondamentale. Attraverso la visione, gli individui possono identificare gli oggetti nell'ambiente e stimare la loro posizione e proprietà fisiche e possono quindi raggiungere, afferrare e manipolare quegli oggetti con facilità. Comprendere il complesso sistema che collega l'input alle retine con i comandi motori che controllano le mani è una sfida chiave delle neuroscienze sensomotorie. Per modellare, prevedere e capire come funziona questo sistema, dobbiamo prima essere in grado di studiarlo in dettaglio. Ciò richiede misurazioni ad alta fedeltà sia degli input visivi che delle uscite del motore manuale.

La passata tecnologia di tracciamento del movimento ha imposto una serie di limitazioni allo studio della presa umana. Ad esempio, i sistemi che richiedono cavi attaccati alle mani dei partecipanti^1,2 tendono a limitare la gamma di movimenti delle dita^, alterando potenzialmente i movimenti di presa o le misurazioni stesse. Nonostante tali limitazioni, la ricerca precedente è stata in grado di identificare diversi fattori che influenzano la presa guidata visivamente. Alcuni di questi fattori includono la forma dell'oggetto 3,4,5,6, la rugosità superficiale 7,8,9 o l'orientamento di un oggetto rispetto alla mano ^4,8,10. Tuttavia, per superare i precedenti limiti tecnologici, la maggior parte di questa ricerca precedente ha impiegato stimoli semplici e compiti altamente vincolati, concentrandosi quindi prevalentemente su fattori individuali 3,4,6,7,10, impugnature di precisione a due cifre^{3,4,6,9,11,12,} 13,14,15,16,17,18, oggetti singoli¹⁹, o forme 2D molto semplici ^20,21. Come i risultati precedenti si generalizzano al di là di tali condizioni di laboratorio ridotte e artificiali è sconosciuto. Inoltre, la misurazione del contatto mano-oggetto è spesso ridotta alla stima dei punti di contatto delle cifre²². Questa semplificazione può essere appropriata per descrivere un piccolo sottoinsieme di impugnature in cui solo i polpastrelli sono in contatto con un oggetto. Tuttavia, nella maggior parte delle prese del mondo reale, ampie regioni delle dita e del palmo entrano in contatto con un oggetto. Inoltre, un recente studio²³ ha dimostrato, usando un guanto tattile, che gli oggetti possono essere riconosciuti da come la loro superficie colpisce la mano. Ciò evidenzia l'importanza di studiare le regioni di contatto estese tra le mani e gli oggetti afferrati, non solo i punti di contatto tra gli oggetti e la punta delle dita²².

I recenti progressi nella motion capture e nella modellazione 3D della mano ci hanno permesso di superare i limiti precedenti e di studiare la comprensione nella sua piena complessità. Il tracciamento del movimento passivo basato su marker è ora disponibile con marcatori di dimensioni millimetriche che possono essere attaccati al dorso delle mani del partecipante per tracciare i movimenti articolari²⁴. Inoltre, gli algoritmi automatici di identificazione dei marcatori per i sistemi di marcatori passivi sono ora sufficientemente robusti da eliminare quasi la necessità di un'ampia post-elaborazione manuale dei dati dei marcatori^25,26,27. Le soluzioni senza marker stanno anche raggiungendo livelli impressionanti di prestazioni nel tracciare parti del corpo di animali nei video²⁸. Questi metodi di tracciamento del movimento, quindi, consentono finalmente misurazioni affidabili e non invasive di complessi movimenti della mano a più cifre²⁴. Tali misurazioni possono informarci sulla cinematica articolare e consentirci di stimare i punti di contatto tra la mano e un oggetto. Inoltre, negli ultimi anni, la comunità della visione artificiale ha affrontato il problema della costruzione di modelli delle mani umane in grado di replicare le deformazioni dei tessuti molli durante la presa dell'oggetto e persino durante l'auto-contatto tra le parti della mano 29,30,31,32. Tali ricostruzioni mesh 3D possono essere derivate da diversi tipi di dati, come riprese video 33,34^, articolazioni scheletriche (derivate da³⁵ basato su marker o markerless tracking³⁶) e immagini di profondità³⁷. Il primo progresso chiave in questo campo è stato fornito da Romero et al.38, che hanno derivato un modello parametrico della mano (MANO) da oltre 1.000 scansioni della mano da ³¹ soggetti in varie pose. Il modello contiene parametri sia per la posa che per la forma della mano, facilitando la regressione da diverse fonti di dati a una ricostruzione completa della mano. La soluzione più recente DeepHandMesh²⁹ si basa su questo approccio costruendo un modello parametrizzato attraverso il deep learning e aggiungendo l'evitamento della penetrazione, che replica in modo più accurato le interazioni fisiche tra le parti della mano. Combinando tali ricostruzioni di mesh manuali con mesh di oggetti tracciati 3D, è quindi ora possibile stimare le regioni di contatto non solo sulla superficie degli oggetti³² ma anche sulla superficie della mano.

Qui, proponiamo un flusso di lavoro che riunisce il tracciamento 3D ad alta fedeltà di oggetti e giunti delle mani con nuovi algoritmi di ricostruzione della maglia manuale. Il metodo produce mappe dettagliate delle superfici di contatto mano-oggetto. Queste misurazioni aiuteranno i neuroscienziati sensomotori ad estendere la nostra comprensione teorica della presa umana guidata visivamente. Inoltre, il metodo potrebbe essere utile ai ricercatori in campi adiacenti. Ad esempio, i ricercatori del fattore umano possono utilizzare questo metodo per costruire migliori sistemi di interfaccia uomo-macchina nella realtà virtuale e aumentata¹⁸. Le misurazioni ad alta fedeltà dei comportamenti di presa umana possono anche aiutare i robotici a progettare sistemi di presa robotica ispirati all'uomo basati sui principi della percezione interattiva 39,40,41,42,43. Noi, quindi, speriamo che questo metodo aiuterà a far progredire la ricerca di presa attraverso i campi delle neuroscienze e dell'ingegneria, da descrizioni sparse di compiti altamente vincolati a caratterizzazioni più complete di comportamenti di presa naturalistica con oggetti complessi e compiti del mondo reale. L'approccio generale è illustrato nella Figura 1.

Figura 1: Fasi principali del metodo proposto . (A) Le telecamere di motion capture riprendono un banco da lavoro da più angolazioni. (B) Un oggetto stimolo viene stampato in 3D da un modello di mesh triangolato. (C) Quattro marcatori riflettenti sferici sono incollati alla superficie dell'oggetto reale. Una procedura semi-automatica identifica quattro punti corrispondenti sulla superficie dell'oggetto mesh. Questa corrispondenza ci consente di roto-tradurre il modello mesh nella posizione tracciata 3D dell'oggetto reale. (D) I marcatori riflettenti sono attaccati a diversi punti di riferimento sul dorso della mano di un partecipante usando nastro biadesivo. (E) Il sistema di motion capture acquisisce le traiettorie nello spazio 3D dell'oggetto tracciato e dei marcatori manuali durante una singola prova. (F) Uno scheletro a mano specifico per il partecipante è costruito utilizzando software di computer grafica 3D. Le pose articolari scheletriche vengono quindi stimate per ogni fotogramma di ogni prova in un esperimento attraverso la cinematica inversa. (G) Le pose congiunte vengono inserite in una versione modificata di DeepHandMesh²⁹, che produce una mesh a mano 3D stimata nella posa e nella posizione 3D correnti. (H) Infine, usiamo l'intersezione mesh per calcolare le regioni di contatto mano-oggetto. Fare clic qui per visualizzare una versione ingrandita di questa figura.

Protocollo

Prima di iniziare un esperimento, i partecipanti devono fornire il consenso informato in conformità con le linee guida istituzionali e la Dichiarazione di Helsinki. Tutti i protocolli qui descritti sono stati approvati dal comitato etico locale dell'Università Justus Liebig di Giessen (LEK-FB06).

1. Installazione di tutti i software necessari

1. Scaricare il repository del progetto in Data and Code Repository.
2. Installare il software elencato nella tabella dei materiali (prendere nota delle versioni del software e seguire i collegamenti per le opzioni di acquisto e le istruzioni).
3. All'interno del repository di dati e codice, aprire una finestra di comando ed eseguire il comando seguente:
   conda env create -f environment.yml
4. Scaricare e installare l'istanza pre-addestrata di DeepHandMesh²⁹ seguendo le istruzioni fornite all'https://github.com/facebookresearch/DeepHandMesh.
   1. Posiziona DeepHandMesh nella cartella "deephandmesh" del Data and Code Repository. Sostituire il file "main/model.py" con il file model.py contenuto nel repository di dati e codice.

2. Preparazione del sistema di motion capture

1. Posizionare un banco di lavoro all'interno di un volume di tracciamento ripreso da più angolazioni dalle telecamere di tracciamento del movimento disposte su un fotogramma che circonda l'area di lavoro (Figura 1A). Prepara i pennarelli riflettenti attaccando del nastro biadesivo alla base di ciascun pennarello.
2. Eseguire Qualisys Track Manager (QTM) come amministratore.
   NOTA: L'esecuzione di QTM come amministratore è necessaria affinché l'SDK Python assuma il controllo dell'interfaccia QTM. Si consiglia di eseguire sempre QTM come amministratore.

3. Calibrazione delle telecamere

1. Posizionare l'oggetto di calibrazione a forma di L all'interno del volume di tracciamento.
2. All'interno di QTM, fare clic su Calibrate (Calibrate) nel menu Capture (Capture) oppure premere l'icona della bacchetta nella barra degli strumenti Capture. Attendere l'apertura di una finestra di calibrazione. Selezionare la durata della calibrazione e premere OK.
3. Agitare la bacchetta di calibrazione sul volume di tracciamento per tutta la durata della calibrazione. Premere il pulsante Esporta e specificare un percorso di file in cui esportare la calibrazione come file di testo. Accettare la calibrazione premendo OK.

4. Creazione di un oggetto stimolo

1. Costruisci un modello a oggetti 3D virtuale sotto forma di una mesh poligonale. Utilizzare una stampante 3D per costruire una replica fisica del modello a oggetti.
   Nota : l'archivio dati nel passaggio 1.1 fornisce oggetti di esempio nei formati di file STL e Wavefront OBJ. Gli oggetti in formato STL sono molteplici e pronti per la stampa 3D.

5. Preparare l'oggetto stimolo

1. Attacca quattro marcatori riflettenti non planari alla superficie dell'oggetto reale. Posizionare l'oggetto all'interno del volume di tracciamento.
2. Nel repository del progetto, eseguire lo script Python "Acquire_Object.py". Seguire le istruzioni fornite dallo script per eseguire un'acquisizione di 1 s della posizione 3D dei marcatori oggetto.
3. Selezionare tutti i marcatori del corpo rigido. Fare clic con il pulsante destro del mouse e selezionare Definisci corpo rigido (6DOF) | Fotogramma corrente. Immettete il nome del corpo rigido e premete OK.
4. Nel menu File , selezionare Esporta | A TSV. Nella nuova finestra, selezionare le caselle 3D, 6D e Skeleton nelle impostazioni del tipo di dati . Seleziona tutte le caselle nelle impostazioni generali . Premere OK e quindi Salva.

6. Co-registrazione delle versioni del modello reale e mesh dell'oggetto stimolo

1. Aprire Blender e passare all'area di lavoro Scripting . Aprire il file "Object_CoRegistration.py" e premere Esegui. Passare all'area di lavoro Layout e premere n per attivare o disattivare la barra laterale. All'interno della barra laterale, vai alla scheda Personalizzata .
2. Selezionare il file .obj da registrare insieme e premere il pulsante Carica oggetto .
3. Selezionare il file di traiettoria esportato nel passaggio 3.3 e specificare i nomi dei marcatori associati all'oggetto rigido separati da punto e virgola. Nell'intestazione Marker specificare la riga nel file di traiettoria contenente i nomi delle colonne dei dati (il conteggio inizia da 0).
4. Selezionare il file del corpo rigido corrispondente con il suffisso 6D e specificare il nome del corpo rigido definito nel passaggio 4.1. Nell'intestazione 6D specificare la riga nel file del corpo rigido contenente i nomi delle colonne dei dati.
5. Premere Load Marker. Traslare e ruotare l'oggetto Markers e/o l'oggetto Object per allinearli . Specificare un file di output mesh e premere Run Coregistration. Verrà generato un file .obj contenente la mesh di stimolo co-registrata.

7. Impostazione dei pennarelli sulle mani

1. Attacca 24 marcatori riflettenti sferici su diversi punti di riferimento della mano di un partecipante usando del nastro biadesivo.
   NOTA: Il posizionamento specifico dei marcatori è illustrato nella Figura 2.
   1. Posizionare i marcatori centralmente sopra la punta delle dita, nonché le articolazioni interfalangee distali, le articolazioni interfalangee prossimali e le articolazioni metacarpo-falangee del dito indice, medio, anulare e mignolo.
   2. Per il pollice, posizionare un marcatore ciascuno sulla punta del dito e sull'articolazione carpometacarpale basale, nonché una coppia di marcatori ciascuno sulle articolazioni metacarpo-falangee e interfalangee.
      NOTA: queste coppie di marcatori devono essere spostate in direzioni opposte perpendicolarmente all'asse principale del pollice e sono necessarie per stimare l'orientamento del pollice.
   3. Infine, posizionare i marcatori al centro del polso e sull'articolazione scaphotrapeziotrapezoidale.

Figura 2: Posizionamento del marcatore sulla mano di un partecipante. Abbreviazione: RH = mano destra. Fare clic qui per visualizzare una versione ingrandita di questa figura.

8. Acquisizione di una singola prova

1. Chiedi al partecipante di appoggiare la mano sul banco da lavoro con il palmo rivolto verso il basso e di chiudere gli occhi. Posizionare l'oggetto stimolo sul banco di lavoro di fronte al partecipante.
2. Mentre QTM è in esecuzione, eseguire lo script Python "Single_Trial_Acquisition.py" nel repository del progetto. Seguire le istruzioni fornite dallo script per acquisire una singola prova del partecipante che afferra l'oggetto stimolo.
   NOTA: lo script produrrà un segnale uditivo. Questo segnalerà al partecipante di aprire gli occhi ed eseguire la presa. Nelle nostre dimostrazioni, il compito è quello di raggiungere e afferrare l'oggetto bersaglio, sollevarlo verticalmente di circa 10 cm, abbassarlo e riportare la mano nella sua posizione di partenza.

9. Etichettatura dei marcatori

1. All'interno del QTM, trascinare e rilasciare le singole traiettorie dei marcatori dalle traiettorie non identificate alle traiettorie etichettate ed etichettarle in base alla convenzione di denominazione nella Figura 2.
2. Selezionare tutti i marcatori collegati alla mano, quindi fare clic con il pulsante destro del mouse e selezionare Genera modello AIM dalla selezione. Nella nuova finestra, selezionare Crea nuovo modello basato sulle connessioni Marker dal modello AIM esistente e premere il pulsante Avanti .
3. Selezionate la definizione del modello RH_FH e premete Apri. Premere Avanti, immettere un nome per il modello AIM e premere OK. Infine, premere Fine per creare un modello AIM per la mano del partecipante, che verrà utilizzato per identificare automaticamente i marcatori nelle prove successive dello stesso partecipante.

10. Creazione di una definizione di scheletro personalizzata per il partecipante

1. In QTM, accedere al menu Play e selezionare Play with Real-Time Output.
2. Apri Maya. Accedere allo scaffale QTM Connect e premere l'icona Connetti a QTM . Nella nuova finestra, selezionare Marcatori e premere Connetti. Ora, premere l'icona Play nello scaffale QTM Connect .
3. Tenete premuto Maiusc e selezionate tutti gli indicatori manuali e premete l'icona Wash Locators . Seleziona gli indicatori delle mani lavate e premi Ctrl + G. Verrà creato un nodo di gruppo. Assegna un nome ai marcatori del gruppo.
4. Seleziona tutti gli indicatori a mano. Nel menu Modifica , fare clic su Cerca e sostituisci nomi. Cercare il prefisso RH_ ed eliminare il prefisso per i marcatori.
5. Premere l'icona Importa Risolutore nello scaffale QTM Connect . Caricare la definizione di ossatura "RH_FH.xml".
6. Nel menu Windows , vai a Editor generali | Editor dello spazio dei nomi. All'interno della nuova finestra, fare clic su :(root) e premere Nuovo per creare un nuovo spazio dei nomi, RH. Fare clic sullo spazio dei nomi RH , premere Nuovo e assegnare al nuovo spazio dei nomi ModelPose.
7. Selezionare tutti i marcatori, fare clic sullo spazio dei nomi RH e premere Aggiungi selezionati per aggiungere i marcatori allo spazio dei nomi RH .
8. Selezionare le ossa dell'ossatura, fare clic sullo spazio dei nomi ModelPose e premere Aggiungi selezionato per aggiungere le ossa dell'ossatura allo spazio dei nomi ModelPose .
9. Ruotare, traslare e ridimensionare l'ossatura per adattarla ai dati del marcatore. Quindi, per ogni giunto di ossatura singolarmente, Maiusc + Selezionare il giunto di ossatura e i relativi indicatori associati, quindi premere l'icona Aggiungi allegati . Infine, premere l'icona Esporta risolutore per esportare la nuova definizione dello scheletro in un file XML che può essere caricato nel QTM (vedere il passaggio successivo).
   NOTA: questo passaggio non è strettamente necessario, ma è utile per aumentare la precisione dell'adattamento dello scheletro ai dati del marcatore. Per ulteriori informazioni, leggere la Guida introduttiva QSolver su https://github.com/qualisys/QTM-Connect-For-Maya.

11. Ricostruire le pose articolari scheletriche

1. All'interno del QTM, aprire le impostazioni del progetto premendo l'icona della ruota dentata . Nella barra laterale, vai a Risolutore scheletro e premi Carica per selezionare un file di definizione dell'ossatura. Regolare il fattore di scala su 100% e premere Applica.
2. Vai a TSV Export e seleziona le caselle 3D, 6D e Skeleton nelle impostazioni del tipo di dati. Seleziona tutte le caselle nelle impostazioni generali. Premere Applica e chiudere le impostazioni del progetto.
3. Premere l'icona Rielabora, selezionare le caselle Risolvi scheletri ed Esporta in file TSV, quindi premere OK.

12. Generazione di ricostruzioni di maglie manuali

1. Aprire una finestra di comando nel repository del progetto e attivare l'ambiente conda eseguendo il comando:
   conda attiva regioni di contatto
2. Quindi, eseguire il seguente comando e seguire le istruzioni fornite dallo script per generare, per ogni fotogramma della prova, una mesh a mano che ricostruisce la posa della mano corrente.
   python Hand_Mesh_Reconstruction.py --gpu 0 --test_epoch 4
   NOTA: Queste ricostruzioni mesh vengono generate automaticamente utilizzando una versione modificata dello strumento di generazione di mesh manuali open source e preaddestrato, DeepHandMesh²⁹.

13. Generazione di stime della regione di contatto mano-oggetto

1. Aprire una finestra di comando nel repository del progetto, eseguire il comando seguente e seguire le istruzioni fornite dallo script per generare stime dell'area di contatto con la mano e l'oggetto calcolando l'intersezione tra le mesh mano e oggetto.
   blender --background --python "Contact_Region_Estimation.py"

Risultati

Il primo requisito per il metodo proposto è un sistema per tracciare con precisione la posizione di oggetti e mani 3D. La configurazione specifica è mostrata nella Figura 1A e utilizza hardware e software prodotti dalla società di motion capture Qualisys. Posizioniamo un banco di lavoro all'interno di un volume di tracciamento (100 cm x 100 cm x 100 cm), che viene ripreso da più angolazioni da otto telecamere di tracciamento e sei videocamere disposte su una cornice cubica che circonda lo spazio di lavoro. Le telecamere di tracciamento tracciano la posizione 3D dei marcatori riflettenti all'interno del volume di tracciamento a 180 fotogrammi/s e con risoluzione spaziale 3D sub-millimetrica. Utilizziamo marcatori riflettenti da 4 mm, che vengono attaccati agli oggetti e alle mani utilizzando nastro biadesivo delicato sulla pelle. Le posizioni dei marcatori 3D vengono elaborate dal software di motion capture. La sezione di discussione esamina anche i sistemi di motion capture alternativi che potrebbero essere impiegati con il metodo proposto.

Per ottenere accurate ricostruzioni 3D di oggetti reali afferrati e manipolati, proponiamo due opzioni. Il primo, che è quello adottato qui, è quello di partire da un modello di oggetti 3D virtuale sotto forma di una mesh poligonale. Tali modelli 3D possono essere costruiti utilizzando software appropriati (ad esempio, Blender 3D⁴⁴) e quindi stampati in 3D (Figura 1B). La seconda opzione consiste nel prendere un oggetto 3D reale esistente e utilizzare la tecnologia di scansione 3D per costruire una replica del modello mesh dell'oggetto. Qualunque sia la strategia, l'obiettivo finale è quello di ottenere sia un oggetto 3D reale che il corrispondente modello di mesh di oggetti 3D virtuali. Da notare che l'approccio qui descritto funziona solo con oggetti rigidi (cioè indeformabili).

Una volta che la superficie 3D di un oggetto è disponibile come modello di mesh, la sua posizione deve essere tracciata e co-registrata (Figura 1C). Per fare ciò, quattro indicatori riflettenti non planari sono attaccati alla superficie dell'oggetto reale e l'oggetto viene posizionato all'interno del volume di tracciamento. Le posizioni 3D dei marcatori oggetto vengono quindi brevemente acquisite. Questa acquisizione viene utilizzata per stabilire la corrispondenza tra i quattro marcatori e i quattro vertici del modello di mesh di oggetti. Questo viene fatto utilizzando un semplice percorso software ad hoc scritto nell'API Python di Blender. All'interno del Viewport di Blender, il programma presenta l'oggetto virtuale insieme alle posizioni dei marcatori che sono rappresentati come un singolo oggetto mesh composto da una sfera per ciascun marcatore. L'utente può quindi ruotare e traslare l'oggetto e/o i marcatori per allinearli in modo tale che co-allineino con i marcatori reali posizionati sull'oggetto reale. Il programma registrerà le rotazioni e la traslazione applicate per calcolare una singola roto-traslazione che viene infine applicata alla mesh di oggetti originale, fornendo una mesh di oggetti che viene co-registrata con la definizione di corpo rigido in QTM.

Avendo stabilito la corrispondenza, ogni volta che l'oggetto reale viene spostato all'interno del volume di tracciamento, l'oggetto virtuale può essere posizionato nella nuova posizione calcolando la roto-traslazione tra i marcatori tracciati e i quattro vertici di mesh corrispondenti. Per registrare la dinamica della presa, invece, un totale di 24 marcatori riflettenti sferici sono attaccati su diversi punti di riferimento della mano utilizzando nastro biadesivo (Figura 1D e Figura 2).

All'inizio di una prova (Figura 1E), un partecipante appoggia la mano sul banco di lavoro con il palmo rivolto verso il basso e chiude gli occhi. Lo sperimentatore posiziona un oggetto target sul banco di lavoro di fronte al partecipante. Successivamente, un segnale uditivo segnala al partecipante di aprire gli occhi ed eseguire la presa. Nelle nostre dimostrazioni, il compito è quello di raggiungere e afferrare l'oggetto bersaglio, sollevarlo verticalmente di circa 10 cm, abbassarlo e riportare la mano nella sua posizione di partenza. Uno script scritto in Python 3.7 controlla l'esperimento. In ogni prova, lo script seleziona e comunica le impostazioni delle condizioni correnti allo sperimentatore (ad esempio, l'identità e il posizionamento dell'oggetto). Lo script controlla anche i tempi di prova, compresi i segnali uditivi e l'inizio e l'arresto delle registrazioni di motion capture.

Gli arti non sono caratterizzati solo dalla loro posizione nello spazio 3D, ma anche dalla loro posa. Pertanto, per ottenere una ricostruzione 3D completa di una mano umana che esegue una presa reale, abbiamo bisogno non solo delle posizioni di ciascuna articolazione nello spazio 3D, ma anche della posa relativa (traslazione e rotazione) di ciascuna articolazione rispetto alla sua articolazione madre (Figura 1F). Le posizioni e gli orientamenti delle articolazioni scheletriche possono essere dedotti dalle posizioni dei marcatori utilizzando la cinematica inversa. Per fare ciò, qui utilizziamo il risolutore scheletro fornito dal software QTM. Affinché il solutore funzioni, dobbiamo prima fornire una definizione di scheletro che colleghi la posizione e l'orientamento di ciascun giunto a più posizioni del marcatore. Una definizione di scheletro è, quindi, costruita, e lo skeleton rig è collegato ai dati del marker usando il plugin QTM Connect per Maya. Creiamo definizioni di ossatura personalizzate per ogni partecipante per massimizzare la precisione dello scheletro che si adatta ai dati del marcatore. Per ogni partecipante, inseriamo manualmente uno scheletro della mano su un singolo fotogramma di dati di motion capture. Dopo aver ottenuto una definizione di scheletro specifica per il partecipante, eseguiamo quindi il solutore dello scheletro per stimare le pose articolari scheletriche per ogni fotogramma di ogni prova nell'esperimento.

Per ogni fotogramma di ogni prova in un esperimento, generiamo una mesh a mano che ricostruisce la posa della mano corrente utilizzando lo strumento di generazione di mesh manuali open source e preaddestrato, DeepHandMesh²⁸ (Figura 1G). DeepHandMesh è una rete di codificatori-decodificatori profondi che genera mesh manuali personalizzate dalle immagini. In primo luogo, l'encoder stima la posa di una mano all'interno di un'immagine (cioè gli angoli di Eulero congiunti). Quindi, la posa della mano stimata e un vettore ID personalizzato vengono inseriti nel decodificatore, che stima una serie di tre correttivi additivi a una mesh di modelli truccati. Infine, la mesh del modello viene deformata in base alla posa della mano stimata e ai correttivi utilizzando la scrosciatura lineare della miscela. Il primo correttivo è uno scheletro correttivo ID-dipendente attraverso il quale il rig scheletrico viene regolato per incorporare le posizioni articolari specifiche della persona. Gli altri due correttivi sono correttivi di mesh attraverso i quali i vertici della mesh vengono regolati per rappresentare meglio la superficie della mano del partecipante. Uno dei correttivi mesh è un correttivo mesh dipendente dall'ID che tiene conto della struttura superficiale della mano di un singolo partecipante. Il correttivo finale della mesh è invece un correttivo di vertice dipendente dalla posa che tiene conto delle deformazioni della superficie della mano dovute alla posa della mano corrente.

DeepHandMesh viene addestrato utilizzando una supervisione debole con punti chiave di giunzione 2D e mappe di profondità della scena. Qui, utilizziamo solo il decodificatore DeepHandMesh pre-addestrato per generare ricostruzioni di mesh manuali, modificate nei seguenti modi (Figura 3). In primo luogo, poiché la rete non è addestrata su partecipanti specifici, viene utilizzato il correttivo generico della mesh dipendente dall'ID fornito con il modello preaddestrato (Figura 3A). Inoltre, il correttivo dello scheletro dipendente dall'ID viene derivato utilizzando il solutore dello scheletro QTM come descritto sopra (Figura 3B). Si assume una scala proporzionale della mano con la lunghezza dello scheletro e lo spessore della maglia è uniformemente scalato da un fattore derivato dalla scala relativa dello scheletro in modo tale che la maglia si avvicini meglio alla dimensione della mano del partecipante (Figura 3C). Questa mesh modificata viene immessa al decodificatore, insieme alla posa della mano corrente (derivata dai dati del marcatore) e alla posizione e all'orientamento 3D del polso. Il decodificatore, quindi, calcola il correttivo dipendente dalla posa corrente, applica tutti i correttivi e le roto-traslazioni e restituisce una ricostruzione 3D della mesh della mano corrente nella stessa cornice di coordinate della mesh di oggetti tracciati 3D (Figura 3D).

Figura 3: Modifiche al decodificatore DeepHandMesh pre-addestrato . (A) Correttivo mesh generico e generico dipendente dall'ID. (B) Correttivo dello scheletro ID-dipendente derivato attraverso la cinematica inversa nella fase 10. (C) La dimensione della maglia della mano è scalata dello stesso fattore delle articolazioni scheletriche. (D) Ricostruzione finale della maglia della mano 3D della posa della mano corrente. Fare clic qui per visualizzare una versione ingrandita di questa figura.

Dopo aver ricostruito i modelli di mesh 3D sia per la mano di un partecipante che per un oggetto afferrato, le regioni di contatto mano-oggetto possono essere stimate calcolando l'intersezione tra le maglie della mano e dell'oggetto (Figura 1H). L'ipotesi alla base di questo è che la mano reale è deformata dal contatto con la superficie, il che significa che lo scheletro può avvicinarsi alla superficie di quanto sarebbe possibile se la mano fosse rigida, il che consente a porzioni della rete della mano di passare attraverso la rete dell'oggetto. Di conseguenza, le aree di contatto possono essere approssimate come le regioni di sovrapposizione tra le due maglie.

In particolare, per calcolare queste regioni di sovrapposizione, definiamo i vertici della mesh oggetto contenuti all'interno del volume 3D della mesh della mano come a contatto con la mano. Questi vertici sono identificati utilizzando un approccio standard di raytracing⁴⁵. Per ogni vertice della mesh oggetto, viene proiettato un raggio da quel vertice a un punto 3D arbitrario al di fuori della mesh manuale. Valutiamo quindi il numero di intersezioni che si verificano tra il raggio fuso e i triangoli che compongono la superficie della mano. Se il numero di intersezioni è dispari, il vertice dell'oggetto è contenuto all'interno della mesh manuale. Se il numero di intersezioni è pari, il vertice dell'oggetto si trova all'esterno della mesh manuale. Le regioni di contatto sulla superficie dell'oggetto possono, quindi, essere approssimate come l'insieme delle facce triangolari i cui vertici sono tutti contenuti all'interno della maglia della mano. Possiamo applicare lo stesso razionale ai vertici della mesh manuale contenuti nel volume 3D della mesh dell'oggetto per stimare le regioni di contatto sulla superficie della mano. In particolare, potrebbero essere utilizzati anche approcci più avanzati alle operazioni di mesh booleane³¹.

Il video 1 mostra un video di una mano, punti tracciati e mesh co-registrate che si muovono fianco a fianco durante una singola presa su una figurina di gatto stampata in 3D. La Figura 4A mostra invece un singolo fotogramma al momento del contatto mano-oggetto da una presa a un croissant stampato in 3D, insieme alle ricostruzioni della maglia mano-oggetto (Figura 4B) e alle regioni di contatto stimate sulla superficie del croissant (Figura 4C).

Figura 4: Regioni di contatto mano-oggetto stimate. (A) Mano e oggetto tracciati visti da una delle telecamere di tracciamento durante una presa. (B) Mesh manuale ricostruita e mesh di oggetti tracciati renderizzati dallo stesso punto di vista della telecamera di tracciamento. (C) Regioni di contatto sulla superficie dell'oggetto viste da più punti di vista. Fare clic qui per visualizzare una versione ingrandita di questa figura.

Video 1: Ricostruzioni in rete della mano e dell'oggetto. Animazione Gif della mano, marcatori tracciati e ricostruzioni della maglia di mani e oggetti durante una singola presa vista dallo stesso punto di vista della telecamera. Clicca qui per scaricare questo video.

Discussione

Proponiamo un metodo che consente la stima delle regioni di contatto per le interazioni mano-oggetto durante le prese a più cifre. Poiché il tracciamento completo dell'intera superficie di una mano è attualmente intrattabile, proponiamo di utilizzare una ricostruzione di una maglia della mano la cui posa è determinata da punti chiave sparsi sulla mano. Per tenere traccia di questi punti chiave sparsi, la nostra soluzione utilizza un sistema di motion capture di livello di ricerca basato sul tracciamento passivo dei marcatori. Naturalmente, altri sistemi di motion capture potrebbero anche essere impiegati con il metodo proposto, a condizione che forniscano dati di posizione 3D sufficientemente accurati. Sconsigliamo i sistemi di motion capture dei marker attivi (come il popolare ma fuori produzione Optotrak Certus), poiché richiedono il collegamento di cavi e / o dispositivi elettronici alle mani dei partecipanti, che possono limitare i movimenti o almeno produrre prese meno tipiche poiché i partecipanti sono resi più consapevoli della posa delle loro mani. I guanti di tracciamento del movimento che utilizzano unità di misurazione inerziale possono essere una possibilità, anche se questi sistemi sono noti per soffrire di deriva, possono anche limitare i movimenti della mano e non consentono alla superficie della mano di entrare in contatto completo e diretto con le superfici dell'oggetto. Anche le soluzioni commerciali di tracciamento delle mani senza marker (ad esempio, il Leap Motion^46,47,48) possono essere una possibilità^, sebbene potrebbe non essere possibile tracciare le posizioni degli oggetti con questi soli sistemi. L'alternativa più promettente a un sistema di motion capture di livello di ricerca è data da soluzioni di tracciamento open-source e senza marker (ad esempio, Mathis et ^al.28). Se utilizzati con più telecamere co-registrate⁴⁹, tali sistemi potrebbero potenzialmente tracciare le posizioni delle articolazioni delle mani e delle posizioni degli oggetti in 3D senza la necessità di marcatori, guanti o cavi. Queste soluzioni, così come questo sistema basato su marker, possono soffrire, tuttavia, di problemi di perdita di dati a causa di occlusioni.

Limiti e direzioni future
Poiché le ricostruzioni della mano ottenute attraverso questo metodo non saranno completamente accurate, ci sono alcune limitazioni ai tipi di esperimenti per i quali il metodo dovrebbe essere utilizzato. Le deviazioni nelle ricostruzioni della maglia della mano dalla verità del terreno si manifesteranno in deviazioni nelle regioni di contatto stimate mano / oggetto. Pertanto, l'applicazione di questo metodo per derivare misure assolute richiederebbe la valutazione della fedeltà delle stime della regione di contatto. Tuttavia, anche stime approssimative possono ancora essere utili nei disegni sperimentali all'interno dei partecipanti perché è probabile che i potenziali pregiudizi del metodo influenzino diverse condizioni sperimentali all'interno di un partecipante in modo simile. Pertanto, le analisi statistiche e le inferenze dovrebbero essere eseguite solo su misure come le differenze nell'area di contatto tra le condizioni, in cui la direzione di un effetto sarà correlata alla rispettiva verità di base. Nella ricerca futura, abbiamo in programma di convalidare ulteriormente il nostro approccio, ad esempio confrontando le stime della regione di contatto con le impronte digitali termiche su oggetti coperti di vernice termocromica.

La maggior parte delle fasi di elaborazione dalla raccolta dei dati alla stima della regione di contatto finale sono completamente automatizzate e, quindi, offrono importanti contributi verso una procedura standardizzata per la stima della regione di contatto mano-oggetto. Tuttavia, un adattamento iniziale degli scheletri individualizzati alle posizioni 3D dei marcatori tracciati deve ancora essere eseguito manualmente per ottenere una definizione di scheletro per ciascun partecipante. Con l'aumentare del numero di partecipanti a un esperimento, aumenta anche il numero di adattamenti manuali, e questa è attualmente la fase più dispendiosa in termini di tempo nella procedura e richiede una certa familiarità con il rigging manuale nel software Autodesk Maya. In futuro, miriamo ad automatizzare questo passaggio per evitare l'influenza umana sulla procedura aggiungendo una procedura di calibrazione automatica dello scheletro.

Il flusso di lavoro qui descritto si basa sull'hardware e sul software Qualisys (ad esempio, il solutore di scheletro QTM). Questo attualmente limita l'accessibilità del nostro metodo ai laboratori che hanno una configurazione simile. In linea di principio, tuttavia, il metodo può essere applicato a qualsiasi fonte di dati di motion capture. Per espandere l'accessibilità, nel lavoro in corso, stiamo esplorando alternative che dovrebbero generalizzare il nostro flusso di lavoro e renderlo meno dipendente da specifiche licenze hardware e software.

Un'altra importante limitazione del metodo è che, nella sua forma attuale, può essere applicato solo a oggetti rigidi (indeformabili). In futuro, questa limitazione potrebbe essere superata utilizzando metodi per registrare la forma della superficie dell'oggetto afferrato mentre si deforma. Inoltre, a causa della sua natura approssimativa, il metodo non è attualmente adatto a oggetti molto piccoli o sottili.

In conclusione, integrando il tracciamento del movimento all'avanguardia con la modellazione della superficie della mano ad alta fedeltà, forniamo un metodo per stimare le regioni di contatto mano-oggetto durante la presa e la manipolazione. Nella ricerca futura, abbiamo in programma di implementare questo metodo per indagare e modellare il comportamento di presa visivamente guidato negli esseri umani¹⁶. Abbiamo inoltre in programma di integrare questi strumenti con l'eye tracking 46,50,51,52 e i sistemi di realtà virtuale / aumentata 53,54,55 per indagare il controllo motorio del movimento delle mani e degli occhi guidato visivamente in ambienti naturalistici reali e virtuali 18,46,56,57 . Per questi motivi, il metodo proposto potrebbe essere di interesse per i ricercatori che studiano la percezione aptica⁵⁸, il controllo motorio e l'interazione uomo-computer nella realtà virtuale e aumentata. Infine, misurazioni accurate delle capacità di presa umana potrebbero informare la progettazione di robusti sistemi robotici basati sui principi della percezione interattiva 39,40,41,42,43 e potrebbero avere applicazioni traslazionali per protesi degli arti superiori.

Materiali

Name	Company	Catalog Number	Comments
Anaconda Python distribution		(Anaconda 5.3.1 or later); https://repo.anaconda.com/archive/	scripts and functions were generated in Python version 3.7
Autodesk Maya	Autodesk, Inc.	Maya2022; https://www.autodesk.com/products/maya/overview	3D computer graphics application.
Blender	Blender Foundation	Blender 2.92; https://download.blender.org/release/	3D computer graphics application.
Computer Workstation	N/A	N/A	OS: Windows 10 or higher.
DeepHandMesh	Meta Platforms, Inc. (Meta Open Source)	https://github.com/facebookresearch/DeepHandMesh	Pre-trained hand mesh generation tool.
Miqus M5	Qualisys Ab	https://www.qualisys.com/cameras/miqus/	Passive marker motion tracking camera (8 units).
Miqus video camera	Qualisys Ab	https://www.qualisys.com/cameras/miqus-video/	Color video camera, synchronized with Miquis M5 tracking cameras (6 units).
Project repository	N/A	Data and Code Repository	Data and code to replicate the current project. The repository is currently under construction, but we provide a private link where reviewers can download the current and most up-to-date version of the repository. The final repository will be made publicly available upon acceptance.
Python 3	Python Software Foundation	Python Version 3.7	Python3 and associated built-in libraries.
QTM Connect for Maya	Qualisys Ab	https://github.com/qualisys/QTM-Connect-For-Maya	Stream skeleton, rigid bodies and marker data from QTM to Maya
QTM Qualisys Track Manager	Qualisys Ab	Qualisys Track Manager 2021.2; https://www.qualisys.com/software/qualisys-track-manager/	Motion capture software
Qualisys SDK for Python	Qualisys Ab	https://github.com/qualisys/qualisys_python_sdk	Implements communication between QTM and Python