980 Views
•
09:41 min
•
April 21st, 2023
DOI :
April 21st, 2023
•0:04
Introduction
1:02
Preparing the Motion Capture System
1:28
Calibrating the Cameras
2:02
Creating and Preparing Stimulus Object
3:10
Co‐Registering Real and Mesh Model Versions of the Stimulus Object
4:25
Setting up Markers on the Hands
5:08
Acquiring a Single Trial and Labeling the Markers
6:26
Reconstruct the Joint Skeletal Joint Poses
7:07
Generating Hand Mesh Reconstructions and Hand‐Object Contact Region Estimates
7:46
Results: Estimation of Contact Regions for Hand‐Object Interactions During Multi‐Digit Grasps
9:02
Conclusion
Transcript
Tidligere atferdsforskning på menneskelig griping har vært begrenset til svært begrensede målinger i tett kontrollerte scenarier. Vår protokoll tillater en mye rikere karakterisering av kompleks naturalistisk gripeatferd. Denne teknikken bruker detaljerte kart over kontaktflater for håndobjekter på grunn av flersifret griping.
Dette lar oss undersøke hvordan mennesker griper objekter med et enestående nivå av raffinement. Nøyaktige målinger av menneskelige gripeevner er nødvendige for å forstå motorisk kontroll, haptisk oppfatning og menneske-maskin interaksjon. Disse dataene kan informere utformingen av robotgripere og proteser i øvre lemmer.
Demonstrere prosedyren vil være Kira Dehn, en kandidatstudent som fullfører sin masteroppgave i laboratoriet mitt. For å begynne, plasser en arbeidsbenk med et sporingsvolum avbildet fra flere vinkler av bevegelsessporingskameraer arrangert på en ramme som omgir arbeidsområdet. Forbered reflekterende markører ved å feste dobbeltsidig tape til bunnen av hver markør.
Utfør Qualisys Track Manager, eller QTM, som administrator. Plasser det L-formede kalibreringsobjektet i sporingsvolumet. I QTM klikker du på Kalibrer i Capture-menyen og venter til et kalibreringsvindu åpnes.
Velg varigheten av kalibreringen, og trykk på OK. Bølger kalibreringsstaven over sporingsvolumet så lenge kalibreringen varer. Trykk på Eksporter-knappen og angi en filbane for å eksportere kalibreringen som en tekstfil.
Godta kalibreringen ved å trykke på OK. For å lage et stimulusobjekt, konstruer en virtuell 3D-objektmodell i form av et polygonnett. Bruk en 3D-skriver til å konstruere en fysisk kopi av objektmodellen.
For å forberede et stimulusobjekt, fest fire ikke-plane reflekterende markører til overflaten av det virkelige objektet. Plasser objektet i sporingsvolumet. I prosjektlageret, utfør det angitte Python-skriptet.
Følg instruksjonene i skriptet for å utføre et ett sekunds opptak av 3D-posisjonen til objektmarkørene. Velg alle markørene til den stive kroppen. Høyreklikk og velg Definer Rigid Body, eller 6DOF, deretter Current Frame.
Skriv inn navnet på den stive kroppen og trykk OK. I Fil-menyen velger du Eksporter til TSV. I det nye vinduet merker du av for 3D, 6D og Skeleton i datatypeinnstillingene.
Merk av i alle boksene i Generelle innstillinger. Trykk OK og deretter Lagre. Åpne Blender og naviger til skriptarbeidsområdet.
Åpne den angitte filen og trykk Kjør. Naviger til Layout-arbeidsområdet og trykk på N for å veksle mellom sidefeltet. I sidefeltet navigerer du til Egendefinert-fanen.
Velg obj-filen som skal samregistreres, og trykk på Last inn objekt-knappen. Velg banefilen som ble eksportert tidligere, og angi navnene på markørene som er festet til de stive objektene atskilt med semikolon. I markøroverskriften angir du linjen i banefilen som inneholder kolonnenavnene til dataene.
Velg deretter den tilsvarende stive kroppsfilen med 6D-suffikset og spesifiser navnet på den stive kroppen som ble definert i det tidligere trinnet. I 6D-overskriften angir du linjen i den stive brødtekstfilen som inneholder kolonnenavnene til dataene. Trykk på Last inn markører, og oversett og roter deretter markørobjektet eller objektet for å justere dem.
Angi en mesh-utdatafil og trykk Kjør samregistrering for å sende ut en obj-fil som inneholder det samregistrerte stimulusnettet. Fest 24 sfæriske reflekterende markører på forskjellige landemerker av en deltakers hånd ved hjelp av dobbeltsidig tape. Plasser markørene sentralt på toppen av fingertuppene i de distale interfalangeale leddene, proksimale interfalangeale ledd og metakarpofalangeale ledd i pekefingeren, langfingeren, ringfingeren og lillefingeren.
For tommelen, plasser en markør hver på fingertuppen og det basale karpalmetakarpalleddet og et par markører hver på metakarpofalangeal- og interfalangealleddene. Til slutt, plasser markører i midten av håndleddet og på scaphotrapeziotrapezoidal ledd. Be deltakeren om å legge hånden flatt på arbeidsbenken med håndflaten vendt nedover og lukke øynene.
Plasser stimulusobjektet på arbeidsbenken foran deltakeren. Mens QTM kjører, kjør det angitte Python-skriptet i prosjektlageret. Be deltakeren om å åpne øynene og følge instruksjonene fra skriptet for å fange en enkelt prøve av deltakeren som griper stimulusobjektet.
Innenfor QTM, dra og slipp de enkelte markørbanene fra de uidentifiserte banene til merkede baner og merk dem i henhold til navngivningskonvensjonen. Velg alle markørene som er festet til hånden, høyreklikk og velg Generer AIM-modell fra utvalget. I det nye vinduet velger du Opprett en ny modell basert på markørtilkoblinger fra den eksisterende AIM-modellen og trykker på Neste-knappen.
Velg den RH_FH modelldefinisjonen, og trykk Åpne. Trykk Neste, skriv inn et navn for AIM-modellen, og trykk OK. Til slutt trykker du på Fullfør for å lage en AIM-modell for deltakerens hånd for automatisk å identifisere markører i påfølgende forsøk fra samme deltaker.
Åpne prosjektinnstillingene i QTM ved å trykke på tannhjulikonet. Naviger til Skeleton Solver i sidefeltet og trykk på Last inn for å velge en skjelettdefinisjonsfil. Juster skaleringsfaktoren til 100 %, og trykk på Bruk.
Naviger til TSV Export og sjekk 3D-, 6D- og Skeleton-boksene i datatypeinnstillingene. Merk av i alle boksene i Generelle innstillinger. Trykk på Bruk og lukk prosjektinnstillingene.
Trykk på Reprosesser-ikonet, merk av i boksene Løs skjeletter og Eksporter til TSV-fil og trykk OK. Åpne et kommandovindu i prosjektlageret og aktiver conda-miljøet ved å utføre den angitte kommandoen. Utfør deretter den angitte kommandoen og følg instruksjonene fra skriptet for å generere for hver ramme i forsøket et håndnett som rekonstruerer gjeldende håndstilling.
For estimering av håndkontaktområde, utfør den angitte kommandoen og følg instruksjonene i skriptet for å generere estimater for hånd- og objektkontaktområde ved å beregne skjæringspunktet mellom hånd- og objektmaskene. I denne studien ble dynamikken i grepet registrert ved hjelp av 24 sfæriske reflekterende markører festet til forskjellige landemerker i hånden. Modifikasjoner på den forhåndstrente dype håndnettingdekoderen er vist her.
For det første, siden nettverket ikke er opplært på bestemte deltakere, brukes det generiske ID-avhengige mesh-korrigerende som følger med den forhåndstrente modellen. Videre er det ID-avhengige skjelettkorrigerende avledet ved hjelp av QTM Skeleton Solver. Proporsjonal skalering av hånden med skjelettlengden antas og masketykkelsen skaleres jevnt av en faktor avledet fra den relative skaleringen av skjelettet.
Den endelige 3D-rekonstruksjonen av gjeldende håndpositur i samme koordinatramme som det 3D-sporede objektnettet vises. En video av en hånd med sporede punkter og samregistrert nett som alle beveger seg side om side under et enkelt grep til en 3D-printet kattefigur vises. En enkelt ramme på tidspunktet for hånd-til-objekt-kontakt fra et grep til en 3D-trykt croissant, sammen med rekonstruksjonene av håndobjektnett og de estimerte kontaktområdene på overflaten av croissanten.
Objektet og markørene som er festet til det, må være riktig samregistrert. Det er viktig å justere dem grundig fordi avvik kan ha stor innvirkning på kontaktområdeestimater. I tillegg til kontaktflater gir prosedyren felles Euler-vinkler for hver fingerledd.
Disse kan brukes til å studere hvordan håndposisjoner under flersifrede grep utfolder seg over tid.
Når vi griper et objekt, kommer flere regioner av fingrene og hånden vanligvis i kontakt med objektets overflate. Å rekonstruere slike kontaktregioner er utfordrende. Her presenterer vi en metode for tilnærmet estimering av kontaktregionene ved å kombinere markørbasert bevegelsesopptak med eksisterende dyplæringsbasert rekonstruksjon av håndnetting.
Explore More Videos
ABOUT JoVE
Copyright © 2024 MyJoVE Corporation. All rights reserved