4.1K Views
•
11:54 min
•
May 8th, 2021
DOI :
May 8th, 2021
•0:00
Introduction
2:56
The Design of the Generic Close-Loop Interface
7:55
Participants and Experimental Procedure
8:21
Audio Close-Loop Interface
9:38
Audio-Visual Close Loop Interface
11:09
Conclusion
Transcript
Det overordnede formålet med dette grensesnittet er å studere effekten av polysignalforstørrelse på å få kroppslig bevissthet. Dette oppnås ved å designe et generisk lukket sløyfegrensesnitt, som kan brukes med forskjellige bærbare teknologier på forskjellige eksperimentelle oppsett og kan brukes på forskjellige populasjoner. I dette arbeidet presenterer vi et generisk grensesnitt for å prøve grensesnitt, deres applikasjoner og deres effekt på det menneskelige systemet.
Det første trinnet i designet er bruken av ulike bærbare teknologier som tillater opptak av signaler som kommer fra forskjellige nivåer av nervesystemet. Det andre trinnet er bruken av Lab Streaming-laget for å oppnå synkronisert opptak og sanntidsstrømming av signalene. På det første trinnet trekkes strømdataene etter kode, utviklet på språket i vår preferanse der sanntidsanalyse og funksjonsutvinning av et valgt signal finner sted.
På de fire trinnet opplever deltakerne derfor den sensoriske utvidelsen av ekstraherte funksjoner som den hørbare kartleggingen av hjertefrekvensen til tempoet i sangen eller den visuelle representasjonen av bevegelsene deres. Til slutt, ved å kontinuerlig utvide kroppsinformasjonen i sanntid, lukker vi løkken for utfoldende interaksjon mellom grensesnittet og deltakeren. Undersøkelser av hvordan hjernen kan kontrollere kroppen vår har generert utformingen av hjernemaskingrensesnitt.
Som utnytter nervesystemet signaler for å kontrollere en ekstern enhet som et eksoskjelett eller en robotarm. Vi presenterer her lukkede sløyfegrensesnitt som utnytter nervesystemets signaler og utvider dem ved hjelp av en sensorisk modul for å hjelpe deltakerne med å få kontroll over kroppene sine. Noen viktige eller funksjoner i designet vårt er en, det synkrone opptaket av data som kommer fra forskjellige teknologier for å undersøke ulike nivåer av nervesystemet, og to er datastrømming og analyse av dataene for sanntidsforstørrelse I begge prøvestudiene brukte vi lydtilbakemelding, men i det lydstengte sløyfegrensesnittet reagerte salsadanserne på tempoet i musikken som ble kontrollert i sanntid. , basert på hjertets rytme.
For å oppnå dette bruker vi det musikalske programmeringsspråket, Max for å kontrollere avspillingshastigheten til lydfiler. Sensorer fanger dansere, hjerteslag og filtrerte hjerte R-topper genereres ved hjelp av et Python-skript. Disse toppverdiene overføres deretter i sanntid til Max via åpen lydkontroll.
Først hjalp vi deltakeren med å sette på LED-basert bevegelsesfangstkostyme og festet til den, deres trådløse LED-kontroller. Når du har slått på serveren, åpner du en nettleser, skriver inn IP-adressen til servermaskinen og logger på. Hvis dette trinnet lykkes, åpnes konfigurasjonsbehandling.
Åpne deretter grensesnittet til bevegelsesfangstsystemet og klikk koble til. for å begynne å strømme dataene fra led-markørene. Når tilkoblingen er opprettet, vises plasseringen av markørene på grensesnittets virtuelle verden.
Høyreklikk på skjelettet på høyre side av vinduet og velg nytt skjelett for å velge markørtilordning. Høyreklikk deretter på skjelettet igjen og velg generer skjelett. Forsikre deg om at deltakeren poserer i T-positur.
Hvis alle trinnene utføres riktig, genereres skjelettet. Hvis du vil strømme skjelettdataene til LSL, velger du innstillinger og alternativer fra hovedmenyen. Åpne OWL Emulator og sørg for at du har klikket start live streaming.
Deretter kan du hjelpe den samme deltakeren med å sette på EEG-hodehetten. Fyll elektroder med høy ledende gel og plasser elektrodekablene. Koble dem deretter til den trådløse skjermen og slå den på.
Åpne grensesnittet til EEG-systemet og velg bruk wifi-enhet. Velg enheten og klikk bruk denne enheten, klikk på hodeikonet. Velg protokollen som tillater opptak av alle 32 sensorer og klikkbelastning.
Kontroller at dataflyten passer, og at alle vises på grensesnittet. Hvis du vil samle inn hjerteaktivitetsdata, bruker du en av EEG-kanalene til å koble til EEG-skjøteledningen. Bruk en klebrig elektrode til å feste den andre enden av forlengelsen rett under venstre ribbebur av deltakeren.
Finn LSL-applikasjonen til bevegelsesfangstsystemet i LSL-mappen og kjør det ved å dobbeltklikke på det tilsvarende ikonet. Klikk kobling i grensesnittet som angir riktig serveradresse. For EEG- og EKG-datastrømming er det ikke nødvendig med noen ekstra trinn.
Deretter finner vi laboratorieopptakerapplikasjonen, som også ligger i LSL-mappen. Kjør applikasjonen ved å dobbeltklikke på den. Hvis ikke alle datatypene for bevegelsesopptaket og EEG-systemet vises i panelposten for strømmer, klikker du oppdater.
Velg katalog og navn på lagringsstedspanelet, og klikk deretter start for å starte datainnsamlingen. Utfør MATLAB, Python eller annen kode som mottar, behandler og utvider dataflyten. LSL muliggjør streaming av dataene i mange programmeringsplattformer.
De bruker målene som tilsvarer deres presentative eksempler beskrevet i manuskriptet. Besøk vår GitHub-lenke. I markedet er det ulike teknologier som skaper sensoriske utganger.
Noen vanlige eksempler er: høyttalere, lys, skjermer og andre mindre vanlige, for eksempel haptiske enheter vibratorer, gustatory og olfaktoriske grensesnitt. I det lydstenge sløyfegrensesnittet klarer vi å øke hjertefrekvensen digitalt. Ved hjelp av det musikalske programmeringsspråket Max kan vi kontrollere avspillingshastigheten til lydfiler.
De filtrerte R-toppene som skrives ut på konsollen, overføres fra Python-skriptet til Max. Der måles intervalltiden mellom toppene og konverteres til slag per minutt. Dataene skaleres for å skape et område mellom null, lavest mulig avspillingshastighet og maksimal avspillingshastighet.
På dette kontinuumet tilsvarer en normal avspillingshastighet, 0,5 tilsvarer halv hastighet og to tilsvarer dobbel avspillingshastighet. Utformingen av det generiske grensesnittet kan brukes i ulike populasjoner. Protokollen og eksemplene som brukes her for å gi konseptbevis, er ikke begrenset til en bestemt gruppe.
Videre er de lukkede sløyfegrensesnittene designet for å bli intuitivt utforsket og lært. Selv om det ikke skal være behov for instruksjoner som en del av den eksperimentelle prosedyren. I studiet av lyd lukket loop grensesnitt av en ekte dyadic interaksjon, to salsa dansere samhandlet med et grensesnitt som bruker kvinnelige dansere hjertefrekvens for å endre hastigheten på sangen.
Danserne utførte en godt innøvd rutine og en improvisert dans. I hver tilstand fremførte de den opprinnelige versjonen av sangen en gang, og så er den hjerteforandret versjon to ganger. Fra de innsamlede dataene anslår vi gamma stokastiske signaturer av de ekstraherte mikrobevegelsestoppene.
Her observerer vi de estimerte sannsynlighetstetthetsfunksjonene til hjertet og musikkdataene. Dopfigurene demonstrerer hjertets sett, som er et autonomt organ, fra den første tilstanden som danser sangen i sin opprinnelige form. Til den andre og tredje tilstanden danser hjertet endret sang.
Den venstre figuren tilsvarer de tre opptakene av den spontane dansen, mens den høyre figuren til de tre opptakene av den bevisste dansen. På de nederste tallene kan vi observere de tilsvarende settene til lyden som spilles. Her har settene en motsatt retning.
I studiet av audiovisuelt lukket sløyfegrensesnitt av en kunstig dyadisk interaksjon, samhandlet seks deltakere med et grensesnitt som skaper deres live speilede avatar. I tillegg legger den inn hofteposisjonsavhengige lyder. Deltakerne var naive med hensyn til studien;de måtte gå rundt i rommet og finne ut hvordan de skulle kontrollere lyden som overraskende ville dukke opp når de passerer gjennom interesseområdet.
Tallene viser sannsynlighetstetthetsfunksjonen og de tilsvarende gammasignaturene til hoftehastighetsdataene til 60 vennekontrolldeltakere, C1 til C6 da de var i og utenfor interesseområdet. Resultatene fremhever de personlige forskjellene i deltakernes oppførsel når de er i eller utenfor regionen. Empirisk har vi funnet ut at signaturer som ligger i høyre nedre hjørne av gammaplanet er de av idrettsutøvere og dansere som utfører svært dyktige bevegelser, signaturer som ligger på venstre øvre region kommer fra datasett av nervesystemer med patologier.
Derfor kan vi legge merke til at signaturene til hoftehastigheten til kontroll tre og fire avslører sunnere motoriske mønstre når de er inne i volumet. Til sammenligning viser resten av deltakerne det motsatte mønsteret. Denne tilnærmingen kan brukes både for å få en større forståelse av forholdet mellom danserens bevegelser og lyd.
Den kan også brukes til å utforske nye tilnærminger til musikkkomposisjon som ledes av kroppslig informasjon i sanntid, og konverterer musikkproduksjon til en opplevelse kroppssignalforstørrelse Utviklingen og forskningen på lukkede sløyfegrensesnitt kan være til nytte for flere lidelser i nervesystemet. De kan også brukes i spill, bevegelsestrening og sport.
Vi presenterer protokoller og analysemetoder for å bygge samtilpassede grensesnitt som strømmer, parameteriserer, analyserer og modifiserer menneskekropps- og hjertesignaler i tett sløyfe. Dette oppsettet grensesnitt signaler avledet fra perifere og sentrale nervesystemer av personen med eksterne sensoriske innganger for å spore biofysisk endring.
ABOUT JoVE
Copyright © 2024 MyJoVE Corporation. All rights reserved