4.1K Views
•
11:54 min
•
May 8th, 2021
DOI :
May 8th, 2021
•0:00
Introduction
2:56
The Design of the Generic Close-Loop Interface
7:55
Participants and Experimental Procedure
8:21
Audio Close-Loop Interface
9:38
Audio-Visual Close Loop Interface
11:09
Conclusion
Transcript
Det overordnede formål med denne grænseflade er at studere effekten af poly signalforstørrelse på at få kropslig bevidsthed. Dette opnås ved at designe en generisk lukket kredsløb interface, der kan bruges med forskellige bærbare teknologier på forskellige eksperimentelle opsætninger og kan anvendes på forskellige populationer. I dette arbejde præsenterer vi en generisk grænseflade til prøvegrænseflader, deres applikationer og deres virkning på det menneskelige system.
Det første trin i designet er brugen af forskellige bærbare teknologier, der tillader optagelse af signaler, der kommer fra forskellige niveauer af nervesystemet. Det andet trin er brugen af Lab Streaming-lag for at opnå synkroniseret optagelse og realtidsstreaming af signalerne. På det første trin trækkes streamdataene med kode, der er udviklet på det sprog, vi foretrækker, hvor realtidsanalysen og funktionsudtrækningen af et valgt signal finder sted.
Derfor oplever deltagerne på de fire trin den sensoriske forstærkning af ekstraherede funktioner såsom den auditive kortlægning af deres puls til sangens tempo eller den visuelle repræsentation af deres bevægelser. Endelig, ved løbende at øge i realtid kroppen oplysninger, lukker vi løkken af udfoldelse interaktion mellem grænsefladen og deltageren. Undersøgelser af, hvordan hjernen kan kontrollere vores kroppe har genereret design af hjernen maskine grænseflader.
Som udnytter nervesystemet signaler til at styre en ekstern enhed såsom et exoskelet eller en robot arm. Vi præsenterer her lukkede kredsløbsgrænseflader, der udnytter nervesystemets signaler og udvider dem ved hjælp af et sensorisk modul for at hjælpe deltagerne med at få kontrol over deres kroppe. Nogle væsentlige eller funktioner i vores design er en, den synkrone registrering af data, der kommer fra forskellige teknologier til at undersøge forskellige niveauer af nervesystemet, og to er datastreaming og analyse af data til realtidsforstørrelse I begge prøveundersøgelser brugte vi lydfeedback, men i den lydlukkede loop-grænseflade reagerede salsadanserne på musikkens tempo, som blev kontrolleret i realtid. , baseret på hjertets rytme.
For at opnå dette bruger vi det musikalske programmeringssprog Max til at styre afspilningshastigheden for lydfiler. Sensorer fange dansere, hjerteslag og filtreret hjerte R toppe genereres ved hjælp af en Python script. Disse topværdier overføres derefter i realtid til Max via åben lydstyring.
Først hjalp vi deltageren sat på LED-baseret motion capture kostume og knyttet til det, deres trådløse led controller. Når du har tændt for serveren, skal du åbne en webbrowser, angive IP-adressen på servercomputeren og logge på. Hvis dette trin lykkes, åbnes Konfigurationsstyring.
Åbn derefter grænsefladen til bevægelsesoptagelsessystemet, og klik på Opret forbindelse. for at begynde at streame dataene fra led-markørerne. Når forbindelsen er etableret, vil placeringen af markører blive vist på den virtuelle verden af grænsefladen.
Højreklik på skelettet i højre side af vinduet, og vælg et nyt skelet for at vælge markørkortlægning. Højreklik derefter på skelettet igen, og vælg generer skelet. Sørg for, at deltageren poserer i T-pose.
Hvis alle trinene udføres korrekt, genereres skelettet. Hvis du vil streame skeletdataene til LSL, skal du vælge indstillinger og indstillinger i hovedmenuen. Åbn OWL Emulator og sørg for, at du har klikket starte live streaming.
Dernæst hjælpe den samme deltager sat på EEG hoved cap. Fyld elektroder med med høj ledende gel og læg elektrodekablerne. Tilslut dem derefter den trådløse skærm, og tænd den.
Åbn grænsefladen til EEG-systemet, og vælg brug wifi-enhed. Vælg enheden, og klik på brug denne enhed, klik på hovedikonet. Vælg den protokol, der tillader registrering af alle 32 sensorer, og klik på indlæsning.
Sørg for, at streamdataene passer, og at alle vises på grænsefladen. Hvis du vil indsamle hjerteaktivitetsdata, skal du bruge en af EEG-kanalerne til at tilslutte EEG-udvidelseskablet. Brug en klæbrig elektrode til at holde den anden ende af forlængelsen lige under deltagerens venstre brystkasse.
Find LSL-programmet for bevægelseshentningssystemet i LSL-mappen, og kør det ved at dobbeltklikke på det tilsvarende ikon. Klik på link på den grænseflade, der er angivet til den korrekte serveradresse. For EEG- og EKG-datastreaming kræves der ingen ekstra trin.
Dernæst finder vi lab recorder-applikationen, som også er placeret i LSL-mappen. Kør programmet ved at dobbeltklikke på det. Hvis ikke alle datatyper for bevægelsesoptagelsen og EEG-systemet vises på panelposten for streams, skal du klikke på Opdater.
Vælg mappe og navn på panelet for lagerplacering, og klik derefter på Start for at starte dataindsamlingen. Udfør MATLAB, Python eller anden kode, der modtager, behandler og udvider streamdataene. LSL muliggør streaming af dataene i adskillige programmeringsplatforme.
De bruger de mål, der svarer til deres præsentative eksempler, der er beskrevet i manuskriptet. Besøg vores GitHub-link. På markedet er der forskellige teknologier, der skaber sensoriske output.
Nogle almindelige eksempler er:højttalere, lys, skærme og andre mindre almindelige, såsom haptiske enheder vibratorer, gustatory og olfaktoriske grænseflader. I den lukkede lydsløjfegrænseflade formår vi at øge pulsen digitalt. Ved hjælp af det musikalske programmeringssprog Max er vi i stand til at kontrollere afspilningshastigheden for lydfiler.
De filtrerede hjerte R toppe, der udskrives til konsollen overføres fra Python script til Max. Der måles og konverteres mellem spidsbelastningsintervaltiden til slag pr. minut. Dataene skaleres for at oprette et interval mellem nul, den langsomste afspilningshastighed og den maksimale afspilningshastighed.
På dette kontinuum er man lig med normal afspilningshastighed, 0,5 er lig med halv hastighed, og to er lig med dobbelt afspilningshastighed. Udformningen af den generiske grænseflade kan bruges i forskellige populationer. Dens protokol og de eksempler, der bruges her til at fremlægge proof of concept, er ikke begrænset til en bestemt gruppe.
Desuden er de lukkede kredsløb grænseflader designet til at blive intuitivt udforsket og lært. Selv om der ikke bør være behov for instruktioner som en del af den eksperimentelle procedure. I studiet af audio lukket kredsløb interface af en reel dyadisk interaktion, to salsa dansere interageret med en grænseflade, der bruger de kvindelige dansere puls til at ændre hastigheden af sangen.
Danserne udførte en velprøvet rutine og en improviseret dans. I hver tilstand udførte de den originale version af sangen en gang, og så er det hjerte ændret version to gange. Ud fra de indsamlede data anslår vi de gamma stokastiske signaturer af de udvundne mikrobevægelsesspidser.
Her observerer vi hjertets anslåede sandsynlighedstæthedsfunktioner og musikdataene. Dopefigurerne demonstrerer hjertets sæt, som er et autonomt orgel, fra den første tilstand, der danser sangen i sin oprindelige form. Til den anden og tredje betingelse danse hjertet ændret sang.
Den venstre figur svarer til de tre optagelser af den spontane dans, mens den højre figur til de tre optagelser af den bevidste dans. På de nederste tal kan vi observere de tilsvarende sæt af den afspillede lyd. Her har kulisserne en modsatrettet retning.
I studiet af audio visuelle lukket kredsløb interface af en kunstig dyadisk interaktion, seks deltagere interagerede med en grænseflade, der skaber deres levende spejlet avatar. Derudover indlejrer det hoftepositionsafhængige lyde. Deltagerne var naive med hensyn til formålet med undersøgelsen; de var nødt til at gå rundt i lokalet og finde ud af, hvordan man styrer lyden, der overraskende ville dukke op, når de passerer gennem interesseregionen.
Tallene viser sandsynlighedstæthedsfunktionen og de tilsvarende gammasignaturer af hoftehastighedsdata for 60 vennekontroldeltagere, C1 til C6, da de var i og uden for interesseregionen. Resultaterne fremhæver de personlige forskelle i deltagernes adfærd, når de er i eller uden for regionen. Empirisk har vi konstateret, at underskrifter placeret i højre nederste hjørne af gamma flyet er dem af atleter og dansere udfører højt kvalificerede bevægelser, underskrifter, der ligger på venstre øvre region kommer fra datasæt af nervesystemer med patologier.
Derfor kan vi bemærke, at underskrifterne fra hoftehastigheden på kontrol tre og fire afslører sundere motormønstre, når de er inde i lydstyrken. I modsætning hertil viser resten af deltagerne det modsatte mønster. Denne tilgang kan bruges både til at få en større forståelse af forholdet mellem en dansers bevægelser og lyd.
Det kan også bruges til at udforske nye tilgange til musikkomposition, der ledes af kropslig information i realtid, konvertering af musik til en oplevelse kroppens signalforstørrelse Udviklingen og forskningen i lukkede kredsløbsgrænseflader kan gavne flere lidelser i nervesystemet. De kunne også bruges i spil, bevægelsestræning og sport.
Vi præsenterer protokoller og analysemetoder til opbygning af samtilpasningsgrænseflader, der streamer, parameteriserer, analyserer og ændrer menneskelige krops- og hjertesignaler i nært kredsløb. Denne opsætning grænseflader signaler stammer fra perifere og centrale nervesystemer af den person med eksterne sensoriske input til at hjælpe med at spore biofysiske forandringer.
ABOUT JoVE
Copyright © 2024 MyJoVE Corporation. All rights reserved