4.1K Views
•
11:54 min
•
May 8th, 2021
DOI :
May 8th, 2021
•0:00
Introduction
2:56
The Design of the Generic Close-Loop Interface
7:55
Participants and Experimental Procedure
8:21
Audio Close-Loop Interface
9:38
Audio-Visual Close Loop Interface
11:09
Conclusion
Transcript
Det övergripande syftet med detta gränssnitt är att studera effekten av poly signalförstoring på att få kroppslig medvetenhet. Detta uppnås genom att utforma ett generiskt slutet loopgränssnitt, som kan användas med olika bärbar teknik på olika experimentella inställningar och kan tillämpas på olika populationer. I detta arbete presenterar vi ett generiskt gränssnitt för att prova gränssnitt, deras applikationer och deras effekt på det mänskliga systemet.
Det första steget i designen är användningen av olika bärbara tekniker som gör det möjligt att registrera signaler som kommer från olika nivåer i nervsystemet. Det andra steget är användningen av Lab Streaming-lager för att uppnå synkroniserad inspelning och realtidsströmning av signalerna. På det första steget hämtas strömdata med kod, utvecklad på det språk vi föredrar där realtidsanalys och funktionsutvinning av en vald signal äger rum.
Därför upplever deltagarna på det fyra steget den sensoriska förstärkningen av extraherade funktioner som den auditiva kartläggningen av deras hjärtfrekvens till sångens tempo eller den visuella representationen av deras rörelser. Slutligen, genom att kontinuerligt öka kroppsinformationen i realtid stänger vi slingan i den utfällande interaktionen mellan gränssnittet och deltagaren. Undersökningar om hur hjärnan kan kontrollera våra kroppar har genererat utformningen av hjärnmaskingränssnitt.
Som utnyttjar nervsystemet signalerar att styra en extern enhet som ett exoskelett eller en robotarm. Vi presenterar här slutna slinggränssnitt som utnyttjar nervsystemets signaler och förstärker dem med hjälp av en sensorisk modul för att hjälpa deltagarna att få kontroll över sina kroppar. Några viktiga eller funktioner i vår design är en, synkron registrering av data som kommer från olika tekniker för att undersöka olika nivåer av nervsystemet och två är dataströmning och analys av data för realtidsförstoring I båda provstudierna använde vi ljudåterkoppling men i det ljudstängde loopgränssnittet svarade salsadansarna på tempot i musiken som kontrollerades i realtid. , baserat på hjärtats rytm.
För att uppnå detta använder vi det musikaliska programmeringsspråket Max för att styra uppspelningshastigheten för ljudfiler. Sensorer fångar dansarna, hjärtslagen och filtrerade heart R-toppar genereras med ett Python-skript. Dessa toppvärden överförs sedan i realtid till Max via öppen ljudkontroll.
Först hjälpte vi deltagaren att sätta på sig LED-baserade motion capture-dräkten och fästa vid den, deras trådlösa led-styrenhet. När du har slåt på servern öppnar du en webbläsare, anger SERVER-datorns IP-adress och loggar in. Om det här steget lyckas öppnas konfigurationshanteraren.
Öppna sedan gränssnittet för motion capture-systemet och klicka på anslut. för att börja strömma data från led-markörerna. När anslutningen har upprättats visas markörens position i gränssnittets virtuella värld.
Högerklicka på skelettet till höger i fönstret och välj nytt skelett för att välja markörmappning. Högerklicka sedan på skelettet igen och välj generera skelett. Se till att deltagaren poserar i T-pose.
Om alla steg utförs korrekt genereras skelettet. Om du vill strömma skelettdata till LSL väljer du inställningar och alternativ på huvudmenyn. Öppna OWL Emulator och se till att du har klickat på starta livestreaming.
Hjälp sedan samma deltagare att sätta på EEG-huvudlocket. Fyll elektroder med hög ledande gel och placera elektrodkablar. Anslut dem sedan till den trådlösa bildskärmen och slå på den.
Öppna GRÄNSSNITTET för EEG-systemet och välj använd wifi-enhet. Välj enheten och klicka på använd den här enheten, klicka på huvudikonen. Välj det protokoll som gör det möjligt att spela in alla 32 sensorer och klicka på belastning.
Se till att strömdata passar och alla visas i gränssnittet. För att samla in hjärtaktivitetsdata, använd en av EEG-kanalerna för att ansluta EEG-förlängningskabeln. Använd en klibbig elektrod för att sticka den andra änden av förlängningen precis under deltagarens vänstra revbensbur.
Leta reda på LSL-programmet för rörelsefångstsystemet i LSL-mappen och kör det genom att dubbelklicka på motsvarande ikon. Klicka på länken i gränssnittet. För dataströmning av EEG- och EKG-data krävs inga extra steg.
Därefter hittar vi labbinspelarens program, som också finns i LSL-mappen. Kör programmet genom att dubbelklicka på det. Om inte alla datatyper av rörelseinfångst och EEG-systemet visas på panelposten för strömmar klickar du på uppdatera.
Välj katalog och namn på lagringsplatspanelen och klicka sedan på Börja med att starta datasamlingen. Kör MATLAB, Python eller annan kod som tar emot, bearbetar och utökar strömdata. LSL möjliggör strömning av data i många programmeringsplattformar.
De använder de mål som motsvarar deras presentativa exempel som beskrivs i manuskriptet. Besök vår GitHub-länk. På marknaden finns det olika tekniker som skapar sensoriska utgångar.
Några vanliga exempel är:högtalare, lampor, bildskärmar och andra mindre vanliga, till exempel haptiska enheter vibratorer, gustatory och luktgränssnitt. I det ljud slutna loopgränssnittet lyckas vi digitalt öka pulsen. Med hjälp av det musikaliska programmeringsspråket Max kan vi styra uppspelningshastigheten för ljudfiler.
De filtrerade heart R-topparna som skrivs ut på konsolen överförs från Python-skriptet till Max. Där mäts och konverteras intervalltiden mellan topparna till slag per minut. Data skalas för att skapa ett intervall mellan noll, den långsammaste möjliga uppspelningshastigheten och maximal uppspelningshastighet.
På detta kontinuum är en lika med normal uppspelningshastighet, 0,5 är lika med halvfart och två lika med dubbel uppspelningshastighet. Utformningen av det generiska gränssnittet kan användas i olika populationer. Dess protokoll och de exempel som används här för att tillhandahålla konceptbevis är inte begränsade till en viss grupp.
Dessutom är de slutna slinggränssnitten utformade för att intuitivt utforskas och läras. Även om det inte borde finnas något behov av instruktioner som en del av experimentförfarandet. I studien av audio closed loop-gränssnittet för en riktig dyadisk interaktion interagerade två salsadansare med ett gränssnitt som använder de kvinnliga dansarnas hjärtfrekvens för att ändra låtens hastighet.
Dansarna framförde en välrepeterad rutin och en improviserad dans. I varje tillstånd framförde de den ursprungliga versionen av låten en gång och sedan är det hjärt förändrad version två gånger. Från de insamlade uppgifterna uppskattar vi gamma Stochastic signaturer av extraherade mikro rörlighet spikar.
Här observerar vi hjärtats och musikdatas uppskattade sannolikhetstäthetsfunktioner. Knarkfigurerna visar hjärtats uppsättningar, som är ett autonomt organ, från det första villkoret som dansar låten i sin ursprungliga form. Till understödja och thirden villkorar att dansa hjärta ändrande songen.
Den vänstra figuren motsvarar de tre inspelningarna av den spontana dansen, medan den högra figuren till de tre inspelningarna av den avsiktliga dansen. På de nedre siffrorna kan vi observera motsvarande uppsättningar av ljudet som spelas upp. Här har uppsättningarna en motsatt riktning.
I studien av audiovisuellt slutet loopgränssnitt av en artificiell dyadisk interaktion interagerade sex deltagare med ett gränssnitt som skapar deras live speglade avatar. Dessutom bäddar den in höftpositionsberoende ljud. Deltagarna var naiva när det gäller syftet med studien,de var tvungna att gå runt i rummet och räkna ut hur man kontrollerar ljudet som överraskande skulle dyka upp när de passerar genom intresseområdet.
Siffrorna visar sannolikhetstäthetsfunktionen och motsvarande gammasignaturer för höfthastighetsdata för 60 vänkontrolldeltagare, C1 till C6 när de var inom och utanför intresseområdet. Resultaten belyser de personliga skillnaderna i deltagarnas beteende när de är inom eller utanför regionen. Empiriskt har vi funnit att signaturer som ligger i det högra nedre hörnet av gammaplanet är de av idrottare och dansare som utför mycket skickliga rörelser, signaturer som ligger på den vänstra övre regionen kommer från datauppsättningar av nervsystem med patologier.
Därför kan vi märka att signaturerna för höfthastigheten för kontroll tre och fyra avslöjar hälsosammare motormönster när de är inne i volymen. Däremot visar resten av deltagarna det motsatta mönstret. Detta tillvägagångssätt kan användas både för att få en större förståelse för förhållandet mellan en dansares rörelser och ljud.
Det kan också användas för att utforska nya metoder för musikkomposition som leds av kroppslig information i realtid, konvertera musikskapande till en upplevelse kroppssignalförstoring Utvecklingen och forskningen om slutna slinggränssnitt kan gynna flera störningar i nervsystemet. De skulle också kunna användas inom spel, rörelseträning och sport.
Vi presenterar protokoll och analysmetoder för att bygga co-adaptiva gränssnitt som strömmar, parametriserar, analyserar och modifierar mänskliga kropps- och hjärtsignaler i nära slinga. Denna inställning gränssnitt signaler härrör från perifera och centrala nervsystemet hos personen med externa sensoriska ingångar för att spåra biofysiska förändringar.
ABOUT JoVE
Copyright © 2024 MyJoVE Corporation. All rights reserved