Real-time proxybesturing van opnieuw geparametriseerde randsignalen met behulp van een close-loop-interface

Het algemene doel van deze interface is om het effect van poly signaalvergroting op het verkrijgen van lichamelijk bewustzijn te bestuderen. Dit wordt bereikt door het ontwerpen van een generieke closed loop interface, die kan worden gebruikt met verschillende draagbare technologieën op verschillende experimentele opstellingen en kan worden toegepast op verschillende populaties. In dit werk presenteren we een generieke interface om interfaces, hun toepassingen en hun effect op het menselijk systeem te bemonsteren.

De eerste stap van het ontwerp is het gebruik van verschillende draagbare technologieën die het mogelijk maken om signalen te registreren die afkomstig zijn van verschillende niveaus van het zenuwstelsel. De tweede stap is het gebruik van de Lab Streaming-laag om gesynchroniseerde opname en realtime streaming van de signalen te bereiken. Bij de eerste stap worden de stroomgegevens getrokken door code, ontwikkeld in de taal van onze voorkeur waar de realtime analyse en functie-extractie van een geselecteerd signaal plaatsvindt.

Vandaar dat de deelnemers bij de vier stappen de sensorische vergroting van geëxtraheerde functies ervaren, zoals het auditief in kaart brengen van hun hartslag op het tempo van het nummer of de visuele weergave van hun bewegingen. Ten slotte sluiten we, door de lichaamsinformatie voortdurend in realtime uit te breiden, de lus van de ontvouwende interactie tussen de interface en de deelnemer. Onderzoek naar hoe de hersenen ons lichaam kunnen controleren, heeft het ontwerp van hersenmachine-interfaces gegenereerd.

Die de signalen van het zenuwstelsel gebruiken om een extern apparaat te besturen, zoals een exoskelet of een robotarm. We presenteren hier gesloten lusinterfaces die de signalen van het zenuwstelsel benutten en uitbreiden met behulp van een sensorische module om deelnemers te helpen controle over hun lichaam te krijgen. Enkele essentiële of kenmerken van ons ontwerp zijn er een, de synchrone registratie van gegevens afkomstig van verschillende technologieën om verschillende niveaus van het zenuwstelsel te onderzoeken en twee is de gegevensstreaming en analyse van de gegevens voor realtime vergroting In beide voorbeeldstudies gebruikten we audiofeedback, maar in de audio closed loop-interface reageerden de salsadansers op het tempo van de muziek die in realtime werd bestuurd , gebaseerd op het ritme van het hart.

Om dit te bereiken gebruiken we de muzikale programmeertaal Max om de afspeelsnelheid van audiobestanden te regelen. Sensoren vangen de dansers, hartslagen en gefilterde hart R pieken worden gegenereerd met behulp van een Python script. Deze piekwaarden worden vervolgens in realtime naar Max verzonden via een open geluidsregeling.

Eerst hielpen we de deelnemer met het LED-gebaseerde motion capture-kostuum en eraan bevestigd, hun draadloze ledcontroller. Nadat u de server hebt ingeschakeld, opent u een webbrowser, voert u het IP-adres van de servercomputer in en meldt u zich aan. Als deze stap is geslaagd, wordt de configuratie manager geopend.

Open vervolgens de interface van het motion capture-systeem en klik op verbinden. om te beginnen met het streamen van de gegevens van de ledmarkers. Zodra de verbinding tot stand is gebracht, wordt de positie van de markeringen weergegeven op de virtuele wereld van de interface.

Klik met de rechtermuisknop op het skelet aan de rechterkant van het venster en selecteer een nieuw skelet om markeringstoewijzing te kiezen. Klik vervolgens nogmaals met de rechtermuisknop op skelet en selecteer skelet genereren. Zorg ervoor dat de deelnemer poseert in T-pose.

Als alle stappen correct worden uitgevoerd, wordt het skelet gegenereerd. Als u de skeletgegevens naar LSL wilt streamen, selecteert u instellingen en opties in het hoofdmenu. Open OWL Emulator en zorg ervoor dat je hebt geklikt op start live streaming.

Help vervolgens dezelfde deelnemer de EEG-hoofdkap op te zetten. Vul elektroden met een hoge geleidende gel en plaats de elektrodekabels. Sluit ze vervolgens aan op de draadloze monitor en schakel deze in.

Open de interface van het EEG-systeem en selecteer wifi-apparaat gebruiken. Selecteer het apparaat en klik op gebruik dit apparaat, klik op het hoofdpictogram. Selecteer het protocol waarmee alle 32 sensoren kunnen worden opgenomen en klik op laden.

Zorg ervoor dat de streamgegevens passen en dat ze allemaal op de interface worden weergegeven. Gebruik een van de EEG-kanalen om de EEG-verlengkabel aan te sluiten om hartactiviteitsgegevens te verzamelen. Gebruik een plakkerige elektrode om het andere uiteinde van de extensie recht onder de linker ribbenkast van de deelnemer te steken.

Zoek de LSL-toepassing van het motion capture-systeem in de LSL-map en voer deze uit door te dubbelklikken op het bijbehorende pictogram. Klik op de interface op het juiste serveradres. Voor de EEG- en ECG-gegevensstreaming zijn geen extra stappen vereist.

Vervolgens vinden we de labrecordertoepassing, die zich ook in de LSL-map bevindt. Voer de applicatie uit door erop te dubbelklikken. Als niet alle gegevenstypen van de motion capture en het EEG-systeem worden weergegeven in de paneelrecord voor streams, klikt u op bijwerken.

Selecteer map en naam in het deelvenster Opslaglocatie en klik vervolgens op start om de gegevensverzameling te starten. Voer de MATLAB, Python of andere code uit die de stroomgegevens ontvangt, verwerkt en vergroot. LSL maakt het streamen van de gegevens in tal van programmeerplatforms mogelijk.

Ze gebruiken de doelen die overeenkomen met hun huidige voorbeelden die in het manuscript worden beschreven. Bezoek onze GitHub link. Op de markt zijn er verschillende technologieën die sensorische outputs creëren.

Enkele veel voorkomende voorbeelden zijn: luidsprekers, lichten, monitoren en andere minder voorkomende, zoals haptische apparaten vibrators, gustatory en olfactory interfaces. In de audio closed loop interface slagen we erin om de hartslag digitaal te verhogen. Met behulp van de muzikale programmeertaal Max kunnen we de afspeelsnelheid van audiobestanden regelen.

De gefilterde hart R-pieken die naar de console worden afgedrukt, worden verzonden van het Python-script naar Max. Daar wordt de interpiek intervaltijd gemeten en omgezet in beats per minuut. De gegevens worden geschaald om een bereik te creëren tussen nul, de langzaamst mogelijke afspeelsnelheid en de maximale afspeelsnelheid.

Op dit continuüm is één gelijk aan normale afspeelsnelheid, 0,5 is gelijk aan halve snelheid en twee is gelijk aan dubbele afspeelsnelheid. Het ontwerp van de generieke interface kan in verschillende populaties worden gebruikt. Het protocol en de voorbeelden die hier worden gebruikt om een proof of concept te leveren, zijn niet beperkt tot een specifieke groep.

Bovendien zijn de closed loop interfaces ontworpen om intuïtief te worden verkend en geleerd. Hoewel er geen instructies nodig zouden moeten zijn als onderdeel van de experimentele procedure. In de studie van audio closed loop interface van een echte dyadische interactie, twee salsa dansers interactie met een interface die de vrouwelijke dansers hartslag gebruikt om de snelheid van het nummer te veranderen.

De dansers voerden een goed ingestudeerde routine en een geïmproviseerde dans uit. In elke toestand voerden ze de originele versie van het nummer één keer uit en vervolgens veranderde het hart twee keer de versie. Uit de verzamelde gegevens schatten we de gamma stochastische handtekeningen van de geëxtraheerde microbewegingspieken.

Hier observeren we de geschatte waarschijnlijkheidsdichtheidsfuncties van het hart en de muziekgegevens. De dopefiguren tonen de sets van het hart, dat een autonoom orgaan is, vanaf de eerste voorwaarde die het lied in zijn oorspronkelijke vorm danst. Aan de tweede en derde voorwaarde die het hart dansen veranderde lied.

De linkerfiguur komt overeen met de drie opnames van het spontane dansen, terwijl de rechterfiguur overeenkomt met de drie opnames van het bewust dansen. Op de onderste figuren kunnen we de overeenkomstige sets van de afgespeelde audio observeren. Hier hebben de sets een tegengestelde richting.

In de studie van audiovisuele closed loop interface van een kunstmatige dyadische interactie, zes deelnemers interactie met een interface die hun live gespiegelde avatar creëert. Bovendien integreert het heuppositieafhankelijke geluiden. De deelnemers waren naïef over het doel van het onderzoek; ze moesten door de kamer lopen en uitzoeken hoe ze het geluid konden beheersen dat verrassend zou ontstaan als ze door de interesseregio zouden gaan.

De cijfers tonen de waarschijnlijkheidsdichtheidsfunctie en de bijbehorende gammasignaturen van de heupsnelheidsgegevens van 60 deelnemers aan de vriendencontrole, C1 tot C6, wanneer ze zich binnen en buiten de interesseregio bevinden. De uitkomsten benadrukken de gepersonaliseerde verschillen in het gedrag van de deelnemers binnen of buiten de regio. Empirisch hebben we ontdekt dat handtekeningen in de rechterbenedenhoek van het gammavlak die van atleten en dansers zijn die hoogopgeleide bewegingen uitvoeren, handtekeningen die op de linkerbovenregio liggen, komen uit datasets van zenuwstelsels met pathologieën.

Daarom kunnen we opmerken dat de handtekeningen van de heupsnelheid van controle drie en vier gezondere motorische patronen onthullen wanneer ze zich in het volume bedienen. Daarentegen geven de rest van de deelnemers het tegenovergestelde patroon weer. Deze aanpak kan zowel worden gebruikt om een beter begrip te krijgen van de relatie tussen de bewegingen van een danser en geluid.

Het kan ook worden gebruikt om nieuwe benaderingen van muziekcompositie te verkennen die worden geleid door realtime lichaamsinformatie, het omzetten van muziek maken naar een ervaring de lichaamssignaalvergroting De ontwikkeling en het onderzoek naar gesloten lusinterfaces kunnen verschillende aandoeningen van het zenuwstelsel ten goede komen. Ze kunnen ook worden gebruikt in gaming, bewegingstraining en sport.