このインターフェイスの全体的な目的は、身体の意識を得るためのポリ信号増強の効果を研究することです。これは、さまざまな実験用セットアップでさまざまなウェアラブル技術で使用でき、異なる集団に適用できる汎用クローズドループインタフェースを設計することによって実現されます。この研究では、サンプルインタフェース、そのアプリケーション、およびヒューマンシステムへの影響に対する汎用インタフェースを紹介します。
設計の最初のステップは、神経系の異なるレベルから来る信号の記録を可能にする様々なウェアラブル技術の使用です。2 番目のステップは、信号の同期された記録とリアルタイム ストリーミングを実現するラボ ストリーミング レイヤーの使用です。最初のステップでは、ストリームデータは、選択された信号のリアルタイム分析と特徴抽出が行われている私たちの好みの言語で開発されたコードによってプルされます。
したがって、4つのステップで、参加者は、心拍数の聴能マッピングから曲のテンポへのマッピング、またはモーションの視覚的表現など、抽出された特徴の感覚増強を経験しています。最後に、身体情報をリアルタイムで継続的に増強することで、インターフェースと参加者の間で繰り広げられる相互作用のループを閉じます。脳が私たちの体をどのように制御する方法に関する調査は、脳機械インターフェースの設計を生成しました。
外骨格やロボットアームなどの外部デバイスを制御するために神経系信号を利用する。ここでは、神経系の信号を利用し、感覚モジュールを使用して参加者が自分の体を制御するのを助ける閉じたループインターフェースを提示します。私たちのデザインのいくつかの本質的なまたは特徴は、神経系の様々なレベルを調査するために異なる技術から来るデータの同期記録であり、2つは、リアルタイム増強のためのデータストリーミングとデータの分析である両方のサンプル研究では、オーディオフィードバックを使用しましたが、オーディオクローズドループインターフェイスではサルサダンサーがリアルタイムで制御された音楽のテンポに応答していました、心臓のリズムに基づいています。
これを達成するために、音楽プログラミング言語、Maxを使用してオーディオファイルの再生速度を制御します。センサーは、ダンサー、ハートビート、フィルタリングされた心臓Rピークをキャプチャし、Pythonスクリプトを使用して生成されます。これらのピーク値は、オープンサウンドコントロールを介してMaxにリアルタイムで送信されます。
まず、参加者がLEDベースのモーションキャプチャの衣装を着て、ワイヤレス主導のコントローラに取り付けるのを手伝いました。サーバーの電源を入れた後、Web ブラウザーを開き、サーバー・マシンの IP アドレスを入力してサインインします。この手順が成功すると、構成マネージャーが開きます。
次に、モーション キャプチャ システムのインターフェイスを開き、[接続] をクリックします。をクリックして、LED マーカーからデータのストリーミングを開始します。接続が確立されると、マーカーの位置がインターフェイスの仮想世界に表示されます。
ウィンドウの右側にあるスケルトンを右クリックし、新しいスケルトンを選択してマーカーマッピングを選択します。次に、スケルトンを右クリックしてスケルトンを生成を選択します。参加者がTポーズでポーズをとっていることを確認します。
すべてのステップが正しく実行されれば、スケルトンが生成されます。スケルトンデータを LSL にストリーミングするには、メインメニューから設定とオプションを選択します。OWLエミュレータを開き、ライブストリーミングを開始をクリックしたことを確認します。
次に、同じ参加者がEEGヘッドキャップをかぶるのを助けます。高い導電性ゲルで電極を充填し、電極ケーブルを配置します。次に、ワイヤレスモニタに接続し、電源を入れます。
EEGシステムのインターフェイスを開き、WiFiデバイスを使用するを選択します。デバイスを選択し、[このデバイスを使用する]をクリックし、ヘッドアイコンをクリックします。32センサーすべてを記録できるプロトコルを選択し、負荷をクリックします。
ストリーム データが適合し、すべてのデータがインターフェイスに表示されていることを確認します。心臓活動データを収集するには、EEGチャンネルの1つを使用してEEG延長ケーブルを接続します。粘着性のある電極を使用して、参加者の左リブケージのすぐ下に延長の反対側を貼り付けます。
LSL フォルダ内のモーション キャプチャ システムの LSL アプリケーションを見つけ、対応するアイコンをダブルクリックして実行します。インターフェイスで適切なサーバ アドレスを設定し、[リンク] をクリックします。EEG および ECG データ ストリーミングの場合、追加の手順は必要ありません。
次に、LSL フォルダにあるラボ レコーダー アプリケーションを探します。ダブルクリックしてアプリケーションを実行します。モーション キャプチャと EEG システムのすべてのデータ タイプが、ストリームのパネル レコードに表示されない場合は、[更新] をクリックします。
[保存場所] パネルで [ディレクトリと名前] を選択し、[開始] をクリックしてデータ収集を開始します。MATLAB、Python、またはストリームデータを受信、処理し、拡張する他のコードを実行します。LSL は、多数のプログラミング プラットフォームでデータをストリーミングできるようにします。
彼らは、原稿に記載されている彼らの提示的な例に対応する目標を使用しています。GitHub リンクをご覧ください。市場には、感覚的な出力を生み出す様々な技術があります。
いくつかの一般的な例は、スピーカー、ライト、モニター、および触覚デバイスバイブレーター、気薬および嗅覚インターフェイスなどの他のあまり一般的なものがあります。オーディオクローズドループインターフェースでは、心拍数をデジタル的に増強することができます。音楽プログラミング言語Maxを使用して、オーディオファイルの再生速度を制御することができます。
コンソールに出力されるフィルター処理された心臓 R ピークは、Python スクリプトから Max に送信されます。そこでは、ピーク間隔の間隔の間の時間が測定され、毎分拍に変換されます。データは、ゼロ、可能な限り遅い再生速度、最大再生速度の範囲を作成するようにスケーリングされます。
この連続体では、1は通常の再生速度に等しく、0.5は半分の速度に等しく、2つは二重再生速度に等しい。ジェネリック インターフェイスの設計は、さまざまな集団で使用できます。そのプロトコルと概念実証を提供するためにここで使用される例は、特定のグループに限定されません。
さらに、閉じたループインターフェイスは、直感的に探索し、学習するように設計されています。実験手順の一部として指示を必要としないはずですが。実際のダイアディック相互作用のオーディオ閉ループインターフェースの研究では、2人のサルサダンサーが女性ダンサーの心拍数を使用して曲の速度を変更するインターフェイスと相互作用しました。
ダンサーたちは、よくリハーサルされたルーチンと即興ダンスを行いました。各条件で彼らは一度曲のオリジナルバージョンを実行し、その後、それは2回の心の変更バージョンです。収集されたデータから、抽出されたマイクロ移動スパイクのガンマ確率シグネチャを推定します。
ここでは、心臓の推定確率密度関数と音楽データを観察します。ドープの数字は、元の形で曲を踊る最初の条件から、自律器官である心臓のセットを示しています。第二と第三の条件に心が変わった歌を踊る。
左の図は、自発舞の3つの録音に対応し、右の図は、意図的なダンスの3つの録音に対応しています。下の図では、演奏されたオーディオの対応するセットを観察することができます。ここでは、セットは反対方向を持っています。
人工ダイアディック相互作用のオーディオビジュアル閉ループインターフェースの研究では、6人の参加者がライブミラーアバターを作成するインターフェイスと対話しました。また、ヒップポジション依存のサウンドを埋め込みます。参加者は研究の目的についてナイーブでした。彼らは部屋の周りを歩き回り、興味のある地域を通過する時に驚くほど現れる音を制御する方法を理解しなければならなかった。
この図は、60人の友人コントロール参加者の股関節速度データの確率密度関数とそれに対応するガンマシグネチャ(C1~C6)が対象領域の内外にあったことを示しています。結果は、地域の内外での参加者の行動におけるパーソナライズされた違いを強調します。経験的には、ガンマ面の右下隅に位置する署名は、高度に熟練した動きを行うアスリートやダンサーのものであり、左上領域にある署名は病理学を持つ神経系のデータセットから来ていることがわかりました。
したがって、制御3と4のヒップスピードのシグネチャは、ボリューム内でより健康的なモーターパターンを明らかにしていることに気づくことができます。それとは対照的に、参加者の残りの部分は反対のパターンを表示します。このアプローチは、ダンサーの動きと音の関係をより深く理解するために使用することができます。
また、リアルタイムの身体情報によって導かれる楽曲への新しいアプローチを探求するために使用することができ、音楽作りを身体信号増強体験に変換閉じたループインターフェースの開発と研究は、神経系のいくつかの障害に利益をもたらす可能性があります。彼らはまた、ゲーム、運動トレーニングやスポーツで使用することができます。
