İnsansı Robotlar ile Beyin Robot Etkileşimi Deneysel Prosedür SSVEP tabanlı

Özet

The overall goal of this method is to establish an SSVEP-based experimental procedure by integrating multiple software programs to enable the study of brain-robot interaction with humanoid robots, which is prospective in assisting the sick and elderly as well as performing unsanitary or dangerous jobs.

Özet

Brain-Robot Interaction (BRI), which provides an innovative communication pathway between human and a robotic device via brain signals, is prospective in helping the disabled in their daily lives. The overall goal of our method is to establish an SSVEP-based experimental procedure by integrating multiple software programs, such as OpenViBE, Choregraph, and Central software as well as user developed programs written in C++ and MATLAB, to enable the study of brain-robot interaction with humanoid robots.

This is achieved by first placing EEG electrodes on a human subject to measure the brain responses through an EEG data acquisition system. A user interface is used to elicit SSVEP responses and to display video feedback in the closed-loop control experiments. The second step is to record the EEG signals of first-time subjects, to analyze their SSVEP features offline, and to train the classifier for each subject. Next, the Online Signal Processor and the Robot Controller are configured for the online control of a humanoid robot. As the final step, the subject completes three specific closed-loop control experiments within different environments to evaluate the brain-robot interaction performance.

The advantage of this approach is its reliability and flexibility because it is developed by integrating multiple software programs. The results show that using this approach, the subject is capable of interacting with the humanoid robot via brain signals. This allows the mind-controlled humanoid robot to perform typical tasks that are popular in robotic research and are helpful in assisting the disabled.

Giriş

Beyin-Robot Etkileşimi insan ve beyin sinyalleri yoluyla robotik cihaz arasında bir yenilikçi iletişim yolu sağlar (BRI), günlük yaşamlarında ^1,2 engelli yardımcı prospektif olduğunu. Çeşitli yöntemler oluşturmak için vb elektrokortikografi (ECOG), elektroansefalografi (EEG), fonksiyonel manyetik rezonans görüntüleme (fMRI) gibi, ya invaziv veya non-invaziv en sık kullanılan non-invaziv bir yöntem beyin sinyallerini elde edebiliyoruz BRI sistem kafa derisi üzerine yerleştirilen elektrotlar EEG sinyallerini elde etmektir. Bu yöntem, pahalı olmayan bir kullanımı kolaydır, ve kabul edilebilir bir zamansal çözünürlüğü ³ içerir. Onlar insanların günlük geçmesi aynı fiziksel ve zihinsel görevlerin bazıları taklit oluşturulan olarak robotik cihazlar çeşitli arasında, insansı robotlar ileri seviyededir. Insansı robot ile BRI hasta ve yaşlı yardımcı, hem de sağlıksız ve tehlikeli görevlerini yerine getirirken önemli bir rol oynayacaktır. Ama kontroltam vücut hareketi ile insansı robot gibi kişisel yardım ^{4, 5} gibi karmaşık görevleri yerine getirmek için geliştirilmiştir olarak BRI sistemi aracılığıyla bir insansı robot, son derece zordur.

Kararlı Hal Görsel Uyarılmış Potansiyel (SSVEP) Belli bir frekansta ⁶ görsel uyaranın modülasyonu ile uyarılmış beyin sinyalinin bir türüdür. Bu titreşen uyaran temel ve harmonik frekanslarda sinüzoidlerde içerir ve belirgin kafa derisi ⁷ oksipital bölgede görsel korteks boyunca görünür. SSVEP sinyallerini seçilmesinin sebebi SSVEP merkezli BRI sistem nispeten yüksek bilgi aktarım hızı verir ve daha az eğitim ⁸ gerektirir. Bu tür olaya ilişkin potansiyeller (OİP) ⁹ veya motor görüntüleri (MI) ¹⁰ potansiyelleri olarak beyin dalgalarını diğer türleri, aynı zamanda bu deneysel prosedür içine gömülü olabilir.

İnsansı beyin-robot etkileşimini Bizim prosedürrobotlar Cerebot dayanmaktadır - bir zihin kontrollü insansı robot platformu - EEG veri toplama sistemi ve bir insansı robot ¹¹ oluşmaktadır. EEG sistemi, ön işlem ve elektrotların çeşitli edindiği ekran biyo-potansiyel sinyallerini kayıt yapabiliyor. Birden fazla analog I / O ve dijital I / Os sağlar ve 16-bit çözünürlük ile 30 kHz örnekleme hızında anda 128 sinyal kanala kadar kayıt yeteneğine sahiptir. C ++ ve MATLAB Onun yazılım geliştirme kitleri kullanıcıların deneysel prosedürler tasarlamak için kolaydır. Insansı robot serbestlik 25 derece vardır ve 2 kameralar, mikrofonlar 4, 2 sonar rangefinders, 2 IR vericiler ve alıcılar, 1 eylemsizlik kurulu, 9 dokunsal sensörleri ve 8 basınç sensörleri de dahil olmak üzere çoklu sensör ile donatılmıştır. Bu oluşturma ve düzenleme hareketleri ve interaktif robot davranışları Choregraphe ve C ++ SDK sağlar.

Bu yöntemin genel amacı bir SSVEP tabanlı deneysel proce kurmakdure insansı robotlar ¹¹ ile beyin robot etkileşim çalışması sağlamak için, örneğin OpenViBE, Choregraph, Merkezi yazılımı gibi birden fazla yazılım programlarının yanı sıra C ++ ve MATLAB yazılı kullanıcı geliştirdiği programlar entegre ederek. 1 sistem yapısını göstermektedir. Özel uyaran sunum bilgisayar (SPC) görsel uyaranlara, talimatlar ve çevre yorumlarından konuyu sunmak için Kullanıcı Arayüzü görüntüler. Özel bilgi işlem bilgisayar (DPC) çevrimdışı eğitim sürecinde Veri Kaydedici ve Offline Veri Analyzer çalışır ve Online Sinyal İşlemci ve insansı robot online kontrolü için Robot Kontrol çalışır. Diğer SSVEP tabanlı kontrol sistemleri ile karşılaştırıldığında, bizim sistem yeniden ve böyle OpenViBE, Choregraph, Merkezi yazılımı gibi standartlaştırılmış yazılım paketleri, bir dizi entegre tarafından geliştirilen olarak yükseltilmiş ve olması daha esnek, daha güvenilir ve özellikle daha uygundur Modüller C ++ ile yazılmışve MATLAB.

Aşağıdaki prosedür gözden ve Tianjin tıbbi üniversite genel hastane etik kurulu tarafından onaylandı ve tüm denekler yazılı onayını vermiş oldu.

Protokol

1. EEG Sinyallerini Edinme

1. Konuya deneysel prosedür açıklayın ve deneyler katılmaya yazılı bilgilendirilmiş onam edinin.
2. Bir mezura kullanarak konu kafa çevresini ölçün ve ölçüm yakın EEG kap boyutunu seçin. Elektrotlar düzenleme "Uluslararası 10-20 Sistemi" ¹² dayanmaktadır.
3. Nasion ve inion arasındaki mesafeyi ölçün. Kapağı hizalanması için referans olarak mesafe% 10 işaretlemek için bir cilt işaretleyici kalem kullanın ve öznenin kafa derisi üzerinde tepe olarak mesafenin orta noktası işaretleyin.
4. FP1 ve FP2 elektrotlar orta noktası% 10 işaretini hizalayarak konuyla ilgili EEG kapağını yerleştirin. Verteksteki kapağın Taşlı pozisyonu elektrot.
5. Fz, Cz, Pz ve Oz başın orta hat üzerinde olduğundan emin olun ve orta hat her iki tarafında bulunan elektrot her çifti bir yatay çizgi olduğunu.
6. Iletken jel ile REF1 ve REF2 elektrotları sürün. Tıbbi bant kullanarak sağ ve sol mastoide referans elektrotlar yerleştirin. Chinstrap sıkın.
7. Elektrot tutucu bir künt uçlu şırınga yerleştirin ve aşağıdaki sırayla her bir elektrodun içine iletken jel enjekte: Birincisi, alnına ve "toprak" elektrot ikinci, O2, O1, Oz, Pz deneyde kullanılan beş elektrotlar ve Taşlı.
8. Bir uyarıcı monitörün önünde rahat bir sandalye 60 cm konuyu Seat. Monitörün merkezi ile aynı yatay seviyede onun / onun gözlerini tutmak için konuyu söyleyin.
9. EEG veri toplama sistemine elektrot kablolarını bağlayın. 1 kHz örnekleme hızı yapılandırın.
10. Özel DPC EEG sinyal kalitesini inceleyin. Belirli bir elektrot ile ilgili bir sorun varsa, yeniden enjekte jel kanalının empedansını ayarlamak için.
11. 4,615, 12, 15 ve 20 frekanslarda dört robot görüntüleri titreşmeye adanmış SPC kullanınKullanıcı Arabirimi görsel uyaranlar olarak Hz Şekil 2'de görüldüğü gibi.

2. Çevrimdışı Analiz SSVEP Özellikleri

1. Her konu için çevrimdışı eğitim deneyleri 32 denemeler yapmak ve bu süreç boyunca EEG sisteminden alınan beyin sinyallerini kaydeder.
   NOT: Bu işlem sadece kendi SSVEP özelliği vektörleri kurmak ve sınıflandırıcı eğitmek için deney ilk kez bireyler tarafından yapılır.
2. Deneme başladığında, rastgele hedef olarak tek uyaran seçin ve üstündeki sarı ok görüntüler.
3. 1 sn sonra 5 saniye boyunca Kullanıcı Arabirimi üzerinde farklı frekanslarda dört görsel uyaranlara titreme.
4. Minimumda onun / onun vücut hareketini tutarken seçilen uyaran hedefe odaklanmak konuyu isteyin.
5. Her deneme sonra, dinlenmek konu 3 saniye ver, sonra bir sonraki deneme başlatın.
6. Tüm çalışmalar bittiğinde, kaydedilen veri okumak. 3 sn veri çığır olmak Özü ara 2 sn ve her denemede hedef olarak bir uyarıcı seçer tetik sonra 5 sn.
7. MATLAB komut Offline Veri Analyzer kullanarak veri dönemini güç spektrumu yoğunluğu (PSD) hesaplayın. Aşağıda ayrıntılı olarak tarif işleme algoritması kullanın:
   1. Referans veri ile çok kanallı EEG verilerinin kanonik korelasyon analizi (CCA) katsayıları hesaplayın. CCA altta yatan korelasyon ¹³ bulmak için iki veri seti için kullanılan bir çok değişkenli istatistiksel bir yöntemdir. Çok kanallı EEG verileri X ve referans verileri aynı uzunlukta Y 3s segmenti göz önüne alındığında, X = X ^T W _{x ve y} = Y ^T arasındaki ρ korelasyon katsayısının üst düzeye çıkarmak için, ağırlık vektörleri, W _{x ve y} W bulmak için kullanımı CCA _y W. Belirli uyaran frekanslarda periyodik sinyalleri referans verileri ayarlayın.
      /ftp_upload/53558/53558eq1.jpg "/>
      burada f _1, f _{2, 3} f, ₄ dört görsel uyaranın özelliği frekansları f.
   2. Mekansal referans veri doğrusal kombinasyonu ile en belirgin ilişki vardır bir tek boyutu süzülmüş veri x, elde etmek için hesaplanan CCA katsayıları W _x kullanarak çok kanallı EEG verisi X filtre.
   3. Hızlı Fourier Dönüşümü (FFT) kullanan uzamsal biçimde filtre edilmiş veriler x PSD hesaplayın.
      
      N _FFT örnek veri x boyutu ve FFT burada (x, N _FFT) N _FFT -Point ayrık Fourier dönüşümü x döndürür.
   4. 3 ve 30 Hz arasındaki ortalama değer bakımından PSD Normale.
      
      nerede60; 3 ve 30Hz arasındaki güç spektrumunun ortalamasını gösterir.
8. Dört uyaran frekanslar için sınıflandırma parametrelerini ayarlayın. İlk olarak, uyarıcı hedefine karşılık normalize PSD spektrumu gözlemlemek ve el özellik sıklığı gibi güçlü PSD genlikli frekans yapılandırın. İlgili uyaran hedef olarak seçildiğinde tek elde edilir, ve hedef olmayan uyaranlara seçildiğinde diğer elde edilir: özellik frekansına dayanarak, iki takım halinde normalize PSD verileri bölün. Sırasıyla kurulan her ortalama değerini hesaplayın. Hedef ve hedef olmayan ¹⁴ setleri sınıflandırmak için iki ortalama değerlerin ortanca tarafından eşiğini belirler.

3. Online İşlem Beyin Sinyalleri

1. B geliştirilmiştir, Şekil 3 de gösterildiği gibi online Sinyal İşlemcisi açonline işlem beyin sinyalleri için DPC üzerinde OpenViBE ortamı ve MATLAB komut, üzerinde ased.
2. Çift OpenViBE ayarı penceresini açmak için, Şekil 3'te kırmızı döngüsü ile işaretlenmiş Edinme ve Süreç Sinyal kutusunu tıklatın. Konu için sınıflandırma parametrelerini yapılandırın. Çevrimdışı analiz sonuçlarına göre 1 kHz olarak örnekleme oranını ayarlamak, 3 saniye olarak FFT zaman uzunluğunu ayarlayın ve özellik frekanslarını ayarlamak, örneğin 4,667, 24, 15 ve 20 Hz .
3. Üç adımda aşağıdaki algoritmayı kullanarak gerçek zamanlı verileri işler Çevrimiçi Sinyal İşlemci, çalıştırmak için başlatır düğmesini tıklatın.
4. İlk olarak, algoritma kanalları Oz, O1, O2, Pz ve EEG sisteminin her 0.5s arasında CPZ gelen EEG verilerini satın aldı ve çevrimiçi işlem için son 3s veri kesimini ayıklar.
5. İkincisi, algoritma aşama 2.7'de açıklanan algoritmalar kullanarak 3-sn veri segmenti işler ve sınıfla için gerçek zamanlı PSD hesaplaryon.
6. Üçüncü olarak, algoritma dört özellik frekanslarda PSD genliklerine göre beyin desenleri sınıflandırır. Tek özellik frekans genlik verilen eşiğin üstünde olduğunda, SSVEP hedef olarak karşılık gelen frekansta titreşen uyaran sınıflandırır.

4. İnsansı Robot Bağlanması

1. İnsansı robot Göğüs düğmesine basın ve başlatmak için bekleyin.
   NOT: Bu işlem yaklaşık 1 dakika sürer ve Göğüs düğmesi beyaz olurken robot "OGNAK GNOUK" diyor tamamlandı.
2. DPC ¹⁵ olan Wireless Fidelity (WiFi) bağlantısı kurun.
3. Robot Denetleyicisi DPC Visual C ++ komut programlanmış a açın. Kumanda robot komutları içine çevirir, Virtual Reality-Periferik Ağı (VRPN) arabirimi üzerinden online Sinyal İşlemcisi sınıflandırma sonuçlarını alır ve humanoi karşılık gelen davranışları kontrolkablosuz bağlantı üzerinden d robotu.
4. Olabilir robot davranışlarının üç set tanımlayan kendi WiFi bağlantı göre robotun IP adresini girerek Robot Kontrolörü yapılandırma kolaylıkla üç farklı görevleri gerçekleştirmek için açık ve (bu davranışların icra parametreleri ayarlayarak, örneğin., Yürüme hızı veya mesafe) görev gereksinim uyacak şekilde.
   NOT: Bu davranışların daha fazla detay adımlarla 5.2.1, 5.3.1, 5.4.1 ve tarif edilmektedir.
5. Robot Denetleyicisi çalıştırmak için Visual Studio platformunun Oluştur düğmesini tıklatın.
6. SPC üzerinde Choregraphe programını açın. Düğmesini tıklatın Bağlantı Widget açılır "bağlan". IP adresine göre kontrol edilecek robot seçin ve çift ona bağlanmak için simgesini tıklatın.
7. Choregraphe Menü çubuğundaki görünüm menüsünden video monitörü açın ve robotun kameradan canlı video geribildirim görüntülemek için kullanıcı arabirimi önüne monitörü taşıyın.

5. Kapalı çevrim kontrol Deneyleri yapılması

1. Beyin-robot etkileşimi performansını değerlendirmek için farklı ortamlar içinde üç özel kapalı çevrim kontrol görevleri gerçekleştirmek için konuyu isteyin.
   NOT: günlük hayatlarında engelli ve yaşlı yardımcı yararlı çünkü robotik uygulamalarda önemli olan bu görevler, farklı robot davranışları etkinleştirmeniz gerekir.
2. Şekil 4'te gösterildiği gibi, engellerin üzerinden yürümek ve ışığı açmak için bir ışık anahtarı itmek için beyin sinyalleri aracılığıyla insansı robot kontrolü TelePresence ilk kapalı çevrim kontrol görevi yürütün.
   1. İlk görevi başarmak üzere dört SSVEP uyaranlarla kodlanmış robot davranışlarını kontrol etmek için: 0.15 m sabit mesafe ile ileri adım 0.3 rad sabit radyan ile sola dönülerek, sağ 0.3 rad sabit radyan ile dönerek, ve onun sağ elini kullanarak anahtarı iterek.
      NOT: ayarlayation işlem aşamasında 4,4 tarif edilmektedir.
   2. Görev hedefi konusunu ve dört davranışları bilgilendirin kontrol edilecek.
   3. Adımlar 4,5-4,7 olarak Robot denetleyicisi çalıştırın ve deney başlar. Çevreyi algılama ve canlı video yorumlarına dayanarak kararlar ve ilgili uyaranlara bakarak robot davranışları etkinleştirmek için konuyu özgürlük verin.
      . NOT: Acil durumlarda, örn, robot bir engel ile çarpışmak üzere olmadıkça hiçbir talimat veya yardım konusuna önem verilmelidir.
3. Yoldan geçenleri Ne zaman karşı karşıya Şekil 5'te gösterildiği gibi, çıkış işareti aşağıdaki merdiven doğru yürümeye beyin sinyalleri aracılığıyla insansı robot kontrolü TelePresence ikinci görevi yürütün., Say "pardon" ve beklemek robotu kontrol etmek konuyu sormak geçenler yol vermek için.
   1. Continuousl ileri yürüyüş: dört SSVEP uyaranlara tarafından kodlanan robot davranışlarını kontrol0,05 m / s bir hızda y 0.1 rad / sn bir hızda hemen sürekli dönerek ve yürüyüş davranışları durdurma 0.1 rad / sn bir hızda sürekli sola dönerek.
   2. Duruş bağlı kontrol fonksiyonu ¹⁶ Robot Kontrol Anahtarı.
      NOT: robot yürürken bu fonksiyon yürüyüş davranışları durdurma emri olarak dördüncü uyaran kullanır; Robot yürürken değilken, bu "pardon" demek robotu kontrol etmek dördüncü uyarıcı kullanır. Fonksiyon robotun yürüme durumunu tespit ederek C ++ komut uygulanmaktadır.
   3. Görev hedefi konusunu ve beş davranışları bilgilendirin kontrol edilecek.
   4. Aşama 5.2.3 de açıklandığı gibi, Robot Kontrolörü çalıştırın ve deney başlar.
4. Şekil 6'da gösterildiği gibi, onu almaya ve deneğin elinin teslim etmek, bir balon hedefe doğru yürümeye insansı robot kontrolü TelePresence için üçüncü görevi Davranış.
   1. Dört SSVEP uyaranlara tarafından kodlanan robot davranışlarını kontrol: 0,15 m sabit mesafe ile öne çıkarak, 0.3 rad sabit radyan sol 0,3 rad sabit radyan ile doğru dönerek, ve nesneleri toplayıp dönülerek.
   2. Zaten kaldırdı edildiğinde nesneyi koyarak emri olarak dördüncü uyaran yeniden Robot denetleyicisi duruş bağlı kontrol fonksiyonunu etkinleştirin.
   3. Görev hedefi konusunu ve beş davranışları bilgilendirin kontrol edilecek.
   4. Aşama 5.2.3 de açıklandığı gibi, Robot Kontrolörü çalıştırın ve deney başlar.

Sonuçlar

Burada sunulan sonuçlar, erkek konusu düzeltilmiş-to normal olan elde edilen bir versiyonu. Şekil 7, uzamsal olarak CCA katsayıları kullanılarak verilerin filtre edilmesi, çok kanallı bir veri Epoch (Şekil 7A) ekstre dahil olmak üzere işleme EEG veri prosedürü gösterir (Şekil 7B) ve normalize PSD (Şekil 7C) hesaplanması.

Şekil 8

Tartışmalar

Bu yazıda birden fazla yazılım programlarını entegre ederek insansı robotlar beyin-robot etkileşimi sistemi kurmak için bir SSVEP tabanlı deneysel prosedür sunar. İnsan niyet gerçek zamanlı EEG sinyallerini yorumlayarak algılanan olduğundan, deney yapmadan önce elektrot bağlantıları ve EEG sinyal kalitesini doğrulamak için kritik öneme sahiptir. Tüm elektrotlar elde edilen sinyaller kötü nitelikleri ise, ilk zemin ve referans elektrotlar bağlantısını kontrol etmek gereklidir. Elektrotların ...

Malzemeler

Name	Company	Catalog Number	Comments
Cerebus EEG Data Acquisition System	Blackrock Microsystems	4176-9967
NAO humanoid robot	Aldebaran Robotics	H25
EEG cap	Neuroscan	8732
Ten20 Conductive gel	Weaver and company	10-20-8