SSVEP基础实验步骤与人形机器人脑机器人互动

摘要

The overall goal of this method is to establish an SSVEP-based experimental procedure by integrating multiple software programs to enable the study of brain-robot interaction with humanoid robots, which is prospective in assisting the sick and elderly as well as performing unsanitary or dangerous jobs.

摘要

Brain-Robot Interaction (BRI), which provides an innovative communication pathway between human and a robotic device via brain signals, is prospective in helping the disabled in their daily lives. The overall goal of our method is to establish an SSVEP-based experimental procedure by integrating multiple software programs, such as OpenViBE, Choregraph, and Central software as well as user developed programs written in C++ and MATLAB, to enable the study of brain-robot interaction with humanoid robots.

This is achieved by first placing EEG electrodes on a human subject to measure the brain responses through an EEG data acquisition system. A user interface is used to elicit SSVEP responses and to display video feedback in the closed-loop control experiments. The second step is to record the EEG signals of first-time subjects, to analyze their SSVEP features offline, and to train the classifier for each subject. Next, the Online Signal Processor and the Robot Controller are configured for the online control of a humanoid robot. As the final step, the subject completes three specific closed-loop control experiments within different environments to evaluate the brain-robot interaction performance.

The advantage of this approach is its reliability and flexibility because it is developed by integrating multiple software programs. The results show that using this approach, the subject is capable of interacting with the humanoid robot via brain signals. This allows the mind-controlled humanoid robot to perform typical tasks that are popular in robotic research and are helpful in assisting the disabled.

引言

脑机器人交互（BRI），它提供了人，并通过大脑信号的磁带设备之间的创新的通信通道，是未来的在帮助残疾人在日常生活中^1,2。各种各样的方法都能够获得大脑信号要么侵入或非侵入性，如脑电图（脑电图），脑电图（EEG），功能磁共振成像（fMRI）等用于建立最常用的非侵入性的方法BRI系统是获得从置于头皮上的电极脑电信号。这种方法是便宜的，易于使用，并提供了一个可接受的时间分辨率^3。在众多的机器人设备，仿人机器人是先进的，因为他们创造了模仿一些人类每天接受同样的身体和精神的任务。 BRI，带仿人机器人将在协助老弱病残，以及执行不卫生或危险的工作具有重要作用。但控制通过BRI系统仿人机器人是极具挑战性，因为仿人机器人全身运动发展到执行复杂的任务，如个人协助^4，5。

稳态视觉诱发电位（SSVEP）是在给定频率⁶诱发的视觉刺激的调制类型的脑信号的。它包含血窦在闪烁刺激的基波和谐波频率，并显着地出现在整个头皮⁷枕骨区域的视觉皮层。之所以选择SSVEP信号是，SSVEP为基础的BRI系统产生较高的信息传输速率，并需要更少的培训^8。其他类型的脑电波，如事件相关电位（ERP的^）9或马达成像（MI）的电位^10，也可以嵌入到该实验步骤。

我们与仿人脑机器人互动过程机器人是基于Cerebot -一种思维控制类人机器人平台-包括脑电数据采集系统和人形机器人^11。脑电图系统是能够记录，预处理和由各种类型的电极获取的显示生物电势信号。它提供了多个模拟的I / O和数字I / O，并且能够同时记录多达128个信号通道以30千赫具有16位分辨率的采样率的。它在C ++和MATLAB软件开发工具包便于用户设计实验步骤。人形机器人具有25个自由度，并配备有多个传感器，包括2个摄像头，麦克风4，2声纳测距仪，2 IR发射器和接收器，1惯性板，9触觉传感器，和8的压力传感器。它提供了Choregraphe和C ++ SDK用于创建和编辑的动作和互动的机器人行为。

这种方法的总体目标是建立一个SSVEP为基础的实验PROCE杜热通过集成多个软件程序，如OpenViBE，Choregraph，中央软件以及写在C ++和MATLAB用户开发的程序，以实现与人形机器人¹¹脑机器人相互作用的研究。 图1显示了系统的结构。专用刺激呈现计算机（SPC）显示用户界面以提供与视觉刺激，指示和环境反馈的主题。专用数据处理计算机（DPC）运行在数据记录器和离线数据分析器中的离线训练的过程中，并运行在线信号处理器和机器人控制器的人形机器人的在线控制。与其他SSVEP为基础的控制系统相比，我们的系统更可靠，更灵活，尤其是更方便的重复使用和更新，因为它是通过将若干标准化的软件包，诸如OpenViBE，Choregraph，中部软件开发的，并模块用C ++编写和MATLAB。

下面的过程进行了审查并批准了天津医科大学总医院伦理委员会，和所有科目签署知情同意书。

研究方案

1.获取脑电信号

1. 解释了实验过程的主题，并取得书面知情同意参加实验。
2. 测量被检者的头部用卷尺测量的周长，并选择EEG帽大小是接近测量。电极排列是根据"国际:10-20系统^"12。
3. 测量鼻根和INION之间的距离。用皮肤标记笔标记的距离作为用于对准​​的帽的基准的10％，并标记的距离作为被检者的头皮的顶点的中点。
4. 通过与FP1和FP2电极的中点对准10％大关将关于这一主题的脑电图帽。位置电极锆石的顶点帽。
5. 确保Fz的，CZ，Pz的和盎司是在头的中线，而每对位于所述中线的任一侧电极是在一个水平线上。
6. 涂抹REF1和REF2电极的导电凝胶。放置在使用医用胶带左和右乳突参考电极。拧紧南极。
7. 放置一个钝头的注射器在电极座和导电凝胶按以下顺序注入到各电极:第一，在前额和"地"电极秒，在实验中使用的，O 2，O 1，盎司，Pz的五个电极和Cz。
8. 座椅舒适的椅子60cm以下的刺激监视器前的对象。指示的主题，以保持他/她的眼睛在同一水平与显示器的中心。
9. 电极导线连接到脑电数据采集系统。配置采样率到1千赫。
10. 检查的专用DPC脑电图信号质量。如果存在与特定的电极的问题，重新注入凝胶来调整信道的阻抗。
11. 使用专用的SPC闪烁4机器人图像在4.615，12，15和20的频率赫兹的用户界面上的视觉刺激，如图2。

2.离线分析SSVEP特点

1. 行为离线训练试验32试验为每个主题并记录脑电图系统，在此过程中获得他们的大脑信号。
   注:此过程仅受实验的第一次主题进行，以建立自己的SSVEP特征向量和训练分类。
2. 当审判开始时，选择一个刺激作为目标随机显示其上方的黄色箭头。
3. 1秒后，无闪烁的四个视觉刺激的用户界面，持续5秒上不同的频率。
4. 要求受试者对着眼于所选择的目标的刺激，同时保持他/她的身体运动到最低限度。
5. 每次试验后，给受3秒放松，然后再开始下一个试验。
6. 当所有的试验完成后，读取保存的数据。提取了3秒数据时代是吐温2秒，5秒，其选择的刺激在每次试验的目标后触发。
7. 计算使用离线数据分析在MATLAB脚本数据时代的功率谱密度（PSD）。使用下面将详细描述的处理算法:
   1. 计算多通道脑电数据的典型相关分析（CCA）的系数与参考的数据。 CCA是用于两组数据中找到自己的潜在关联13多变量统计方法。考虑多信道脑电图数据 X和基准数据 Y相同长度的三分段，使用CCA找到的权重向量， 宽 x和 W Y，最大限度的相关系数ρX = X T W＆x 和y = YŤ之间W¯¯ 年。设置参考数据是在一定的刺激频率的周期信号。
      /ftp_upload/53558/53558eq1.jpg"/>
      其中F 1，F 2，F 3，F 4是四视觉刺激的特征频率。
   2. 空间地使用所计算的CCA系数_宽 x以获得一维滤波的数据x，它具有的基准数据的线性组合的最突出的相关过滤多信道脑电图数据 X。
   3. 计算使用快速傅立叶变换（FFT）的空间滤波数据 x的PSD。
      
      其中 N _FFT为数据 X的样本量和FFT（X，N _FFT）返回 x 的 N个_FFT -点离散傅里叶变换。
   4. 规范化PSD相对于3和30赫兹之间的平均值。
      
      哪里60; 表示3〜30Hz的功率谱的平均值。
8. 校准分类参数为四个激励频率。首先，观察到对应其目标的刺激的标准化的PSD光谱，和手动配置具有最强的PSD振幅作为特征频率的频率。基于该特征频率，划分归一化的PSD数据分成两组:当相应的刺激被选择作为目标之一获得，并且当非目标刺激被选择的其他被获取。计算每个分别设置的平均值。由两个平均值的中值确定阈值进行分类的目标和非目标集^14。

3.在线处理大脑信号

1. 打开在线信号处理器，如图3，该显影bASED对OpenViBE环境和MATLAB脚本，在DPC进行在线处理的大脑信号。
2. 双击获取和处理信号盒，标有红色的周期在图3中，打开OpenViBE设置窗口。为主题配置的分类参数:根据离线分析，结果设置采样速率为1千赫兹，设定时间长度进行FFT为3秒，并设定所述特征频率例如 ，4.667，24，15和20赫兹。
3. 点击首发按钮运行在线信号处理器，使用以下算法中的三个步骤，其处理所述实时数据。
4. 首先，算法获取从通道盎司，O1，O2，和Pz的脑电图系统每0.5s的CPZ脑电图数据，并提取在过去3秒进行在线处理的数据段。
5. 第二，该算法处理使用在步骤2.7中描述的算法的3秒的数据段，并计算实时的PSD为classifica化。
6. 第三，该算法根据PSD幅度在四个特征频率划分的脑电波模式。当一个特征频率的幅度高于给定阈值，分类的刺激闪烁在相应的频率作为SSVEP目标。

4.连接仿人机器人

1. 按人形机器人的胸部按钮，并等待其启动。
   注:此过程大约需要1分钟，当机器人说:"OGNAK GNOUK"，而它的胸口按钮变成白色完毕。
2. 建立它的无线保真（WiFi）连接到DPC ^15。
3. 开放式机器人控制器编程，在DPC的Visual C ++脚本。该控制器接收来自通过虚拟现实外设网络（VRPN）接口的在线信号处理器的分类结果，将其转换为所述机器人的命令，并控制humanoi的对应的行为通过无线连接二维机器人。
4. 通过根据其WiFi连接输入机器人的IP地址，定义三套机器人行为它可以是配置机器人控制器容易地切换来执行三个不同的任务，并且设置这些行为的执行参数（例如，步行速度或距离），以适应任务的要求。
   注:以上这些行为的详细步骤5.2.1，5.3.1，5.4.1和描述。
5. 点击在Visual Studio平台的生成按钮运行机器人控制器。
6. 打开对SPC的Choregraphe程序。点击"连接"按钮，弹出一个连接部件。选择要根据其IP地址来控制机器人，并双击图标连接到它。
7. 从在Choregraphe菜单栏的视图菜单打开视频显示器，以及监视器移动到用户界面的前以显示从机器人的相机实时视频反馈。

5。开展闭环控制实验

1. 要求受试者对以评价大脑机器人交互性能执行在不同环境中的三个具体的闭环控制任务。
   注:这些任务，这在机器人应用中非常重要，因为他们是在帮助残疾人和老年人在日常生活有帮助的，需要激活不同的机器人行为。
2. 进行首次闭环控制任务网真通过大脑信号控制的人形机器人走过的障碍，推动光开关，把灯打开， 如图4。
   1. 为了完成第一个任务，控制其通过四个SSVEP刺激编码为机器人的行为:用0.15微米的固定距离步进向前，向左转具有0.3弧度的固定弧度，右转具有0.3弧度的固定弧度，并推动使用其右手的开关。
      注意:CONFIGURA化过程在步骤4.4中所述。
   2. 通知任务目标的主题和四个行为来进行控制。
   3. 运行机器人控制器按照步骤4.5-4.7，并开始实验。给予受试者的自由感知环境，并根据实时视频反馈的决定，以及由盯着相应的刺激以激活机器人的行为。
      注:在没有指令或帮助应给予受试者除非在紧急情况下，例如，机器人将要碰撞的障碍物。
3. 开展第二次任务为网真控制通过大脑信号的人形机器人朝楼梯走下面的出口标志， 如图5。当面对路人，询问受控制机器人说"对不起"，并等待路人让路。
   1. 控制由四SSVEP刺激编码为机器人的行为:向前走continuousl的Y为0.05米/秒的速度，在拐弯0.1弧度/秒的速度连续地离开，在0.1弧度/秒的速度连续地向右转动，并停止所有行走行为。
   2. 切换机器人控制器的姿势相关的控制功能^16。
      注:当机器人行走时，该功能采用第四刺激如停止行走行为的命令;当机器人不走，它采用第四刺激来控制机器人说"对不起"。该功能在C ++中的脚本通过探测机器人的行走状态来实现的。
   3. 通知任务目标的主题和五个行为来进行控制。
   4. 运行机器人控制器和开始实验，如在步骤5.2.3说明。
4. 进行第三个任务为网真控制类人机器人行走朝气球目标，把它捡起来，并把它提供给主体的手， 如图6。
   1. 控制由四SSVEP刺激作为编码的机器人行为:以0.15米的固定距离挺身而出，左转0.3弧度固定弧度，0.3弧度固定弧度右转，并拿起对象。
   2. 激活在机器人控制器的姿势有关的控制功能再利用第四刺激作为放下对象时，它已经被拾取的命令。
   3. 通知任务目标的主题和五个行为来进行控制。
   4. 运行机器人控制器和开始实验，如在步骤5.2.3说明。

结果

此处呈现的结果是从男性受试者具有矫正到正常获得的版本。 图7示出的处理的EEG数据的方法，包括提取一个多信道数据纪元（图7A），空间滤波使用CCA系数数据（图7B） ，并计算归一化的PSD（图7C）。

图8示出了使用单一的试验中，受试者盯着闪烁在不同频率靶?...

讨论

本文提出了一种SSVEP为基础的实验过程通过集成多个软件程序，建立脑机器人交互系统，人形机器人。因为人的意图是通过解释实时EEG信号感知，关键是在进行实验之前验证电极连接和脑电图信号质量。如果从所有的电极获得的信号是差的品质，就必须首先检查接地电极和参考电极的连接。如果有问题，电极的部分，重新​​注入传导凝胶来调整这些信道的阻抗。

同时获取脑...

材料

Name	Company	Catalog Number	Comments
Cerebus EEG Data Acquisition System	Blackrock Microsystems	4176-9967
NAO humanoid robot	Aldebaran Robotics	H25
EEG cap	Neuroscan	8732
Ten20 Conductive gel	Weaver and company	10-20-8