研究脑机接口的闭环性能的实验平台

摘要

我们使用一个闭环飞人机界面，探讨神经元控制的一般原则。

摘要

非平稳性和神经信号的变化是在脑机接口的根本问题。我们开发了一种脑机接口来评估一个闭环的图像稳定任务，适用于不同的控制法律的稳定性。趁着良好的特点是飞行visuomotor途径，我们记录的电活动，从一个确定的，运动敏感神经元，H1两轮式机器人控制偏航旋转。该机器人配备2高速视频摄像机摆在前面2个CRT电脑显示器飞提供视觉运动输入。 H1的神经元活动表示机器人的旋转方向和相对速度。比例和比例/自适应控制手段过滤，送入机器人的转向系统的神经活动。我们的目标是测试和优化的一个更广泛的应用在其他的脑机接口的闭环条件下的各种控制法律的性能。

研究方案

1。粉煤灰制备

1. 设立实验的第一步是准备飞，所以，非自愿的议案破坏稳定的神经录音和飞的头，是正确导向与视觉刺激设备。要开始准备飞，在冰上冷却，然后用钝的鸡尾酒枝举行的翅膀，并修复飞背面的双面磁带上的一块载玻片。
2. 接下来，使用电烧灼针适用蜂蜡附加的翅膀，幻灯片，并阻止行动的飞行电机。这一步需要快速，准确的处理，使飞在手术过程中不暖。
3. 现在，在显微镜下用镊子举行每条腿，用一双小剪刀削减最接近人体的关节。重复的长鼻。为了防止晒出飞，孔必须密封，用蜡。
4. 接下来，切的翅膀，然后再开启飞在其一侧。翼删除任何剩余的部分，而留下的根冠覆盖halteres，并用蜡封洞。其他右翼重复此过程。
5. 为了刺激目标神经元中定义的方式，苍蝇的头部与电脑显示器要正确对齐。要做到这一点，你需要一个定制的持有人，有一个广阔的空间飞的身体和一个附属物上飞的脖子，将被放置了一个档次切割的一端。
6. 将飞行到与它的脖子上的槽口持有人，粘合而按腹部到位。现在放置在一个独立的飞持有人，所以你可以看到通过显微镜观察苍蝇的头部前方。
7. 查看飞红灯，一种光学现象称为伪学生可以在每只眼睛看到。伪学生提供了一个参照系，可用于配合的刺激（1975年弗朗西）飞的头。如果伪瞳孔呈一定的形状，如下面的图像插入所示，然后飞的头的方向是完全定义。
   
   
   
8. 使用显微正确东方果蝇的头部，然后用蜡胶水持有人。
9. 接下来，按下平坦的胸部和蜡给持有人。这让后脑胶囊打开，使电极可插入到果蝇大脑中。
10. 使用微型手术刀或罚款的注射针头仔细切入正确的头部胶囊角质层的一个窗口。小心不要削减角质层下方的神经组织的权利。一块角质层一旦被删除，添加几滴林格液。
11. 使用镊子删除任何浮动毛发，脂肪堆积，肌肉组织，可能会覆盖lobula板。 lobula板可识别特征的分支覆盖后表面银色气管格局。
12. 切一个小孔进入角质层左后脑胶囊，参比电极定位。随着飞行准备，让我们看看如何定位记录电极。

2。记录电极定位

1. 随着飞行准备，让我们进行定位和记录从H1神经元的信号。必须放置在靠近H1的神经元记录电极。 H1的神经元，主要是响应横向到前端的议案提交给其感受野（克拉普等 ，2001 ）。
2. 为了记录电极的位置，使用气管作为一个可视化的里程碑。最初，放置电极之间最气管。
3. 它可以帮助使用音频放大器转换成声信号记录​​的电势。每个单独的尖峰变成一个特点的咔嗒声。越靠近电极获取到单个神经元，点击的声音变得更清晰。
4. 要确定其运动偏好H1的神经元，刺激它在水平方向的运动。有了合适的记录电极，可移动的视觉刺激和录音。

3。视觉刺激和录音

1. 闭环实验是这样的，设置这样的H1神经元的结果在转表的移动机器人补偿的刺激。首先，将飞在前面两个CRT电脑显示器。由于苍蝇的视觉系统是比人类快10倍，显示器必须显示每秒200帧。监视器和其他电气设备必须电磁屏蔽，以尽量减少外部噪声测量神经信号。
2. 位置的监控中心，在+ / - 45度，相对飞行的方向。从苍蝇的眼睛赤道看到，每个监视器subtends + / -25度的角度，在水平和+/ -19度，在垂直平面。
3. 同步输入到电脑显示器提供了两个视频小，两轮的ASURO机器人上安装的摄像机已修改为实验。
4. 机器人的位置上转一转表内的圆柱形区域，其内衬墙与垂直方向的，黑色和白色条纹的格局。在水平面旋转转表，机器人的动作有限，只有一个自由度。
5. 最初转表和机器人都在休息。当转表开始移动，它的旋转进行的机器人，在同一方向和摄像机记录之间相对运动的机器人和条纹图案的舞台。
6. 对机器人的电池供电的摄像机被安装在+ / - 45度的方向。他们捕捉每秒200个影像匹配的飞面前的电脑显示器的帧速率。
7. 记录呈现每秒200帧，分辨率为640 x 480（灰度）的电脑显示器的图像。
8. 虽然飞行是看条纹图案的运动，记录带通过过滤（例如，300和2 kHz之间）使用至少10 kHz的采样率与数字采集板的电信号。
9. 阈值应用到带通过过滤电信号背景活动分开的尖刺。一个因果关系，半高斯滤波器卷积的尖刺，获得平滑的扣球为H1细胞的活动估计。
10. 要关闭的脑机接口的循环，控制算法是用来转换的H1细胞的成穗率，这是美联储通过蓝牙接口控制两个直流电机驱动机器人的轮子的机器人速度。
11. 纯正弦波选择转表的速度剖面。正弦波直流偏移等，只有在H1的神经元的刺激沿其首选方向旋转的方向转表。转表的移动机器人补偿H1神经的刺激。
    
    
    图1：闭环设置 。在我们的设置左H1的细胞活动，扣球是用来控制转盘上安装一个机器人的运动。作为机器人和转表之间的相对运动而产生的视觉形象的议案是通过高速摄像机捕捉和显示两个显示器CRT在前面飞。 H1的扣球左半球的活动是用来估计的实时的成穗率，然后使用一个控制法来计算机器人的补偿速度。该机器人的反旋转稳定的视觉形象的议案，在闭环控制动态观察。
    
    

4。代表成果和结果

1. 当正确设置，视觉稳定是实现机器人的反旋转与旋转转表时，很少或根本没有在电脑显示器上的移动模式。系统的整体性能取决于控制算法被用来关闭循环。
2. 我们测试的第一种算法是一个比例控制器（图2）机器人更新的速度是成正比的角速度之间的机器人，ωR，转表，ωp差异。静态增益，KP，并转表信号，ωp，输入频率选择不同的值来测试控制器的性能。
   
   
   
   图2：比例控制器 。 （一）机器人的首选方向转动表之间的相对运动刺激H1细胞，成穗率，F，这成穗率是转换成速度误差，E，和一个比例控制器是用来估计更新机器人的速度，VR（T +1）。成穗率，F是转换速度误差，电子，基于它是否小于或大于自发成穗率，Fspont更大。速度误差转换成穗率预计超过余弦（区间[π，0]）F为扣球率阈值的非线性。 70和150的常量是用于转表的最小和最大的角速度匹配的机器人的8位的输入速度。 （二）使用比例控制器闭环系统框图。系统的输入是一个转弯角速度表sinosuidal调制，ωp（T），以及相应的机器人响应ωR（T +1）被记录下来。
   
   
3. _ωp和_ωř样品痕迹表明，这里的_{K P} = _1，ωp为0.6赫兹（见图3）输入频率。机器人（绿色）如下滞后反过来表（蓝色）和一个较小的峰值幅度。下面是模式的议案，刺激H1细胞的水平分量（红色）。
   
   
   
   图3：闭环反应 。 （一）转表的角速度（蓝色），ωp，和机器人（绿色），ωR，在输入频率为0.6赫兹。 （二）水平的光流是显示记录图像（红色）计算。锥体卢卡斯奏法（3个金字塔水平）是用来计算连续的图像帧之间的光流场。通过总结在流场中上水平的单位向量一单个矢量预测的计算水平角速度水平到前的议案，激发H1细胞被称为PD（首选方向），而横向的前端到后端的议案，抑制H1细胞被称为ND（空方向）。
   
   
4. 0.03-3赫兹和相应的机器人信号，ωR转表信号，ωp，输入频率之间选择，被记录下来。两个信号转换到频域快速傅立叶变换（见图4），在输入频率的振幅和相位值计算。
   
   
   
   图4：转表，ωp，机器人，ωR，角速度信号转换到频域，利用快速傅立叶变换（FFT）方法来计算在输入频率振幅和相位分量的频率响应。 FFT相组成如图所示。
   
   
5. 博德K _P ​​= 1显示了系统的测试输入频率响应（参见图5 - A）的比例控制器的幅度情节。控制器的性能一般随频率增加。在1 Hz增益略有增加是由于使用只有一个H1细胞的动态（输出）的范围主要包括横向到前运动作为一个机器人信号振荡的结果。
   
   
   
   图5：比例控制器的性能 。波特的比例控制器（平均超过8苍蝇），静态增益Kp = 1.0的幅度和相位图（一）波特幅度图大致如下一个低通滤波器的特性。在1 Hz略有增加增益是作为一个使用只有一个H1细胞的动态（输出）的范围主要包括横向回到前面的议案，由于机器人的信号，ωR，振荡的结果。振荡信号，ωR机器人的数量，减少导致在这些频率下的增益略有增加的频率加大投入。 （二）波特相位曲线是输入频率小于180 °≤1 Hz和3 Hz的方法不稳定。超出了一定的输入频率，控制器变得不稳定，由于机器人的运动学。这种不稳定只发生果蝇视觉系统（Warzecha 等，1999）已知的最佳响应范围之外。
   
   
6. 博德相图（参见图5 - B）显示控制器相位滞后小于<0.6 Hz的输入频率Π。这表明，该控制器是稳定的频率<0.6赫兹和不稳定的输入频率≥1赫兹。
7. 自适应控制器（红色）， 对 K _p值是每50毫秒更新的基础上高峰的成穗率_，F最大，随着时间的推移间隔计算静态KP（蓝色）的比例控制器的性能比较[T - 500MS - T]（见图6）。作为一个大融合的时间窗口的结果，比例控制器的性能优于自适应控制器的参数测试范围（见图7 - A）。被选定为我们正在使用的机器人平台的技术原因的起始时间为500 ms的整合窗口。自适应控制器比例控制器（见图7 - B）类似的阶段特征。
   
   
   
   图6：自适应控制器增益 。比例控制器使用一个静态增益，KP，而估计的自适应控制器在闭环控制的增益不断。动态增益，KP，是最大的成穗率，最大频率成反比，在时间间隔T - 500毫秒≤τ≤T.该图显示了三个实例fmax是估计随着时间的推移。 Kp是基于Fmax的估计值的基础上，在时间窗口2（绿色）和最低最高在时间窗口3（橙色）。
   
   
   
   图7：比例与自适应控制器 。博德的比例（KP = 1）和自适应控制器的幅度和相位图（一）基于自适应控制器Kp值每隔50ms更新高峰穗率估计的Fmax在过去的500毫秒。比例控制器增益曲线（蓝色）高于自适应控制器（红色）表示，这是执行在所有的输入频率。 （二）波特相位图，两个控制器都具有显着性差异F = 0.3赫兹相似。两个控制器的方法在3 Hz的不稳定。显示一个星号（Wilcoxon秩总和法，P = 0.05）显​​着不同的增益和相位值。
   
   
8. 转盘周围的光栅图案和实验室环境是作为一个自然的视觉输入飞H1细胞近似。平均而言，波特幅度图（见图8）自然的视觉输入（蓝色）显示比光栅视觉输入（红色）可能是其中一个稍高的收益，因为在自然视觉图像的空间频率范围更广被利用。博德阶段光栅VS自然的视觉输入的情节特征相似（参见图8 - B）。
   
   
   
   图8：剥离模式与实验室环境 。波特的比例控制器的幅度和相位图时提出的剥离模式（红色），闭环下对实验室环境的视觉图像（蓝色）（一）实验室环境中的图像时，使用波特幅度情节较剥离模式的时候（F = 0.1赫兹的除外），表示这样的刺激下更好的性能。 （二）波特阶段可视条件下的情节遵循相同的模式，都接近3赫兹的不稳定。显示一个星号（Wilcoxon秩总和法，P = 0.05）显​​着不同的增益和相位值。
   
   

讨论

1. 飞清扫需要进行精心制作，确保正确的方向，我们与电脑显示器飞。
2. 从H1的所有其他神经元的尖峰神经分离的峰值信噪比它可以被用来控制机器人的可靠性得到一个很好的信号。
3. 应采取在实验过程中，干燥，以防止任何的神经组织。
4. 使用以太网电缆将摄像机连接到电脑。应注意，使他们在实验过程中，因为这会影响机器人的旋转过伤口。
5. 目前，我们正在使用一个上半年的秒杀活动设置在一个稳定的任务只有一个方向偏航旋转。我们可以添加第二个电极，以获​​得来自左，右H1的，使我们可以研究在两个方向偏航旋转稳定控制算法的信号。
6. 我们可以删除包含垂直方向的黑色和白色条纹的舞台上，并在实验室环境中使用飞的视觉刺激。这将允许我们研究自然图像的闭环性能。
7. 该机器人可转表中删除，并允许左右移动，而在闭环控制的实验室环境。这将使我们能够避免碰撞调查所涉及的控制算法。
8. 线将摄像机连接到电脑，可以实现无线传输系统中删除，给我们一个完全无拘无束的机器人安装。
9. 不同的控制算法的性能措施将给予我们理解，不同的策略如何能够，以应付非固定和可变的神经信号。这方面的知识，然后可以应用于不同的临床和非临床的脑机接口。
10. 这个实验装置，是对录音的行为动物的神经信号的第一步。我们的目标是放在机器人的飞行和使用闭环控制的神经活动。在这样一个设置，我们将能够从飞行记录的神经活动，同时它作为机器人的运动收到​​的多感官刺激。
11. 记录唯一的信号从一个细胞。我们要你的配置，最合适的细胞将是H1的细胞。孤立于其他有类似的感受野的神经元，如H2，H1的神经元的反应是很重要的，保持良好的信噪比为神经元的录音。 H1和H2神经元的反应可以被歧视的H2典型的低自发平均扣球率比H1的神经元。神经元也可以根据其形态（克拉普2001年） 等。歧视。
12. 我们的系统使我们能够比较我们的飞行机器人接口上实现图像稳定任务的闭环增益，并比较其性能与闭环optomotor在以前的实验观察果蝇（德尔迪金森2006年，Warzecha等收益1996年，海森堡和狼，1990年）。此外，它允许我们调查中的视觉信息处理的闭环条件下的状态依赖（Chiappe等人2010年，梅蒙等。2010年，Longden和克拉普2009年，2010年Longden和克拉普）的变化。

材料