神经机台面假体作用的代理感特征

摘要

在这里, 我们提出了一个协议, 其特点是在控制感觉虚拟或机器人假肢手的代理的感觉。利用心理物理问卷来捕捉代理的显性经验, 并使用时间间隔估计 (有意绑定) 来含蓄地衡量代理意识。

摘要

这项工作描述了一个方法框架, 可以用来明确和含蓄地描述的代理意识开发的神经机接口 (nmi) 控制的感觉虚拟或机器人假肢手。代理的形成是区分我们用四肢所做的行为是我们自己的行为的根本。通过努力将先进的上肢假体纳入这些相同的感知机制, 我们可以开始将假肢更紧密地集成到用户现有的肢体控制认知框架中。这对于促进用户接受、使用和有效控制高级上肢假体具有重要意义。在这个协议中, 参与者控制一个虚拟的假手, 并通过他们先前存在的 nmi 接受运动感觉反馈。对动觉反馈和虚拟手部运动进行了一系列虚拟抓取任务, 并系统地引入了扰动。采用了两种单独的代理度量标准: 建立的心理物理调查表 (以反映代理的显性经验) 和时间间隔估计任务, 以捕获机构的隐含意义 (有意约束)。该协议的结果 (问卷评分和时间间隔估计) 可以进行分析, 以量化代理形成的程度。

引言

随着机器人假体的日益先进, 相关感官反馈的重要性将继续增长。感官反馈会影响人类感知、与之互动, 甚至将机器整合到他们的身体图式中的方式。最近的 nmi 技术现在可以为假肢使用者提供直观的控制, 并实现与触摸^1,2,3,4^,5 ,⁶相关的感觉^,7和运动异常 (运动感)^8,9在缺失的四肢。当这些感官信息与在手术中观察假肢所提供的视觉信息配对时, 我们可以接触到指导自我与他人区别的关键要素。利用这种访问可能有助于使假肢使用者更接近于将假肢作为身体的一部分来操作, 而不仅仅是一种工具。

身体意识和体现感产生于机构的建立 (对肢体行为的作者身份的体验) 和所有权 (^肢体是身体的一部分的感觉) 10^、11.所有权主要是通过触摸和视觉信息^的集成来中介的。机构产生于意图、运动感觉 (运动感)、视觉信息和预测认知模型^{的整合, 11}。在执行志愿行动的过程中, 当这种行动的感官后果与表演者的意图和表演者内部模型¹³的预测相一致时, 就会形成代理。代理与所有权是分开和不同的。假肢文献¹⁴中经常研究肢体所有权的概念。当触摸反馈在空间和时间上是适当的, 通过问卷显式或通过残余肢体温度的变化或时间顺序判断隐式测量¹⁵时, nmi 参与者就形成了肢体所有权感。然而, 在 nmi¹⁶的背景下, 探索机构的机会较少。最近与 nmi 参与者开展的工作表明, 可以有目的地促进机构, 并将其与所有权的经验分开⁸。

机构在机器人假肢的操作中特别重要, 因为它是一种认知环节, 通过因果关系的体验、控制假肢或引起某些东西的感觉来控制假肢的身体行为。发生¹⁷。机器人假肢是先进的电脑机器, 用户必须与之合作, 以有效地完成任务。一些假肢已纳入自主功能, 如夹滑检测和矫正;然而, 这些系统的采用有限, 因为在用户控制之外运行的功能如果没有适当实现^{8、18, 就}会被视为令人沮丧。这带来了一个根本性的挑战, 在人类与自主机器合作的应用中得到了响应。也就是说, 人类通常相信自己的行为而不是与计算机或机器合作所产生的行动, 这种信任直接影响到运营商使用自主函数^{19、20 的}可能性。作为人类, 我们天生相信自己和我们的身体来执行我们所意愿的行动;当这一点实现时, 我们就建立了一种内在的代理意识。有趣的是, 代理的形成受到了合作人机行动的影响。在人与人的合作任务中, 可以在运动²¹上形成共同的代理意识;然而, 文献表明, 在人机合作过程中, 共享机构是有阻碍的 22^,23。这些挑战反映在假肢上肢的使用上, 机器人设备的拒绝率仍然很高, 23%-39% 的用户停止使用这些设备²⁴。事实上, 许多假肢用户仍然更喜欢身体驱动的系统²⁵。这些系统将计算机机器从控制回路中移除, 并更紧密地通过电线将用户的身体运动与假体运动结合起来。这进一步加强了认知整合在使用先进假肢装置方面的重要性。我们建议, nmi 系统可以提供一些必要的感官和运动部件, 帮助使假肢更接近于建立合作的代理意识, 这将有助于促进这些东西的接受和真正的整合电脑与他们的用户。

可以通过多种方式来衡量机构。最简单的方法是使用心理物理问卷或量表, 明确询问参与者^{将事件归咎}于谁或他们所将什么归因于 17^、26、27。这取决于个人对 "自我" 的现有看法, 要求参与者对自我归属作出推断性判断 (即明确判断 "我" 或另一实体是否对某一行为或事件负责)。内隐措施提供了对运动动作和感官事件中发生的背景认知过程的洞察。这种对机构的看法试图衡量个人没有明确感受到的东西。通常, 这是通过让参与者描述自我产生的和外部产生的行为的感知差异来实现的, 例如, 让参与者报告他们认为在自我和外部生成的事件之间发生的时间长度^17,28. 在执行自行产生的行动期间, 机构含蓄地表现为行动与其感官后果之间的时间感知压缩, 即所谓的有意约束²⁸。当个人报告他们认为在行动和结果之间发生的时间时, 较短的时间时间相当于更强烈形成的机构意识 29^,30。有趣的是, 事实表明, 明示和暗示的措施可能并不直接关联, 因为它们很可能是不同的感知机制¹⁷的特点, 这些机制共同为代理意识提供了信息。因此, 在假体使用过程中更全面地了解机构的形成, 可能需要采用显性和隐式措施的实验方案。

这项工作描述了一个方法框架, 可以用来明确和含蓄地描述的机构感开发的 nmi 控制的感觉虚拟或机器人假肢手。重点介绍了在传感器运动对象抓取任务的执行过程中测量代理的两种技术。使用既定的心理物理问卷来捕捉代理的明确经验, 而使用时间间隔估计 (有意绑定) 来含蓄地衡量代理意识。

该协议的范围是评估代理的感觉, 在 nmi 的背景下, 提供生理相关的主动运动控制和动觉反馈。这些技术可推广到虚拟或物理假肢 nmi 系统。对可能为执行该议定书而招募的人口有最低限度的限制。例如, 参与者上肢的活动能力不能受到双边影响 (它们必须有一个肢体), 他们必须具备认知能力, 才能做出基于时间的判断和表达有经验的感觉。

研究方案

该议定书先前已获得批准, 并遵循克利夫兰诊所人类研究伦理委员会的指导方针。

1. nmi 的硬件和软件

1. 建立每个参与者的 nmi 控制和反馈, 以便当他们尝试执行一个运动时, 他们看到并感觉到一个虚拟的假体完成了该运动。
   1. 通过参与者的 nmi 生成手的运动感感知, 并通过让参与者用他们完整的手展示他们的感受来捕捉感知运动的运动学。
      注: 其他作品8已经说明了描述运动感知运动学的技术, 可以使用数据手套或光学运动捕捉系统来实现。
   2. 使用虚拟的手工/假体模拟来再现运动感知的运动学。
   3. 设置硬件以捕获参与者 nmi 中的有意手部移动控制信号。
   4. 将此控制信号映射到虚拟假体的活动。
   5. 创建一个主控制程序, 协调 nmi 控制信号的采集、虚拟假体的运动以及实时生成运动性 nmi 反馈。

2. 实验设置

1. 将参与者放置在前面的桌子上, 并将显示器水平放置 (即在其背面, 朝上)。
2. 在显示器上显示虚拟假体, 并调整其大小和位置, 使其定位与缺失肢体的位置一致。
3. 渲染虚拟环境中的对象 (例如浮动球), 作为手的关闭和打开位置 (移动端点) 的停止点。
4. 配置主控制程序, 以便当虚拟数字与虚拟停止点接触时, 在可调整的时间延迟 (300、500、700或 1, 000 毫秒) 后播放听觉音。

3. 实验条件

1. 为主控制程序构建一个输入文件, 指定每个试验的设置, 包括听觉音调延迟、nmi 反馈是否关闭、虚拟手移动的速度和方向, 以及命令与虚拟的手移动。
   1. 创建两个控制条件, 一个基线和一个被动条件。
      1. 对于基线条件, 配置虚拟手的运动学和控制, 以匹配 nmi 运动感知。
         注: 基线条件表示运动意图、运动运动学和运动学反馈的理想一致性。
      2. 在由调查人员触发时 (从用户中删除控件), 使被动状态执行虚拟手部移动, 同时仍向参与者提供 nmi 运动感知。
         注: 被动条件捕获理论上最坏情况下的代理条件 (即在没有控制 [无意] 的情况下移动, 类似于一个人的身体被被动移动)。
   2. 编程额外的条件, 旨在解析对运动意图, 动觉感和时间不匹配的代理代理的虚拟假体显示的运动学的贡献。请考虑使用以下五个条件。
      1. 相反的运动: nmi 运动学反馈表明, 手关闭, 而手的可视化打开。
      2. 太快: 手的可视化关闭速度快于 nmi 运动反馈所显示的速度。
      3. 太慢: 手的可视化关闭速度比 nmi 运动学反馈所显示的要慢。
      4. 启动延迟: 手的可视化关闭时间比 nmi 运动学反馈所显示的要晚1秒。
      5. 没有反馈: 手的可视化关闭没有任何 nmi 动觉反馈。

4. 实验性能

1. 指示参与者在不停止的情况下将手从打开的位置驱动到关闭的位置, 并报告他们对从虚拟数字与虚拟停止点接触到听到听觉音调的时间延迟的估计。
   注: 参与者可以使用对他们最有意义的0到1秒之间的时间表示 (例如, 毫秒、秒分数、0-10 刻度)。
2. 通过按主控制程序上的 "开始" 按钮启动每个试用版, 该按钮将虚拟手移动到起始位置, 并发出试验开始的信号。这提示参与者将虚拟手驱动到虚拟停靠点, 这将导致在随机延迟 (300、500或700毫秒) 后播放听觉音调。
   1. 记录参与者口头报告的时间延迟间隔估计。
3. 将试验组织到实验块中。
   1. 从两个练习会话开始, 并将它们排除在最终分析之外。
      1. 在第一个练习单元中, 让参与者将手驱动到移动终结点, 并在虚拟数字到达10个试验的虚拟停止点后播放听觉音 1, 000 毫秒。
         1. 与会者不需要报告本练习课程的估计间隔。
            注: 此步骤是必要的, 以确定参与者对一秒钟感觉的时间。
      2. 在第二个练习单元中, 再次让参与者将手驱动到移动终结点。随机的听觉音调, 以便 300, 500 和700毫秒的延迟间隔显示至少5倍每个。
         1. 要求参与者报告估计的延迟间隔。
         2. 在这些实践试验或实验块中的后续试验中, 不要告知参与者他们对延迟间隔的估计与实际延迟的距离有多接近。
            注: 此步骤很重要, 因为参与者在对秒的分数进行时间判断方面可能经验不足, 并且测试程序对未练习的测试参与者来说可能并不直观。
   2. 移动到实验集, 每个条件15个试验。按随机顺序显示条件, 并在每个条件结束时管理调查问卷。
      1. 指示参与者反思最新的一套试验, 并填写八项陈述机构调查问卷 (包括4个量化机构明确经验的问题和4个控制问题 [在补充文件]^{) 8,26}。
         1. 对调查表语句进行随机排序, 以便向参与者随机提供至少五个独特的问题单。
   3. 以一组15项被动状态试验结束实验块, 并在完成这些试验后管理一份调查问卷。
      注: 在每个实验块结束时管理被动试验, 以避免干扰既定的代理意识。
4. 完成四个实验块, 并对实验条件进行不同的随机排序。
5. 在测试期间提供多个机会, 让参与者休息一下。这些休息没有最低时间或时间限制, 但在继续测试之前, 确保参与者没有身体或精神疲劳。

结果

实验协议是由三名截肢者通过他们的 nmi 8 操作一个感觉虚拟假体进行的 ( 图 1)。该设置使用了一个参与式可控的虚拟手移动通过预编程的运动学配置文件使用 mujoco haaptix 物理引擎³¹。虚拟的手被显示在一个水平的显示器在前面的参与者在空间上与他们丢失的肢体一致。nmi 参与者以前曾接受过手术神经重新?...

讨论

这里提出了一个方法框架, 以描述机构形成的经验,而通过nmi 操作的感觉假体。在这种背景下, 机构尤其重要, 因为它将身体动作与塑造感知的背景认知过程联系起来。通过参与者的假体和 nmi, 我们可以直接获得一些建立代理感的关键要素: 意图、运动输出和运动感觉。对于先进的假肢控制非常重要的是, 本工作中提供的工具利用这种直接访问来帮助了解这些元素如何促进用户对其行为的控制?...

材料

Name	Company	Catalog Number	Comments
LabVIEW 2015, Service Pack 1, Version 15.0.1f2 64-bit	National Instruments, Austin, TX, USA	Full or Pro Version	We wrote custom software in LabVIEW to coordinate virtual prosthesis control with kinesthetic feedback as well as to present experimental conditions and record data.
8-Slot, USB CompactDAQ Chassis	National Instruments, Austin, TX, USA	cDAQ-9178
±60 V, 800 kS/s, 12-Bit, 8-Channel C Series Voltage Input Module	National Instruments, Austin, TX, USA	NI-9221
100 kS/s/ch Simultaneous, ±10 V, 4-Channel C Series Voltage Output Module	National Instruments, Austin, TX, USA	NI-9263
Custom Wearable Kinesthetic Tactor	HDT Global, Solon, OH, USA	N/A	This item was custom made. Other methods of delivering kinesthetic feedback are acceptable as long as the participant feels the sensation of the hand moving in real-time with the movements of the virtual hand.
MuJoCo Physics Engine, HAPTIX Version	Roboti LLC, Redmond, WA, USA	mjhaptix150	Newer versions of MuJoCo should be acceptable as well. We used the MPL Gripper Model.
Myobock Electrodes, powered by Otto Bock EnergyPack in MyoBoy Battery Receptacle	Ottobock, Duderstadt, Germany	electrodes: 13E200=60 battery: 757B21 battery receptacle: 757Z191=2	Any setup that provides an amplified, filtered, and rectified EMG or neural control signal could be used.