JoVE Logo

登录

需要订阅 JoVE 才能查看此. 登录或开始免费试用。

本文内容

  • 摘要
  • 摘要
  • 引言
  • 研究方案
  • 结果
  • 讨论
  • 披露声明
  • 致谢
  • 材料
  • 参考文献
  • 转载和许可

摘要

WheelCon 是一个新颖、免费和开源的平台,用于设计视频游戏,无创地模拟山地自行车沿着陡峭、曲折、崎岖的小径骑行。它包含人类传感器运动控制(延迟、量化、噪声、干扰和多个反馈回路)中的组件,并允许研究人员研究传感器运动控制中的分层结构。

摘要

反馈控制理论已被广泛应用为人类传感器运动控制建模。然而,能够操纵多个反馈回路重要组件的实验平台缺乏开发。本文描述了 WheelCon,一个旨在解决此类不足问题的开源平台。WheelCon 仅使用一台电脑、标准显示屏和配备有力反馈电机的廉价游戏方向盘,安全地模拟了骑山地自行车沿着陡峭、曲折、崎岖的小径骑行的规范传感器运动任务。该平台提供了灵活性,如所提供的演示中所演示,因此研究人员可以操作分层反馈回路中的干扰、延迟和量化(数据速率),包括高级高级计划层和低级延迟反射层。在这篇小论文中,我们演示了 WheelCon 的图形用户界面 (GUI),现有演示的输入和输出,以及如何设计新游戏。此外,我们提出了演示游戏的基本反馈模型和实验结果,这些结果与模型的预测非常吻合。WheelCon 平台可立即下载https://github.com/Doyle-Lab/WheelCon。简言之,该平台的特点是便宜、易于使用、灵活编程,可进行有效的传感器运动神经科学研究与控制工程教育。

引言

人传运动控制系统非常坚固1,虽然传感是分布式的,可变的,稀疏的,量化的,噪声和延迟的2,3,4;,3,4中枢神经系统的计算速度5慢5、6、7;,6,7和肌肉驱动疲劳和饱和8。提出了许多计算理论模型来解释复杂的人类传感器,运动控制过程,4、9、10、11、12、13、14,9这是一个在人类到达和响应,12,1310,11415、16,权衡利向的过程14例如,反馈控制理论预测最佳控制策略12,贝叶斯理论模型传感器运动学习17,18,19和信息理论传感器运动基础17,18,1920,21。20,21与丰富的理论模型相比,能够操纵多个反馈回路重要成分的实验平台缺乏开发。部分原因在于,设计一个平台来桥接和测试传感器运动控制的这些方面需要各种各样的专业知识,从电机控制理论、信号处理和交互,一直延伸到计算机图形和编程。研究人员经常开发自己的定制硬件/软件系统来描述人类传感器运动控制性能,这会限制跨研究组比较/对比和集成数据集的能力。开发一个易于使用和验证的系统可以扩大传感器运动控制的定量特性。

本文介绍了 WheelCon 平台,这是一个新颖、免费和开源的平台,用于为虚拟环境设计视频游戏,无创地模拟了 Fitts 定律到达游戏和山地自行车任务,并完成了陡峭、曲折和颠簸的轨迹。Fitts 的到达任务定律量化了速度和精度之间的权衡,其中达到距离尺度上宽度目标所需的时间为22,23,23。"山地自行车任务"是追求和补偿性跟踪任务的结合,是人类传感器运动性能研究的两个经典组成部分,特别是在研究反馈回路方面。

WheelCon 包含每个理论中提出的高要求的基本组件:延迟、量化、噪声、干扰和多个反馈回路。它是研究人类感官运动控制中的以下不同问题的潜在工具:

• 人类传感器运动系统如何处理神经信号的延迟和量化,这从根本上受到大脑24、25,中有限资源(如空间和代谢成本)的限制;
• 人类皮层的神经相关性与传感器运动控制如何26;
• 人类如何处理传感器运动控制中不可预知的外部干扰27;
• 分层控制回路如何分层和集成在人类传感器运动系统16、28、29,28,;
• 人类视觉反馈30的延迟和量化的结果,反射 反馈31 在传感器运动控制中产生的结果;
• 延迟和量化下传感器运动学习的最佳策略和策略 16、17、24、29 。16,17,24,29

WheelCon 与方向盘集成,可以模拟在这些问题中操作变量的游戏条件,例如信令延迟、量化、噪声和干扰,同时记录动态控制策略和系统错误。它还允许研究人员研究传感器运动控制中的分层架构。在骑山地自行车的示例中,此任务涉及两个控制层:高层计划和低层反射。对于可见的干扰(即小径),我们会在干扰到达之前进行规划。对于事先未知的干扰(即小颠簸),控制依赖于延迟反射。反馈控制理论认为,有效的分层架构可以整合上层的目标、计划、决策与下层的传感、反射和动作24。WheelCon 提供实验工具,分别用于测试这种分层架构(图1),从而在平面图和反射层中分别诱导明显干扰。

我们提供一个廉价,易于使用和灵活的编程平台,WheelCon,弥合了理论和实验神经学研究之间的差距。具体说来,它可用于检查延迟、量化、干扰、潜在的速度精度权衡的影响。可以在控制循环中操作的变量显示在表1 中。它还可用于研究人类传感器运动控制中不同控制层的决策和多路复用能力。此外,WheelCon与非侵入性神经记录(如脑电图(EEG))兼容,用于测量,传感器运动控制32、33、34、35,33,34期间的神经反应,以及非侵入性脑刺激技术(如颅电刺激(tES)和颅磁刺激(TMS),以操纵神经35活动36、37。36,37

研究方案

该议定书的开发和应用得到了加州理工学院机构审查委员会(IRB)和南方科技大学 IRB 的批准。主体在执行任何程序之前提供了知情同意。

1. 系统准备和设置

  1. 推荐的基本硬件是 2 GHz 双核处理器和 4 GB 的系统内存。
  2. 在 Unity 平台下构建游戏平台,同时使用 C# 编程语言。游戏平台开发需要罗技游戏轮驱动器和罗技方向盘 SDK。
  3. 游戏平台可执行文件仅支持 Windows 10 操作系统 (OS)。因此,在运行 Windows 10 的电脑上,下载并安装相应的赛车轮驱动程序。然后下载压缩的 WheelCon 软件 (https://github.com/Doyle-Lab/WheelCon/archive/master.zip),然后将文件提取到本地硬盘驱动器。
  4. 将赛车轮牢固地安装在显示器前的坐姿上,然后将车轮的 USB 电缆连接到 PC,将电源适配器连接到插座。
  5. 启动驱动程序 GUI 以测试正确的输入读出和强制反馈。重要的是,在测试期间保持驱动程序 GUI 在后台运行。
  6. 要启动该程序,请双击"[轮式主机]可执行和输出文件"目录中的WheelCon.exe。
  7. 在配置屏幕上,选择监视器的设置,然后单击"播放"!(图 2a)。将显示主菜单。确保显示大小和位置是指定的。
    注:"车轮灵敏度"值定义光标速度,范围从 0 到 1,默认值为 0.5。如果赛车轮提供的运动范围不适合特定任务参数,请调整此值。例如,降低对人口老龄化的敏感性。但是,为了比较任务,有必要为电池和跨组保持此值不变。

2. 任务实施

  1. 菲茨定律达到游戏
    注:Fitts 的法子到达游戏模拟到达过程。主体需要转动车轮以将垂直线放置到所需的区域(图 2d)。
    1. 将主体舒适地放在车轮后面。如有必要,调整车轮高度。
    2. 在主菜单上,单击 Fitts 的"法律 任务"(图 2b),并在文本框中输入输出文件的名称,指示主题标识和任务信息。
    3. 单击"选择文件",在"[轮式主文件]演示输入文件"目录中选择 Fitt 定律.txt,然后单击"开始游戏"。
    4. 指示主体移动带轮子的绿色垂直线,以将它放在灰色区域中。此任务用于熟悉操纵车轮的主题,以及用于不同任务的颜色约定。
  2. 山地自行车任务
    注:山地自行车任务是追求和补偿跟踪任务的组合。它模拟骑山地自行车沿着陡峭,扭曲和颠簸的小径。主体可以看到轨迹并转动车轮来跟踪它,而电机可以扭矩车轮来模拟试验中的隐形颠簸(图2e).
    1. 游戏 1:测试视觉延迟的效果
      注意:在这个游戏中,前向窗口的长度(高级警告与延迟)纵。
      1. 在主菜单上, 单击山地自行车任务图 2c),并键入输出文件的名称,指示文本框中的主题标识和任务信息。
      2. 单击"选择文件",在Vision_Delay[轮主]演示输入文件"目录中选择"选择文件",然后单击"开始游戏"。
      3. 指示主体将绿色垂直线与车轮一起移动,以跟踪与紫色水平线相交的灰色轨迹部分。
    2. 游戏 2:测试动作延迟的效果
      注:在这个游戏里,在车轮运动和动作输出之间添加各种长度的延迟。
      1. 在主菜单上,单击山地自行车 任务并 键入输出文件的名称,指示文本框中的主题标识和任务信息。
      2. 单击"选择文件",在Action_Delay[轮主]演示输入文件"目录中选择"开始游戏"。
      3. 指示主体将绿色垂直线与车轮一起移动,以跟踪与紫色水平线相交的灰色轨迹部分。
    3. 游戏3:测试视觉量化的效果
      注:在这个游戏中,视觉输入被量化,以限制数据速率。
      1. 在主菜单上,单击山地自行车 任务并 键入输出文件的名称,指示文本框中的主题标识和任务信息。
      2. 单击"选择文件",在"[轮式主机]演示输入文件"目录中选择视觉量化.txt,然后单击"开始游戏"。
      3. 指示主体将绿色垂直线与车轮一起移动,以跟踪与紫色水平线相交的灰色轨迹部分。
    4. 游戏4:测试动作量化的效果
      注:在这个游戏里,动作输出被量化以限制数据速率。
      1. 在主菜单上,单击山地自行车 任务并 键入输出文件的名称,指示文本框中的主题标识和任务信息。
      2. 单击"选择文件",在"[轮式主机]演示输入文件"目录中选择"操作量化.txt",然后单击"开始游戏"。
      3. 指示主体将绿色垂直线与车轮一起移动,以跟踪与紫色水平线相交的灰色轨迹部分。
    5. 游戏5:测试颠簸和跟踪干扰的影响
      注意:此任务由三种情况组成:
      a) "凹凸",跟踪一个恒定的跟踪主体,尽管扭矩干扰的车轮,模仿撞撞时骑山地自行车;
      b) "跟踪",跟踪移动轨迹,随机转弯,但没有颠簸;
      c) "带凹凸的轨迹",用随机转弯和颠簸跟踪移动轨迹。
      1. 在主菜单上,单击山地自行车 任务并 键入输出文件的名称,指示文本框中的主题标识和任务信息。
      2. 单击"选择文件",在"[轮回主]演示输入文件"目录中选择凹凸和跟踪.txt,然后单击"开始游戏"。
      3. 指示主体将绿色垂直线与车轮一起移动,以跟踪与紫色水平线相交的灰色轨迹部分。

3. 数据输出

  1. 在"[轮主]可执行和输出文件[山自行车数据]"目录中找到 TXT 输出文件,然后在"[轮主"和源代码"目录中使用 Matlab'WheelCon 数据分析代码.m 打开。
  2. 在 MATLAB 脚本中folder根据输出文件目录指定文件夹和 file_names变量,然后运行脚本 (Ctrl + Enter),输出变量将保存为工作区的列矢量。错误和控制策略将导出每个采样时间。有关详细说明,请参阅表 2。

4. 输入文件开发

  1. 在"[轮主[源代码]"目录中打开"WheelCon Mntn 自行车道设计代码.m"。
  2. 取消注释 (Ctrl + T) 所需游戏参数的部分并运行脚本 (Ctrl + Enter)。输入文件将保存在 .txt 格式的"[WheelCon-master]源代码"目录中。输入文件中的每一列都是一个控件变量。有关控制变量列表,请参阅表1。

结果

建模反馈控制

我们显示了图 1 所示的简化 反馈控制模型。系统动态由以下方法提供:

figure-results-203

其中 xt) 是时间 t 的误差, rt) 是跟踪扰动 wt), 是颠簸扰动, ut) 是?...

讨论

本文提出了一个免费的开源游戏平台,WheelCon,用于研究延迟、量化、扰动和分层反馈回路在人体传感器运动控制中的影响。我们已经展示了硬件、软件和 GUI。实现了单传感器运动控制回路的延迟和量化设置,从而可以测量传感器运动控制中延迟、量化和扰动的影响。实验结果与反馈控制理论的预测吻合。

这些协议提供了一种无创地操纵外部延迟和限制视觉输入和动作输出?...

披露声明

提交人透露,他们没有利益冲突。

致谢

我们感谢王正阳先生对视频的剧本、拍摄和编辑进行改造,感谢叶子元先生编辑了视频。这项研究得到了CIT捐赠和国家科学基金会(给JCD)、博斯韦尔研究金(至QL)和高级大学基金(No.G02386301,G02386401,广东省自然科学基金联合基金(2019A1515111038号)。

材料

NameCompanyCatalog NumberComments
Gaming WheelLogitech
Windows 10 OSMicrosoft

参考文献

  1. Franklin, D. W., Wolpert, D. M. Computational Mechanisms of Sensorimotor Control. Neuron. 72 (3), 425-442 (2011).
  2. Bays, P. M., Wolpert, D. M. Computational principles of sensorimotor control that minimize uncertainty and variability. The Journal of Physiology. 578 (2), 387-396 (2007).
  3. Desmurget, M., Grafton, S. Forward modeling allows feedback control for fast reaching movements. Trends in Cognitive Sciences. 4 (11), 423-431 (2000).
  4. Sanger, T. D., Merzenich, M. M. Computational Model of the Role of Sensory Disorganization in Focal Task-Specific Dystonia. Journal of Neurophysiology. 84 (5), 2458-2464 (2000).
  5. Mohler, H., Okada, T. Benzodiazepine receptor: demonstration in the central nervous system. Science. 198 (4319), 849-851 (1977).
  6. Muller, L., Chavane, F., Reynolds, J., Sejnowski, T. J. Cortical travelling waves: mechanisms and computational principles. Nature Reviews Neuroscience. 19 (5), 255-268 (2018).
  7. Zhang, H., Watrous, A. J., Patel, A., Jacobs, J. Theta and Alpha Oscillations Are Traveling Waves in the Human Neocortex. Neuron. 98 (6), 1269-1281 (2018).
  8. Blinks, J. R., Rüdel, R., Taylor, S. R. Calcium transients in isolated amphibian skeletal muscle fibres: detection with aequorin. The Journal of Physiology. 277 (1), 291-323 (1978).
  9. Gallivan, J. P., Chapman, C. S., Wolpert, D. M., Flanagan, J. R. Decision-making in sensorimotor control. Nature Reviews Neuroscience. 19 (9), 519-534 (2018).
  10. Sanger, T. D. Basic and Translational Neuroscience of Childhood-Onset Dystonia: A Control-Theory Perspective. Annual Review of Neuroscience. 41 (1), 41-59 (2018).
  11. Todorov, E. Optimality principles in sensorimotor control. Nature Neuroscience. 7 (9), 907-915 (2004).
  12. Todorov, E., Jordan, M. I. Optimal feedback control as a theory of motor coordination. Nature Neuroscience. 5 (11), 1226-1235 (2002).
  13. Wolpert, D. M., Flanagan, J. R. Computations underlying sensorimotor learning. Current Opinion in Neurobiology. 37, 7-11 (2016).
  14. Kiper, P., et al. Computational models and motor learning paradigms: Could they provide insights for neuroplasticity after stroke? An overview. Journal of the Neurological Sciences. 369, 141-148 (2016).
  15. Cluff, T., Crevecoeur, F., Scott, S. H. Tradeoffs in optimal control capture patterns of human sensorimotor control and adaptation. bioRxiv. , 730713 (2019).
  16. Nakahira, Y., Liu, Q., Bernat, N., Sejnowski, T., Doyle, J. Theoretical foundations for layered architectures and speed-accuracy tradeoffs in sensorimotor control. 2019 American Control Conference (ACC). , 809-814 (2019).
  17. Körding, K. P., Wolpert, D. M. Bayesian integration in sensorimotor learning. Nature. 427 (6971), 244-247 (2004).
  18. Chambers, C., Sokhey, T., Gaebler-Spira, D., Kording, K. P. The development of Bayesian integration in sensorimotor estimation. Journal of Vision. 18 (12), 8 (2018).
  19. Karmali, F., Whitman, G. T., Lewis, R. F. Bayesian optimal adaptation explains age-related human sensorimotor changes. Journal of Neurophysiology. 119 (2), 509-520 (2017).
  20. Gori, J., Rioul, O. Information-Theoretic Analysis of the Speed-Accuracy Tradeoff with Feedback. 2018 IEEE International Conference on Systems, Man, and Cybernetics (SMC). , 3452-3457 (2018).
  21. Trendafilov, D., Polani, D. Information-theoretic Sensorimotor Foundations of Fitts' Law. Extended Abstracts of the 2019 CHI Conference on Human Factors in Computing Systems. , 1-6 (2019).
  22. Fitts, P. M., Peterson, J. R. Information capacity of discrete motor responses. Journal of Experimental Psychology. 67 (2), 103-112 (1964).
  23. Fitts, P. M. The information capacity of the human motor system in controlling the amplitude of movement. Journal of Experimental Psychology. 47 (6), 381-391 (1954).
  24. Nakahira, Y., Matni, N., Doyle, J. C. Hard limits on robust control over delayed and quantized communication channels with applications to sensorimotor control. 2015 54th IEEE Conference on Decision and Control (CDC). , 7522-7529 (2015).
  25. . Neural Correlates of Sensorimotor Control in Human Cortex: State Estimates and Reference Frames Available from: https://resolver.caltech.edu/CaltechTHESIS:05302019-163325527 (2019)
  26. Miall, R. C., Wolpert, D. M. Forward Models for Physiological Motor Control. Neural Networks. 9 (8), 1265-1279 (1996).
  27. Battaglia-Mayer, A., Caminiti, R., Lacquaniti, F., Zago, M. Multiple Levels of Representation of Reaching in the Parieto-frontal Network. Cerebral Cortex. 13 (10), 1009-1022 (2003).
  28. Scott, S. H. Optimal feedback control and the neural basis of volitional motor control. Nature Reviews Neuroscience. 5 (7), 532-545 (2004).
  29. Saunders, J. A., Knill, D. C. Humans use continuous visual feedback from the hand to control fast reaching movements. Experimental Brain Research. 152 (3), 341-352 (2003).
  30. Insperger, T., Milton, J., Stépán, G. Acceleration feedback improves balancing against reflex delay. Journal of The Royal Society Interface. 10 (79), 20120763 (2013).
  31. Birbaumer, N. Breaking the silence: Brain-computer interfaces (BCI) for communication and motor control. Psychophysiology. 43 (6), 517-532 (2006).
  32. Liu, Q., Farahibozorg, S., Porcaro, C., Wenderoth, N., Mantini, D. Detecting large-scale networks in the human brain using high-density electroencephalography. Human Brain Mapping. 38 (9), 4631-4643 (2017).
  33. Nicolelis, M. A. L. Brain-machine interfaces to restore motor function and probe neural circuits. Nature Reviews Neuroscience. 4 (5), 417-422 (2003).
  34. Nordin, A. D., Hairston, W. D., Ferris, D. P. Faster Gait Speeds Reduce Alpha and Beta EEG Spectral Power From Human Sensorimotor Cortex. IEEE Transactions on Biomedical Engineering. 67 (3), 842-853 (2020).
  35. Hallett, M. Transcranial magnetic stimulation and the human brain. Nature. 406 (6792), 147-150 (2000).
  36. Madhavan, S., Weber, K. A., Stinear, J. W. Non-invasive brain stimulation enhances fine motor control of the hemiparetic ankle: implications for rehabilitation. Experimental Brain Research. 209 (1), 9-17 (2011).
  37. Denoyelle, N., Pouget, F., Viéville, T., Alexandre, F. . VirtualEnaction: A Platform for Systemic Neuroscience Simulation. , (2014).
  38. Butti, N., et al. Virtual Reality Social Prediction Improvement and Rehabilitation Intensive Training (VR-SPIRIT) for paediatric patients with congenital cerebellar diseases: study protocol of a randomised controlled trial. Trials. 21 (1), 82 (2020).
  39. McCall, J. V., Ludovice, M. C., Blaylock, J. A., Kamper, D. G. A Platform for Rehabilitation of Finger Individuation in Children with Hemiplegic Cerebral Palsy. 2019 IEEE 16th International Conference on Rehabilitation Robotics (ICORR). , 343-348 (2019).
  40. Demers, M., Levin, M. F. Kinematic Validity of Reaching in a 2D Virtual Environment for Arm Rehabilitation After Stroke. IEEE Transactions on Neural Systems and Rehabilitation Engineering. 28 (3), 679-686 (2020).
  41. Zbytniewska, M., et al. Design and Characterization of a Robotic Device for the Assessment of Hand Proprioceptive, Motor, and Sensorimotor Impairments. 2019 IEEE 16th International Conference on Rehabilitation Robotics (ICORR). , 441-446 (2019).
  42. Delp, S. L., et al. OpenSim: Open-Source Software to Create and Analyze Dynamic Simulations of Movement. IEEE Transactions on Biomedical Engineering. 54 (11), 1940-1950 (2007).
  43. Gray, W. D. Plateaus and Asymptotes: Spurious and Real Limits in Human Performance. Current Directions in Psychological Science. 26 (1), 59-67 (2017).

转载和许可

请求许可使用此 JoVE 文章的文本或图形

请求许可

探索更多文章

162

This article has been published

Video Coming Soon

JoVE Logo

政策

使用条款

隐私

科研

教育

关于 JoVE

版权所属 © 2025 MyJoVE 公司版权所有,本公司不涉及任何医疗业务和医疗服务。