JoVE Logo
发表
联系我们

登录

需要订阅 JoVE 才能查看此. 登录或开始免费试用。

本文内容

  • 摘要
  • 摘要
  • 引言
  • 研究方案
  • 结果
  • 讨论
  • 披露声明
  • 致谢
  • 材料
  • 参考文献
  • 转载和许可

摘要

本研究提出了一种通过神经影像学的方法来研究仅由可穿戴设备实现的对左右反式试镜的适应, 这是一种有效的工具, 可以揭示人类对新环境的适应性。听觉领域。

摘要

一个不寻常的感官空间是揭示人类适应新环境的机制的有效工具之一。尽管以前的大多数研究都使用棱镜的特殊眼镜来实现视觉领域中的不寻常空间, 但研究适应不同寻常听觉空间的方法尚未完全确立。本研究提出了一种新的协议, 用于设置、验证和使用仅使用可穿戴设备的左右反转立体声系统, 并通过神经影像学研究对左右反转试镜的适应。虽然单独的声学特性尚未实现, 非反向声音的轻微溢出是相对不可控制的, 但所构建的设备在360°声源定位与听觉结合时表现出高性能特性, 延迟小。此外, 它看起来像一个移动音乐播放器, 使参与者能够专注于日常生活, 而不会引起好奇心或吸引其他人的注意。由于适应性的影响在知觉、行为和神经水平上得到了成功的检测, 因此得出的结论是, 该协议为研究适应左右逆向试镜提供了一个有前途的方法, 是一种有效的工具, 用于揭示人类对听觉领域新环境的适应性。

引言

适应新环境是人类在任何情况下都能稳健生活的基本功能之一。一个有效的工具, 以揭示人类环境适应性机制是一个不寻常的感官空间, 是由仪器人工生产。在过去的大多数研究中, 有棱镜的特殊眼镜被用来实现左右反转视觉1、2、3、4、5或上下逆向视觉6,7。此外, 从几天到一个多月的这种视觉暴露揭示了感性和行为适应1、2、3、4、5、6,7 (例如, 骑自行车的能力2,5,7)。此外, 使用神经影像技术 (如脑电图 (EEG)1、脑磁图 (MEG)3和功能性磁共振成像 (fMRI)2) 对大脑活动进行周期性测量, 4,5,7, 检测到适应的神经活动的变化 (例如, 单边视觉刺激的双边视觉激活4,5). 虽然参与者的外观在某种程度上变得奇怪, 观察者需要很大的照顾来保持参与者的安全, 但棱镜的反转视觉可提供精确的三维 (3D) 视觉信息, 而无需可穿戴方式的任何延迟。因此, 揭示环境适应性机制的方法在视觉领域是相对确立的。

在 1879年, 汤普森提出了一个 pseudophone 的概念, "一个工具, 研究双耳试镜的法律, 它产生的错觉, 它在空间的声学感知"8。然而, 与视觉案例1、2、3、4、5、6、7相比, 很少有人试图研究适应不同寻常听觉空间, 并没有明显的知识已获得迄今。尽管开发虚拟听觉显示器有很长的历史9,10, 可穿戴设备控制3D 试镜很少被开发。因此, 只有少数报告审查了对左右逆向试镜的适应。一个传统的仪器包括一对弯曲的喇叭, 交叉和插入到一个参与者的耳管中的反之方式11,12。在 1928年, 年轻的第一次报告使用这些交叉喇叭, 并连续佩戴3天或总共85小时, 以测试适应左右反转试镜。威利等。12重新测试了三名参与者分别佩戴喇叭3、7和8天的适应。弯曲的喇叭很容易提供左右反转试镜, 但有一个问题与可靠性的空间准确性, 耐磨性, 和奇怪的外观。一个更先进的反试镜仪器是一个电子系统, 其中的头/耳机和麦克风的左和右线反向连接13,14。文雄等。13通过连接到固定放大器的第一个双耳耳机麦克风实现听觉反转, 并评估其性能。最近, 霍夫曼等。14交叉链接的全渠道助听器和测试适应在两个参与者分别佩戴艾滋病49小时3天3周。尽管这些研究报告在前听觉领域的声源定位性能很高, 但后卫中的声源定位和电气设备的潜在延迟从未得到评估。特别是在霍夫曼等。研究表明, 助听器的空间性能保证了前60°在头固定状态和前150°的无头状态, 提示未知 omniazimuth 性能。此外, 暴露期可能太短, 无法检测与适应有关的现象, 与2、4、5等较长的反转视力情况相比。这些研究都没有用神经影像技术测量大脑活动。因此, 在时空准确性、短曝光期和神经影像的不利用方面的不确定性可能是少数报告的原因, 以及对左右反转试镜的适应性知识有限。

由于最近在可穿戴声学技术方面的进步, 青山和栗城15成功地构建了一个左右颠倒的3D 试镜, 只使用最近可用的穿戴设备, 并实现了高 omniazimuth 系统时空精度。此外, 大约一个1月的接触使用该仪器的反向试镜展示了一些代表性的结果 MEG 测量。在本文中, 我们描述了一个详细的协议来设置、验证和使用系统, 并通过在没有系统的情况下定期执行的神经影像来测试左右反转试镜的适应性。这种方法有效地揭示了人类对听觉领域新环境的适应性。

Access restricted. Please log in or start a trial to view this content.

研究方案

这里描述的所有方法都是由东京电机大学道德委员会批准的。对于每一位参与者, 在参与者收到对该议定书的详细解释后获得知情同意。

1. 左右逆向试镜系统的设置

  1. 没有参与者的反向试镜系统的设置
    1. 准备线性脉冲编码调制 (LPCM) 记录器、双耳麦克风和双耳入耳式耳机。
    2. 将麦克风生气的左右线连接到 LPCM 录音机, 以便将左右反转模拟声音信号数字化。此外, 将耳机的左右线直接连接到录音机, 以便立即播放反向数字化信号。
      注意: 如果使用双耳耳机-麦克风为双耳耳机, 请不要用耳机部件, 以减少通过麦克风部件的声音溢出。
    3. 将话筒和耳机的主体放在一起, 使每只耳朵通过声音校对材料进行轻微隔离, 并用专用挡风玻璃覆盖麦克风, 以抑制风噪声。
    4. 将可充电电池和大容量高速存储卡插入 LPCM 刻录机并将其打开。正确地设置录制条件, 以便在存储卡上以 96 kHz 的采样速率 (24 位深度) 将声音信号记录为 LPCM 格式。
    5. 将系统的主体放置在口袋大小的袋子中。
  2. 与参加者建立逆向试镜系统
    1. 指示参与者将反向试镜系统的耳机紧紧插入耳道。
    2. 断开左侧和右侧麦克风的线路, 并将话筒的主耳侧直接连接到录音机。
    3. 在调整录音机音量的同时, 指示参与者在系统的主耳侧进行反复放置, 使直接 (正常) 和间接 (反转) 声音的主观响度相等 (尽可能接近)。
    4. 检查非显性耳的响度, 并将系统的所有线路重新连接回来。
    5. 将系统放入参与者的口袋, 适当地固定在参与者的衣服上的绳子, 以防止他们陷入纠缠, 并捡起不需要的噪音。

2. 左右逆向试镜系统的验证

注意: 执行以下步骤来验证左右反转试镜系统, 无论实验研究如何适应左右反转。

  1. 反试镜系统声源定位的验证
    1. 找到一个数字角量角器, 其初始方向被定义为0°在消声室的中心, 并假设一个虚拟圆圈中心在这个点半径为2米. 沿虚拟圆圈, 在每个5°从-180°到175°中标记72可能的声源 顺时针的方式, 并设置平面波扬声器在这些点朝向圆圈的中心。
    2. 在房间中心附近设置摄像机以记录数字量角器的显示。
      注意: 由于量角器的显示动作与量角器的身体, 视频的视野应该足够大, 以覆盖所有可能的区域。此外, 摄像机应小心放置, 以免干扰参与者的坐姿和声音演示。
    3. 准备两个声音源本地化的会话: 在第一届会议上, 参与者不把反向试镜系统。在第二个会话中, 参与者将设备、校准和检查系统 (如步骤1.2 中所述) 尽快完成。
    4. 引导参与者舒适地坐在面对0°声源的圆圈中心, 等待实验开始。
    5. 进行两次语音源本地化。在这两个疗程中, 让参与者使用量角器在不移动头部的情况下尽可能精确地指示所感知的声音方向。
    6. 对于每个会话, 开始视频录制量角器的角度显示, 并在 65 dB 的声音压力电平 (SPL) 从任何声音源呈现 1000 Hz 声音: 在一个位置的声音随机切换到另一个位置的声音, 每年十年代在这样一个每个位置使用一次的方式。
      注意: 在这里, 我们使用 MATLAB 与心理物理学工具箱16,17,18。虽然此工具箱通常用于呈现声音, 但也可以使用任何可靠的刺激软件。
    7. 每届会议结束后, 停止视频录制, 并指示参与者休息足够长的时间。
    8. 从录制的视频中读取量角器上显示的试算知觉角度, 并通过比较法线和反转条件下的知觉角度对物理由声源方向定义的角度。
  2. 逆向试镜系统延时的验证
    1. 把反试镜系统放在一个安静的房间里, 没有参与者的桌子上。
    2. 断开线与左侧麦克风的连接, 并将平面波扬声器和左耳机尽可能靠近右侧麦克风。
    3. 从扬声器中开始录制直接 (正常) 的声音和从左耳机同时通过右麦克风的间接 (反转) 声音。
    4. 目前的1毫秒点击声音从扬声器在 65 dB SPL 的适度的刺激间间隔。
    5. 经过足够多的试验后, 停止呈现和记录声音。
    6. 为了确认系统的对称配置, 请使用右耳机和左麦克风重复上述步骤。
    7. 使用软件 (如MATLAB) 读取记录的声音数据, 并评估直接 (正常) 声音和间接 (反转) 声音的起始计时之间的差异, 这对应于通过经过的时间所造成的潜在延迟。系统中的电气路径。

3. 研究对左右逆向试镜的适应

  1. 反试镜的曝光程序
    1. 反复提醒参加者在任何时候都有权退出曝光。
      注意: 如果参与者报告疾病或观察者注意到任何迹象表明参与者希望出于任何原因退出曝光, 请尽快停止曝光。
    2. 准备足够数量的备用可充电电池和大容量高速存储卡, 以允许参与者随时更换它们。
    3. 如步骤1.2 所述, 指导参与者在曝光期间自行佩戴、校准和检查反向试镜系统。每次每次中断后, 参与者佩戴系统时都要执行相同的步骤。
    4. 除了睡觉、洗澡、神经影像和其他紧急情况外, 还要指导参与者在连续佩戴一个月的时间内进行日常生活活动。在这些情况下, 请参与者删除系统, 并立即插入耳塞到他们的耳朵, 以防止恢复适应。
      注意: 虽然它是理想的参与者穿系统的日夜, 强烈建议, 在睡眠和洗澡时不佩戴系统, 以防止意外的噪音和电击, 分别。
    5. 分别在电池耗尽和内存过剩之前更换电池和存储卡。卸下系统并在静音位置快速更换耳塞, 而不会产生任何声音。
    6. 当参与者需要在外面走动时, 驾驶汽车中的参与者, 陪同参与者进行移动, 或者要求他们使用安全的交通方式单独执行的行为。
      注意: 研究人员应格外小心, 以免在暴露期间危及参与者的安全, 尤其是当参与者外出时。禁止参与者执行任何危险行为。
    7. 为了便于适应, 请指导参与者体验高听觉输入的情况, 例如在购物中心或校园散步, 与两个以上的人交谈, 并尽可能长时间玩3D 视频游戏。
    8. 指导参与者保持日记, 或尽可能频繁地向观察者提供关于知觉和行为变化、经验丰富的事件以及参与者注意到的任何内容的主观报告。
    9. 目标曝光期结束后, 指导学员采取逆向试镜系统。
      注意: 同样重要的是要跟进的知觉和行为的变化, 以检查恢复过程从适应到左右反转试镜。
  2. 在接触反试镜时的神经影像学
    1. 指导参与者训练将在神经影像实验中尽可能充分使用的任务。
      1. 例如, 训练参与者在两个条件下执行选择性反应时间任务, 兼容且不兼容15。兼容的条件包括立即响应右耳的声音与右食指和左耳的声音与左食指。不兼容的条件包括立即响应右耳声音与左食指和左耳朵的声音与右食指。
      2. 在 65 dB SPL 中使用 1000 Hz 的声音, 0.1 秒的刺激间隔为 2.5-3.5 秒, 在任一耳侧显示 pseudorandomly。
    2. 在接受反向试镜之前, 在训练的任务下进行神经影像实验。
      1. 例如, 记录 MEG 或脑电图反应, 以及在选择性反应时间任务15下的左和右手指反应。该任务由两个兼容的和两个不兼容的块组成, 其间隔时间至少为三十年代, 每个块通过插入的耳机与塑料耳管的声音出现80次。
        注: 虽然在青山和栗城15使用了122通道 MEG 系统, 但多通道脑电图系统也适用于该协议。
      2. 对于 MEG/脑电图记录, 设置采样率在 1 kHz 和模拟记录通带在 0.03-200 Hz。
    3. 在大约1月的反向试镜期间, 每周在训练的任务下进行神经影像实验, 而没有反向试镜系统, 与预曝光实验 (步骤 3.2.2) 完全相同。
      注意: 在每次实验后, 系统会立即删除并立即放置。
    4. 曝光后一周, 在经过训练的任务下进行神经影像实验, 与预曝光实验 (步骤 3.2.2) 完全相同。
    5. 分析收集的数据之前, 期间, 和之后的接触左右反转试镜。
      1. 例如, 在拒绝了与眼睛相关工件污染的纪元后, 在预刺激间隔中移除偏移量, 并设置低通滤波为 40 Hz, 平均从 100 ms 到 500 ms 后的 MEG/脑电图数据为刺激-响应兼容和不兼容的条件15。
      2. 使用跨国公司软件包19,20, 估计大脑活动的来源与动态统计参数图 (dSPMs) 叠加在皮质表面图像和量化大脑活动的强度平均数据的每个时间点的最小范数估计 (跨国公司)。
      3. 在每个条件的声起始后, 从90到 500 ms 的单试零平均 MEG/脑电图数据计算听觉-电机功能连接
        注意: 在这里, 我们使用 MATLAB 与多元格兰杰因果关系工具箱21。
      4. 对于行为数据, 计算刺激-响应兼容和不相容条件的平均反应时间。

Access restricted. Please log in or start a trial to view this content.

结果

此处显示的代表性结果基于青山和栗城15。本协议实现了具有高时空精度的左右反转试镜。图 1显示了在将左右反转试演系统 (图 1A) 放在六参与者中的方向上的声音源本地化, 如余弦相似性所示。如图 1B所示, 正常情况下的知觉角度与物理角度 (正相关, 调整R2 = 0.99) 很好地?...

Access restricted. Please log in or start a trial to view this content.

讨论

拟议的《议定书》旨在建立一种研究如何适应左右逆向试镜的方法, 以此作为揭示人类适应新听觉环境的有效工具。在代表性结果的证明下, 该装置实现了具有高时空精度的左向右反式试镜。尽管以前的反试镜仪器11,12,13,14在前听觉领域是非常可靠的, 该协议提供了高性能的360°声源定位与听觉特征相结...

Access restricted. Please log in or start a trial to view this content.

披露声明

作者没有什么可透露的。

致谢

这项工作得到了来自 jsp KAKENHI 授权编号 JP17K00209 的赠款的部分支持。作者感谢孝之星野和川和宏茂多的技术援助。

Access restricted. Please log in or start a trial to view this content.

材料

NameCompanyCatalog NumberComments
Linear pulse-code-modulation recorderSonyPCM-M10
Binaural microphonesRolandCS-10EM
Binaural in-ear earphonesEtymotic ResearchER-4B
Digital angle protractorWenzhou Sanhe Measuring Instrument5422-200
Plane-wave speakerAlphagreenSS-2101
Video cameraSonyHDR-CX560
MATLABMathworksR2012a, R2015aR2012a for stimulation and R2015a for analysis
Psychophysics ToolboxFreeVersion 3http://psychtoolbox.org
Insert earphonesEtymotic ResearchER-2
Magnetoencephalography systemNeuromagNeuromag-122 TM
Electroencephalography systemBrain Productsacti64CHamp
MNEFreeMNE Software Version 2.7,
MNE 0.13		https://martinos.org/mne/stable/index.html
The Multivariate Granger Causality ToolboxFreemvgc_v1.0http://www.sussex.ac.uk/sackler/mvgc/

参考文献

  1. Sugita, Y. Visual evoked potentials of adaptation to left-right reversed vision. Perceptual and Motor Skills. 79 (2), 1047-1054 (1994).
  2. Sekiyama, K., Miyauchi, S., Imaruoka, T., Egusa, H., Tashiro, T. Body image as a visuomotor transformation device revealed in adaptation to reversed vision. Nature. 407 (6802), 374-377 (2000).
  3. Takeda, S., Endo, H., Honda, S., Weinberg, H., Takeda, T. MEG recording for spatial S-R compatibility task under adaptation to right-left reversed vision. Proceedings of the 12th International Conference on Biomagnetism. , Espoo. 347-350 (2001).
  4. Miyauchi, S., Egusa, H., Amagase, M., Sekiyama, K., Imaruoka, T., Tashiro, T. Adaptation to left-right reversed vision rapidly activates ipsilateral visual cortex in humans. Journal of Physiology Paris. 98 (1-3), 207-219 (2004).
  5. Sekiyama, K., Hashimoto, K., Sugita, Y. Visuo-somatosensory reorganization in perceptual adaptation to reversed vision. Acta psychologica. 141 (2), 231-242 (2012).
  6. Stratton, G. M. Some preliminary experiments on vision without inversion of the retinal image. Psychological Review. 3 (6), 611-617 (1896).
  7. Linden, D. E., Kallenbach, U., Heinecke, A., Singer, W., Goebel, R. The myth of upright vision. A psychophysical and functional imaging study of adaptation to inverting spectacles. Perception. 28 (4), 469-481 (1999).
  8. Thompson, S. P. The pseudophone. The London, Edinburgh, and Dublin Philosophical Magazine and Journal of Science: Series 5. 5 (50), 385-390 (1879).
  9. Wenzel, E. M. Localization in virtual acoustic displays. Presence: Teleoperators & Virtual Environments. 1 (1), 80-107 (1992).
  10. Carlile, S. Virtual Auditory Space: Generation and Applications. , Springer-Verlag. Berlin Heidelberg. (2013).
  11. Young, T. P. Auditory localization with acoustical transposition of the ears. Journal of Experimental Psychology. 11 (6), 399-429 (1928).
  12. Willey, C. F., Inglis, E., Pearce, C. H. Reversal of auditory localization. Journal of Experimental Psychology. 20 (2), 114-130 (1937).
  13. Ohtsubo, H., Teshima, T., Nakamizo, S. Effects of head movements on sound localization with an electronic pseudophone. Japanese Psychological Research. 22 (3), 110-118 (1980).
  14. Hofman, P. M., Vlaming, M. S., Termeer, P. J., van Opstal, A. J. A method to induce swapped binaural hearing. Journal of Neuroscience Methods. 113 (2), 167-179 (2002).
  15. Aoyama, A., Kuriki, S. A wearable system for adaptation to left-right reversed audition tested in combination with magnetoencephalography. Biomedical Engineering Letters. 7 (3), 205-213 (2017).
  16. Brainard, D. H. The Psychophysics Toolbox. Spatial Vision. 10 (4), 433-436 (1997).
  17. Pelli, D. G. The VideoToolbox software for visual psychophysics: transforming numbers into movies. Spatial Vision. 10 (4), 437-442 (1997).
  18. Kleiner, M., Brainard, D., Pelli, D. What's new in Psychtoolbox-3? Perception. 36 (14), ECVP Abstract Supplement (2007).
  19. Gramfort, A., et al. MEG and EEG data analysis with MNE-Python. Frontiers in Neuroscience. 7, 267(2013).
  20. Gramfort, A., et al. MNE software for processing MEG and EEG data. NeuroImage. 86, 446-460 (2014).
  21. Barnett, L., Seth, A. K. The MVGC multivariate Granger causality toolbox: a new approach to Granger-causal inference. Journal of Neuroscience Methods. 223, 50-68 (2014).
  22. Green, D. M. Temporal auditory acuity. Psychological Review. 78 (6), 540-551 (1971).
  23. He, S., Cavanagh, P., Intriligator, J. Attentional resolution and the locus of visual awareness. Nature. 383 (6598), 334-337 (1996).
  24. Anton-Erxleben, K., Carrasco, M. Attentional enhancement of spatial resolution: linking behavioural and neurophysiological evidence. Nature Reviews Neuroscience. 14 (3), 188-200 (2013).
  25. Perrott, D. R., Saberi, K. Minimum audible angle thresholds for sources varying in both elevation and azimuth. Journal of the Acoustical Society of America. 87 (4), 1728-1731 (1990).
  26. Grantham, D. W., Hornsby, B. W., Erpenbeck, E. A. Auditory spatial resolution in horizontal, vertical, and diagonal planes. Journal of the Acoustical Society of America. 114 (2), 1009-1022 (2003).
  27. Xie, B. Head-Related Transfer Function and Virtual Auditory Display. , J. Ross Publishing. Plantation. (2013).
  28. Stenfelt, S. Acoustic and physiologic aspects of bone conduction hearing. Advances in Oto-Rhino-Laryngology. 71, 10-21 (2011).
  29. Zwiers, M. P., van Opstal, A. J., Paige, G. D. Plasticity in human sound localization induced by compressed spatial vision. Nature Neuroscience. 6 (2), 175-181 (2003).
  30. Huster, R. J., Debener, S., Eichele, T., Herrmann, C. S. Methods for simultaneous EEG-fMRI: an introductory review. Journal of Neuroscience. 32 (18), 6053-6060 (2012).
  31. Veniero, D., Vossen, A., Gross, J., Thut, G. Lasting EEG/MEG aftereffects of rhythmic transcranial brain stimulation: level of control over oscillatory network activity. Frontiers in Cellular Neuroscience. 9, 477(2015).

Access restricted. Please log in or start a trial to view this content.

转载和许可

请求许可使用此 JoVE 文章的文本或图形

请求许可

探索更多文章

140Pseudophone

This article has been published

Video Coming Soon

JoVE Logo

政策

使用条款

隐私

联系我们

向图书馆推荐

JoVE 新闻简报

科研

教育

发表

图书馆员

关于 JoVE

版权所属 © 2025 MyJoVE 公司版权所有，本公司不涉及任何医疗业务和医疗服务。