JoVE Logo
Faculty Resource Center

Sign In

Summary

Abstract

Introduction

Protocol

Representative Results

Discussion

Acknowledgements

Materials

References

Neuroscience

実験心理学と認知神経科学研究における実在の人物と実写を提示するための自然主義的な設定

Published: August 4th, 2023

DOI:

10.3791/65436

1Department of Cognitive Science, Middle East Technical University, 2Interdisciplinary Neuroscience Graduate Program, Bilkent University, 3Department of Computer Engineering, Middle East Technical University, 4Department of Cognitive Science, Jagiellonian University, 5Department of Psychology, Interdisciplinary Neuroscience Graduate Program, National Magnetic Resonance Research Center (UMRAM), Aysel Sabuncu Brain Research Center, Bilkent University

この研究は、研究者がリアルタイムの行動刺激を提示し、参加者が各刺激表示後に応答している間に応答時間とマウス追跡データを取得し、特別な透明有機発光ダイオード(OLED)スクリーンと光操作を含む独自のシステムを使用して実験条件間でアクターを変更できるようにする自然主義的な実験セットアップを提示します。

他人の行動の認識は、生存、相互作用、およびコミュニケーションにとって重要です。行動の知覚を理解することに専念する何十年にもわたる認知神経科学の研究にもかかわらず、人間の行動知覚にアプローチする神経に触発されたコンピュータービジョンシステムの開発にはまだほど遠いです。大きな課題は、現実世界での行動が、「今ここ」で起こり、受け入れられる空間で時間的に展開するイベントで構成されていることです。これに対し、これまでの視覚知覚や認知神経科学の研究は、2次元ディスプレイ(画像や映像など)による行動知覚の研究が中心で、空間や時間にアクターが存在しないため、演技性に限界がある。この分野での知識が増えているにもかかわらず、現実の世界における他者の行動の認識の基本的なメカニズムをよりよく理解するためには、これらの課題を克服する必要があります。この研究の目的は、現実世界の設定に近いシナリオで、生きている俳優と自然主義的な実験室実験を行うための新しいセットアップを導入することです。この研究で使用されたセットアップのコア要素は、参加者がプレゼンテーションのタイミングを正確に制御しながら、物理的に存在する俳優のライブアクションを見ることができる透明な有機発光ダイオード(OLED)スクリーンです。この作業では、このセットアップを行動実験でテストしました。このセットアップは、研究者が行動知覚の基本的で以前はアクセスできなかった認知および神経メカニズムを明らかにするのに役立ち、自然主義的な環境における社会的知覚と認知を調査する将来の研究の基礎となると信じています。

生存と社会的相互作用のための基本的なスキルは、他人の行動を認識して理解し、周囲の環境で彼らと相互作用する能力です。過去数十年の以前の研究は、個人が他人の行動をどのように認識し理解するかの基本原則を理解するのに大きく貢献しました1,2,3,4,5,6,7,8,9,10,11 .それにもかかわらず、相互作用の複雑さとそれらが発生する状況を考えると、日常生活環境におけるこの複雑なスキルをより完全に理解するために、自然主義的な設定で知識体系をさらに発展させる必要があることは明らかです。

私たちの日常生活環境などの自然環境では、知覚と認知は、具体化され....

Log in or to access full content. Learn more about your institution’s access to JoVE content here

この研究の実験プロトコルは、ビルケント大学の人間参加者との研究のための倫理委員会によって承認されました。研究に含まれるすべての参加者は18歳以上であり、研究を開始する前にインフォームドコンセントフォームを読んで署名しました。

1. 一般的な設計手順

注:図1A(上面図)と図1Bおよび図1C<.......

Log in or to access full content. Learn more about your institution’s access to JoVE content here

応答時間 (RT) の比較
本研究は継続中のプロジェクトであり、代表的な結果として、実験の主要部分(実験パート3)のデータを提示する。これらのデータは、18〜28歳の年齢の女性23人と男性17人を含む40人の参加者からのものです(M = 22.75、 SD = 3.12)。

分析に適した統計的手法を選択するためには、従属変数の分布の正規性の程度を調査する必要が?.......

Log in or to access full content. Learn more about your institution’s access to JoVE content here

本研究の包括的な目標は、人間の高レベルの視覚知覚と認知が実生活の状況でどのように機能するかについての理解に貢献することです。この研究は行動知覚に焦点を当て、研究者が実験室の設定で実際の俳優を提示することによって個人が他人の行動をどのように認識し評価するかをテストすることを可能にする自然主義的でありながら制御可能な実験パラダイムを提案しました。

Log in or to access full content. Learn more about your institution’s access to JoVE content here

この研究は、トルコ科学技術研究評議会(プロジェクト番号:120K913)とビルケント大学からのBurcu A. Urgenへの助成金によって支援されました。パイロット参加者のセナ・エルマスが俳優の変更の間にバックグラウンドノイズを追加するというアイデアをもたらしてくれたこと、スレイマン・アクが光回路をセットアップしてくれたこと、そして舞台裏で防犯カメラを使用するというアイデアと研究の俳優の1人としての彼女の貢献について、Tuvana Karadumanに感謝します。

....

Log in or to access full content. Learn more about your institution’s access to JoVE content here

NameCompanyCatalog NumberComments
Adjustable Height TableCustom-madeN/AWidth: 60 cm, Height: 62 cm, Depth: 40 cm
Ardunio UNO Smart ProjectsA000066Microcontroller used for switching the state of the LEDs from the script running on the operator PC
Black PantsNo brandN/ARelaxed-fit pants of actors with no apparent brand name or logo.
CaseXigmatekEN43224XIGMATEK HELIOS RAINBOW LED USB 3.0 MidT ATX GAMING CASE
CPUAMDYD1600BBAFBOXAMD Ryzen 5 1600 Soket AM4 3.2 GHz - 3.6 GHz 16 MB 65 W 12 nm Processor
CurtainsCustom-madeN/AWidth: Part 1: 110 cm width from the wall (left) side, Part 2: 123 cm width above OLED display, Part 3: 170 cm from OLED display to right side, Cabin depth: 100 cm, Inside cabin depth: 100 cm, all heights 230 cm except for Part 2 (75 cm height)
Experimenter Adjustable/Swivel ChairNo brandN/AAny brand
Experimenter TableCustomN/AWidth: 160 cm, Height: 75 cm, Depth: 80 cm
GPUMSIGT 1030 2GHD4 LP OCMSI GEFORCE GT 1030 2GHD4 LP OC 2GB DDR4 64bit NVIDIA GPU
Grey-color blackout curtainCustom-madeN/AWidth: 330 cm, Height: 230 cm, used for covering the background
Hard DiskKioxiaLTC10Z240GG8Kioxia 240 GB Exceria Sata 3.0 SSD (555 MB Read/540 MB Write)
Hard DiskToshibaHDWK105UZSVAToshiba 2,5'' 500 GB L200 SATA 3.0 8 MB Cache 5400 Rpm 7 mm Harddisk
High-Power MOSFET ModuleN/AN/AHeating Controller MKS MOSFET Module
LaptopAppleS/N: C02P916ZG3QTMacBook Pro 11.1 Intel Core i7 (Used as the actor PC)
LaptopAsus UX410UUsed for monitoring the security camera in real-time.
LED lightsNo brandN/A
LED Strip Power SupplyNo brandN/AAC to DC voltage converter used for supplying DC voltage to the lighting circuit
MATLAB The MathWorks Inc., Natick, MA, USAVersion: R2022aUsed for programming the experiment.

Required Toolboxes:
MATLAB Support Package for Arduino Hardware (version 22.1.2)
Instrument Control Toolbox (version 4.6)
Psychtoolbox (version 3)
MonitorPhilipsUHB2051005145 Model ID: 242V8A/00, PHILIPS 23.8" 242V8A 4ms 75 Hz Freesync DP-HDMI+VGA IPS Gaming Monitor 
MotherboardMSIB450M-A PRO MAXMSI B450M-A PRO MAX Amd B450 Socket AM4 DDR4 3466(OC) M.2 Motherboard
Mouse Pad for participantMonster 78185721101502042 / 8699266781857Pusat Gaming Mouse Pad XL
Night lampAukesES620-0.5W 6500K-IP 20Used for helping the actors see around when the lights are off in the backstage.
Participant Adjustable/Swivel ChairNo brandN/A
Participant TableIKEASandsberg 294.203.93Width: 110 cm, Height: 75 cm, Depth: 67 cm
Power Extension CableViko9011760Y250 V (6 inlets) Black
Power Extension CableViko9011730Y250 V (3 inlets) Black
Power Extension CableViko9011330Y250 V (3 inlets) White
Power Extension Cables-link Model No: SPG3-J-10AC - 250 V 3 meter (5 inlets)
Power SupplyTHERMALTAKEPS-LTP-0550NHSANE-1THERMALTAKE LITEPOWER RGB 550W APFC 12 cm FAN PSU
Professional Gaming MouseRampage8680096Model No: SMX-R50 
RAMGSKILLF4-3000C16S-8GVRBGSKILL 8GB (1x8GB) RipjawsV Red DDR4 3000 MHz CL16 1.35 V Single Ram
Reception bellNo brandN/AUsed for helping the communication between the experimenter and the actors.
Security CameraBrion Vega2-20204210Model:BV6000
SpeakersLogitechP/N: 880-000-405 PID: WD528XMUsed for playing the background music.
Survey SoftwareQualtrics N/A
Switching ModuleNo brandN/AF5305S PMOS Switch Module
Table under the OLED displayCustom-madeN/AWidth: 123 cm, Height: 75 cm, Depth: 50 cm
Transparent OLED DisplayPlanarPN: 998-1483-01 S/N:195210075A 55-inch transparent display that showcases dynamic information, enabled the opaque and transparent usage during the experiment.
UPSEAGK200610100087EAG 110
UPSEAG210312030507EAG 103
USB 2.0 Cable Type A/B for Arduino UNO (Blue)Smart ProjectsM000006 Used to connect the microcontroller to the experimenter PC.
USB to RS232 Converter s-link8680096082559Model: SW-U610
White Long-Sleeved Blouse (2)H&M (cotton)N/ARelaxed-fit blouses with a round neckline and without ant apparent brand name or logo.
Wireless KeyboardLogitechP/N: 820-003488 S/N: 1719CE0856D8Model: K360
Wireless MouseLogitechS/N: 2147LZ96BGQ9Model: M190 (Used as the response device)

  1. Grossman, E. D., Blake, R. Brain areas active during visual perception of biological motion. Neuron. 35 (6), 1167-1175 (2002).
  2. Saygin, A. P. Superior temporal and premotor brain areas necessary for biological motion perception. Brain. 130 (9), 2452-2461 (2007).
  3. Peelen, M. V., Downing, P. E. The neural basis of visual body perception. Nature Reviews Neuroscience. 8 (8), 636-648 (2007).
  4. Caspers, S., Zilles, K., Laird, A. R., Eickhoff, S. B. ALE meta-analysis of action observation and imitation in the human brain. Neuroimage. 50 (3), 1148-1167 (2010).
  5. Nelissen, K., et al. Action observation circuits in the macaque monkey cortex. Journal of Neuroscience. 31 (10), 3743-3756 (2011).
  6. Oosterhof, N. N., Tipper, S. P., Downing, P. E. Crossmodal and action-specific: Neuroimaging the human mirror neuron system. Trends in Cognitive Sciences. 17 (7), 311-318 (2013).
  7. Lingnau, A., Downing, P. E. The lateral occipitotemporal cortex in action. Trends in Cognitive Sciences. 19 (5), 268-277 (2015).
  8. Giese, M. A., Rizzolatti, G. Neural and computational mechanisms of action processing: Interaction between visual and motor representations. Neuron. 88 (1), 167-180 (2015).
  9. Tucciarelli, R., Wurm, M., Baccolo, E., Lingnau, A. The representational space of observed actions. eLife. 8, e47686 (2019).
  10. Tarhan, L., Konkle, T. Sociality and interaction envelope organize visual action representations. Nature Communications. 11 (1), 3002 (2020).
  11. Urgen, B. A., Saygin, A. P. Predictive processing account of action perception: Evidence from effective connectivity in the action observation network. Cortex. 128, 132-142 (2020).
  12. Newen, A., De Bruin, L., Gallagher, S. . The Oxford Handbook of 4E Cognition. , (2018).
  13. Snow, J. C., Culham, J. C. The treachery of images: How realism influences brain and behavior. Trends in Cognitive Sciences. 25 (6), 506-519 (2021).
  14. Matusz, P. J., Dikker, S., Huth, A. G., Perrodin, C. Are we ready for real-world neuroscience. Journal of Cognitive Neuroscience. 31 (3), 327-338 (2019).
  15. Zaki, J., Ochsner, K. The need for a cognitive neuroscience of naturalistic social cognition. Annals of the New York Academy of Sciences. 1167 (1), 16-30 (2009).
  16. Hasson, U., Honey, C. J. Future trends in Neuroimaging: Neural processes as expressed within real-life contexts. NeuroImage. 62 (2), 1272-1278 (2012).
  17. Risko, E. F., Laidlaw, K. E., Freeth, M., Foulsham, T., Kingstone, A. Social attention with real versus reel stimuli: toward an empirical approach to concerns about ecological validity. Frontiers in Human Neuroscience. 6, 143 (2012).
  18. Parsons, T. D. Virtual reality for enhanced ecological validity and experimental control in the clinical, affective and social neurosciences. Frontiers in Human Neuroscience. 9, 660 (2015).
  19. Deuse, L., et al. Neural correlates of naturalistic social cognition: brain-behavior relationships in healthy adults. Social Cognitive and Affective Neuroscience. 11 (11), 1741-1751 (2016).
  20. Camerer, C., Mobbs, D. Differences in behavior and brain activity during hypothetical and real choices. Trends in Cognitive Sciences. 21 (1), 46-56 (2017).
  21. Nastase, S. A., Goldstein, A., Hasson, U. Keep it real: Rethinking the primacy of experimental control in cognitive neuroscience. NeuroImage. 222, 117254 (2020).
  22. Kihlstrom, J. F. Ecological validity and &#34;ecological validity&#34. Perspectives on Psychological Science. 16 (2), 466-471 (2021).
  23. Brunswik, E. . Perception and the Representative Design of Psychological Experiments. , (1956).
  24. Aronson, E., Carlsmith, J. M., Gilbert, D. T., Fiske, S. T., Lindzay, G. Experimentation in social psychology. The Handbook of Social Psychology. , 1-79 (1968).
  25. Ecological validity: Then and now. University of Colorado Available from: https://www.albany.edu/cpr/brunswik/notes/essay1.html (1998)
  26. Fan, S., Dal Monte, O., Chang, S. W. Levels of naturalism in social neuroscience research. IScience. 24 (7), 102702 (2021).
  27. Orban, G. A., Lanzilotto, M., Bonini, L. From observed action identity to social affordances. Trends in Cognitive Sciences. 25 (6), 493-505 (2021).
  28. Gray, H. M., Gray, K., Wegner, D. M. Dimensions of mind perception. Science. 315 (5812), 619 (2007).
  29. Li, Z., Terfurth, L., Woller, J. P., Wiese, E. Mind the machines: Applying implicit measures of mind perception to social robotics. 2022 17th ACM/IEEE International Conference on Human-Robot Interaction (HRI. , 236-245 (2022).
  30. Karpinski, A., Steinman, R. B. The single category implicit association test as a measure of implicit social cognition. Journal of Personality and Social Psychology. 91 (1), 16 (2006).
  31. Greenwald, A. G., McGhee, D. E., Schwartz, J. L. Measuring individual differences in implicit cognition: the implicit association test. Journal of Personality and Social Psychology. 74 (6), 1464 (1998).
  32. Freeman, J. B., Ambady, N. MouseTracker: Software for studying real-time mental processing using a computer mouse-tracking method. Behavior Research Methods. 42 (1), 226-241 (2010).
  33. Pekçetin, T. N., Barinal, B., Tunç, J., Acarturk, C., Urgen, B. A. Studying mind perception in social robotics implicitly: The need for validation and norming. Proceedings of the 2023 ACM/IEEE International Conference on Human-Robot Interaction. , 202-210 (2023).
  34. Yu, Z., Wang, F., Wang, D., Bastin, M. Beyond reaction times: Incorporating mouse-tracking measures into the implicit association test to examine its underlying process. Social Cognition. 30 (3), 289-306 (2012).
  35. Romero, C. A., Snow, J. C. Methods for presenting real-world objects under controlled laboratory conditions. Journal of Visualized Experiments. (148), e59762 (2019).
  36. Jastorff, J., Abdollahi, R. O., Fasano, F., Orban, G. A. Seeing biological actions in 3 D: An f MRI study. Human Brain Mapping. 37 (1), 203-219 (2016).
  37. Ferri, S., Pauwels, K., Rizzolatti, G., Orban, G. A. Stereoscopically observing manipulative actions. Cerebral Cortex. 26 (8), 3591-3610 (2016).
  38. Stangl, M., Maoz, S. L., Suthana, N. Mobile cognition: Imaging the human brain in the 'real world. Nature Reviews Neuroscience. 24 (6), 347-362 (2023).
  39. Kriegeskorte, N. Deep neural networks: a new framework for modeling biological vision and brain information processing. Annual Review of Vision Science. 1, 417-446 (2015).
  40. Marblestone, A. H., Wayne, G., Kording, K. P. Toward an integration of deep learning and neuroscience. Frontiers in Computational Neuroscience. 10, 94 (2016).

This article has been published

Video Coming Soon

JoVE Logo

Privacy

Terms of Use

Policies

Research

Education

ABOUT JoVE

Copyright © 2024 MyJoVE Corporation. All rights reserved