JoVE Logo
Faculty Resource Center
Authors
Librarians
High Schools
About

Sign In

Summary

Abstract

Introduction

Protocol

Representative Results

Discussion

Acknowledgements

Materials

References

Neuroscience

실험 심리학 및 인지 신경 과학 연구에서 실제 사람과 실제 행동을 제시하기 위한 자연주의적 설정

Published: August 4th, 2023

DOI:

10.3791/65436

1Department of Cognitive Science, Middle East Technical University, 2Interdisciplinary Neuroscience Graduate Program, Bilkent University, 3Department of Computer Engineering, Middle East Technical University, 4Department of Cognitive Science, Jagiellonian University, 5Department of Psychology, Interdisciplinary Neuroscience Graduate Program, National Magnetic Resonance Research Center (UMRAM), Aysel Sabuncu Brain Research Center, Bilkent University

이 연구는 연구자들이 실시간 행동 자극을 제시하고, 참가자가 각 자극 표시 후에 반응하는 동안 응답 시간 및 마우스 추적 데이터를 얻고, 특수 투명 유기 발광 다이오드(OLED) 화면 및 조명 조작을 포함한 고유한 시스템으로 실험 조건 간에 행위자를 변경할 수 있는 자연주의적 실험 설정을 제시합니다.

다른 사람의 행동에 대한 인식은 생존, 상호 작용 및 의사 소통에 매우 중요합니다. 행동의 인식을 이해하는 데 전념하는 수십 년간의 인지 신경과학 연구에도 불구하고, 우리는 여전히 인간의 행동 인식에 접근하는 신경에서 영감을 받은 컴퓨터 비전 시스템을 개발하는 것과는 거리가 멉니다. 주요 과제는 현실 세계에서의 행동이 "지금 여기"에서 발생하고 적용 가능한 공간에서 일시적으로 전개되는 사건으로 구성된다는 것입니다. 대조적으로, 지금까지의 시각적 인식 및 인지 신경과학 연구는 공간과 시간에 배우의 존재가 없는 2D 디스플레이(예: 이미지 또는 비디오)를 통한 행동 인식을 주로 연구했기 때문에 이러한 디스플레이는 작동 가능성을 제공하는 데 한계가 있습니다. 현장에서 지식의 증가에도 불구하고 현실 세계에서 다른 사람들의 행동을 인식하는 기본 메커니즘을 더 잘 이해하기 위해서는 이러한 도전을 극복해야 합니다. 이 연구의 목적은 실제 설정에 가까운 시나리오에서 실제 배우와 함께 자연주의적 실험실 실험을 수행하기 위한 새로운 설정을 도입하는 것입니다. 이 연구에 사용된 설정의 핵심 요소는 투명 유기 발광 다이오드(OLED) 화면으로, 이를 통해 참가자는 프레젠테이션 타이밍을 정밀하게 제어하면서 물리적으로 존재하는 배우의 라이브 액션을 볼 수 있습니다. 이 작업에서이 설정은 행동 실험에서 테스트되었습니다. 우리는 이 설정이 연구자들이 행동 지각의 근본적이고 이전에는 접근할 수 없었던 인지 및 신경 메커니즘을 밝히는 데 도움이 될 것이며 자연주의적 환경에서 사회적 지각과 인지를 조사하는 향후 연구의 기초가 될 것이라고 믿습니다.

생존과 사회적 상호 작용을위한 기본 기술은 다른 사람들의 행동을 인식하고 이해하고 주변 환경에서 그들과 상호 작용하는 능력입니다. 지난 수십 년 동안의 이전 연구는 개인이 다른 사람의 행동을 어떻게 인식하고 이해하는지에 대한 기본 원칙을 이해하는 데 크게 기여했습니다 1,2,3,4,5,6,7,8,9,10,11 . 그럼에도 불구하고 상호 작용의 복잡성과 상호 작용이 발생하는 상황을 감안할 때 일상 생활 환경에서 이 복잡한 기술에 대한 보다 완전한 이해에 도달하기 위해 자연주의적 환경에서 지식 체계를 더욱 발전시킬 필요가 있습니다.

....

Log in or to access full content. Learn more about your institution’s access to JoVE content here

이 연구의 실험 프로토콜은 Bilkent University의 인간 참가자 연구 윤리 위원회의 승인을 받았습니다. 연구에 포함된 모든 참가자는 18세 이상이었고 연구를 시작하기 전에 정보에 입각한 동의서를 읽고 서명했습니다.

1. 일반 설계 단계

알림: 그림 1A(상단 view) 및 그림 1B 및 그림 1C(전면 및 후면 view)는 실험실 레이아웃을 보여?.......

Log in or to access full content. Learn more about your institution’s access to JoVE content here

응답 시간(RT) 비교
현재 연구는 진행중인 프로젝트이므로 대표적인 결과로 실험의 주요 부분 (실험 파트 3)의 데이터를 제시합니다. 이 데이터는 18-28세 범위의 여성 23명과 남성 17명을 포함한 40명의 참가자로부터 얻은 것입니다(미디엄 = 22.75, SD = 3.12).

분석에 적합한 통계적 방법을 선택하기 위해서는 종속 변수 분포의 정규성 정도를 조사하는 것?.......

Log in or to access full content. Learn more about your institution’s access to JoVE content here

본 연구의 가장 중요한 목표는 인간의 높은 수준의 시각적 인식과 인지가 실제 상황에서 어떻게 작동하는지에 대한 우리의 이해에 기여하는 것입니다. 이 연구는 행동 인식에 초점을 맞추고 연구자가 실험실 환경에서 실제 행위자를 제시함으로써 개인이 다른 사람의 행동을 어떻게 인식하고 평가할 수 있는지 테스트할 수 있도록 하는 자연주의적이면서도 제어 가능한 실험 패러다임을 제안했습?.......

Log in or to access full content. Learn more about your institution’s access to JoVE content here

이 작업은 Türkiye 과학 기술 연구 위원회(프로젝트 번호: 120K913)와 Bilkent University의 Burcu A. Urgen에 대한 보조금으로 지원되었습니다. 파일럿 참가자인 배우 변경 사이에 배경 소음을 추가하는 아이디어를 제시해 준 Sena Er Elmas, 조명 회로를 설정한 Süleyman Akı, 무대 뒤에서 보안 카메라를 사용하는 아이디어와 연구에 참여한 배우 중 한 명으로 기여한 Tuvana Karaduman에게 감사드립니다.

....

Log in or to access full content. Learn more about your institution’s access to JoVE content here

NameCompanyCatalog NumberComments
Adjustable Height TableCustom-madeN/AWidth: 60 cm, Height: 62 cm, Depth: 40 cm
Ardunio UNO Smart ProjectsA000066Microcontroller used for switching the state of the LEDs from the script running on the operator PC
Black PantsNo brandN/ARelaxed-fit pants of actors with no apparent brand name or logo.
CaseXigmatekEN43224XIGMATEK HELIOS RAINBOW LED USB 3.0 MidT ATX GAMING CASE
CPUAMDYD1600BBAFBOXAMD Ryzen 5 1600 Soket AM4 3.2 GHz - 3.6 GHz 16 MB 65 W 12 nm Processor
CurtainsCustom-madeN/AWidth: Part 1: 110 cm width from the wall (left) side, Part 2: 123 cm width above OLED display, Part 3: 170 cm from OLED display to right side, Cabin depth: 100 cm, Inside cabin depth: 100 cm, all heights 230 cm except for Part 2 (75 cm height)
Experimenter Adjustable/Swivel ChairNo brandN/AAny brand
Experimenter TableCustomN/AWidth: 160 cm, Height: 75 cm, Depth: 80 cm
GPUMSIGT 1030 2GHD4 LP OCMSI GEFORCE GT 1030 2GHD4 LP OC 2GB DDR4 64bit NVIDIA GPU
Grey-color blackout curtainCustom-madeN/AWidth: 330 cm, Height: 230 cm, used for covering the background
Hard DiskKioxiaLTC10Z240GG8Kioxia 240 GB Exceria Sata 3.0 SSD (555 MB Read/540 MB Write)
Hard DiskToshibaHDWK105UZSVAToshiba 2,5'' 500 GB L200 SATA 3.0 8 MB Cache 5400 Rpm 7 mm Harddisk
High-Power MOSFET ModuleN/AN/AHeating Controller MKS MOSFET Module
LaptopAppleS/N: C02P916ZG3QTMacBook Pro 11.1 Intel Core i7 (Used as the actor PC)
LaptopAsus UX410UUsed for monitoring the security camera in real-time.
LED lightsNo brandN/A
LED Strip Power SupplyNo brandN/AAC to DC voltage converter used for supplying DC voltage to the lighting circuit
MATLAB The MathWorks Inc., Natick, MA, USAVersion: R2022aUsed for programming the experiment.

Required Toolboxes:
MATLAB Support Package for Arduino Hardware (version 22.1.2)
Instrument Control Toolbox (version 4.6)
Psychtoolbox (version 3)
MonitorPhilipsUHB2051005145 Model ID: 242V8A/00, PHILIPS 23.8" 242V8A 4ms 75 Hz Freesync DP-HDMI+VGA IPS Gaming Monitor 
MotherboardMSIB450M-A PRO MAXMSI B450M-A PRO MAX Amd B450 Socket AM4 DDR4 3466(OC) M.2 Motherboard
Mouse Pad for participantMonster 78185721101502042 / 8699266781857Pusat Gaming Mouse Pad XL
Night lampAukesES620-0.5W 6500K-IP 20Used for helping the actors see around when the lights are off in the backstage.
Participant Adjustable/Swivel ChairNo brandN/A
Participant TableIKEASandsberg 294.203.93Width: 110 cm, Height: 75 cm, Depth: 67 cm
Power Extension CableViko9011760Y250 V (6 inlets) Black
Power Extension CableViko9011730Y250 V (3 inlets) Black
Power Extension CableViko9011330Y250 V (3 inlets) White
Power Extension Cables-link Model No: SPG3-J-10AC - 250 V 3 meter (5 inlets)
Power SupplyTHERMALTAKEPS-LTP-0550NHSANE-1THERMALTAKE LITEPOWER RGB 550W APFC 12 cm FAN PSU
Professional Gaming MouseRampage8680096Model No: SMX-R50 
RAMGSKILLF4-3000C16S-8GVRBGSKILL 8GB (1x8GB) RipjawsV Red DDR4 3000 MHz CL16 1.35 V Single Ram
Reception bellNo brandN/AUsed for helping the communication between the experimenter and the actors.
Security CameraBrion Vega2-20204210Model:BV6000
SpeakersLogitechP/N: 880-000-405 PID: WD528XMUsed for playing the background music.
Survey SoftwareQualtrics N/A
Switching ModuleNo brandN/AF5305S PMOS Switch Module
Table under the OLED displayCustom-madeN/AWidth: 123 cm, Height: 75 cm, Depth: 50 cm
Transparent OLED DisplayPlanarPN: 998-1483-01 S/N:195210075A 55-inch transparent display that showcases dynamic information, enabled the opaque and transparent usage during the experiment.
UPSEAGK200610100087EAG 110
UPSEAG210312030507EAG 103
USB 2.0 Cable Type A/B for Arduino UNO (Blue)Smart ProjectsM000006 Used to connect the microcontroller to the experimenter PC.
USB to RS232 Converter s-link8680096082559Model: SW-U610
White Long-Sleeved Blouse (2)H&M (cotton)N/ARelaxed-fit blouses with a round neckline and without ant apparent brand name or logo.
Wireless KeyboardLogitechP/N: 820-003488 S/N: 1719CE0856D8Model: K360
Wireless MouseLogitechS/N: 2147LZ96BGQ9Model: M190 (Used as the response device)

  1. Grossman, E. D., Blake, R. Brain areas active during visual perception of biological motion. Neuron. 35 (6), 1167-1175 (2002).
  2. Saygin, A. P. Superior temporal and premotor brain areas necessary for biological motion perception. Brain. 130 (9), 2452-2461 (2007).
  3. Peelen, M. V., Downing, P. E. The neural basis of visual body perception. Nature Reviews Neuroscience. 8 (8), 636-648 (2007).
  4. Caspers, S., Zilles, K., Laird, A. R., Eickhoff, S. B. ALE meta-analysis of action observation and imitation in the human brain. Neuroimage. 50 (3), 1148-1167 (2010).
  5. Nelissen, K., et al. Action observation circuits in the macaque monkey cortex. Journal of Neuroscience. 31 (10), 3743-3756 (2011).
  6. Oosterhof, N. N., Tipper, S. P., Downing, P. E. Crossmodal and action-specific: Neuroimaging the human mirror neuron system. Trends in Cognitive Sciences. 17 (7), 311-318 (2013).
  7. Lingnau, A., Downing, P. E. The lateral occipitotemporal cortex in action. Trends in Cognitive Sciences. 19 (5), 268-277 (2015).
  8. Giese, M. A., Rizzolatti, G. Neural and computational mechanisms of action processing: Interaction between visual and motor representations. Neuron. 88 (1), 167-180 (2015).
  9. Tucciarelli, R., Wurm, M., Baccolo, E., Lingnau, A. The representational space of observed actions. eLife. 8, e47686 (2019).
  10. Tarhan, L., Konkle, T. Sociality and interaction envelope organize visual action representations. Nature Communications. 11 (1), 3002 (2020).
  11. Urgen, B. A., Saygin, A. P. Predictive processing account of action perception: Evidence from effective connectivity in the action observation network. Cortex. 128, 132-142 (2020).
  12. Newen, A., De Bruin, L., Gallagher, S. . The Oxford Handbook of 4E Cognition. , (2018).
  13. Snow, J. C., Culham, J. C. The treachery of images: How realism influences brain and behavior. Trends in Cognitive Sciences. 25 (6), 506-519 (2021).
  14. Matusz, P. J., Dikker, S., Huth, A. G., Perrodin, C. Are we ready for real-world neuroscience. Journal of Cognitive Neuroscience. 31 (3), 327-338 (2019).
  15. Zaki, J., Ochsner, K. The need for a cognitive neuroscience of naturalistic social cognition. Annals of the New York Academy of Sciences. 1167 (1), 16-30 (2009).
  16. Hasson, U., Honey, C. J. Future trends in Neuroimaging: Neural processes as expressed within real-life contexts. NeuroImage. 62 (2), 1272-1278 (2012).
  17. Risko, E. F., Laidlaw, K. E., Freeth, M., Foulsham, T., Kingstone, A. Social attention with real versus reel stimuli: toward an empirical approach to concerns about ecological validity. Frontiers in Human Neuroscience. 6, 143 (2012).
  18. Parsons, T. D. Virtual reality for enhanced ecological validity and experimental control in the clinical, affective and social neurosciences. Frontiers in Human Neuroscience. 9, 660 (2015).
  19. Deuse, L., et al. Neural correlates of naturalistic social cognition: brain-behavior relationships in healthy adults. Social Cognitive and Affective Neuroscience. 11 (11), 1741-1751 (2016).
  20. Camerer, C., Mobbs, D. Differences in behavior and brain activity during hypothetical and real choices. Trends in Cognitive Sciences. 21 (1), 46-56 (2017).
  21. Nastase, S. A., Goldstein, A., Hasson, U. Keep it real: Rethinking the primacy of experimental control in cognitive neuroscience. NeuroImage. 222, 117254 (2020).
  22. Kihlstrom, J. F. Ecological validity and "ecological validity&#34. Perspectives on Psychological Science. 16 (2), 466-471 (2021).
  23. Brunswik, E. . Perception and the Representative Design of Psychological Experiments. , (1956).
  24. Aronson, E., Carlsmith, J. M., Gilbert, D. T., Fiske, S. T., Lindzay, G. Experimentation in social psychology. The Handbook of Social Psychology. , 1-79 (1968).
  25. Ecological validity: Then and now. University of Colorado Available from: https://www.albany.edu/cpr/brunswik/notes/essay1.html (1998)
  26. Fan, S., Dal Monte, O., Chang, S. W. Levels of naturalism in social neuroscience research. IScience. 24 (7), 102702 (2021).
  27. Orban, G. A., Lanzilotto, M., Bonini, L. From observed action identity to social affordances. Trends in Cognitive Sciences. 25 (6), 493-505 (2021).
  28. Gray, H. M., Gray, K., Wegner, D. M. Dimensions of mind perception. Science. 315 (5812), 619 (2007).
  29. Li, Z., Terfurth, L., Woller, J. P., Wiese, E. Mind the machines: Applying implicit measures of mind perception to social robotics. 2022 17th ACM/IEEE International Conference on Human-Robot Interaction (HRI. , 236-245 (2022).
  30. Karpinski, A., Steinman, R. B. The single category implicit association test as a measure of implicit social cognition. Journal of Personality and Social Psychology. 91 (1), 16 (2006).
  31. Greenwald, A. G., McGhee, D. E., Schwartz, J. L. Measuring individual differences in implicit cognition: the implicit association test. Journal of Personality and Social Psychology. 74 (6), 1464 (1998).
  32. Freeman, J. B., Ambady, N. MouseTracker: Software for studying real-time mental processing using a computer mouse-tracking method. Behavior Research Methods. 42 (1), 226-241 (2010).
  33. Pekçetin, T. N., Barinal, B., Tunç, J., Acarturk, C., Urgen, B. A. Studying mind perception in social robotics implicitly: The need for validation and norming. Proceedings of the 2023 ACM/IEEE International Conference on Human-Robot Interaction. , 202-210 (2023).
  34. Yu, Z., Wang, F., Wang, D., Bastin, M. Beyond reaction times: Incorporating mouse-tracking measures into the implicit association test to examine its underlying process. Social Cognition. 30 (3), 289-306 (2012).
  35. Romero, C. A., Snow, J. C. Methods for presenting real-world objects under controlled laboratory conditions. Journal of Visualized Experiments. (148), e59762 (2019).
  36. Jastorff, J., Abdollahi, R. O., Fasano, F., Orban, G. A. Seeing biological actions in 3 D: An f MRI study. Human Brain Mapping. 37 (1), 203-219 (2016).
  37. Ferri, S., Pauwels, K., Rizzolatti, G., Orban, G. A. Stereoscopically observing manipulative actions. Cerebral Cortex. 26 (8), 3591-3610 (2016).
  38. Stangl, M., Maoz, S. L., Suthana, N. Mobile cognition: Imaging the human brain in the 'real world. Nature Reviews Neuroscience. 24 (6), 347-362 (2023).
  39. Kriegeskorte, N. Deep neural networks: a new framework for modeling biological vision and brain information processing. Annual Review of Vision Science. 1, 417-446 (2015).
  40. Marblestone, A. H., Wayne, G., Kording, K. P. Toward an integration of deep learning and neuroscience. Frontiers in Computational Neuroscience. 10, 94 (2016).

This article has been published

Video Coming Soon

JoVE Logo

Privacy

Terms of Use

Policies

Contact Us

Recommend to library

JoVE NEWSLETTERS

Research

Education

Authors

Librarians

ABOUT JoVE

Copyright © 2024 MyJoVE Corporation. All rights reserved