로그인

다용적 패턴 분석으로 청각 이미지 디코딩

Overview

출처: 조나스 T. 카플란과 사라 I. 짐벨의 연구소 - 서던 캘리포니아 대학

벨이 울리는 소리를 상상해 보십시오. 우리가 "마음의 귀"에서 이런 소리를 떠올립니다. 뇌가 지각에 사용하는 상상력에 동일한 메커니즘을 사용 한다는 증거가 증가하고 있습니다. 1 예를 들어, 시각적 이미지를 상상할 때, 시각 피질이 활성화되고, 상상할 때, 청각 피질이 종사한다. 그러나, 우리의 상상력의 내용에 특정 감각 코르티스의 이러한 활성화는 어느 정도?

이 질문에 대답하는 데 도움이 될 수있는 한 가지 기술은 기능성 뇌 이미지를 기계 학습 기술을 사용하여 분석되는 멀티 복셀 패턴 분석 (MPVA)입니다. 2-3 MPVA 실험에서, 우리는 다른 자극에 의해 연상 활동의 다양한 패턴을 구별하는 기계 학습 알고리즘을 훈련. 예를 들어, 종의 소리를 상상하는 것이 전기톱의 소리나 바이올린의 소리를 상상하는 것과 비교하여 청각 피질에서 다양한 활동 패턴을 생성하는지 물어볼 수 있습니다. 우리의 분류자가 이 세 자극에 의해 생성된 두뇌 활동 패턴을 구별하는 것을 배우는 경우에, 우리는 청각 피질이 각 자극에 의해 명백한 방법으로 활성화된다는 것을 결론을 내릴 수 있습니다. 이런 종류의 실험을 생각하는 한 가지 방법은 단순히 뇌 영역의 활동에 대한 질문을 하는 대신 해당 지역의 정보 내용에 대한 질문을 한다는 것입니다.

이 실험에서는 Meyer 외,2010,4를 기반으로 참가자들에게 청각 이미지를 불러 일으킬 가능성이 있는 조용한 비디오를 제시하여 여러 가지 사운드를 상상할 수 있도록 할 것입니다. 청각 피질의 상상력에 의해 유발되는 미묘한 패턴을 측정하는 데 관심이 있기 때문에 fMRI 스캐너가 만든 시끄러운 소음으로부터 간섭없이 자극이 완전한 침묵으로 제시되는 것이 바람직합니다. 이를 위해 스파스 측두시 샘플링이라고 하는 특수 한 종류의 기능MRI 시퀀스를 사용합니다. 이러한 접근법에서, 단일 fMRI 부피는 각 자극 후 4-5초씩 획득되며, 혈역학 반응의 피크를 포착하는 데 시간이 정해지한다.

Procedure

1. 참가자 모집

  1. 20명의 참가자를 모집합니다.
    1. 참가자는 오른손잡이여야 하며 신경학적 또는 심리적 장애의 병력이 없어야 합니다.
    2. 참가자는 시각적 신호를 제대로 볼 수 있도록 정상 또는 수정된 투 정상 시야를 가져야 합니다.
    3. 참가자는 몸에 금속이 없어야 합니다. 이것은 fMRI에 관련된 높은 자기장 때문에 중요한 안전 요구 사항입니다.
    4. fMRI는 스캐너 보어의 작은 공간에 누워 필요하기 때문에 참가자는 밀실 공포증때문에 손해를 입어서는 안됩니다.

2. 사전 스캔 절차

  1. 사전 스캔 서류를 작성합니다.
  2. 참가자가 fMRI 스캔을 위해 들어올 때, 먼저 MRI에 대한 반대 표시가 없는지 확인하기 위해 금속 스크린 양식을 작성하도록 지시하고, 방사선 전문의가 스캔을 검토하는 데 동의하는 부수적 인 연구 결과 양식및 연구의 위험과 이점

Log in or to access full content. Learn more about your institution’s access to JoVE content here

Results

20명의 참가자 모두에게 걸쳐 플래텀 측두식의 평균 분류자 정확도는 59%였습니다. 윌콕슨 사인랭크 테스트에 따르면, 이것은 33%의 확률 수준과 크게 다릅니다. 전두엽 극 마스크의 평균 성능은 32.5%로 우연(그림 2)보다크지 않다.

Figure 2
그림 2. 각 참가자의 ?...

Log in or to access full content. Learn more about your institution’s access to JoVE content here

Application and Summary

MVPA는 뇌가 정보를 나타내는 방법을 이해하는 데 유용한 도구입니다. 기존의 활성화 분석과 같이 각 복셀의 시간 과정을 별도로 고려하는 대신, 이 기술은 한 번에 많은 복셀에 걸쳐 패턴을 고려하여 단변기 기술에 비해 감도가 증가합니다. 종종 다변량 분석은 단변기 기술이 할 수없는 차이를 발견합니다. 이 경우, 우리는 뇌의 특정 영역, 청각 피질의 정보 내용을 조사하여 정신 이미지의 메커니?...

Log in or to access full content. Learn more about your institution’s access to JoVE content here

References
  1. Kosslyn, S.M., Ganis, G. & Thompson, W.L. Neural foundations of imagery. Nat Rev Neurosci 2, 635-642 (2001).
  2. Haynes, J.D. & Rees, G. Decoding mental states from brain activity in humans. Nat Rev Neurosci 7, 523-534 (2006).
  3. Norman, K.A., Polyn, S.M., Detre, G.J. & Haxby, J.V. Beyond mind-reading: multi-voxel pattern analysis of fMRI data. Trends Cogn Sci 10, 424-430 (2006).
  4. Meyer, K., et al. Predicting visual stimuli on the basis of activity in auditory cortices. Nat Neurosci 13, 667-668 (2010).
Tags
Auditory ImageryMultivoxel Pattern AnalysisPerceptionBrain ActivationFunctional Magnetic Resonance Imaging fMRISilent VideosAcoustic StimuliDistinguishing SoundsAuditory CortexImaginationMemoryDetailed ProcessingFMRI SessionsNeural Patterns

건너뛰기...

0:00

Overview

1:30

Experimental Design

4:40

Running the Experiment

6:37

Data Analysis

7:54

Representative Results

9:50

Applications

11:14

Summary

이 컬렉션의 비디오:

article

Now Playing

다용적 패턴 분석으로 청각 이미지 디코딩

Neuropsychology

6.4K Views

article

분할 뇌

Neuropsychology

68.2K Views

article

운동 지도

Neuropsychology

27.4K Views

article

신경 심리학에 대한 관점

Neuropsychology

12.0K Views

article

의사 결정 및 아이오와 도박 과제

Neuropsychology

32.3K Views

article

자폐 스펙트럼 장애의 실행 기능

Neuropsychology

17.6K Views

article

사건후기억상실

Neuropsychology

30.3K Views

article

감정 인식의 생리학적 상관 관계

Neuropsychology

16.2K Views

article

사건 관련 잠재력과 오드볼 과제

Neuropsychology

27.4K Views

article

언어: 의미 부조화의 N400

Neuropsychology

19.5K Views

article

학습과 기억: 기억-알기 과제

Neuropsychology

17.1K Views

article

화소 기반 형태법으로 회백질 차이 측정: 음악 두뇌

Neuropsychology

17.3K Views

article

시각 주의: 사물을 활용한 집중력 제어의 fMRI 조사

Neuropsychology

41.4K Views

article

외상성 뇌 손상에서의 확산 텐서 이미징 사용

Neuropsychology

16.7K Views

article

TMS를 사용한 동작 관찰 중 운동 흥분성 측정

Neuropsychology

10.1K Views

JoVE Logo

개인 정보 보호

이용 약관

정책

연구

교육

JoVE 소개

Copyright © 2025 MyJoVE Corporation. 판권 소유