Name: cross-modal multivariate pattern analysis
Uploaded: 2011-11-09T13:00:00
Duration: 13 min 51 s
Description: Watch this Scientific Journal Video about Cross-Modal Multivariate Pattern Analysis at JoVE.com

この作品は、アントニオとハンナDamasioにマザーズ財団や国立衛生研究所（承認番号5P50NS019632 - 27）により、補助金によって支えられている。

<ol>
	<li>Haynes, J. -. D., Rees, G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Decoding+mental+states+from+brain+activity+in+humans.">Decoding mental states from brain activity in humans.</a> Nat. Rev. Neurosci. 7, 523-534 (2006).</li><li>Norman, K. A., Polyn, S. M., Detre, G. J., Haxby, J. V. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Beyond+mind-reading:+multi-voxel+pattern+analysis+of+fMRI+data.">Beyond mind-reading: multi-voxel pattern analysis of fMRI data.</a> Trends. Cogn. Sci. 10, 424-430 (2006).</li><li>Kriegeskorte, N., Bandettini, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Analyzing+for+information,+not+activation,+to+exploit+high-resolution+fMRI.">Analyzing for information, not activation, to exploit high-resolution fMRI.</a> NeuroImage. 38, 649-662 (2007).</li><li>Mur, M., Bandettini, P. A., Kriegeskorte, N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Revealing+representational+content+with+pattern-information+fMRI+-+an+introductory+guide.">Revealing representational content with pattern-information fMRI - an introductory guide.</a> Soc. Cogn. Affect. Neurosci. 4, 101-109 (2009).</li><li>Kamitani, Y., Tong, F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Decoding+the+visual+and+subjective+contents+of+the+human+brain.">Decoding the visual and subjective contents of the human brain.</a> Nat. Neurosci. 8, 679-685 (2005).</li><li>Formisano, E., De Martino, F., Bonte, M., Goebel, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term="Who"+is+saying+"what"?+Brain-based+decoding+of+human+voice+and+speech?.">"Who" is saying "what"? Brain-based decoding of human voice and speech?.</a> Science. 322, 970-973 (2008).</li><li>Meyer, K., Kaplan, J. T., Essex, R., Webber, C., Damasio, H., Damasio, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Predicting+visual+stimuli+on+the+basis+of+activity+in+auditory+cortices.">Predicting visual stimuli on the basis of activity in auditory cortices.</a> Nat. Neurosci. 13, 667-668 (2010).</li><li>Meyer, K., Kaplan, J. T., Essex, R., Damasio, H., Damasio, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Seeing+touch+is+correlated+with+content-specific+activity+in+primary+somatosensory+cortex.">Seeing touch is correlated with content-specific activity in primary somatosensory cortex.</a> Cereb. Cortex. 21, 2113-2121 (2011).</li><li>Damasio, A. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Time-locked+multiregional+retroactivation:+a+systems-level+proposal+for+the+neural+substrates+of+recall+and+recognition.">Time-locked multiregional retroactivation: a systems-level proposal for the neural substrates of recall and recognition.</a> Cognition. 33, 25-62 (1989).</li><li>Meyer, K., Damasio, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Convergence+and+divergence+in+a+neural+architecture+for+recognition+and+memory.">Convergence and divergence in a neural architecture for recognition and memory.</a> Trends. Neurosci. 32, 376-382 (2009).</li><li>Friston, K. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Modalities,+modes,+and+models+in+functional+neuroimaging.">Modalities, modes, and models in functional neuroimaging.</a> Science. 326, 399-403 (2009).</li><li>Hanke, M., Halchenko, Y. O., Sederberg, P. B., Hanson, S. J., Haxby, J. V., Pollmann, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=PyMVPA:+a+Python+toolbox+for+multivariate+pattern+analysis+of+fMRI+data.">PyMVPA: a Python toolbox for multivariate pattern analysis of fMRI data.</a> Neuroinformatics. 7, 37-53 (2009).</li><li>Harrison, S. A., Tong, F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Decoding+reveals+the+contents+of+visual+working+memory+in+early+visual+areas.">Decoding reveals the contents of visual working memory in early visual areas.</a> Nature. 458, 632-635 (2009).</li><li>Serences, J. T., Ester, E. F., Vogel, E. K., Awh, E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Stimulus-specific+delay+activity+in+human+primary+visual+cortex.">Stimulus-specific delay activity in human primary visual cortex.</a> Psych Sci. 20, 207-214 (2009).</li></ol>

利害の衝突は宣言されません。

私たちのこれまでの研究の知見は、クロスモーダルmvpaのは&quot;心の耳&quot;と&quot;心のタッチ&quot;で経験した精神的なイメージの神経相関を研究する有用なツールであることを示している。具体的には、結果はこのような画像の内容が収束 - 発散ゾーンのDamasioのフレームワークのための直接的な実証的サポートを提供し、それぞれ、早期の聴覚と体性感覚野の神経活動と相関していることを示している。 我々が説明する基本的なパラダイムは、いくつかの方法で拡張することができます。最も明らかに、同様の研究は、感覚様相の異なる組合せを用いて行うことができる。この点で、それは実験の前に特定のクロスモーダルのアソシエーションを確立することが成功の可能性を高めることが可能です。例えば、嗅覚皮質におけるクロスモーダル表現を研究するために、人は視覚や食品のアイテム数の香りに、それらを同時に公開することにより、被験者をプライミングことができます。 Shortly後、機能的MRIスキャナの内部に、においの嗅覚の記憶は視覚的な手がかりによって引き起こされる、とmvpaのは、単に嗅覚皮質の活動に基づいて、適切な食品への臨床試験を割り当てようとするとに使用することができる。 興味の別の質問では、初期の感覚野の活動のクロスモーダル誘導パターンは、音やタッチが実際に経験されたときに誘発されるパターンとの類似性を負担するかどうかということです。言い換えれば、ガラスの花瓶は粉々の類似したパターンを呼び出す見ていない実際に同じイベントを聞くには早く聴覚野における神経活動？この問題は、再び、mvpaのことで対処することができます：被験者は正常被験者は、対応するビデオクリップを見ながら、記録されたデータを区別することができる特定の音を聞いている間記録されたデータの学習に用いられた分類器です？私たちの聴覚の研究では、我々はそのような分類を試みていたが、結果は（図3参照文献7において限界だった）。その研究では、しかし、参加者の聴覚関連付けはどのような方法で制御されていませんでした。言い換えれば、我々はビデオに関連付けられている各被験者が分類器を訓練するために使用するオーディオトラックにあった方法同様​​の聴覚の画像わからない。再び、それはvisuo -嗅覚アソシエーションのために上記のような特定のクロスモーダルアソシエーションは、被験者にプライミングされた後に同じ問題に対処するためにみるのも面白いかもしれません。これは、ビデオの試験中に、より確実に対象者の精神的な経験を制御するため、分類器の予測性能を向上させるかもしれないことができてしまう。 結論として、我々はその刺激を示すことによって、古典的なmvpaのパラダイムへの拡張を導入している内に、だけでなく、感覚モダリティを越えだけでなく、予測することができます。従って、我々はmvpaパッケージの使用は外部感覚刺激によって直接誘導される知覚表現の相関を調査するために限定されないことを示している。むしろ、mvpaのも可能内部的にトリガされるmental images社の神経基盤を評価する：Damasioの収束 - 発散ゾーンの枠組みに従い、我々の調査結果は、記憶に基づいて再構成されているmental images社の意識体験が早い感覚でコンテンツごとに特定の神経表現と相関していることを示唆している皮質。

cross-modal multivariate pattern analysis

多変量パターン解析（mvpaのは）1-4機能的磁気共鳴画像（fMRI）データを分析するのがますます一般的な方法です。このメソッドは、通常、脳の特定の領域における神経活動から被験者の知覚経験を識別するために使用されます。例えば、それは主題が初期視覚野5または、同様に、早期の聴覚野6の活動からスピーチの内容の活動から知覚する視覚的な格子の方向を予測するために採用されている。 ここで、我々は、知覚刺激が内に、しかし感覚系で予測されていないによれば、古典的なmvpaのパラダイムの拡張子を提示する。特に、我々が説明する方法では、それらが記載されているを介して1つ以外のモダリティでのメモリの関連を想起させる刺激はそれらの他のモダリティの感覚皮質のコンテンツ特有の活動パターンを誘発するかどうかの問題に対処します。例えば、地上で粉々のガラスの花瓶のミュートビデオクリップを見れば、自動的にほとんどの観測筋に関連付けられているサウンドの聴覚イメージをトリガーし、早期に特定の神経活動のパターンと相関する&quot;心の耳&quot;でこの画像の経験です。聴覚皮質？被験者は、ハウリングドッグのビデオクリップを見て、代わりに、あった場合についても、観察することができるパターンとは異なるこの活動パターンは？ 前の2つの研究7,8で、我々は予測することができたサウンドとタッチを暗示それぞれ、早期の聴覚と体性感覚野の神経活動に基づいて、ビデオクリップを。我々の結果は、記憶に基づいているmental images社の経験、それによれば、Damasio 9,10によって提案されたneuroarchitectural枠組みに沿ったもの-対応するビデオを確認した時点で&quot;心の耳&quot;で花瓶の強烈な音を聞くなど、クリップは - コンテンツの再構築でサポートされています固有の初期感覚野の神経活動パターン。

Watch this Scientific Journal Video about Cross-Modal Multivariate Pattern Analysis at JoVE.com

Cross-Modal Multivariate Pattern Analysis

古典的な多変量パターン解析は、対象者が対応する皮質（大脳皮質視覚野における活動からの例：視覚刺激）の神経活動から知覚感覚刺激を予測する。ここで、我々は、パターン分析のクロスモーダル適用され、その音とタッチを暗示視覚刺激がそれぞれ、聴覚と体性感覚皮質の活動から予測することができます。見せる

クロスモーダル多変量パターン解析

Multivariate pattern analysis (MVPA) is an increasingly popular method of analyzing functional magnetic resonance imaging (fMRI) data1-4. Typically, the ...

Research

JoVE Journal

Neuroscience

Basics of Multivariate Analysis in Neuroimaging Data

データを神経画像の多変量解析の基礎

Multivariate analysis techniques for neuroimaging data have recently received increasing attention as they have many attractive features that cannot be ...

Brain Imaging Investigation of the Impairing Effect of Emotion on Cognition

認知に関する情動の損なう効果の脳イメージング研究

Emotions can impact cognition by exerting both enhancing (e.g., better memory for emotional events) and impairing (e.g., increased emotional ...

Transcriptome Analysis of Single Cells

単一細胞のトランスクリプトーム解析

Many gene expression analysis techniques rely on material isolated from heterogeneous populations of cells from tissue homogenates or cells in ...

T-maze Forced Alternation and Left-right Discrimination Tasks for Assessing Working and Reference Memory in Mice

マウスで作業していて、メモリの参照を評価するためのT-迷路強制交替と左右弁別課題

Forced alternation and left-right discrimination tasks using the T-maze have been widely used to assess working and reference memory, respectively, in ...

Creating Objects and Object Categories for Studying Perception and Perceptual Learning

知覚と知覚学習を研究するためのオブジェクトとオブジェクトのカテゴリを作成する

In order to quantitatively study object perception, be it perception by biological systems or by machines, one needs to create objects and object ...

Visualization and Genetic Manipulation of Dendrites and Spines in the Mouse Cerebral Cortex and Hippocampus using In utero Electroporation

Visualization and Genetic Manipulation of Dendrites and Spines in the Mouse Cerebral Cortex and Hippocampus using In utero Electroporation

使用して、マウス大脳皮質および海馬における可視化と樹状突起と棘の遺伝子操作<em&gt;子宮内で</em&gt;エレクトロポレーション

In utero electroporation (IUE) has become a powerful technique to study the development of different regions of the embryonic nervous system 1-5. To date ...

The Swimmeret System of Crayfish: A Practical Guide for the Dissection of the Nerve Cord and Extracellular Recordings of the Motor Pattern

ザリガニのSwimmeretシステム：神経索と運動パターンの細胞外記録の解剖のための実践ガイド

Here we demonstrate the dissection of the crayfish abdominal nerve cord. The preparation comprises the last two thoracic ganglia (T4, T5) and the chain of ...

Peering at Brain Polysomes with Atomic Force Microscopy

原子間力顕微鏡で脳ポリソームでピアリング

The translational machinery, i.e., the polysome or polyribosome, is one of the biggest and most complex cytoplasmic machineries in cells. Polysomes, ...

Analyzing Synaptic Modulation of Drosophila melanogaster Photoreceptors after Exposure to Prolonged Light

Analyzing Synaptic Modulation of Drosophila melanogaster Photoreceptors after Exposure to Prolonged Light

のシナプス変調を分析<em&gt;キイロショウジョウバエ</em&gt;長時間の光照射後の感光体

The nervous system has the remarkable ability to adapt and respond to various stimuli. This neural adjustment is largely achieved through plasticity at ...

Visualization of the Axonal Projection Pattern of Embryonic Motor Neurons in Drosophila

Visualization of the Axonal Projection Pattern of Embryonic Motor Neurons in Drosophila

胎児運動ニューロンの軸索突起パターンの視覚化<em&gt;ショウジョウバエ</em

The establishment of functional neuromuscular circuits relies on precise connections between developing motor axons and target muscles. Motor neurons ...