この作品は、アントニオとハンナDamasioにマザーズ財団や国立衛生研究所（承認番号5P50NS019632 - 27）により、補助金によって支えられている。

<ol>
	<li>Haynes, J. -. D., Rees, G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Decoding+mental+states+from+brain+activity+in+humans.">Decoding mental states from brain activity in humans.</a> Nat. Rev. Neurosci. 7, 523-534 (2006).</li><li>Norman, K. A., Polyn, S. M., Detre, G. J., Haxby, J. V. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Beyond+mind-reading:+multi-voxel+pattern+analysis+of+fMRI+data.">Beyond mind-reading: multi-voxel pattern analysis of fMRI data.</a> Trends. Cogn. Sci. 10, 424-430 (2006).</li><li>Kriegeskorte, N., Bandettini, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Analyzing+for+information,+not+activation,+to+exploit+high-resolution+fMRI.">Analyzing for information, not activation, to exploit high-resolution fMRI.</a> NeuroImage. 38, 649-662 (2007).</li><li>Mur, M., Bandettini, P. A., Kriegeskorte, N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Revealing+representational+content+with+pattern-information+fMRI+-+an+introductory+guide.">Revealing representational content with pattern-information fMRI - an introductory guide.</a> Soc. Cogn. Affect. Neurosci. 4, 101-109 (2009).</li><li>Kamitani, Y., Tong, F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Decoding+the+visual+and+subjective+contents+of+the+human+brain.">Decoding the visual and subjective contents of the human brain.</a> Nat. Neurosci. 8, 679-685 (2005).</li><li>Formisano, E., De Martino, F., Bonte, M., Goebel, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term="Who"+is+saying+"what"?+Brain-based+decoding+of+human+voice+and+speech?.">"Who" is saying "what"? Brain-based decoding of human voice and speech?.</a> Science. 322, 970-973 (2008).</li><li>Meyer, K., Kaplan, J. T., Essex, R., Webber, C., Damasio, H., Damasio, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Predicting+visual+stimuli+on+the+basis+of+activity+in+auditory+cortices.">Predicting visual stimuli on the basis of activity in auditory cortices.</a> Nat. Neurosci. 13, 667-668 (2010).</li><li>Meyer, K., Kaplan, J. T., Essex, R., Damasio, H., Damasio, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Seeing+touch+is+correlated+with+content-specific+activity+in+primary+somatosensory+cortex.">Seeing touch is correlated with content-specific activity in primary somatosensory cortex.</a> Cereb. Cortex. 21, 2113-2121 (2011).</li><li>Damasio, A. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Time-locked+multiregional+retroactivation:+a+systems-level+proposal+for+the+neural+substrates+of+recall+and+recognition.">Time-locked multiregional retroactivation: a systems-level proposal for the neural substrates of recall and recognition.</a> Cognition. 33, 25-62 (1989).</li><li>Meyer, K., Damasio, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Convergence+and+divergence+in+a+neural+architecture+for+recognition+and+memory.">Convergence and divergence in a neural architecture for recognition and memory.</a> Trends. Neurosci. 32, 376-382 (2009).</li><li>Friston, K. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Modalities,+modes,+and+models+in+functional+neuroimaging.">Modalities, modes, and models in functional neuroimaging.</a> Science. 326, 399-403 (2009).</li><li>Hanke, M., Halchenko, Y. O., Sederberg, P. B., Hanson, S. J., Haxby, J. V., Pollmann, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=PyMVPA:+a+Python+toolbox+for+multivariate+pattern+analysis+of+fMRI+data.">PyMVPA: a Python toolbox for multivariate pattern analysis of fMRI data.</a> Neuroinformatics. 7, 37-53 (2009).</li><li>Harrison, S. A., Tong, F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Decoding+reveals+the+contents+of+visual+working+memory+in+early+visual+areas.">Decoding reveals the contents of visual working memory in early visual areas.</a> Nature. 458, 632-635 (2009).</li><li>Serences, J. T., Ester, E. F., Vogel, E. K., Awh, E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Stimulus-specific+delay+activity+in+human+primary+visual+cortex.">Stimulus-specific delay activity in human primary visual cortex.</a> Psych Sci. 20, 207-214 (2009).</li></ol>

利害の衝突は宣言されません。

私たちのこれまでの研究の知見は、クロスモーダルmvpaのは&quot;心の耳&quot;と&quot;心のタッチ&quot;で経験した精神的なイメージの神経相関を研究する有用なツールであることを示している。具体的には、結果はこのような画像の内容が収束 - 発散ゾーンのDamasioのフレームワークのための直接的な実証的サポートを提供し、それぞれ、早期の聴覚と体性感覚野の神経活動と相関していることを示している。 我々が説明する基本的なパラダイムは、いくつかの方法で拡張することができます。最も明らかに、同様の研究は、感覚様相の異なる組合せを用いて行うことができる。この点で、それは実験の前に特定のクロスモーダルのアソシエーションを確立することが成功の可能性を高めることが可能です。例えば、嗅覚皮質におけるクロスモーダル表現を研究するために、人は視覚や食品のアイテム数の香りに、それらを同時に公開することにより、被験者をプライミングことができます。 Shortly後、機能的MRIスキャナの内部に、においの嗅覚の記憶は視覚的な手がかりによって引き起こされる、とmvpaのは、単に嗅覚皮質の活動に基づいて、適切な食品への臨床試験を割り当てようとするとに使用することができる。 興味の別の質問では、初期の感覚野の活動のクロスモーダル誘導パターンは、音やタッチが実際に経験されたときに誘発されるパターンとの類似性を負担するかどうかということです。言い換えれば、ガラスの花瓶は粉々の類似したパターンを呼び出す見ていない実際に同じイベントを聞くには早く聴覚野における神経活動？この問題は、再び、mvpaのことで対処することができます：被験者は正常被験者は、対応するビデオクリップを見ながら、記録されたデータを区別することができる特定の音を聞いている間記録されたデータの学習に用いられた分類器です？私たちの聴覚の研究では、我々はそのような分類を試みていたが、結果は（図3参照文献7において限界だった）。その研究では、しかし、参加者の聴覚関連付けはどのような方法で制御されていませんでした。言い換えれば、我々はビデオに関連付けられている各被験者が分類器を訓練するために使用するオーディオトラックにあった方法同様​​の聴覚の画像わからない。再び、それはvisuo -嗅覚アソシエーションのために上記のような特定のクロスモーダルアソシエーションは、被験者にプライミングされた後に同じ問題に対処するためにみるのも面白いかもしれません。これは、ビデオの試験中に、より確実に対象者の精神的な経験を制御するため、分類器の予測性能を向上させるかもしれないことができてしまう。 結論として、我々はその刺激を示すことによって、古典的なmvpaのパラダイムへの拡張を導入している内に、だけでなく、感覚モダリティを越えだけでなく、予測することができます。従って、我々はmvpaパッケージの使用は外部感覚刺激によって直接誘導される知覚表現の相関を調査するために限定されないことを示している。むしろ、mvpaのも可能内部的にトリガされるmental images社の神経基盤を評価する：Damasioの収束 - 発散ゾーンの枠組みに従い、我々の調査結果は、記憶に基づいて再構成されているmental images社の意識体験が早い感覚でコンテンツごとに特定の神経表現と相関していることを示唆している皮質。

cross-modal multivariate pattern analysis

多変量パターン解析（mvpaのは）1-4機能的磁気共鳴画像（fMRI）データを分析するのがますます一般的な方法です。このメソッドは、通常、脳の特定の領域における神経活動から被験者の知覚経験を識別するために使用されます。例えば、それは主題が初期視覚野5または、同様に、早期の聴覚野6の活動からスピーチの内容の活動から知覚する視覚的な格子の方向を予測するために採用されている。 ここで、我々は、知覚刺激が内に、しかし感覚系で予測されていないによれば、古典的なmvpaのパラダイムの拡張子を提示する。特に、我々が説明する方法では、それらが記載されているを介して1つ以外のモダリティでのメモリの関連を想起させる刺激はそれらの他のモダリティの感覚皮質のコンテンツ特有の活動パターンを誘発するかどうかの問題に対処します。例えば、地上で粉々のガラスの花瓶のミュートビデオクリップを見れば、自動的にほとんどの観測筋に関連付けられているサウンドの聴覚イメージをトリガーし、早期に特定の神経活動のパターンと相関する&quot;心の耳&quot;でこの画像の経験です。聴覚皮質？被験者は、ハウリングドッグのビデオクリップを見て、代わりに、あった場合についても、観察することができるパターンとは異なるこの活動パターンは？ 前の2つの研究7,8で、我々は予測することができたサウンドとタッチを暗示それぞれ、早期の聴覚と体性感覚野の神経活動に基づいて、ビデオクリップを。我々の結果は、記憶に基づいているmental images社の経験、それによれば、Damasio 9,10によって提案されたneuroarchitectural枠組みに沿ったもの-対応するビデオを確認した時点で&quot;心の耳&quot;で花瓶の強烈な音を聞くなど、クリップは - コンテンツの再構築でサポートされています固有の初期感覚野の神経活動パターン。

Watch this Scientific Journal Video about Cross-Modal Multivariate Pattern Analysis at JoVE.com

Cross-Modal Multivariate Pattern Analysis

古典的な多変量パターン解析は、対象者が対応する皮質（大脳皮質視覚野における活動からの例：視覚刺激）の神経活動から知覚感覚刺激を予測する。ここで、我々は、パターン分析のクロスモーダル適用され、その音とタッチを暗示視覚刺激がそれぞれ、聴覚と体性感覚皮質の活動から予測することができます。見せる

クロスモーダル多変量パターン解析

Multivariate pattern analysis (MVPA) is an increasingly popular method of analyzing functional magnetic resonance imaging (fMRI) data1-4. Typically, the ...

cross-modal-multivariate-pattern-analysis

Research

JoVE Journal

Neuroscience

19.8K ビュー.  University of Southern California. 古典的な多変量パターン解析は、対象者が対応する皮質（大脳皮質視覚野における活動からの例：視覚刺激）の神経活動から知覚感覚刺激を予測する。ここで、我々は、パターン分析のクロスモーダル適用され、その音とタッチを暗示視覚刺激がそれぞれ、聴覚と体性感覚皮質の活動から予測することができます。見せる