Ce travail a été soutenu par des subventions par la Fondation Mathers et le National Institutes of Health (numéro de subvention 5P50NS019632-27) à Antonio et Hanna Damasio.

<ol>
	<li>Haynes, J. -. D., Rees, G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Decoding+mental+states+from+brain+activity+in+humans.">Decoding mental states from brain activity in humans.</a> Nat. Rev. Neurosci. 7, 523-534 (2006).</li><li>Norman, K. A., Polyn, S. M., Detre, G. J., Haxby, J. V. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Beyond+mind-reading:+multi-voxel+pattern+analysis+of+fMRI+data.">Beyond mind-reading: multi-voxel pattern analysis of fMRI data.</a> Trends. Cogn. Sci. 10, 424-430 (2006).</li><li>Kriegeskorte, N., Bandettini, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Analyzing+for+information,+not+activation,+to+exploit+high-resolution+fMRI.">Analyzing for information, not activation, to exploit high-resolution fMRI.</a> NeuroImage. 38, 649-662 (2007).</li><li>Mur, M., Bandettini, P. A., Kriegeskorte, N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Revealing+representational+content+with+pattern-information+fMRI+-+an+introductory+guide.">Revealing representational content with pattern-information fMRI - an introductory guide.</a> Soc. Cogn. Affect. Neurosci. 4, 101-109 (2009).</li><li>Kamitani, Y., Tong, F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Decoding+the+visual+and+subjective+contents+of+the+human+brain.">Decoding the visual and subjective contents of the human brain.</a> Nat. Neurosci. 8, 679-685 (2005).</li><li>Formisano, E., De Martino, F., Bonte, M., Goebel, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term="Who"+is+saying+"what"?+Brain-based+decoding+of+human+voice+and+speech?.">"Who" is saying "what"? Brain-based decoding of human voice and speech?.</a> Science. 322, 970-973 (2008).</li><li>Meyer, K., Kaplan, J. T., Essex, R., Webber, C., Damasio, H., Damasio, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Predicting+visual+stimuli+on+the+basis+of+activity+in+auditory+cortices.">Predicting visual stimuli on the basis of activity in auditory cortices.</a> Nat. Neurosci. 13, 667-668 (2010).</li><li>Meyer, K., Kaplan, J. T., Essex, R., Damasio, H., Damasio, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Seeing+touch+is+correlated+with+content-specific+activity+in+primary+somatosensory+cortex.">Seeing touch is correlated with content-specific activity in primary somatosensory cortex.</a> Cereb. Cortex. 21, 2113-2121 (2011).</li><li>Damasio, A. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Time-locked+multiregional+retroactivation:+a+systems-level+proposal+for+the+neural+substrates+of+recall+and+recognition.">Time-locked multiregional retroactivation: a systems-level proposal for the neural substrates of recall and recognition.</a> Cognition. 33, 25-62 (1989).</li><li>Meyer, K., Damasio, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Convergence+and+divergence+in+a+neural+architecture+for+recognition+and+memory.">Convergence and divergence in a neural architecture for recognition and memory.</a> Trends. Neurosci. 32, 376-382 (2009).</li><li>Friston, K. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Modalities,+modes,+and+models+in+functional+neuroimaging.">Modalities, modes, and models in functional neuroimaging.</a> Science. 326, 399-403 (2009).</li><li>Hanke, M., Halchenko, Y. O., Sederberg, P. B., Hanson, S. J., Haxby, J. V., Pollmann, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=PyMVPA:+a+Python+toolbox+for+multivariate+pattern+analysis+of+fMRI+data.">PyMVPA: a Python toolbox for multivariate pattern analysis of fMRI data.</a> Neuroinformatics. 7, 37-53 (2009).</li><li>Harrison, S. A., Tong, F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Decoding+reveals+the+contents+of+visual+working+memory+in+early+visual+areas.">Decoding reveals the contents of visual working memory in early visual areas.</a> Nature. 458, 632-635 (2009).</li><li>Serences, J. T., Ester, E. F., Vogel, E. K., Awh, E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Stimulus-specific+delay+activity+in+human+primary+visual+cortex.">Stimulus-specific delay activity in human primary visual cortex.</a> Psych Sci. 20, 207-214 (2009).</li></ol>

Pas de conflits d&#39;intérêt déclarés.

Les résultats de nos études précédentes montrent que la Croix-modale MVPA est un outil utile pour étudier les corrélats neuraux de mental images expérimenté dans «l&#39;esprit de l&#39;oreille» et «l&#39;esprit du toucher&quot;. Plus précisément, les résultats montrent que la teneur de telles images est en corrélation avec l&#39;activité neuronale dans le cortex auditif et somatosensoriel début, respectivement, en fournissant un soutien direct pour les cadres empiriques Damasio de convergence-divergence zones. Le paradigme de base que nous décrivons peut être prolongé dans un certain nombre de façons. De toute évidence, des études similaires peuvent être réalisées en utilisant différentes combinaisons de modalités sensorielles. À cet égard, il est possible que l&#39;établissement de certains inter-modale des associations avant l&#39;expérience peut augmenter les chances de succès. Par exemple, pour étudier la Croix-modal dans le cortex olfactif représentations, on pourrait sujets Premier en les exposant à la fois à la vue et l&#39;odeur d&#39;un certain nombre de produits alimentaires. Shortly après, à l&#39;intérieur du scanner IRMf, les souvenirs olfactifs de l&#39;odeur serait déclenchée par des signaux visuels et MVPA pourrait être utilisé dans une tentative d&#39;attribuer les essais pour les produits alimentaires correcte basée uniquement sur l&#39;activité dans les cortex olfactif. Une autre question d&#39;intérêt est de savoir si les modèles de cross-modale induite de l&#39;activité dans le cortex sensoriel au début des similitudes avec les modèles qui sont induits lors ouïe ou du toucher est réellement vécu en d&#39;autres termes, ne voyant le vase en verre brisent invoquer un modèle similaire de l&#39;activité neuronale dans les cortex auditifs dès réellement entendu le même événement? Cette question, encore une fois, peuvent être abordées par MVPA: est un classificateur qui a été formé sur les données enregistrées alors que les sujets entendre certains sons capable de discriminer correctement les données enregistrées pendant que les sujets regardaient des clips vidéo correspondants? Dans notre étude auditif, nous ne tentez une telle classification, mais les résultats ont été marginaux (voir Fig. 3 dans la réf. 7). Dans cette étude, cependant, les associations auditives des participants n&#39;ont pas été contrôlés en aucune manière; en d&#39;autres termes, nous ne savons pas comment l&#39;auditoire des images similaires chaque sujet ont été associées à des vidéos sur les pistes audio sont utilisés pour former le classificateur. Encore une fois, il pourrait être intéressant d&#39;aborder la même question après croisée spécifique modale des associations ont été amorcées dans les sujets, tel que décrit ci-dessus pour une association visuo-olfactive. Cela permettrait de contrôler de façon plus fiable de l&#39;expérience mentale des sujets pendant les essais vidéo et pourraient donc augmenter les performances de prédiction du classificateur. Pour conclure, nous avons introduit une extension du paradigme classique MVPA en montrant que les stimuli peuvent être prédits, non seulement au sein, mais aussi à travers les modalités sensorielles. Ainsi, nous montrons que l&#39;utilisation de la MVPA ne se limite pas à enquêter sur les corrélats de représentations perceptives induites directement par la stimulation sensorielle externe. Plutôt, MVPA peut égalementévaluer le substrat neuronal des images mentales qui sont déclenchées en interne: en conformité avec le cadre de Damasio zone de convergence-divergence, nos résultats suggèrent que l&#39;expérience consciente d&#39;images mentales qui sont reconstituées à partir des souvenirs est corrélée avec un contenu spécifique des représentations neurales dans le sensorielles début corticales.

cross-modal multivariate pattern analysis

L&#39;analyse de modèles multivariés (MVPA) est une méthode d&#39;analyse de plus en plus populaire imagerie fonctionnelle par résonance magnétique fonctionnelle (IRMf) des données 1-4. Généralement, la méthode est utilisée pour identifier l&#39;expérience perceptive du sujet de l&#39;activité neuronale dans certaines régions du cerveau. Par exemple, il a été utilisé pour prédire l&#39;orientation des grilles visuelle d&#39;un sujet perçoit de l&#39;activité au début de cortex visuels 5 ou, de manière analogue, le contenu du discours de l&#39;activité dans les cortex auditifs au début 6. Ici, nous présentons une extension du paradigme classique MVPA, selon laquelle les stimuli perceptifs ne sont pas prévus à l&#39;intérieur, mais à travers les systèmes sensoriels. Plus précisément, la méthode que nous décrivons aborde la question de savoir si les stimuli qui évoquent la mémoire des associations dans d&#39;autres modalités que celui par lequel ils sont présentés induisent les modèles d&#39;activité contenu spécifique dans les cortex sensoriels de ceux d&#39;autres modalités.Par exemple, en voyant un clip vidéo en sourdine d&#39;un vase en verre fracassant sur le terrain se déclenche automatiquement dans la plupart des observateurs une image auditive du son associé; est l&#39;expérience de cette image dans &quot;l&#39;oreille esprit&quot; de la corrélation avec un modèle de l&#39;activité neuronale spécifique au début de cortex auditifs? Par ailleurs, c&#39;est ce modèle d&#39;activité distinct du motif qui a pu être observé si le sujet était, au contraire, de regarder un clip vidéo d&#39;un chien qui hurle? Dans deux études antérieures 7,8, nous avons été en mesure de prédire son et au toucher impliquant des clips vidéo basé sur l&#39;activité neuronale dans auditive précoce et cortex somatosensoriel, respectivement. Nos résultats sont en ligne avec un cadre neuroarchitectural proposé par Damasio 9,10, selon laquelle l&#39;expérience d&#39;images mentales qui sont basées sur les souvenirs - tels que entendre le bruit fracassant d&#39;un vase dans &quot;l&#39;oreille esprit&quot; du voyant la vidéo correspondante clip - est soutenue par la re-construction du contenuSpécifiques à l&#39;activité neuronale dans les modèles début cortex sensoriels.

Watch this Scientific Journal Video about Cross-Modal Multivariate Pattern Analysis at JoVE.com

Cross-Modal Multivariate Pattern Analysis

Classique d&#39;analyse multivariée modèle prédit des stimuli sensoriels un sujet perçoit de l&#39;activité neuronale dans le cortex correspondant (par exemple des stimuli visuels de l&#39;activité dans le cortex visuel). Ici, nous appliquons l&#39;analyse de modèles cross-modal et de montrer que le son et le toucher-impliquant des stimuli visuels peuvent être prédits à partir de l&#39;activité dans auditives et cortex somato-sensoriels, respectivement.

Cross-modal Pattern Analysis multivariée

Multivariate pattern analysis (MVPA) is an increasingly popular method of analyzing functional magnetic resonance imaging (fMRI) data1-4. Typically, the ...

cross-modal-multivariate-pattern-analysis

Research

JoVE Journal

Neuroscience

19.8K vues.  University of Southern California. Classique d'analyse multivariée modèle prédit des stimuli sensoriels un sujet perçoit de l'activité neuronale dans le cortex correspondant (par exemple des stimuli visuels de l'activité dans le cortex visuel). Ici, nous appliquons l'analyse de modèles cross-modal et de montrer que le son et le toucher-impliquant des stimuli visuels peuvent être prédits à partir de l'activité dans auditives et cortex somato-sensoriels, respectivement.