Questo lavoro è stato sostenuto dalle concessioni dal Mathers Foundation e il National Institutes of Health (codice di autorizzazione 5P50NS019632-27) ad Antonio e Hanna Damasio.

<ol>
	<li>Haynes, J. -. D., Rees, G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Decoding+mental+states+from+brain+activity+in+humans.">Decoding mental states from brain activity in humans.</a> Nat. Rev. Neurosci. 7, 523-534 (2006).</li><li>Norman, K. A., Polyn, S. M., Detre, G. J., Haxby, J. V. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Beyond+mind-reading:+multi-voxel+pattern+analysis+of+fMRI+data.">Beyond mind-reading: multi-voxel pattern analysis of fMRI data.</a> Trends. Cogn. Sci. 10, 424-430 (2006).</li><li>Kriegeskorte, N., Bandettini, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Analyzing+for+information,+not+activation,+to+exploit+high-resolution+fMRI.">Analyzing for information, not activation, to exploit high-resolution fMRI.</a> NeuroImage. 38, 649-662 (2007).</li><li>Mur, M., Bandettini, P. A., Kriegeskorte, N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Revealing+representational+content+with+pattern-information+fMRI+-+an+introductory+guide.">Revealing representational content with pattern-information fMRI - an introductory guide.</a> Soc. Cogn. Affect. Neurosci. 4, 101-109 (2009).</li><li>Kamitani, Y., Tong, F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Decoding+the+visual+and+subjective+contents+of+the+human+brain.">Decoding the visual and subjective contents of the human brain.</a> Nat. Neurosci. 8, 679-685 (2005).</li><li>Formisano, E., De Martino, F., Bonte, M., Goebel, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term="Who"+is+saying+"what"?+Brain-based+decoding+of+human+voice+and+speech?.">"Who" is saying "what"? Brain-based decoding of human voice and speech?.</a> Science. 322, 970-973 (2008).</li><li>Meyer, K., Kaplan, J. T., Essex, R., Webber, C., Damasio, H., Damasio, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Predicting+visual+stimuli+on+the+basis+of+activity+in+auditory+cortices.">Predicting visual stimuli on the basis of activity in auditory cortices.</a> Nat. Neurosci. 13, 667-668 (2010).</li><li>Meyer, K., Kaplan, J. T., Essex, R., Damasio, H., Damasio, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Seeing+touch+is+correlated+with+content-specific+activity+in+primary+somatosensory+cortex.">Seeing touch is correlated with content-specific activity in primary somatosensory cortex.</a> Cereb. Cortex. 21, 2113-2121 (2011).</li><li>Damasio, A. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Time-locked+multiregional+retroactivation:+a+systems-level+proposal+for+the+neural+substrates+of+recall+and+recognition.">Time-locked multiregional retroactivation: a systems-level proposal for the neural substrates of recall and recognition.</a> Cognition. 33, 25-62 (1989).</li><li>Meyer, K., Damasio, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Convergence+and+divergence+in+a+neural+architecture+for+recognition+and+memory.">Convergence and divergence in a neural architecture for recognition and memory.</a> Trends. Neurosci. 32, 376-382 (2009).</li><li>Friston, K. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Modalities,+modes,+and+models+in+functional+neuroimaging.">Modalities, modes, and models in functional neuroimaging.</a> Science. 326, 399-403 (2009).</li><li>Hanke, M., Halchenko, Y. O., Sederberg, P. B., Hanson, S. J., Haxby, J. V., Pollmann, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=PyMVPA:+a+Python+toolbox+for+multivariate+pattern+analysis+of+fMRI+data.">PyMVPA: a Python toolbox for multivariate pattern analysis of fMRI data.</a> Neuroinformatics. 7, 37-53 (2009).</li><li>Harrison, S. A., Tong, F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Decoding+reveals+the+contents+of+visual+working+memory+in+early+visual+areas.">Decoding reveals the contents of visual working memory in early visual areas.</a> Nature. 458, 632-635 (2009).</li><li>Serences, J. T., Ester, E. F., Vogel, E. K., Awh, E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Stimulus-specific+delay+activity+in+human+primary+visual+cortex.">Stimulus-specific delay activity in human primary visual cortex.</a> Psych Sci. 20, 207-214 (2009).</li></ol>

Nessun conflitto di interessi dichiarati.

I risultati dei nostri studi precedenti dimostrano che cross-modale MVPA è uno strumento utile per studiare i correlati neurali delle immagini mentali con esperienza nel &quot;orecchio della mente&quot; e il &quot;tocco della mente&quot;. In particolare, i risultati mostrano che il contenuto di tali immagini è correlato con l&#39;attività neurale nella corteccia uditiva precoce e somatosensoriali, rispettivamente, fornendo diretto supporto empirico per il quadro di Damasio di convergenza-divergenza zone. Il paradigma di base che descriviamo può essere esteso in diversi modi. La maggior parte, ovviamente, gli studi simili possono essere effettuata con diverse combinazioni di modalità sensoriali. A questo proposito, è possibile che istituisce taluni regimi di cross-modale delle associazioni prima dell&#39;esperimento può aumentare le probabilità di successo. Ad esempio, per lo studio cross-modale rappresentazioni in cortecce olfattivo, si potrebbe temi principali esponendoli simultaneamente alla vista e l&#39;odore di un certo numero di prodotti alimentari. Shortly dopo, all&#39;interno dello scanner fMRI, i ricordi olfattivi degli odori sarebbero attivati ​​da segnali visivi, e MVPA potrebbe essere utilizzato in un tentativo di assegnare i processi ai prodotti alimentari corretta basata esclusivamente su attività in corteccia olfattiva. Un&#39;altra questione interessante è se i modelli cross-modale indotto di attività nella corteccia sensoriale primi sopportare somiglianze con i modelli che sono indotte quando il suono e non toccare è realmente vissuto, in altre parole, non vedendo il vaso di vetro in frantumi invocare un modello simile di attività neurale nella corteccia uditiva già fatto sentire lo stesso evento? Questa domanda, ancora una volta, possono essere affrontate attraverso MVPA: è un classificatore che è stato addestrato su dati registrati mentre i soggetti sentito alcuni suoni in grado di discriminare correttamente i dati registrati, mentre i soggetti guardavano filmati corrispondente? Nel nostro studio uditivo, abbiamo fatto tentare una tale classificazione, ma i risultati sono stati marginali (vedi fig. 3 in rif. 7). In questo studio, tuttavia, le associazioni uditive dei partecipanti non erano controllati in alcun modo, in altre parole, non sappiamo quanto siano simili le immagini uditive ciascun soggetto associato a video sono stati per le tracce audio utilizzato per addestrare il classificatore. Anche in questo caso, potrebbe essere interessante per affrontare la stessa domanda dopo specifici cross-modale delle associazioni sono stati innescato nei soggetti, come descritto in precedenza per un visuo-olfattiva associazione. Questo avrebbe permesso di controllare in modo più affidabile l&#39;esperienza mentale dei soggetti durante le prove video e quindi potrebbe aumentare le prestazioni previsione del classificatore. Per concludere, abbiamo introdotto una proroga al paradigma classico MVPA dimostrando che gli stimoli possono essere previsti non solo all&#39;interno, ma anche attraverso modalità sensoriali. Quindi, abbiamo dimostrato che l&#39;uso di MVPA non si limita a indagare i correlati di rappresentazioni percettive indotte direttamente da esterno stimolazione sensoriale. Piuttosto, può anche MVPAvalutare il substrato neurale delle immagini mentali che vengono attivati ​​internamente: secondo Damasio convergenza-divergenza quadro di zona, i nostri risultati suggeriscono che l&#39;esperienza cosciente di immagini mentali che sono ricostruiti sulla base di ricordi è correlato con le rappresentazioni neurali contenuti specifici nel sensoriali primi cortecce.

cross-modal multivariate pattern analysis

Analisi multivariata modello (MVPA) è un metodo sempre più diffuso di analizzare la risonanza magnetica funzionale (fMRI) i dati 1-4. Genere, il metodo viene utilizzato per identificare l&#39;esperienza percettiva del soggetto da attività neurale in alcune regioni del cervello. Per esempio, è stato impiegato per predire l&#39;orientamento di griglie visive di un soggetto percepisce da attività nei primi mesi del cortecce visive 5 o, analogamente, il contenuto del discorso da attività in corteccia uditiva primi 6. Qui vi presentiamo una estensione del paradigma classico MVPA, secondo la quale gli stimoli percettivi non sono previsti all&#39;interno, ma tutti i sistemi sensoriali. In particolare, il metodo si descrivono affronta la questione se gli stimoli che evocano associazioni di memoria in modalità diversa da quella con cui sono presentati inducono contenuti specifici modelli di attività nelle cortecce sensoriali di quelle altre modalità.Per esempio, vedendo una clip sordina video di un vaso di vetro frantumi a terra fa scattare automaticamente nella maggior parte degli osservatori un&#39;immagine uditiva del suono associato, è l&#39;esperienza di questa immagine a &quot;orecchio della mente&quot; la correlata con un modello specifico l&#39;attività neurale nei primi mesi del corteccia uditiva? Inoltre, questo modello è un&#39;attività distinta dal modello che potrebbe essere osservata se il soggetto era, invece, la visione di un video clip di un cane che urla? In due studi precedenti 7,8, siamo stati in grado di predire suono e al tocco che implica video clip sulla base di attività neurale nella corteccia uditiva precoce e somatosensoriali, rispettivamente. I nostri risultati sono in linea con un quadro neuroarchitectural proposto da Damasio 9,10, secondo la quale l&#39;esperienza di immagini mentali che si basano su ricordi - come sentire il suono dirompente di un vaso a &quot;orecchio della mente&quot; dopo aver visto il video corrispondente clip - è sostenuta dalla ri-costruzione dei contenutiSpecifici schemi di attività neurale nei primi mesi del cortecce sensoriali.

Watch this Scientific Journal Video about Cross-Modal Multivariate Pattern Analysis at JoVE.com

Cross-Modal Multivariate Pattern Analysis

Classico modello di analisi multivariata prevede stimoli sensoriali di un soggetto percepisce da attività neurale nella corteccia corrispondente (ad esempio stimoli visivi da attività nella corteccia visiva). Qui, si applica l&#39;analisi di modelli cross-modale e mostrano che il suono e al tocco che implica stimoli visivi possono essere previsti sulla attività in corteccia uditiva e somatosensoriale, rispettivamente.

Cross-modale Analisi multivariate pattern

Multivariate pattern analysis (MVPA) is an increasingly popular method of analyzing functional magnetic resonance imaging (fMRI) data1-4. Typically, the ...

cross-modal-multivariate-pattern-analysis

Research

JoVE Journal

Neuroscience

19.8K Views.  University of Southern California. Classico modello di analisi multivariata prevede stimoli sensoriali di un soggetto percepisce da attività neurale nella corteccia corrispondente (ad esempio stimoli visivi da attività nella corteccia visiva). Qui, si applica l'analisi di modelli cross-modale e mostrano che il suono e al tocco che implica stimoli visivi possono essere previsti sulla attività in corteccia uditiva e somatosensoriale, rispettivamente.