Name: cross-modal multivariate pattern analysis
Uploaded: 2011-11-09T13:00:00
Duration: 13 min 51 s
Description: Watch this Scientific Journal Video about Cross-Modal Multivariate Pattern Analysis at JoVE.com

Dette arbeidet ble støttet med tilskudd av Mathers Foundation og National Institutes of Health (gi antall 5P50NS019632-27) til Antonio og Hanna Damasio.

<ol>
	<li>Haynes, J. -. D., Rees, G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Decoding+mental+states+from+brain+activity+in+humans.">Decoding mental states from brain activity in humans.</a> Nat. Rev. Neurosci. 7, 523-534 (2006).</li><li>Norman, K. A., Polyn, S. M., Detre, G. J., Haxby, J. V. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Beyond+mind-reading:+multi-voxel+pattern+analysis+of+fMRI+data.">Beyond mind-reading: multi-voxel pattern analysis of fMRI data.</a> Trends. Cogn. Sci. 10, 424-430 (2006).</li><li>Kriegeskorte, N., Bandettini, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Analyzing+for+information,+not+activation,+to+exploit+high-resolution+fMRI.">Analyzing for information, not activation, to exploit high-resolution fMRI.</a> NeuroImage. 38, 649-662 (2007).</li><li>Mur, M., Bandettini, P. A., Kriegeskorte, N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Revealing+representational+content+with+pattern-information+fMRI+-+an+introductory+guide.">Revealing representational content with pattern-information fMRI - an introductory guide.</a> Soc. Cogn. Affect. Neurosci. 4, 101-109 (2009).</li><li>Kamitani, Y., Tong, F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Decoding+the+visual+and+subjective+contents+of+the+human+brain.">Decoding the visual and subjective contents of the human brain.</a> Nat. Neurosci. 8, 679-685 (2005).</li><li>Formisano, E., De Martino, F., Bonte, M., Goebel, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term="Who"+is+saying+"what"?+Brain-based+decoding+of+human+voice+and+speech?.">"Who" is saying "what"? Brain-based decoding of human voice and speech?.</a> Science. 322, 970-973 (2008).</li><li>Meyer, K., Kaplan, J. T., Essex, R., Webber, C., Damasio, H., Damasio, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Predicting+visual+stimuli+on+the+basis+of+activity+in+auditory+cortices.">Predicting visual stimuli on the basis of activity in auditory cortices.</a> Nat. Neurosci. 13, 667-668 (2010).</li><li>Meyer, K., Kaplan, J. T., Essex, R., Damasio, H., Damasio, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Seeing+touch+is+correlated+with+content-specific+activity+in+primary+somatosensory+cortex.">Seeing touch is correlated with content-specific activity in primary somatosensory cortex.</a> Cereb. Cortex. 21, 2113-2121 (2011).</li><li>Damasio, A. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Time-locked+multiregional+retroactivation:+a+systems-level+proposal+for+the+neural+substrates+of+recall+and+recognition.">Time-locked multiregional retroactivation: a systems-level proposal for the neural substrates of recall and recognition.</a> Cognition. 33, 25-62 (1989).</li><li>Meyer, K., Damasio, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Convergence+and+divergence+in+a+neural+architecture+for+recognition+and+memory.">Convergence and divergence in a neural architecture for recognition and memory.</a> Trends. Neurosci. 32, 376-382 (2009).</li><li>Friston, K. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Modalities,+modes,+and+models+in+functional+neuroimaging.">Modalities, modes, and models in functional neuroimaging.</a> Science. 326, 399-403 (2009).</li><li>Hanke, M., Halchenko, Y. O., Sederberg, P. B., Hanson, S. J., Haxby, J. V., Pollmann, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=PyMVPA:+a+Python+toolbox+for+multivariate+pattern+analysis+of+fMRI+data.">PyMVPA: a Python toolbox for multivariate pattern analysis of fMRI data.</a> Neuroinformatics. 7, 37-53 (2009).</li><li>Harrison, S. A., Tong, F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Decoding+reveals+the+contents+of+visual+working+memory+in+early+visual+areas.">Decoding reveals the contents of visual working memory in early visual areas.</a> Nature. 458, 632-635 (2009).</li><li>Serences, J. T., Ester, E. F., Vogel, E. K., Awh, E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Stimulus-specific+delay+activity+in+human+primary+visual+cortex.">Stimulus-specific delay activity in human primary visual cortex.</a> Psych Sci. 20, 207-214 (2009).</li></ol>

Ingen interessekonflikter erklært.

Funnene i vår tidligere studier viser at kryss-modal MVPA er et nyttig verktøy for å studere nevrale korrelater til mentale bilder med erfaring i &quot;mind øre&quot; og &quot;sinnets touch&quot;. Konkret viser resultatene at innholdet av slike bilder er korrelert med nevrale aktiviteten i tidlig auditive og somatosensoriske cortices henholdsvis gir direkte empirisk støtte for Damasio rammer av konvergens-divergens soner. Den grunnleggende paradigmet vi beskriver kan utvides på en rekke måter. Mest åpenbart, kan lignende undersøkelser utføres ved hjelp av ulike kombinasjoner av sensoriske modaliteter. I denne forbindelse er det mulig at etablering av enkelte kryss-modal assosiasjoner før eksperimentet kan øke sjansene for suksess. For eksempel å studere kryss-modal representasjoner i olfactory cortices, kunne man prime fagene ved å utsette dem samtidig til synet og lukten av en rekke matvarer. Shortly etter, inne i fMRI skanner, ville olfactory minner av lukter bli utløst av visuelle signaler, og MVPA kunne brukes i et forsøk på å tilordne prøvelser til riktig matvarer basert utelukkende på aktiviteten i olfactory cortices. Et annet spørsmål av interesse er om cross-modally indusert mønstre av aktivitet i de tidlige sensoriske cortices bærer likhetstrekk med mønstre som er indusert når lyd eller touch er faktisk opplevd, med andre ord ikke se glass vase knust påberope seg et lignende mønster av nevrale aktiviteten tidlig i auditive cortices som faktisk høre samme hendelse? Dette spørsmålet igjen, kan løses ved MVPA: er en klassifikator som har fått opplæring på data registrert mens fagene hørt noen lyder i stand til riktig diskriminere data tatt opp mens de fagene så tilsvarende videoklipp? I vår auditiv studie, gjorde vi forsøk på en slik klassifisering, men resultatene var marginal (se fig. 3 i ref. 7). I den studien ble imidlertid den auditive assosiasjoner av deltakerne ikke kontrollert på noen måte, med andre ord, vet vi ikke hvor like de auditive bildene hver gjenstand assosiert med videoene ble til lydspor brukes til å trene klassifikator. Igjen kan det være interessant å ta det samme spørsmålet etter spesielle kryss-modal foreninger har vært primet i fagene, som beskrevet ovenfor for en visuo-olfactory foreningen. Dette vil tillate å kontrollere mer pålitelig den mentale opplevelsen av fag i videoen prøvelser og dermed kan øke prediksjon ytelse av klassifikator. For å konkludere, har vi innført en utvidelse til den klassiske MVPA paradigme ved å vise at stimuli kan forutsies ikke bare innenfor, men også på tvers av sensoriske modaliteter. Derfor viser vi at bruken av MVPA ikke er begrenset til å undersøke korrelerer av perseptuelle representasjoner indusert direkte av eksterne sensorisk stimulering. Snarere MVPA kan ogsåvurdere nevrale substrat av mentale bilder som utløses internt: i henhold til Damasio er konvergens-divergens sone rammeverk, våre funn tyder på at den bevisste opplevelsen av mentale bilder som er rekonstruert på grunnlag av minner er korrelert med innhold-spesifikke nevrale representasjoner i den tidlige sensoriske cortices.

cross-modal multivariate pattern analysis

Multivariate mønster analyse (MVPA) er en stadig mer populær metode for å analysere funksjonell magnetisk resonans imaging (fMRI) data 1-4. Vanligvis er metoden som brukes til å identifisere motivets perseptuell erfaring fra nevral aktivitet i visse områder av hjernen. For eksempel har det blitt ansatt for å spå retningen på visuelle rister et fag oppfatter fra aktivitet i tidlig visuell cortices 5 eller, analogously, innholdet i talen fra aktivitet tidlig i auditiv cortices 6. Her presenterer vi en forlengelse av den klassiske MVPA paradigme, ifølge som perseptuelle stimuli ikke spådd innenfra, men på tvers av sensoriske systemer. Spesifikt, adresser metoden vi beskriver spørsmålet om stimuli som vekker minne foreninger i modaliteter enn den der de presenteres indusere innhold-spesifikk aktivitet mønstre i sensoriske cortices av de andre modaliteter.For eksempel ser en dempet videoklipp av et glass vase knuste på bakken utløser automatisk i de fleste observatører en auditiv bilde av den tilhørende lyden, er opplevelsen av dette bildet i &quot;mind øre&quot; korrelert med en bestemt nevral aktivitet mønster i tidlig auditiv cortices? Videre er denne aktiviteten mønsteret forskjellig fra mønsteret som kunne observeres hvis motivet var, i stedet se et videoklipp av en ulende hund? I to tidligere studier 7,8, kunne vi forutsi lyd-og touch-antyder videoklipp basert på nevral aktivitet i tidlig auditive og somatosensoriske cortices, henholdsvis. Våre resultater er i tråd med en neuroarchitectural ramme foreslått av Damasio 9,10, som sier at opplevelsen av mentale bilder som er basert på minner - som hører knuste lyden av en vase i &quot;mind øre&quot; da han så den tilhørende videoen klipp - støttes av re-konstruksjon av innhold-Spesifikke nevrale aktiviteten mønstre tidlig sensorisk cortices.

Watch this Scientific Journal Video about Cross-Modal Multivariate Pattern Analysis at JoVE.com

Cross-Modal Multivariate Pattern Analysis

Klassisk multivariat mønster analyse spår sensoriske stimuli et emne oppfatter fra nevral aktivitet i tilsvarende cortices (f.eks visuelle stimuli fra aktiviteten i visuell cortex). Her bruker vi mønster analyse cross-modally og viser at lyd-og touch-antyder visuelle stimuli kan forutsies fra aktivitet i auditive og somatosensoriske cortices, henholdsvis.

Multivariate pattern analysis (MVPA) is an increasingly popular method of analyzing functional magnetic resonance imaging (fMRI) data1-4. Typically, the ...

Research

JoVE Journal

Neuroscience

Basics of Multivariate Analysis in Neuroimaging Data

Multivariate analysis techniques for neuroimaging data have recently received increasing attention as they have many attractive features that cannot be ...

Brain Imaging Investigation of the Impairing Effect of Emotion on Cognition

Brain Imaging Gransking av svekke Effekt av Emotion på Cognition

Emotions can impact cognition by exerting both enhancing (e.g., better memory for emotional events) and impairing (e.g., increased emotional ...

Transcriptome Analysis of Single Cells

Many gene expression analysis techniques rely on material isolated from heterogeneous populations of cells from tissue homogenates or cells in ...

T-maze Forced Alternation and Left-right Discrimination Tasks for Assessing Working and Reference Memory in Mice

T-labyrint Tvunget Veksling og venstre-høyre Diskriminering Oppgaver for vurdering Working and Reference Minne i Mus

Forced alternation and left-right discrimination tasks using the T-maze have been widely used to assess working and reference memory, respectively, in ...

Creating Objects and Object Categories for Studying Perception and Perceptual Learning

Opprette objekter og objekt kategorier for å studere Persepsjon og Perseptuell Learning

In order to quantitatively study object perception, be it perception by biological systems or by machines, one needs to create objects and object ...

Visualization and Genetic Manipulation of Dendrites and Spines in the Mouse Cerebral Cortex and Hippocampus using In utero Electroporation

Visualization and Genetic Manipulation of Dendrites and Spines in the Mouse Cerebral Cortex and Hippocampus using In utero Electroporation

Visualisering og genetisk manipulering av dendritter og pigger i Mus hjernebarken og hippocampus hjelp<em&gt; I fosterlivet</em&gt; Electroporation

In utero electroporation (IUE) has become a powerful technique to study the development of different regions of the embryonic nervous system 1-5. To date ...

The Swimmeret System of Crayfish: A Practical Guide for the Dissection of the Nerve Cord and Extracellular Recordings of the Motor Pattern

Den Swimmeret System of kreps: A Practical Guide for Dissection av Nerve Cord og Ekstracellulære Opptak av Motor Pattern

Here we demonstrate the dissection of the crayfish abdominal nerve cord. The preparation comprises the last two thoracic ganglia (T4, T5) and the chain of ...

Peering at Brain Polysomes with Atomic Force Microscopy

Peering på Brain Polysomes med Atomic Force Microscopy

The translational machinery, i.e., the polysome or polyribosome, is one of the biggest and most complex cytoplasmic machineries in cells. Polysomes, ...

Analyzing Synaptic Modulation of Drosophila melanogaster Photoreceptors after Exposure to Prolonged Light

Analyzing Synaptic Modulation of Drosophila melanogaster Photoreceptors after Exposure to Prolonged Light

Analysere Synaptic Modulation av<em&gt; Drosophila melanogaster</em&gt; Fotoreseptorer etter eksponering for Langvarig lys

The nervous system has the remarkable ability to adapt and respond to various stimuli. This neural adjustment is largely achieved through plasticity at ...

Visualization of the Axonal Projection Pattern of Embryonic Motor Neurons in Drosophila

Visualization of the Axonal Projection Pattern of Embryonic Motor Neurons in Drosophila

Visualisering av Axonal Projeksjonsmønsteret av Embryoniske Motor Neuroner i<em&gt; Drosophila</em

The establishment of functional neuromuscular circuits relies on precise connections between developing motor axons and target muscles. Motor neurons ...