Name: cross-modal multivariate pattern analysis
Uploaded: 2011-11-09T13:00:00
Duration: 13 min 51 s
Description: Watch this Scientific Journal Video about Cross-Modal Multivariate Pattern Analysis at JoVE.com

Dette arbejde blev støttet af tilskud fra Mathers Foundation og National Institutes of Health (tilskud antal 5P50NS019632-27) til Antonio og Hanna Damasio.

<ol>
	<li>Haynes, J. -. D., Rees, G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Decoding+mental+states+from+brain+activity+in+humans.">Decoding mental states from brain activity in humans.</a> Nat. Rev. Neurosci. 7, 523-534 (2006).</li><li>Norman, K. A., Polyn, S. M., Detre, G. J., Haxby, J. V. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Beyond+mind-reading:+multi-voxel+pattern+analysis+of+fMRI+data.">Beyond mind-reading: multi-voxel pattern analysis of fMRI data.</a> Trends. Cogn. Sci. 10, 424-430 (2006).</li><li>Kriegeskorte, N., Bandettini, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Analyzing+for+information,+not+activation,+to+exploit+high-resolution+fMRI.">Analyzing for information, not activation, to exploit high-resolution fMRI.</a> NeuroImage. 38, 649-662 (2007).</li><li>Mur, M., Bandettini, P. A., Kriegeskorte, N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Revealing+representational+content+with+pattern-information+fMRI+-+an+introductory+guide.">Revealing representational content with pattern-information fMRI - an introductory guide.</a> Soc. Cogn. Affect. Neurosci. 4, 101-109 (2009).</li><li>Kamitani, Y., Tong, F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Decoding+the+visual+and+subjective+contents+of+the+human+brain.">Decoding the visual and subjective contents of the human brain.</a> Nat. Neurosci. 8, 679-685 (2005).</li><li>Formisano, E., De Martino, F., Bonte, M., Goebel, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term="Who"+is+saying+"what"?+Brain-based+decoding+of+human+voice+and+speech?.">"Who" is saying "what"? Brain-based decoding of human voice and speech?.</a> Science. 322, 970-973 (2008).</li><li>Meyer, K., Kaplan, J. T., Essex, R., Webber, C., Damasio, H., Damasio, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Predicting+visual+stimuli+on+the+basis+of+activity+in+auditory+cortices.">Predicting visual stimuli on the basis of activity in auditory cortices.</a> Nat. Neurosci. 13, 667-668 (2010).</li><li>Meyer, K., Kaplan, J. T., Essex, R., Damasio, H., Damasio, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Seeing+touch+is+correlated+with+content-specific+activity+in+primary+somatosensory+cortex.">Seeing touch is correlated with content-specific activity in primary somatosensory cortex.</a> Cereb. Cortex. 21, 2113-2121 (2011).</li><li>Damasio, A. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Time-locked+multiregional+retroactivation:+a+systems-level+proposal+for+the+neural+substrates+of+recall+and+recognition.">Time-locked multiregional retroactivation: a systems-level proposal for the neural substrates of recall and recognition.</a> Cognition. 33, 25-62 (1989).</li><li>Meyer, K., Damasio, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Convergence+and+divergence+in+a+neural+architecture+for+recognition+and+memory.">Convergence and divergence in a neural architecture for recognition and memory.</a> Trends. Neurosci. 32, 376-382 (2009).</li><li>Friston, K. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Modalities,+modes,+and+models+in+functional+neuroimaging.">Modalities, modes, and models in functional neuroimaging.</a> Science. 326, 399-403 (2009).</li><li>Hanke, M., Halchenko, Y. O., Sederberg, P. B., Hanson, S. J., Haxby, J. V., Pollmann, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=PyMVPA:+a+Python+toolbox+for+multivariate+pattern+analysis+of+fMRI+data.">PyMVPA: a Python toolbox for multivariate pattern analysis of fMRI data.</a> Neuroinformatics. 7, 37-53 (2009).</li><li>Harrison, S. A., Tong, F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Decoding+reveals+the+contents+of+visual+working+memory+in+early+visual+areas.">Decoding reveals the contents of visual working memory in early visual areas.</a> Nature. 458, 632-635 (2009).</li><li>Serences, J. T., Ester, E. F., Vogel, E. K., Awh, E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Stimulus-specific+delay+activity+in+human+primary+visual+cortex.">Stimulus-specific delay activity in human primary visual cortex.</a> Psych Sci. 20, 207-214 (2009).</li></ol>

Ingen interessekonflikter erklæret.

Resultaterne af vores tidligere undersøgelser viser, at på tværs af modal MVPA er et nyttigt værktøj til at studere de neurale korrelater af mentale billeder, der har erfaring med &quot;sindets øre&quot; og &quot;sindets touch&quot;. Konkret viser resultaterne, at indholdet af sådanne billeder er korreleret med neurale aktivitet i begyndelsen af ​​auditive og somatosensoriske cortex, henholdsvis giver direkte empirisk støtte til Damasio er ramme for konvergens-divergens zoner. Den grundlæggende paradigme beskriver vi kan udvides på en række måder. Mest tydeligt, kan lignende undersøgelser udføres ved hjælp af forskellige kombinationer af sensoriske modaliteter. I denne forbindelse er det muligt, at fastlæggelse af visse tværs af modal foreninger forud for forsøget kan øge chancerne for succes. For eksempel, for at studere på tværs af transportformerne repræsentationer i olfaktoriske cortex, man kunne vigtigste emner ved at udsætte dem samtidig til synet og lugten af ​​en række fødevarer. Shortly efter, inde i fMRI scanneren, vil det olfaktoriske minderne om den lugter være udløst af visuelle udtryk og MVPA kunne bruges i et forsøg på at tildele forsøg til den rigtige fødevarer udelukkende er baseret på aktivitet i olfaktoriske cortex. Et andet spørgsmål af interesse er, om cross-modally induceret mønstre af aktivitet i de tidlige sensoriske cortex bærer ligheder med de mønstre, der er induceret, når lyd eller touch er faktisk opleves, med andre ord ikke se glasvase splintres påberåbe sig et lignende mønster af neurale aktivitet i begyndelsen af ​​auditive cortex, som rent faktisk at høre den samme begivenhed? Dette spørgsmål, igen, kan behandles gennem MVPA: er en klassificering, der er blevet trænet om registrerede data, mens emner hørte nogle lyde i stand til korrekt at diskriminere oplysninger, der registreres, mens de emner set tilsvarende videoklip? I vores auditive studie, gjorde vi forsøge en sådan klassificering, men resultaterne var marginalt (se fig. 3 i ref. 7). I denne undersøgelse, dog blev de auditive foreninger af deltagerne ikke er kontrolleret på nogen måde, med andre ord, ved vi ikke hvor ens de auditive billederne hvert emne i forbindelse med videoer blev til lydspor bruges til at træne klassificeringen. Igen kunne det være interessant at behandle det samme spørgsmål efter specifikke tværs af transportformerne foreninger er blevet spædet i fagene, som beskrevet ovenfor for et visuo-olfaktoriske forening. Dette ville give mulighed for at kontrollere mere pålideligt det mentale oplevelse af forsøgspersoner i løbet af videoen forsøg og dermed kan øge forudsigelse udførelsen af ​​klassificeringen. Til slut, har vi indført en udvidelse af den klassiske MVPA paradigme ved at vise, at stimuli kan forudsiges ikke kun inden for, men også på tværs af sensoriske modaliteter. Således viser vi, at brugen af ​​MVPA ikke er begrænset til at undersøge korrelater af perceptuelle repræsentationer fremkaldt direkte af eksterne sensorisk stimulation. Snarere, MVPA kan ogsåvurdere de neurale substrat af mentale billeder, der er udløst internt: i overensstemmelse med Damasio konvergensregioner-divergens zone rammer, tyder vores resultater, at den bevidste oplevelse af mentale billeder, der er rekonstrueret baseret på erindringer er korreleret med indhold-specifikke neurale repræsentationer i de tidlige sensoriske cortex.

cross-modal multivariate pattern analysis

Multivariat mønster analyse (MVPA) er en stadig mere populær metode til analyse af funktionel magnetisk resonans (fMRI) data 1-4. Typisk er den metode, der anvendes til at identificere et emne perceptuelle erfaring fra neurale aktivitet i visse områder af hjernen. For eksempel har det været anvendt til at forudsige retningen af visuelle riste et emne opfatter fra aktivitet i begyndelsen af visuelle cortex 5, eller, analogt, indholdet af talen fra aktivitet i begyndelsen af auditive cortex 6. Her præsenterer vi en udvidelse af den klassiske MVPA paradigme, hvorefter perceptuelle stimuli, der ikke er forudset inden for, men på tværs af sensoriske systemer. Konkret metode beskriver vi behandler spørgsmålet om, hvorvidt stimuli, der fremkalder hukommelse foreninger i modaliteter end den, hvorigennem de præsenteres fremkalde indhold-specifikke aktivitet mønstre i den sensoriske cortex af disse andre modaliteter.For eksempel, automatisk se en dæmpet videoklip af en glasvase rystende på jorden udløser i de fleste iagttagere et auditivt billede af den tilhørende lyd, er oplevelsen af ​​dette billede i &quot;sindets øre&quot; korreleret med en bestemt neurale aktivitet mønster i begyndelsen af auditive cortex? Desuden er denne aktivitet mønster adskiller sig fra det mønster, der kunne observeres, hvis motivet var i stedet, at se et videoklip af en hylende hund? I to tidligere undersøgelser 7,8, var vi i stand til at forudsige lyd-og touch-indebærer videoklip baseret på neurale aktivitet i begyndelsen af auditiv og somatosensoriske cortex, hhv. Vores resultater er i overensstemmelse med en neuroarchitectural rammer, der foreslås af Damasio 9,10, hvorefter oplevelsen af mentale billeder, der er baseret på erindringer - så som at høre de rystende lyden af en vase i &quot;sindets øre&quot; ved at se den tilhørende video klip - er støttet af re-konstruktion af indhold-Specifikke neurale aktivitet mønstre i begyndelsen af ​​sensoriske cortex.

Watch this Scientific Journal Video about Cross-Modal Multivariate Pattern Analysis at JoVE.com

Cross-Modal Multivariate Pattern Analysis

Klassisk multivariat mønster analyse forudsiger sansestimuli et emne opfatter fra neurale aktivitet i den tilsvarende cortex (f.eks visuelle stimuli fra aktivitet i visuelle cortex). Her anvender vi mønsteret analyse på tværs af modally og vise, at lyd-og touch-antyde visuelle stimuli kan forudsiges ud fra aktivitet i auditiv og somatosensoriske cortex, hhv.

Cross-Modal Multivariat Pattern Analysis

Multivariate pattern analysis (MVPA) is an increasingly popular method of analyzing functional magnetic resonance imaging (fMRI) data1-4. Typically, the ...

Research

JoVE Journal

Neuroscience

Basics of Multivariate Analysis in Neuroimaging Data

Multivariate analysis techniques for neuroimaging data have recently received increasing attention as they have many attractive features that cannot be ...

Brain Imaging Investigation of the Impairing Effect of Emotion on Cognition

Brain Imaging Undersøgelse af forringe Effekt af Emotion på kognition

Emotions can impact cognition by exerting both enhancing (e.g., better memory for emotional events) and impairing (e.g., increased emotional ...

Transcriptome Analysis of Single Cells

Many gene expression analysis techniques rely on material isolated from heterogeneous populations of cells from tissue homogenates or cells in ...

T-maze Forced Alternation and Left-right Discrimination Tasks for Assessing Working and Reference Memory in Mice

T-labyrint Tvungen Alternation og Venstre-højre forskelsbehandling Opgaver for vurdering af arbejds-og referencedokument Hukommelse i mus

Forced alternation and left-right discrimination tasks using the T-maze have been widely used to assess working and reference memory, respectively, in ...

Creating Objects and Object Categories for Studying Perception and Perceptual Learning

Oprettelse af objekter og Object Kategorier for Studier Perception og Perceptual Learning

In order to quantitatively study object perception, be it perception by biological systems or by machines, one needs to create objects and object ...

Visualization and Genetic Manipulation of Dendrites and Spines in the Mouse Cerebral Cortex and Hippocampus using In utero Electroporation

Visualization and Genetic Manipulation of Dendrites and Spines in the Mouse Cerebral Cortex and Hippocampus using In utero Electroporation

Visualisering og genetisk manipulering af dendritter og udløberne i mus cerebrale cortex og hippocampus under anvendelse<em&gt; I utero</em&gt; Elektroporation

In utero electroporation (IUE) has become a powerful technique to study the development of different regions of the embryonic nervous system 1-5. To date ...

The Swimmeret System of Crayfish: A Practical Guide for the Dissection of the Nerve Cord and Extracellular Recordings of the Motor Pattern

Den Swimmeret System af Crayfish: En praktisk vejledning til dissektion af Nerve Cord og Ekstracellulære optagelser af Motor Mønster

Here we demonstrate the dissection of the crayfish abdominal nerve cord. The preparation comprises the last two thoracic ganglia (T4, T5) and the chain of ...

Peering at Brain Polysomes with Atomic Force Microscopy

Peering på Brain Polysomer med Atomic force mikroskopi

The translational machinery, i.e., the polysome or polyribosome, is one of the biggest and most complex cytoplasmic machineries in cells. Polysomes, ...

Analyzing Synaptic Modulation of Drosophila melanogaster Photoreceptors after Exposure to Prolonged Light

Analyzing Synaptic Modulation of Drosophila melanogaster Photoreceptors after Exposure to Prolonged Light

Analyse Synaptic Graduering af<em&gt; Drosophila melanogaster</em&gt; Fotoreceptorer efter Udsættelse for Langvarig Light

The nervous system has the remarkable ability to adapt and respond to various stimuli. This neural adjustment is largely achieved through plasticity at ...

Visualization of the Axonal Projection Pattern of Embryonic Motor Neurons in Drosophila

Visualization of the Axonal Projection Pattern of Embryonic Motor Neurons in Drosophila

Visualisering af Axonal Projeksionsmønsteret af Embryoniske Motor Neuroner i<em&gt; Drosophila</em

The establishment of functional neuromuscular circuits relies on precise connections between developing motor axons and target muscles. Motor neurons ...