Name: cross-modal multivariate pattern analysis
Uploaded: 2011-11-09T13:00:00
Duration: 13 min 51 s
Description: Watch this Scientific Journal Video about Cross-Modal Multivariate Pattern Analysis at JoVE.com

Detta arbete har finansierats med bidrag från Mathers Foundation och National Institutes of Health (licensnummer 5P50NS019632-27) till Antonio och Hanna Damasio.

<ol>
	<li>Haynes, J. -. D., Rees, G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Decoding+mental+states+from+brain+activity+in+humans.">Decoding mental states from brain activity in humans.</a> Nat. Rev. Neurosci. 7, 523-534 (2006).</li><li>Norman, K. A., Polyn, S. M., Detre, G. J., Haxby, J. V. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Beyond+mind-reading:+multi-voxel+pattern+analysis+of+fMRI+data.">Beyond mind-reading: multi-voxel pattern analysis of fMRI data.</a> Trends. Cogn. Sci. 10, 424-430 (2006).</li><li>Kriegeskorte, N., Bandettini, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Analyzing+for+information,+not+activation,+to+exploit+high-resolution+fMRI.">Analyzing for information, not activation, to exploit high-resolution fMRI.</a> NeuroImage. 38, 649-662 (2007).</li><li>Mur, M., Bandettini, P. A., Kriegeskorte, N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Revealing+representational+content+with+pattern-information+fMRI+-+an+introductory+guide.">Revealing representational content with pattern-information fMRI - an introductory guide.</a> Soc. Cogn. Affect. Neurosci. 4, 101-109 (2009).</li><li>Kamitani, Y., Tong, F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Decoding+the+visual+and+subjective+contents+of+the+human+brain.">Decoding the visual and subjective contents of the human brain.</a> Nat. Neurosci. 8, 679-685 (2005).</li><li>Formisano, E., De Martino, F., Bonte, M., Goebel, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term="Who"+is+saying+"what"?+Brain-based+decoding+of+human+voice+and+speech?.">"Who" is saying "what"? Brain-based decoding of human voice and speech?.</a> Science. 322, 970-973 (2008).</li><li>Meyer, K., Kaplan, J. T., Essex, R., Webber, C., Damasio, H., Damasio, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Predicting+visual+stimuli+on+the+basis+of+activity+in+auditory+cortices.">Predicting visual stimuli on the basis of activity in auditory cortices.</a> Nat. Neurosci. 13, 667-668 (2010).</li><li>Meyer, K., Kaplan, J. T., Essex, R., Damasio, H., Damasio, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Seeing+touch+is+correlated+with+content-specific+activity+in+primary+somatosensory+cortex.">Seeing touch is correlated with content-specific activity in primary somatosensory cortex.</a> Cereb. Cortex. 21, 2113-2121 (2011).</li><li>Damasio, A. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Time-locked+multiregional+retroactivation:+a+systems-level+proposal+for+the+neural+substrates+of+recall+and+recognition.">Time-locked multiregional retroactivation: a systems-level proposal for the neural substrates of recall and recognition.</a> Cognition. 33, 25-62 (1989).</li><li>Meyer, K., Damasio, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Convergence+and+divergence+in+a+neural+architecture+for+recognition+and+memory.">Convergence and divergence in a neural architecture for recognition and memory.</a> Trends. Neurosci. 32, 376-382 (2009).</li><li>Friston, K. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Modalities,+modes,+and+models+in+functional+neuroimaging.">Modalities, modes, and models in functional neuroimaging.</a> Science. 326, 399-403 (2009).</li><li>Hanke, M., Halchenko, Y. O., Sederberg, P. B., Hanson, S. J., Haxby, J. V., Pollmann, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=PyMVPA:+a+Python+toolbox+for+multivariate+pattern+analysis+of+fMRI+data.">PyMVPA: a Python toolbox for multivariate pattern analysis of fMRI data.</a> Neuroinformatics. 7, 37-53 (2009).</li><li>Harrison, S. A., Tong, F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Decoding+reveals+the+contents+of+visual+working+memory+in+early+visual+areas.">Decoding reveals the contents of visual working memory in early visual areas.</a> Nature. 458, 632-635 (2009).</li><li>Serences, J. T., Ester, E. F., Vogel, E. K., Awh, E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Stimulus-specific+delay+activity+in+human+primary+visual+cortex.">Stimulus-specific delay activity in human primary visual cortex.</a> Psych Sci. 20, 207-214 (2009).</li></ol>

Inga intressekonflikter deklareras.

Resultaten av våra tidigare studier visar att för alla transportslag MVPA är ett användbart verktyg för att studera neurala korrelat till mentala bilder med erfarenhet av &quot;sinne öra&quot; och &quot;sinnets touch&quot;. Specifikt visar resultaten att innehållet i sådana bilder är korrelerad med neural aktivitet i början av auditiv och somatosensoriska cortex, respektive, som ger direkt empiriskt stöd för Damasio ramverk av konvergens-divergens zoner. Den grundläggande paradigm beskriver vi kan utökas på flera sätt. Tydligast kan liknande studier göras med olika kombinationer av sensoriska modaliteter. I detta avseende är det möjligt att upprättande av vissa transportslag föreningar före experimentet kan öka chanserna att lyckas. Till exempel för att studera cross-modal representationer i lukt cortex, kan man prime ämnen genom att utsätta dem samtidigt till synen och doften av en rad livsmedel. Shortly efter, inne i fMRI-skanner, skulle lukt minnen av dofter utlösas av visuella signaler och MVPA skulle kunna användas i ett försök att tilldela försök till rätt mat enbart baserad på aktivitet i lukt cortex. En annan fråga av intresse är om cross-modalt inducerad mönster av aktivitet i början av sensoriska cortex bär likheter med de mönster som induceras när ljudet eller peka faktiskt upplevas, med andra ord inte att se glasvasen splittras åberopa ett liknande mönster av neural aktivitet i början av auditiva cortex som att verkligen höra samma händelse? Denna fråga, återigen, kan åtgärdas genom MVPA: är en klassificerare som har utbildats på inspelad data, medan ämnen som hört vissa ljud kan korrekt diskriminera uppgifter som registrerats samtidigt som försökspersonerna tittade på motsvarande videoklipp? I vår hörsel studie gjorde vi försök sådan klassificering, men resultaten var marginella (se Figur 3. I ref. 7). I den studien var dock den auditiva sammanslutningar av deltagarna som inte kontrolleras på något sätt, med andra ord vet vi inte hur lika de auditiva bilder varje ämne i samband med videor skulle ljudspåren som används för att träna klassificerare. Återigen kan det vara intressant att ta upp samma fråga efter vissa transportslag föreningar ha satsats i ämnena, som beskrivs ovan för en visuo-lukt föreningen. Detta skulle göra det möjligt att kontrollera mer tillförlitligt den mentala upplevelsen av ämnena under videon prövningar och kan således öka förutsäga prestanda klassificerare. Avslutningsvis har vi introducerat ett tillägg till den klassiska MVPA paradigmet genom att visa att stimuli kan förutses inte bara inom utan också mellan sensoriska modaliteter. Därmed visar vi att användningen av MVPA är inte begränsad till att undersöka korrelat till perceptuella representationer framkallas direkt av extern sensorisk stimulering. Snarare MVPA kan ocksåbedöma neurala substrat mentala bilder som utlöses internt: i enlighet med Damasio s konvergensregioner-divergens zon ram, vårt fynd tyder på att den medvetna upplevelsen av mentala bilder som rekonstrueras baserat på minnen är korrelerad med innehåll-specifika neurala representationer i början av sensoriska cortex.

cross-modal multivariate pattern analysis

Multivariat mönster analys (MVPA) är en alltmer populär metod för att analysera funktionell magnetresonanstomografi (fMRI) data 1-4. Normalt är den metod som används för att identifiera en persons perceptuell erfarenhet från neural aktivitet i vissa regioner i hjärnan. Till exempel har den använts för att förutspå riktningen av visuell galler ett ämne uppfattar från aktivitet i början av visuella cortex 5 eller, analogt, innehållet i tal från verksamheten i början av auditiva cortex 6. Här presenterar vi en förlängning av den klassiska MVPA paradigm, enligt vilka perceptuella stimuli inte förutspås inom, utan i hela sensoriska system. Specifikt behandlar metod vi beskriver frågan om stimuli som framkallar minnet föreningar i formerna än den hjälp som de presenteras framkalla innehåll-specifik aktivitet mönster i sensoriska cortex av dessa andra metoder.Till exempel ser en dämpad videoklipp av en glasvas splittras på marken automatiskt utlöser i de flesta bedömare en auditiv bild av den tillhörande ljud, är upplevelsen av denna bild i &quot;sinnet öra&quot; korrelerade med en viss neural aktivitet mönster i början av auditiva cortex? Dessutom är denna verksamhet mönstret skiljer sig från det mönster som kunde iakttas om motivet var att i stället titta på ett videoklipp av en ylande hund? I två tidigare studier 7,8, kunde vi förutse ljud-och touch-vilket innebär videoklipp baserad på neural aktivitet i början av auditiv och somatosensoriska cortex, respektive. Våra resultat är i linje med en neuroarchitectural som föreslagits av Damasio 9,10, enligt vilken upplevelsen av mentala bilder som bygger på minnen - som att höra ett krossande ljudet av en vas i &quot;sinnet öra&quot; på att se motsvarande video klipp - stöds av ombyggnad av innehåll-Specifika neural aktivitet mönster i början av sensoriska cortex.

Watch this Scientific Journal Video about Cross-Modal Multivariate Pattern Analysis at JoVE.com

Cross-Modal Multivariate Pattern Analysis

Klassisk multivariat mönster analys förutspår sensoriska stimuli ett ämne uppfattar från neural aktivitet i motsvarande cortex (t.ex. visuella stimuli från aktivitet i syncentrum). Här tillämpar vi mönster analys över modalt och visa att ljud-och touch-vilket innebär visuella stimuli kan förutsägas utifrån aktivitet i auditiv och somatosensoriska cortex, respektive.

Cross-Modal Multivariat Pattern Analysis

Multivariate pattern analysis (MVPA) is an increasingly popular method of analyzing functional magnetic resonance imaging (fMRI) data1-4. Typically, the ...

Research

JoVE Journal

Neuroscience

Basics of Multivariate Analysis in Neuroimaging Data

Grunderna i multivariat analys i Neuroimaging Data

Multivariate analysis techniques for neuroimaging data have recently received increasing attention as they have many attractive features that cannot be ...

Brain Imaging Investigation of the Impairing Effect of Emotion on Cognition

Brain Imaging Undersökning av försämra Effekt av Emotion på kognition

Emotions can impact cognition by exerting both enhancing (e.g., better memory for emotional events) and impairing (e.g., increased emotional ...

Transcriptome Analysis of Single Cells

Transkriptom Analys av enskilda celler

Many gene expression analysis techniques rely on material isolated from heterogeneous populations of cells from tissue homogenates or cells in ...

T-maze Forced Alternation and Left-right Discrimination Tasks for Assessing Working and Reference Memory in Mice

T-labyrinten Påtvingad alterneringsledighet och vänster-höger uppgifter diskriminering bedöma arbets-och referens minne hos möss

Forced alternation and left-right discrimination tasks using the T-maze have been widely used to assess working and reference memory, respectively, in ...

Creating Objects and Object Categories for Studying Perception and Perceptual Learning

Skapa objekt och kategorier Objekt för att studera perception och Perceptuell lärande

In order to quantitatively study object perception, be it perception by biological systems or by machines, one needs to create objects and object ...

Visualization and Genetic Manipulation of Dendrites and Spines in the Mouse Cerebral Cortex and Hippocampus using In utero Electroporation

Visualization and Genetic Manipulation of Dendrites and Spines in the Mouse Cerebral Cortex and Hippocampus using In utero Electroporation

Visualisering och Genetic Manipulation av dendriter och ryggar i mus hjärnbarken och hippocampus med användning av<em&gt; I utero</em&gt; Elektroporering

In utero electroporation (IUE) has become a powerful technique to study the development of different regions of the embryonic nervous system 1-5. To date ...

The Swimmeret System of Crayfish: A Practical Guide for the Dissection of the Nerve Cord and Extracellular Recordings of the Motor Pattern

Den Swimmeret systemet Kräftor: En praktisk guide för Dissekering av Nerve Cord och extracellulära Inspelningar av Motor Mönster

Here we demonstrate the dissection of the crayfish abdominal nerve cord. The preparation comprises the last two thoracic ganglia (T4, T5) and the chain of ...

Peering at Brain Polysomes with Atomic Force Microscopy

Peering på Brain polysomer med atomkraftsmikroskopi

The translational machinery, i.e., the polysome or polyribosome, is one of the biggest and most complex cytoplasmic machineries in cells. Polysomes, ...

Analyzing Synaptic Modulation of Drosophila melanogaster Photoreceptors after Exposure to Prolonged Light

Analyzing Synaptic Modulation of Drosophila melanogaster Photoreceptors after Exposure to Prolonged Light

Analysera Synaptic Modulering av<em&gt; Drosophila melanogaster</em&gt; Fotoreceptorer Efter exponering för Förlängd ljus

The nervous system has the remarkable ability to adapt and respond to various stimuli. This neural adjustment is largely achieved through plasticity at ...

Visualization of the Axonal Projection Pattern of Embryonic Motor Neurons in Drosophila

Visualization of the Axonal Projection Pattern of Embryonic Motor Neurons in Drosophila

Visualisering av Axonal Projektionsmönstret av Embryonic Motor Neurons in<em&gt; Drosophila</em

The establishment of functional neuromuscular circuits relies on precise connections between developing motor axons and target muscles. Motor neurons ...