Name: cross-modal multivariate pattern analysis
Uploaded: 2011-11-09T13:00:00
Duration: 13 min 51 s
Description: Watch this Scientific Journal Video about Cross-Modal Multivariate Pattern Analysis at JoVE.com

Dit werk werd ondersteund door subsidies van de Mathers Foundation en de National Institutes of Health (licentienummer 5P50NS019632-27) voor Antonio en Hanna Damasio.

<ol>
	<li>Haynes, J. -. D., Rees, G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Decoding+mental+states+from+brain+activity+in+humans.">Decoding mental states from brain activity in humans.</a> Nat. Rev. Neurosci. 7, 523-534 (2006).</li><li>Norman, K. A., Polyn, S. M., Detre, G. J., Haxby, J. V. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Beyond+mind-reading:+multi-voxel+pattern+analysis+of+fMRI+data.">Beyond mind-reading: multi-voxel pattern analysis of fMRI data.</a> Trends. Cogn. Sci. 10, 424-430 (2006).</li><li>Kriegeskorte, N., Bandettini, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Analyzing+for+information,+not+activation,+to+exploit+high-resolution+fMRI.">Analyzing for information, not activation, to exploit high-resolution fMRI.</a> NeuroImage. 38, 649-662 (2007).</li><li>Mur, M., Bandettini, P. A., Kriegeskorte, N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Revealing+representational+content+with+pattern-information+fMRI+-+an+introductory+guide.">Revealing representational content with pattern-information fMRI - an introductory guide.</a> Soc. Cogn. Affect. Neurosci. 4, 101-109 (2009).</li><li>Kamitani, Y., Tong, F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Decoding+the+visual+and+subjective+contents+of+the+human+brain.">Decoding the visual and subjective contents of the human brain.</a> Nat. Neurosci. 8, 679-685 (2005).</li><li>Formisano, E., De Martino, F., Bonte, M., Goebel, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term="Who"+is+saying+"what"?+Brain-based+decoding+of+human+voice+and+speech?.">"Who" is saying "what"? Brain-based decoding of human voice and speech?.</a> Science. 322, 970-973 (2008).</li><li>Meyer, K., Kaplan, J. T., Essex, R., Webber, C., Damasio, H., Damasio, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Predicting+visual+stimuli+on+the+basis+of+activity+in+auditory+cortices.">Predicting visual stimuli on the basis of activity in auditory cortices.</a> Nat. Neurosci. 13, 667-668 (2010).</li><li>Meyer, K., Kaplan, J. T., Essex, R., Damasio, H., Damasio, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Seeing+touch+is+correlated+with+content-specific+activity+in+primary+somatosensory+cortex.">Seeing touch is correlated with content-specific activity in primary somatosensory cortex.</a> Cereb. Cortex. 21, 2113-2121 (2011).</li><li>Damasio, A. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Time-locked+multiregional+retroactivation:+a+systems-level+proposal+for+the+neural+substrates+of+recall+and+recognition.">Time-locked multiregional retroactivation: a systems-level proposal for the neural substrates of recall and recognition.</a> Cognition. 33, 25-62 (1989).</li><li>Meyer, K., Damasio, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Convergence+and+divergence+in+a+neural+architecture+for+recognition+and+memory.">Convergence and divergence in a neural architecture for recognition and memory.</a> Trends. Neurosci. 32, 376-382 (2009).</li><li>Friston, K. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Modalities,+modes,+and+models+in+functional+neuroimaging.">Modalities, modes, and models in functional neuroimaging.</a> Science. 326, 399-403 (2009).</li><li>Hanke, M., Halchenko, Y. O., Sederberg, P. B., Hanson, S. J., Haxby, J. V., Pollmann, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=PyMVPA:+a+Python+toolbox+for+multivariate+pattern+analysis+of+fMRI+data.">PyMVPA: a Python toolbox for multivariate pattern analysis of fMRI data.</a> Neuroinformatics. 7, 37-53 (2009).</li><li>Harrison, S. A., Tong, F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Decoding+reveals+the+contents+of+visual+working+memory+in+early+visual+areas.">Decoding reveals the contents of visual working memory in early visual areas.</a> Nature. 458, 632-635 (2009).</li><li>Serences, J. T., Ester, E. F., Vogel, E. K., Awh, E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Stimulus-specific+delay+activity+in+human+primary+visual+cortex.">Stimulus-specific delay activity in human primary visual cortex.</a> Psych Sci. 20, 207-214 (2009).</li></ol>

Geen belangenconflicten verklaard.

De bevindingen van onze vorige studies tonen aan dat cross-modale MVPA is een nuttig hulpmiddel om de neurale correlaten van mentale beelden ervaren in de &#39;geest oor &quot;en de&quot; geest touch &quot;te bestuderen. Met name de resultaten blijkt dat de inhoud van dergelijke beelden is gecorreleerd met neurale activiteit in het begin van de auditieve en somatosensorische cortex respectievelijk, het verstrekken van directe empirische steun voor kader Damasio&#39;s van convergentie-divergentie zones. De basis paradigma we beschrijven kan worden uitgebreid op een aantal manieren. Uiteraard het meest, kan vergelijkbare studies worden uitgevoerd met behulp van verschillende combinaties van zintuiglijke modaliteiten. In dit opzicht, is het mogelijk dat tot vaststelling van bepaalde cross-modale verenigingen voorafgaand aan het experiment kan verhogen de kans op succes. Bijvoorbeeld om cross-modale voorstellingen studie in olfactorische cortex, kan men belangrijkste onderwerpen door ze bloot te gelijktijdig aan het zicht en de geur van een aantal levensmiddelen. Shortly na, in de fMRI-scanner, zou de olfactorische herinneringen aan de geuren worden veroorzaakt door visuele cues, en MVPA kunnen worden gebruikt in een poging om de proeven toe te wijzen aan de juiste voedingsmiddelen uitsluitend gebaseerd op de activiteit in de olfactorische cortex. Een andere interessante vraag is of de cross-modaal geïnduceerde patronen van activiteit in het begin van de sensorische cortex overeenkomsten met de patronen die worden geïnduceerd wanneer geluid of aanraking is eigenlijk ervaren dragen, met andere woorden, het zien van de glazen vaas verbrijzelen een vergelijkbaar patroon van beroep neurale activiteit in het begin van de auditieve cortex echt te horen hetzelfde evenement? Deze vraag, nogmaals, kunnen worden aangepakt door middel van MVPA: is een classifier die is getraind op geregistreerde gegevens terwijl proefpersonen hoorden bepaalde geluiden in staat om correct discrimineren gegevens geregistreerd, terwijl de proefpersonen keken bijbehorende videoclips? In onze auditieve studie, hebben we geprobeerd een dergelijke kwalificatie, maar de resultaten waren marginaal (zie Fig. 3 in ref. 7). In dat onderzoek waren echter de auditieve verenigingen van de deelnemers niet geregeld op welke wijze, met andere woorden, we weten niet hoe sterk de auditieve beelden per onderwerp geassocieerd met video&#39;s werden op de audio tracks gebruikt om de classifier te trainen. Nogmaals, kan het interessant zijn om dezelfde vraag in te gaan na de specifieke cross-modale verenigingen werden voorbereid in de onderwerpen, zoals hierboven beschreven voor een visueel-olfactorische vereniging. Dit zou toelaten om meer betrouwbare controle van de mentale beleving van de patiënten tijdens de video-trials en dus mogelijk voorspelling prestaties van de classifier te verhogen. Tot slot, hebben we een uitbreiding van het klassieke paradigma MVPA door te laten zien dat de stimuli kan worden voorspeld, niet alleen binnen, maar ook over zintuiglijke modaliteiten. Zo tonen we aan dat het gebruik van MVPA niet beperkt is tot het onderzoeken van de correlaten van perceptuele representaties die rechtstreeks veroorzaakt door externe sensorische stimulatie. Integendeel, MVPA kan ookbeoordelen van de neurale substraat van mentale beelden die intern worden geactiveerd: in overeenstemming met Damasio de convergentie-divergentie zone kader, onze bevindingen suggereren dat de bewuste ervaring van mentale beelden die zijn gereconstrueerd op basis van herinneringen is gecorreleerd met inhoud-specifieke neurale representaties in het begin van de zintuiglijke cortex.

cross-modal multivariate pattern analysis

Multivariate patroon analyse (MVPA) is een steeds populairder wordende methode voor het analyseren van functionele magnetische resonantie imaging (fMRI) gegevens 1-4. Meestal wordt de methode die wordt gebruikt om een ​​onderwerp perceptuele ervaring van neurale activiteit in bepaalde gebieden van de hersenen te identificeren. Bijvoorbeeld, is gebruikt om de oriëntatie van de visuele roosters een onderwerp waarneemt van de activiteit in vroege visuele cortex 5 of, analoog, de inhoud van de toespraak van activiteit in het begin van de auditieve cortex 6 voorspellen. Hier presenteren we een uitbreiding van de klassieke MVPA paradigma, volgens welke perceptuele stimuli worden niet voorspeld binnen, maar over sensorische systemen. In het bijzonder, de methode die we beschrijven in op de vraag of stimuli die het geheugen associaties oproepen in modaliteiten andere dan de door waarin ze worden gepresenteerd content-specifieke activiteit patronen te induceren in de sensorische cortex van die andere modaliteiten.Bijvoorbeeld, het zien van een gedempte videoclip van een glazen vaas verbrijzelen op de grond automatisch triggers in de meeste waarnemers een auditief beeld van de bijbehorende geluid, is de ervaring van dit beeld in &quot;het oor geest&quot; van de gecorreleerd met een specifieke neurale activiteit patroon in het begin van auditieve cortex? Bovendien is deze activiteit patroon verschilt van het patroon dat kan worden waargenomen wanneer het onderwerp was, in plaats daarvan, het bekijken van een videoclip van een huilende hond? In twee eerdere studies 7,8, waren we in staat om te voorspellen geluid-en touch-impliceren videoclips op basis van neurale activiteit in het begin van auditieve en somatosensorische cortex, respectievelijk. Onze resultaten zijn in lijn met een neuroarchitectural kader voorgesteld door Damasio 9,10, volgens welke de ervaring van de mentale beelden die gebaseerd zijn op herinneringen - zoals het horen van de verpletterende geluid van een vaas in &quot;het oor geest&quot; van de bij het ​​zien van de bijbehorende video clip - wordt ondersteund door de re-constructie van de inhoud-Specifieke neurale activiteit patronen in het begin van sensorische cortex.

Watch this Scientific Journal Video about Cross-Modal Multivariate Pattern Analysis at JoVE.com

Cross-Modal Multivariate Pattern Analysis

Klassieke multivariate analyse patroon voorspelt zintuiglijke prikkels een onderwerp waarneemt van de neurale activiteit in de overeenkomstige cortex (bijv. visuele prikkels van de activiteit in de visuele cortex). Hier passen we patroon analyse cross-modaal en laten zien dat geluid-en touch-impliceren visuele stimuli kan worden voorspeld op grond van activiteit in auditieve en somatosensorische cortex, respectievelijk.

Cross-Modale Multivariate Pattern Analysis

Multivariate pattern analysis (MVPA) is an increasingly popular method of analyzing functional magnetic resonance imaging (fMRI) data1-4. Typically, the ...

Research

JoVE Journal

Neuroscience

Basics of Multivariate Analysis in Neuroimaging Data

Basis van Multivariate Analyse in Neuroimaging gegevens

Multivariate analysis techniques for neuroimaging data have recently received increasing attention as they have many attractive features that cannot be ...

Brain Imaging Investigation of the Impairing Effect of Emotion on Cognition

Brain Imaging Onderzoek van de aantasting effect van emotie op cognitie

Emotions can impact cognition by exerting both enhancing (e.g., better memory for emotional events) and impairing (e.g., increased emotional ...

Transcriptome Analysis of Single Cells

Transcriptoom Analyse van de individuele cellen

Many gene expression analysis techniques rely on material isolated from heterogeneous populations of cells from tissue homogenates or cells in ...

T-maze Forced Alternation and Left-right Discrimination Tasks for Assessing Working and Reference Memory in Mice

T-doolhof Gedwongen Afwisseling en links-rechts Discriminatie Taken voor de beoordeling van Werken en Reference geheugen in Muizen

Forced alternation and left-right discrimination tasks using the T-maze have been widely used to assess working and reference memory, respectively, in ...

Creating Objects and Object Categories for Studying Perception and Perceptual Learning

Objecten maken en Object Categorieën voor het bestuderen van perceptie en perceptueel leren

In order to quantitatively study object perception, be it perception by biological systems or by machines, one needs to create objects and object ...

Visualization and Genetic Manipulation of Dendrites and Spines in the Mouse Cerebral Cortex and Hippocampus using In utero Electroporation

Visualization and Genetic Manipulation of Dendrites and Spines in the Mouse Cerebral Cortex and Hippocampus using In utero Electroporation

Visualisatie en genetische manipulatie van dendrieten en stekels in de muis Cerebral cortex en de hippocampus met behulp van<em&gt; In utero</em&gt; Elektroporatie

In utero electroporation (IUE) has become a powerful technique to study the development of different regions of the embryonic nervous system 1-5. To date ...

The Swimmeret System of Crayfish: A Practical Guide for the Dissection of the Nerve Cord and Extracellular Recordings of the Motor Pattern

De Swimmeret Systeem van rivierkreeftjes: Een praktische gids voor de dissectie van de Nerve Koord en extracellulaire Opnamen van de Motor van het Patroon

Here we demonstrate the dissection of the crayfish abdominal nerve cord. The preparation comprises the last two thoracic ganglia (T4, T5) and the chain of ...

Peering at Brain Polysomes with Atomic Force Microscopy

Turen naar Brain polysomen met Atomic Force Microscopy

The translational machinery, i.e., the polysome or polyribosome, is one of the biggest and most complex cytoplasmic machineries in cells. Polysomes, ...

Analyzing Synaptic Modulation of Drosophila melanogaster Photoreceptors after Exposure to Prolonged Light

Analyzing Synaptic Modulation of Drosophila melanogaster Photoreceptors after Exposure to Prolonged Light

Het analyseren van Synaptic Modulatie van<em&gt; Drosophila melanogaster</em&gt; Fotoreceptoren na blootstelling aan Langdurige Light

The nervous system has the remarkable ability to adapt and respond to various stimuli. This neural adjustment is largely achieved through plasticity at ...

Visualization of the Axonal Projection Pattern of Embryonic Motor Neurons in Drosophila

Visualization of the Axonal Projection Pattern of Embryonic Motor Neurons in Drosophila

Visualisatie van het Axonal Projectiepatroon van Embryonische Motor Neuronen in<em&gt; Drosophila</em

The establishment of functional neuromuscular circuits relies on precise connections between developing motor axons and target muscles. Motor neurons ...