Name: cross-modal multivariate pattern analysis
Uploaded: 2011-11-09T13:00:00
Duration: 13 min 51 s
Description: Watch this Scientific Journal Video about Cross-Modal Multivariate Pattern Analysis at JoVE.com

Diese Arbeit wurde durch Mittel der Mathers Foundation und der National Institutes of Health (NIH 5P50NS019632-27) auf Antonio und Hanna Damasio unterstützt.

<ol>
	<li>Haynes, J. -. D., Rees, G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Decoding+mental+states+from+brain+activity+in+humans.">Decoding mental states from brain activity in humans.</a> Nat. Rev. Neurosci. 7, 523-534 (2006).</li><li>Norman, K. A., Polyn, S. M., Detre, G. J., Haxby, J. V. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Beyond+mind-reading:+multi-voxel+pattern+analysis+of+fMRI+data.">Beyond mind-reading: multi-voxel pattern analysis of fMRI data.</a> Trends. Cogn. Sci. 10, 424-430 (2006).</li><li>Kriegeskorte, N., Bandettini, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Analyzing+for+information,+not+activation,+to+exploit+high-resolution+fMRI.">Analyzing for information, not activation, to exploit high-resolution fMRI.</a> NeuroImage. 38, 649-662 (2007).</li><li>Mur, M., Bandettini, P. A., Kriegeskorte, N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Revealing+representational+content+with+pattern-information+fMRI+-+an+introductory+guide.">Revealing representational content with pattern-information fMRI - an introductory guide.</a> Soc. Cogn. Affect. Neurosci. 4, 101-109 (2009).</li><li>Kamitani, Y., Tong, F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Decoding+the+visual+and+subjective+contents+of+the+human+brain.">Decoding the visual and subjective contents of the human brain.</a> Nat. Neurosci. 8, 679-685 (2005).</li><li>Formisano, E., De Martino, F., Bonte, M., Goebel, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term="Who"+is+saying+"what"?+Brain-based+decoding+of+human+voice+and+speech?.">"Who" is saying "what"? Brain-based decoding of human voice and speech?.</a> Science. 322, 970-973 (2008).</li><li>Meyer, K., Kaplan, J. T., Essex, R., Webber, C., Damasio, H., Damasio, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Predicting+visual+stimuli+on+the+basis+of+activity+in+auditory+cortices.">Predicting visual stimuli on the basis of activity in auditory cortices.</a> Nat. Neurosci. 13, 667-668 (2010).</li><li>Meyer, K., Kaplan, J. T., Essex, R., Damasio, H., Damasio, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Seeing+touch+is+correlated+with+content-specific+activity+in+primary+somatosensory+cortex.">Seeing touch is correlated with content-specific activity in primary somatosensory cortex.</a> Cereb. Cortex. 21, 2113-2121 (2011).</li><li>Damasio, A. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Time-locked+multiregional+retroactivation:+a+systems-level+proposal+for+the+neural+substrates+of+recall+and+recognition.">Time-locked multiregional retroactivation: a systems-level proposal for the neural substrates of recall and recognition.</a> Cognition. 33, 25-62 (1989).</li><li>Meyer, K., Damasio, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Convergence+and+divergence+in+a+neural+architecture+for+recognition+and+memory.">Convergence and divergence in a neural architecture for recognition and memory.</a> Trends. Neurosci. 32, 376-382 (2009).</li><li>Friston, K. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Modalities,+modes,+and+models+in+functional+neuroimaging.">Modalities, modes, and models in functional neuroimaging.</a> Science. 326, 399-403 (2009).</li><li>Hanke, M., Halchenko, Y. O., Sederberg, P. B., Hanson, S. J., Haxby, J. V., Pollmann, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=PyMVPA:+a+Python+toolbox+for+multivariate+pattern+analysis+of+fMRI+data.">PyMVPA: a Python toolbox for multivariate pattern analysis of fMRI data.</a> Neuroinformatics. 7, 37-53 (2009).</li><li>Harrison, S. A., Tong, F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Decoding+reveals+the+contents+of+visual+working+memory+in+early+visual+areas.">Decoding reveals the contents of visual working memory in early visual areas.</a> Nature. 458, 632-635 (2009).</li><li>Serences, J. T., Ester, E. F., Vogel, E. K., Awh, E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Stimulus-specific+delay+activity+in+human+primary+visual+cortex.">Stimulus-specific delay activity in human primary visual cortex.</a> Psych Sci. 20, 207-214 (2009).</li></ol>

Keine Interessenskonflikte erklärt.

Die Ergebnisse unserer früheren Studien zeigen, dass cross-modale MVPA ein nützliches Werkzeug, um die neuronalen Korrelate von mental images in die &quot;inneren Ohr&quot; und der &quot;geistigen touch&quot; erlebt zu studieren. Konkret zeigen die Ergebnisse, dass die Inhalte solcher Bilder mit neuronaler Aktivität in den frühen auditorischen und somatosensorischen Kortex korreliert ist, bzw. einen direkten empirischen Beleg für Damasios Rahmen des Konvergenz-Divergenz-Zonen. Das grundlegende Paradigma beschreiben wir können in eine Reihe von Möglichkeiten erweitert werden. Am offensichtlichsten ist, können ähnliche Studien durchgeführt werden, indem verschiedene Kombinationen von sensorischen Modalitäten. In dieser Hinsicht ist es möglich, dass mit bestimmten cross-modale Verbände vor dem Experiment kann die Erfolgschancen zu erhöhen. Zum Beispiel, um cross-modale Repräsentationen in olfaktorischen Kortex Studie konnte eine Primzahl Themen indem sie gleichzeitig an den Anblick und der Geruch von einer Reihe von Lebensmitteln. Shortly nach, in der fMRI-Scanner würden die olfaktorische Erinnerung an die Gerüche, die durch visuelle Signale ausgelöst werden, und MVPA konnten in einem Versuch, die Studien an den richtigen Lebensmitteln ausschließlich auf Aktivitäten in olfaktorischen Kortex Basis zuzuweisen verwendet werden. Eine weitere interessante Frage ist, ob die Cross-modal induzierte Aktivitätsmuster in den frühen sensorischen Kortex Ähnlichkeiten mit den Mustern, die induziert werden, wenn Ton-oder Touch-tatsächlich erlebt wird sich tragen, in anderen Worten, sehen die Glasvase zerbrechen rufen ein ähnliches Muster von neuronale Aktivität in frühen auditorischen Kortex als tatsächlich hören das gleiche Ereignis? Diese Frage kann wiederum durch MVPA angesprochen werden: ist ein Classifier, die auf Daten aufgezeichnet wurde trainiert, während Probanden hörten bestimmte Töne in der Lage, richtig zu diskriminieren Daten aufgezeichnet werden, während die Probanden beobachtet entsprechenden Video-Clips? In unserem auditiven Studie haben wir versucht eine solche Klassifizierung, aber die Ergebnisse waren marginal (siehe Abb.. 3 in ref. 7). In dieser Studie wurden jedoch die akustische Assoziationen der Teilnehmer in keiner Weise kontrolliert, mit anderen Worten, wir wissen nicht, wie ähnlich die Hörbilder jedes Thema mit Videos verbunden, um die Audiospuren verwendet werden, um den Klassifikator trainiert wurde. Auch hier könnte es interessant sein, die gleiche Frage-Adresse nach bestimmten cross-modale Verbände in den Fächern wurden grundiert haben, wie oben für eine visuell-olfaktorischen Vereins beschrieben. Dies würde es ermöglichen, mehr zuverlässig kontrollieren die geistige Erfahrung der Probanden während der Video-Studien und damit vielleicht Vorhersage Performance des Klassifikators zu erhöhen. Zum Schluss haben wir eine Erweiterung der klassischen MVPA Paradigma eingeführt durch die zeigen, dass Reize nicht nur innerhalb vorhergesagt werden kann, sondern auch über sensorischen Modalitäten. So zeigen wir, dass die Verwendung von MVPA nicht auf die Untersuchung der Korrelate der anschaulichen Vorstellungen direkt von externen sensorische Stimulation induziert begrenzt. Vielmehr kann auch MVPABeurteilung der neuronalen Substrat von mental images, die intern ausgelöst: in Übereinstimmung mit Damasio den Konvergenz-Divergenz-Zonen Rahmen, deuten unsere Ergebnisse, dass die bewusste Erfahrung von mental images, die basierend auf Erinnerungen rekonstruiert werden mit content-spezifische neuronale Repräsentationen in der frühen sensorischen korreliert Rinden.

cross-modal multivariate pattern analysis

Multivariate Analyse-Muster (MVPA) ist eine zunehmend beliebte Methode zur Analyse der funktionellen Magnetresonanztomographie (fMRI) Daten 1-4. Typischerweise wird die Methode verwendet, um ein Thema, das Wahrnehmungs-Erfahrungen aus neuronaler Aktivität in bestimmten Regionen des Gehirns zu identifizieren. Zum Beispiel wurde eingesetzt, um die Ausrichtung der optischen Gitter ein Thema nimmt aus der Tätigkeit in frühen visuellen Kortex 5 oder analog, der Inhalt der Rede von der Aktivität in frühen auditorischen Kortex 6 vorherzusagen. Hier präsentieren wir eine Erweiterung des klassischen MVPA Paradigma, wonach Wahrnehmungsreize nicht innerhalb, sondern über sensorische Systeme vorhergesagt. Insbesondere befasst sich mit der Methode beschreiben wir die Frage, ob Reize, die Erinnerung Verbände in Modalitäten andere als die, durch die sie präsentiert werden evozieren induzieren content-spezifische Aktivitätsmuster in den sensorischen Kortex jener anderen Modalitäten.So sehen einem gedämpften Videoclip von einer Glasvase erschütternd auf dem Boden löst automatisch in die meisten Beobachter eine auditive Bild der zugehörigen Sound; die Erfahrung dieses Bild in der &quot;geistigen Ohr&quot; ist korreliert mit einem bestimmten neuronalen Aktivitätsmuster in der frühen auditorischen Kortex? Darüber hinaus ist dieses Aktivitätsmuster unterscheidet sich von dem Muster, dass beobachtet werden konnte, wenn das Thema waren, sondern gerade ein Video-Clip von einem heulenden Hund? In zwei früheren Studien 7,8, konnten wir vorhersagen, Ton-und Touch-was bedeutet, Video-Clips auf neuronale Aktivität in frühen auditorischen und somatosensorischen Kortex auf, jeweils. Unsere Ergebnisse stehen im Einklang mit einer neuroarchitectural Rahmen von Damasio 9,10 vorgeschlagen, nach der die Erfahrung von mental images, die auf Erinnerungen beruhen - wie das Hören des Klirren einer Vase in der &quot;geistigen Ohr&quot; beim Anblick des entsprechenden Video clip - wird durch die Re-Konstruktion von Inhalten unterstützt-Spezifische neuronale Aktivitätsmuster in der frühen sensorischen Kortex.

Watch this Scientific Journal Video about Cross-Modal Multivariate Pattern Analysis at JoVE.com

Cross-Modal Multivariate Pattern Analysis

Klassische multivariate Muster-Analyse prognostiziert Sinnesreize ein Thema nimmt von neuronaler Aktivität in den entsprechenden Kortex (zB visuelle Reize aus der Tätigkeit in visuellen Kortex). Hier wenden wir Musteranalyse cross-modal und zeigen, dass Sound-und Touch-was bedeutet, optische Reize aus der Tätigkeit in auditorischen und somatosensorischen Kortex vorhergesagt werden kann, bzw..

Multivariate pattern analysis (MVPA) is an increasingly popular method of analyzing functional magnetic resonance imaging (fMRI) data1-4. Typically, the ...

Research

JoVE Journal

Neuroscience

Basics of Multivariate Analysis in Neuroimaging Data

Grundlagen der multivariaten Analyse in Neuroimaging-Daten

Multivariate analysis techniques for neuroimaging data have recently received increasing attention as they have many attractive features that cannot be ...

Forschung

Neurowissenschaften

Brain Imaging Investigation of the Impairing Effect of Emotion on Cognition

Brain Imaging Untersuchung der beeinträchtigende Wirkung von Emotion auf Kognition

Emotions can impact cognition by exerting both enhancing (e.g., better memory for emotional events) and impairing (e.g., increased emotional ...

Transcriptome Analysis of Single Cells

Transkriptom-Analyse von Einzelzellen

Many gene expression analysis techniques rely on material isolated from heterogeneous populations of cells from tissue homogenates or cells in ...

T-maze Forced Alternation and Left-right Discrimination Tasks for Assessing Working and Reference Memory in Mice

T-Labyrinth Erzwungener Wechsel und die Links-Rechts-Discrimination Aufgaben für die Beurteilung der Arbeitsbedingungen und Referenz-Gedächtnis bei Mäusen

Forced alternation and left-right discrimination tasks using the T-maze have been widely used to assess working and reference memory, respectively, in ...

Creating Objects and Object Categories for Studying Perception and Perceptual Learning

Erstellen von Objekten und Objekt Kategorien für Studium Wahrnehmung und Perceptual Learning

In order to quantitatively study object perception, be it perception by biological systems or by machines, one needs to create objects and object ...

Visualization and Genetic Manipulation of Dendrites and Spines in the Mouse Cerebral Cortex and Hippocampus using In utero Electroporation

Visualization and Genetic Manipulation of Dendrites and Spines in the Mouse Cerebral Cortex and Hippocampus using In utero Electroporation

Visualisierung und genetische Manipulation von Dendriten und Dornen in der Maus Hirnrinde und im Hippocampus mit<em&gt; In utero</em&gt; Die Elektroporation

In utero electroporation (IUE) has become a powerful technique to study the development of different regions of the embryonic nervous system 1-5. To date ...

The Swimmeret System of Crayfish: A Practical Guide for the Dissection of the Nerve Cord and Extracellular Recordings of the Motor Pattern

Die swimmeret System der Crayfish: Ein praktischer Leitfaden für die Dissektion der Nervenstrang und extrazellulären Recordings der Motor Pattern

Here we demonstrate the dissection of the crayfish abdominal nerve cord. The preparation comprises the last two thoracic ganglia (T4, T5) and the chain of ...

Peering at Brain Polysomes with Atomic Force Microscopy

Peering am Gehirn Polysomen mit Rasterkraftmikroskopie

The translational machinery, i.e., the polysome or polyribosome, is one of the biggest and most complex cytoplasmic machineries in cells. Polysomes, ...

Analyzing Synaptic Modulation of Drosophila melanogaster Photoreceptors after Exposure to Prolonged Light

Analyzing Synaptic Modulation of Drosophila melanogaster Photoreceptors after Exposure to Prolonged Light

Analyse Synaptische Modulation von<em&gt; Drosophila melanogaster</em&gt; Photorezeptoren nach der Einwirkung von Längerer Licht

The nervous system has the remarkable ability to adapt and respond to various stimuli. This neural adjustment is largely achieved through plasticity at ...

Visualization of the Axonal Projection Pattern of Embryonic Motor Neurons in Drosophila

Visualization of the Axonal Projection Pattern of Embryonic Motor Neurons in Drosophila

Visualisierung des axonalen Projektionsmusters der embryonalen motorischen Neuronen in<em&gt; Drosophila</em

The establishment of functional neuromuscular circuits relies on precise connections between developing motor axons and target muscles. Motor neurons ...