Diese Arbeit wurde durch Mittel der Mathers Foundation und der National Institutes of Health (NIH 5P50NS019632-27) auf Antonio und Hanna Damasio unterstützt.

<ol>
	<li>Haynes, J. -. D., Rees, G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Decoding+mental+states+from+brain+activity+in+humans.">Decoding mental states from brain activity in humans.</a> Nat. Rev. Neurosci. 7, 523-534 (2006).</li><li>Norman, K. A., Polyn, S. M., Detre, G. J., Haxby, J. V. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Beyond+mind-reading:+multi-voxel+pattern+analysis+of+fMRI+data.">Beyond mind-reading: multi-voxel pattern analysis of fMRI data.</a> Trends. Cogn. Sci. 10, 424-430 (2006).</li><li>Kriegeskorte, N., Bandettini, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Analyzing+for+information,+not+activation,+to+exploit+high-resolution+fMRI.">Analyzing for information, not activation, to exploit high-resolution fMRI.</a> NeuroImage. 38, 649-662 (2007).</li><li>Mur, M., Bandettini, P. A., Kriegeskorte, N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Revealing+representational+content+with+pattern-information+fMRI+-+an+introductory+guide.">Revealing representational content with pattern-information fMRI - an introductory guide.</a> Soc. Cogn. Affect. Neurosci. 4, 101-109 (2009).</li><li>Kamitani, Y., Tong, F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Decoding+the+visual+and+subjective+contents+of+the+human+brain.">Decoding the visual and subjective contents of the human brain.</a> Nat. Neurosci. 8, 679-685 (2005).</li><li>Formisano, E., De Martino, F., Bonte, M., Goebel, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term="Who"+is+saying+"what"?+Brain-based+decoding+of+human+voice+and+speech?.">"Who" is saying "what"? Brain-based decoding of human voice and speech?.</a> Science. 322, 970-973 (2008).</li><li>Meyer, K., Kaplan, J. T., Essex, R., Webber, C., Damasio, H., Damasio, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Predicting+visual+stimuli+on+the+basis+of+activity+in+auditory+cortices.">Predicting visual stimuli on the basis of activity in auditory cortices.</a> Nat. Neurosci. 13, 667-668 (2010).</li><li>Meyer, K., Kaplan, J. T., Essex, R., Damasio, H., Damasio, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Seeing+touch+is+correlated+with+content-specific+activity+in+primary+somatosensory+cortex.">Seeing touch is correlated with content-specific activity in primary somatosensory cortex.</a> Cereb. Cortex. 21, 2113-2121 (2011).</li><li>Damasio, A. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Time-locked+multiregional+retroactivation:+a+systems-level+proposal+for+the+neural+substrates+of+recall+and+recognition.">Time-locked multiregional retroactivation: a systems-level proposal for the neural substrates of recall and recognition.</a> Cognition. 33, 25-62 (1989).</li><li>Meyer, K., Damasio, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Convergence+and+divergence+in+a+neural+architecture+for+recognition+and+memory.">Convergence and divergence in a neural architecture for recognition and memory.</a> Trends. Neurosci. 32, 376-382 (2009).</li><li>Friston, K. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Modalities,+modes,+and+models+in+functional+neuroimaging.">Modalities, modes, and models in functional neuroimaging.</a> Science. 326, 399-403 (2009).</li><li>Hanke, M., Halchenko, Y. O., Sederberg, P. B., Hanson, S. J., Haxby, J. V., Pollmann, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=PyMVPA:+a+Python+toolbox+for+multivariate+pattern+analysis+of+fMRI+data.">PyMVPA: a Python toolbox for multivariate pattern analysis of fMRI data.</a> Neuroinformatics. 7, 37-53 (2009).</li><li>Harrison, S. A., Tong, F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Decoding+reveals+the+contents+of+visual+working+memory+in+early+visual+areas.">Decoding reveals the contents of visual working memory in early visual areas.</a> Nature. 458, 632-635 (2009).</li><li>Serences, J. T., Ester, E. F., Vogel, E. K., Awh, E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Stimulus-specific+delay+activity+in+human+primary+visual+cortex.">Stimulus-specific delay activity in human primary visual cortex.</a> Psych Sci. 20, 207-214 (2009).</li></ol>

Keine Interessenskonflikte erklärt.

Die Ergebnisse unserer früheren Studien zeigen, dass cross-modale MVPA ein nützliches Werkzeug, um die neuronalen Korrelate von mental images in die &quot;inneren Ohr&quot; und der &quot;geistigen touch&quot; erlebt zu studieren. Konkret zeigen die Ergebnisse, dass die Inhalte solcher Bilder mit neuronaler Aktivität in den frühen auditorischen und somatosensorischen Kortex korreliert ist, bzw. einen direkten empirischen Beleg für Damasios Rahmen des Konvergenz-Divergenz-Zonen. Das grundlegende Paradigma beschreiben wir können in eine Reihe von Möglichkeiten erweitert werden. Am offensichtlichsten ist, können ähnliche Studien durchgeführt werden, indem verschiedene Kombinationen von sensorischen Modalitäten. In dieser Hinsicht ist es möglich, dass mit bestimmten cross-modale Verbände vor dem Experiment kann die Erfolgschancen zu erhöhen. Zum Beispiel, um cross-modale Repräsentationen in olfaktorischen Kortex Studie konnte eine Primzahl Themen indem sie gleichzeitig an den Anblick und der Geruch von einer Reihe von Lebensmitteln. Shortly nach, in der fMRI-Scanner würden die olfaktorische Erinnerung an die Gerüche, die durch visuelle Signale ausgelöst werden, und MVPA konnten in einem Versuch, die Studien an den richtigen Lebensmitteln ausschließlich auf Aktivitäten in olfaktorischen Kortex Basis zuzuweisen verwendet werden. Eine weitere interessante Frage ist, ob die Cross-modal induzierte Aktivitätsmuster in den frühen sensorischen Kortex Ähnlichkeiten mit den Mustern, die induziert werden, wenn Ton-oder Touch-tatsächlich erlebt wird sich tragen, in anderen Worten, sehen die Glasvase zerbrechen rufen ein ähnliches Muster von neuronale Aktivität in frühen auditorischen Kortex als tatsächlich hören das gleiche Ereignis? Diese Frage kann wiederum durch MVPA angesprochen werden: ist ein Classifier, die auf Daten aufgezeichnet wurde trainiert, während Probanden hörten bestimmte Töne in der Lage, richtig zu diskriminieren Daten aufgezeichnet werden, während die Probanden beobachtet entsprechenden Video-Clips? In unserem auditiven Studie haben wir versucht eine solche Klassifizierung, aber die Ergebnisse waren marginal (siehe Abb.. 3 in ref. 7). In dieser Studie wurden jedoch die akustische Assoziationen der Teilnehmer in keiner Weise kontrolliert, mit anderen Worten, wir wissen nicht, wie ähnlich die Hörbilder jedes Thema mit Videos verbunden, um die Audiospuren verwendet werden, um den Klassifikator trainiert wurde. Auch hier könnte es interessant sein, die gleiche Frage-Adresse nach bestimmten cross-modale Verbände in den Fächern wurden grundiert haben, wie oben für eine visuell-olfaktorischen Vereins beschrieben. Dies würde es ermöglichen, mehr zuverlässig kontrollieren die geistige Erfahrung der Probanden während der Video-Studien und damit vielleicht Vorhersage Performance des Klassifikators zu erhöhen. Zum Schluss haben wir eine Erweiterung der klassischen MVPA Paradigma eingeführt durch die zeigen, dass Reize nicht nur innerhalb vorhergesagt werden kann, sondern auch über sensorischen Modalitäten. So zeigen wir, dass die Verwendung von MVPA nicht auf die Untersuchung der Korrelate der anschaulichen Vorstellungen direkt von externen sensorische Stimulation induziert begrenzt. Vielmehr kann auch MVPABeurteilung der neuronalen Substrat von mental images, die intern ausgelöst: in Übereinstimmung mit Damasio den Konvergenz-Divergenz-Zonen Rahmen, deuten unsere Ergebnisse, dass die bewusste Erfahrung von mental images, die basierend auf Erinnerungen rekonstruiert werden mit content-spezifische neuronale Repräsentationen in der frühen sensorischen korreliert Rinden.

cross-modal multivariate pattern analysis

Multivariate Analyse-Muster (MVPA) ist eine zunehmend beliebte Methode zur Analyse der funktionellen Magnetresonanztomographie (fMRI) Daten 1-4. Typischerweise wird die Methode verwendet, um ein Thema, das Wahrnehmungs-Erfahrungen aus neuronaler Aktivität in bestimmten Regionen des Gehirns zu identifizieren. Zum Beispiel wurde eingesetzt, um die Ausrichtung der optischen Gitter ein Thema nimmt aus der Tätigkeit in frühen visuellen Kortex 5 oder analog, der Inhalt der Rede von der Aktivität in frühen auditorischen Kortex 6 vorherzusagen. Hier präsentieren wir eine Erweiterung des klassischen MVPA Paradigma, wonach Wahrnehmungsreize nicht innerhalb, sondern über sensorische Systeme vorhergesagt. Insbesondere befasst sich mit der Methode beschreiben wir die Frage, ob Reize, die Erinnerung Verbände in Modalitäten andere als die, durch die sie präsentiert werden evozieren induzieren content-spezifische Aktivitätsmuster in den sensorischen Kortex jener anderen Modalitäten.So sehen einem gedämpften Videoclip von einer Glasvase erschütternd auf dem Boden löst automatisch in die meisten Beobachter eine auditive Bild der zugehörigen Sound; die Erfahrung dieses Bild in der &quot;geistigen Ohr&quot; ist korreliert mit einem bestimmten neuronalen Aktivitätsmuster in der frühen auditorischen Kortex? Darüber hinaus ist dieses Aktivitätsmuster unterscheidet sich von dem Muster, dass beobachtet werden konnte, wenn das Thema waren, sondern gerade ein Video-Clip von einem heulenden Hund? In zwei früheren Studien 7,8, konnten wir vorhersagen, Ton-und Touch-was bedeutet, Video-Clips auf neuronale Aktivität in frühen auditorischen und somatosensorischen Kortex auf, jeweils. Unsere Ergebnisse stehen im Einklang mit einer neuroarchitectural Rahmen von Damasio 9,10 vorgeschlagen, nach der die Erfahrung von mental images, die auf Erinnerungen beruhen - wie das Hören des Klirren einer Vase in der &quot;geistigen Ohr&quot; beim Anblick des entsprechenden Video clip - wird durch die Re-Konstruktion von Inhalten unterstützt-Spezifische neuronale Aktivitätsmuster in der frühen sensorischen Kortex.

Watch this Scientific Journal Video about Cross-Modal Multivariate Pattern Analysis at JoVE.com

Cross-Modal Multivariate Pattern Analysis

Klassische multivariate Muster-Analyse prognostiziert Sinnesreize ein Thema nimmt von neuronaler Aktivität in den entsprechenden Kortex (zB visuelle Reize aus der Tätigkeit in visuellen Kortex). Hier wenden wir Musteranalyse cross-modal und zeigen, dass Sound-und Touch-was bedeutet, optische Reize aus der Tätigkeit in auditorischen und somatosensorischen Kortex vorhergesagt werden kann, bzw..

Multivariate pattern analysis (MVPA) is an increasingly popular method of analyzing functional magnetic resonance imaging (fMRI) data1-4. Typically, the ...

cross-modal-multivariate-pattern-analysis

Research

JoVE Journal

Neuroscience

19.8K Aufrufe.  University of Southern California. Klassische multivariate Muster-Analyse prognostiziert Sinnesreize ein Thema nimmt von neuronaler Aktivität in den entsprechenden Kortex (zB visuelle Reize aus der Tätigkeit in visuellen Kortex). Hier wenden wir Musteranalyse cross-modal und zeigen, dass Sound-und Touch-was bedeutet, optische Reize aus der Tätigkeit in auditorischen und somatosensorischen Kortex vorhergesagt werden kann, bzw..