Cross-modal Análisis Multivariante Patrón

Resumen

Análisis clásico modelo multivariado predice los estímulos sensoriales un sujeto percibe de la actividad neuronal en la corteza correspondiente (por ejemplo, los estímulos visuales de la actividad en la corteza visual). En este caso, se aplica el análisis de patrones cross-modal y demostrar que el sonido y el tacto, lo que implica estímulos visuales se pueden predecir a partir de la actividad en el auditorio y la corteza somatosensorial, respectivamente.

Resumen

Análisis de patrones multivariantes (MVPA) es un método cada vez más popular de analizar la resonancia magnética funcional (fMRI) de datos ^4.1. Normalmente, el método se utiliza para identificar la experiencia perceptiva de un sujeto de la actividad neuronal en ciertas regiones del cerebro. Por ejemplo, se ha empleado para predecir la orientación de las rejillas visual de un sujeto percibe de la actividad en las cortezas visuales ^{de 5} o, análogamente, el contenido del discurso de la actividad en la corteza auditiva temprana ^6.

A continuación, presentamos una extensión del clásico paradigma MVPA, según la cual los estímulos perceptivos, no se prevé dentro, pero a través de los sistemas sensoriales. En concreto, el método se describe se refiere a la cuestión de si los estímulos que evocan las asociaciones de la memoria en otras modalidades que la que a través del cual se presentan inducir el contenido específico de los patrones de actividad en las cortezas sensoriales de las otras modalidades.Por ejemplo, ver un clip de vídeo silenciado de un jarrón de cristal rompiendo en el suelo se dispara automáticamente en la mayoría de los observadores una imagen auditiva de los sonidos que los representan, es la experiencia de esta imagen de "oído de la mente" la correlación con un patrón de actividad neuronal específico a principios de cortezas auditivas? Además, es este patrón de actividad distinto del modelo que se puede observar si el sujeto fuera, en cambio, ver un video de un perro que aúlla?

En dos estudios previos ^7,8, hemos sido capaces de predecir el sonido y el tacto, lo que implica clips de vídeo basado en la actividad neuronal en auditiva temprana y la corteza somatosensorial, respectivamente. Nuestros resultados están en línea con un marco neuroarchitectural propuesto por Damasio ^9,10, según la cual la experiencia de las imágenes mentales que se basan en los recuerdos - como escuchar el sonido de rotura de un jarrón en el "oído de la mente" al ver el vídeo correspondiente clip - con el apoyo de la re-construcción de los contenidosEspecíficos de los patrones de actividad neuronal en las cortezas sensoriales primarias.

Protocolo

1. Introducción

Análisis de patrones multivariantes (MVPA) es un método cada vez más popular de analizar la resonancia magnética funcional (fMRI) de datos ^4.1. Normalmente, el método se utiliza para identificar la experiencia perceptiva de un sujeto de la actividad neuronal en ciertas regiones del cerebro. Por ejemplo, se ha empleado para predecir la orientación de las rejillas visual de un sujeto percibe de la actividad en las cortezas visuales ^{de 5} o, análogamente, el contenido del discurso de la actividad en la corteza auditiva temprana ^6. En este artículo, video, se describe una nueva aplicación de MVPA que añade un toque adicional a esta básica, intra-modal de paradigma. En este enfoque, los estímulos perceptuales se prevé no dentro, sino a través de los sistemas sensoriales.

2. Análisis multivariado de patrones

Aunque el método MVPA por ahora está bien establecido dentro de la esfera de neuroimagen, vamos a empezar por pointing las diferencias clave entre MVPA y el análisis convencional, fMRI univariado. Para ello, consideremos el siguiente ejemplo de cómo los dos métodos de ir sobre el examen de la actividad neuronal en la corteza visual durante una tarea visual simple ( video 1 ):

1. Un tema se presenta con dos diferentes estímulos visuales, por ejemplo, una imagen de una naranja y una imagen de una manzana.
2. Los estímulos, tanto inducir un patrón específico de actividad neuronal en la corteza visual primaria, simbolizada aquí por los niveles de activación de seis voxels hipotético. (Por supuesto, los patrones de actividad inducida por una sola presentación de la naranja o las imágenes de la manzana en la realidad sería muy ruidoso; considerar los patrones muestra los promedios resultantes de un gran número de ensayos.)
3. En el análisis de resonancia magnética convencional, existen básicamente dos formas en que estos patrones pueden ser analizados. En primer lugar, uno puede concentrarse en la leve medial de la actividad en toda la región de interés.
4. En el ejemplo dado, la diferencia en los niveles promedio de actividad no es significativa, por lo que los patrones correspondientes a los dos estímulos no se puede distinguir desde este punto de vista.
5. Otra forma de analizar los dos modelos es el de establecer una diferencia de la resta entre ellos: para cada voxel, el nivel de activación durante la "manzana" condición se resta del nivel de activación durante la "naranja" condición. La diferencia resultante puede ser visualizado por cada voxel en una imagen de contraste de todo el cerebro.
6. Una vez más, sin embargo, estas diferencias pueden ser pequeñas y pueden alcanzar el criterio estadístico requerido sólo para voxels muy pocos.
7. Aquí es donde la ventaja decisiva de MVPA entra en juego: el poder superior se deriva del hecho de que, a diferencia de los métodos de análisis univariado, se considera que los niveles de activación de todos los voxels de forma simultánea y por lo tanto es capaz de detectar patrones en su interior. Si bien, como mentioned, sólo algunas de las diferencias de activación puede ser importante cuando se considera en forma aislada, los dos patrones, considerados en su totalidad, puede de hecho por diferencias estadísticas significativas.

Hay una segunda diferencia importante entre el análisis convencional de resonancia magnética funcional y MVPA ( Video Clip 2 ). El primer método normalmente intenta demostrar una dependencia estadística entre ciertos estímulos sensoriales y ciertos patrones de actividad cerebral de un modo "forward", es decir, se hace una pregunta del tipo: "Will dos estímulos visuales diferentes, por ejemplo, la imagen de un rostro y la imagen de una casa, llevar a diferentes niveles de actividad en una región específica de interés, por ejemplo, el área fusiforme facial? " Por el contrario, el éxito de MVPA habitualmente se expresa en términos de "inferencia inversa" o "decodificación", la pregunta típica es del tipo: "Con base en el patrón de actividad neuronal en un registro específico ion de interés (por ejemplo, la corteza visual primaria), se puede predecir si un sujeto percibe un estímulo, por ejemplo, una naranja, o el estímulo B, por ejemplo, una manzana? "Tenga en cuenta, sin embargo, que la dirección en que la correlación entre los estímulos perceptivos y la actividad del cerebro se correlaciona no importa desde el punto de vista estadístico: es equivalente a decir que dos estímulos conducen a patrones de actividad distinta de una región cerebral determinada y decir que el patrón de actividad en esa región del cerebro permite predecir del estímulo ¹¹ . En otras palabras, la sensibilidad de MVPA es superior a la de los análisis univariados, ya que considera simultáneamente varios voxels, y no porque procede en sentido inverso.

Los pasos siguientes ilustran cómo un típico paradigma MVPA abordaría la cuestión de si al ver una manzana produce un patrón de actividad neuronal en la corteza visual primaria que ver a una naranja (_upload/3307/3307_Meyer-Kaplan_Video_3.mov "> Video Clip 3):

1. datos de la fMRI se adquieren, mientras que un sujeto ve gran cantidad de estímulos de manzana y naranja.
2. Los datos obtenidos se dividen en un conjunto de datos de entrenamiento y un conjunto de datos de prueba. Al contrario que en el presente ejemplo, el conjunto de datos de entrenamiento es a menudo elegido para ser más grande que el conjunto de datos de prueba, ya que el rendimiento del clasificador se puede esperar que aumente el número de ensayos de entrenamiento.
3. Los datos del conjunto de entrenamiento se introducen en un clasificador de patrones. Usando uno de varios algoritmos matemáticos es posible, el clasificador de los intentos de detectar las características de los patrones neuronales que distinguen los dos tipos de estímulo el uno del otro. Un tipo de clasificador de uso común (también en nuestros estudios previos propios) son las llamadas máquinas de vectores soporte, para obtener más detalles, se remite al lector a los estudios mencionados en la introducción.
4. Después de que el clasificador se ha entrenado en los ensayos de entrenamiento, es Provided con los datos de prueba. Los ensayos individuales del conjunto de datos de prueba son sin etiqueta, en otras palabras, el clasificador no "sabe" si un patrón viene de una "manzana" o un juicio "naranja".
5. En base a la consistencia que era capaz de detectar en el conjunto de datos de entrenamiento, el clasificador de los atributos de la etiqueta más probable que cada uno de los ensayos de prueba.
6. Para cada modelo, el clasificador de "adivinar" se puede comparar con la etiqueta de estímulo correcto.
7. Si el clasificador fue incapaz de detectar alguna diferencia consistente entre los patrones inducidos por los dos estímulos, su rendimiento debe estar al nivel de azar, por la discriminación de dos vías dadas en el ejemplo, esto correspondería a las etiquetas de un 50% correcta. Una predicción de rendimiento muy por encima de este valor indica que sí hay diferencias consistentes entre los dos tipos de estímulos.

Tenga en cuenta que es crucial que los datos de entrenamiento y prueba de conjuntos de ser independiente de una Another. Sólo si este es el caso puede extraerse ninguna conclusión en cuanto a la generalización de los modelos derivados del conjunto de entrenamiento. Estudios MVPA menudo evaluar el desempeño del clasificador utilizando un modelo de validación cruzada ( Video Clip 4 ). Supongamos que un experimento MVPA consta de ocho carreras funcionales. En la primera etapa de validación cruzada, un clasificador es entrenado en los datos de carreras de 1 a 7 y probado en los datos de ejecución 8. En el segundo paso, el clasificador es entonces entrenado en carreras de 1 a 6, así como ejecutar 8, y posteriormente probado en ejecución 7. Siguiendo este esquema, ocho de validación cruzada pasos se llevan a cabo, con cada carrera que sirve como prueba de funcionamiento exactamente una vez. El rendimiento del clasificador general se calcula como el promedio de las actuaciones en el individuo de validación cruzada pasos. Si bien este procedimiento garantiza la formación independiente y conjuntos de datos de prueba en cada paso, sino que también maximiza el número totalde los ensayos de prueba, que puede ser una ventaja al evaluar la significación estadística de los resultados del clasificador.

Hay paquetes de software disponibles gratuitamente en Internet para realizar MVPA, dos ejemplos son PyMVPA ¹² (basado en Python, http://www.pymvpa.org ) y la caja de herramientas que ofrece el Instituto de Neurociencias de Princeton (basado en Matlab, http:/ / code.google.com / p / Princeton-MVPA-caja de herramientas / ).

3. Cross-modal MVPA y el Marco de las zonas de convergencia divergencia-

Como se mencionó en la introducción, paradigmas experimentales, como el que acabamos de describir se han utilizado con éxito para predecir los estímulos perceptivos de la actividad neuronal en las correspondientes cortezas sensoriales, es decir, los estímulos visuales basados ​​en la actividad en las cortezas visuales y estímulos auditivos basados ​​en la actividad en la corteza auditiva . En este sentido,presentar una extensión de este concepto básico. En concreto, la hipótesis de que debería ser posible predecir los estímulos perceptivos, no sólo dentro, sino a través de las modalidades. La percepción sensorial está íntimamente ligada a la rememoración de los recuerdos, por ejemplo, un estímulo visual que tiene una implicación auditiva fuertes, tales como la visión de un jarrón de cristal rompiendo en el suelo, dispara automáticamente en nuestro "oído de la mente" imágenes que comparten similitudes con las imágenes auditivas que hemos experimentado en los encuentros anteriores con la rotura de cristales. De acuerdo con un marco introducido por Damasio más de dos décadas atrás, ^9,10, la asociación de la memoria entre la vista de la vasija y las imágenes de sonido correspondiente se almacena en las llamadas zonas de convergencia-divergencia (CDZs, Video Clip 5 ). CDZs son conjuntos de neuronas en la corteza de asociación, que reciben la convergencia de abajo hacia arriba las proyecciones de diversos principios de una corticalreas (a través de varios niveles jerárquicos) y que, a su vez, envían divergentes de arriba hacia abajo las proyecciones de los sitios corticales mismo. Debido a la convergencia de abajo hacia arriba las proyecciones, CDZs pueden ser activados por representaciones perceptivas en múltiples modalidades - por ejemplo, tanto por la vista y el sonido de un vaso de rotura, debido a la divergencia de arriba hacia abajo las proyecciones, se puede promover la reconstrucción de imágenes asociadas al señalar de nuevo a la corteza temprana de otras modalidades. Damasio hizo hincapié en este último punto: la activación de CDZs en cortezas de asociación no sería suficiente para que el recuerdo consciente de una imagen de la memoria, y sólo una vez CDZs que reconstruir explícitas representaciones neuronales en las cortezas sensoriales primarias que la imagen se experimenta conscientemente. Por lo tanto, el marco prevé una secuencia específica de procesamiento neural en respuesta a un estímulo (puramente) visual que implica el sonido ( Video Clip6):

1. El primer estímulo induce un patrón específico de actividad neural (rectángulos rojos) en la corteza visual temprana.
2. Via convergentes de abajo hacia arriba las proyecciones, las neuronas de las cortezas visuales de proyectos hacia un primer nivel de CDZs (CDZ ₁ s). El patrón convergente de conectividad permite que el CDZ ₁ s para detectar ciertos patrones de actividad en las cortezas visuales primarias. Dependiendo del modelo exacto, un CDZ puede o no puede ser activado. CDZs lo tanto, actúan como extractores de características. En este ejemplo, dos CDZ ₁ s se activan (como se indica por el color rojo), mientras que el tercero no es provocado por el patrón de actividad específica en el sector correspondiente de la corteza visual temprana.
3. CDZ ₁ s enviar convergentes de abajo hacia arriba las proyecciones para CDZ ₂ s, por lo tanto, al igual que CDZ ₁ s detectado ciertos patrones de actividad en las cortezas visuales primarias, CDZ ₂ s son capaces de detectar patrones de actividad entre los CDZ ₁ s. Varios CDZ ₂ s puede llegar a ser activado por la configuración específica de activar CDZ ₁ s, por razones de simplicidad, un solo CDZ ₂ se muestra aquí. En el ejemplo, el patrón de actividad de los CDZ ₁ s es suficiente para activar esta CDZ _2.
4. En particular, CDZ ₁ s no sólo para proyectar hacia adelante CDZ ₂ s, sino también volver a las capas corticales primarias (flechas azules). Estas señales de arriba hacia abajo puede completar el patrón de actividad (posiblemente ruidosa), inicialmente inducidos por el estímulo (rectángulo azul). En general, el color rojo indica abajo hacia arriba activaciones, mientras que el color azul representa de arriba hacia abajo activaciones.
5. A través de varios niveles adicionales de CDZs, el proyecto de la ₂ CDZ s adelante a CDZ _n s en las cortezas de orden superior asociación (línea discontinua flecha). Uno o varios CDZ _n s pueden responder a los estímulos visuales específicas en cuestión (sólo uno se representa).
6. Una vez más, hay que señalar que el CDZ ₂ s als o hacia atrás a _un CDZ s que, a su vez, puede modificar aun más el modelo originalmente inducido en la corteza visual a principios de la señal.
7. La señal de la _n CDZ s de nuevo a la CDZ ₂ s de todas las modalidades. En la corteza visual, esto puede conducir a la realización de los patrones de actividad en el nivel inferior CDZs. En la corteza auditiva, un patrón neural se construirá - por primera vez en el nivel de CDZ ₂ s y CDZ s _1, en ​​última instancia, en la corteza auditiva temprana - que permite la experiencia consciente de una imagen auditiva asociada con el estímulo presentado visualmente. Tenga en cuenta que también hay señales de arriba hacia abajo a la modalidad somatosensorial, aunque en menor medida que en la modalidad auditiva. Esto refleja el hecho de que casi cualquier estímulo visual tiene alguna relación táctil con ella. A medida que el estímulo visual en el presente ejemplo se supone que implica específicamente el sonido, sin embargo, de arriba hacia abajo de señalización a la corteza auditiva es más extensa.

ove_content "> Con base en la secuencia propuesta de procesamiento neural, el marco hace una predicción específica:. estímulos visuales que contienen objetos y eventos que implican fuertemente el sonido debe evocar la actividad neuronal en el córtex auditivo temprano Por otra parte, los patrones de actividad auditiva debe ser estímulo específico; en otras palabras, un video clip de romper un jarrón debe inducir un patrón diferente al de un clip de un perro aullando Si esta predicción fuera correcta, entonces en realidad debería ser capaz de realizar cross-modal MVPA:. por ejemplo, debemos ser capaces de de predecir, basado exclusivamente en la huella digital la actividad neuronal en las cortezas auditiva temprana, si una persona ve un jarrón o romper un perro que aúlla ( Video Clip 7 ). Naturalmente, los paradigmas análogos invocando la transferencia de información entre otras modalidades sensoriales también debe tener éxito. Por ejemplo, si los clips de vídeo se muestra a un toque sujeto implicado en lugar dede sonido, debemos ser capaces de predecir los clips de los patrones de actividad que provocan en la corteza somatosensorial temprano.

4. Estímulos

El paradigma general de un estudio MVPA se describe en la Sección 2. Nuestro enfoque es diferente a estudios anteriores en los que se intenta realizar a través de MVPA sistemas sensoriales y por lo tanto, utiliza estímulos que están específicamente diseñados para tener implicaciones en una modalidad sensorial que no sea aquel en el que se presentan. En un estudio previo, por ejemplo, se registró la actividad neuronal de la corteza somatosensorial primaria, mientras que los sujetos observaron video clips de 5 segundos de los objetos cotidianos siendo manipulado por manos humanas, ⁸ ( Video Clip 8 y Video Clip 9 ). En otro estudio, se investigó la actividad neuronal en el córtex auditivo principios de WHIlos sujetos le ve clips de vídeo que los objetos representados y los eventos que implica fuertemente el sonido ⁷ ( video de 10 y 11 Video Clip ). Sin embargo, de acuerdo con el marco CDZ, los estímulos sensoriales de todas las modalidades potencialmente pueden ser empleados en este paradigma general, siempre que tienen implicaciones en otras modalidades.

5. Regiones de Interés

En general, las regiones de interés para un estudio de neuroimagen se puede determinar ya sea funcional o anatómica. Creemos que en el paradigma experimental que describimos aquí, localizadores anatómicos son más adecuados por dos razones. En primer lugar, no es trivial para definir funcionalmente la corteza primaria o primeros de una modalidad sensorial dado (con la posible excepción de la corteza visual primaria), como el procesamiento de perceptual estímulos presentados al sujeto en esa modalidad por lo general no se limita a estas áreas. Por ejemplo, sería difícil definir la corteza somatosensorial primaria mediante la aplicación de toque de las manos de un sujeto, como la actividad inducida por este procedimiento, con toda probabilidad, se extendió a somatosensorial cortezas de asociación, así. En segundo lugar, un localizador funcional no puede etiquetar todos los voxels que podrían contribuir al desempeño del clasificador: se ha demostrado que las áreas que no muestran la activación de red en respuesta a los estímulos sensoriales en el sentido clásico del término (es decir, las regiones que no aparecen en una imagen de alto contraste [estimulación vs resto]) pueden contener información sobre los estímulos, sin embargo ^13,14. Por estas dos razones, abogamos por el uso de las regiones anatómicas de interés definida siempre puntos de referencia para este macroscópicas permiten, por ejemplo, la anatomía de la circunvolución postcentral representa una aproximación razonable de la corteza somatosensorial primaria, Y usamos esto para definir la región de interés en nuestro estudio somatosensorial ⁸ (Figura 1).

6. Los sujetos

Las muestras de sujetos en los estudios de MVPA tienden a ser menores que en los estudios convencionales de resonancia magnética funcional, ya que el análisis se puede realizar a nivel de una sola materia. Por supuesto, esto no impide que el experimentador de posteriormente analizar los resultados de los distintos temas a nivel de grupo también. En los dos estudios mencionados anteriormente, por ejemplo, se realizaron pruebas t en los resultados sujeto individual con el fin de evaluar su importancia a nivel de grupo. Cada estudio incluyó a ocho sujetos, aunque esto debe considerarse como una muestra de sujetos muy pequeño para las pruebas paramétricas, encontramos muchas de las discriminaciones se evaluó a ser significativo (ver más abajo).

7. Los resultados representativos:

Como se ha mencionado, en dos estudios previos que tuvo como objetivo predecir el sonido-lo que implica clips de vídeosobre la base de la actividad neuronal en las cortezas auditiva temprana ⁷ (véase la figura 2 de la máscara utilizada en este estudio) y el tacto-dando a entender clips de vídeo basado en la actividad de cortezas somatosensoriales primaria ^8. Este intento tuvo éxito: en ambos estudios, un clasificador MVPA realiza por encima del nivel de probabilidad del 50% para todas las posibles discriminaciones de dos vías entre los pares de estímulos (n = 36 en el estudio auditivo, ya había 9 diferentes estímulos, n = 10 para el estudio somatosensorial, ya hay 5 diferentes estímulos). En el estudio auditivo, 26 de los 36 discriminaciones alcanzó significación estadística, en el estudio somatosensorial, este fue el caso de ocho de las 10 distinciones (dos colas t-test, n = 8 en ambos estudios, la figura 3).

Figura 1. Extensión de la máscara anatómica definida de corteza somatosensorial primaria, tal como se utiliza en Meyer et al., 2011. Un clasificadoralgoritmo fue capaz de predecir lo que implica tocar-clips de vídeo de los patrones de actividad cerebral restringida a la región delimitada. Reproducido con permiso de Oxford University Press.

Figura 2. Alcance de la máscara anatómica definida de corteza auditiva temprana, tal como se utiliza en Meyer et al., 2010. Un algoritmo clasificador fue capaz de predecir (en silencio) el sonido-lo que implica video clips de los patrones de actividad cerebral restringida a la región delimitada. Reproducido con permiso de Nature Publishing Group.

Figura 3. Resumen de los resultados de nuestro anterior intermodal estudios MVPA. Un clasificador se utilizó para predecir los estímulos visuales que implica ya sea sonido o el tacto de la actividad en el auditorio temprano o cortezas somatosensoriales primaria, respectivamente. Paneles superiores: en ambos estudioss, la predicción de rendimiento estaba por encima del nivel de riesgo de 0,5 para todas las discriminaciones de dos vías entre pares de estímulos. Paneles de fondo: en el estudio auditivo, el rendimiento del clasificador alcanzó significación estadística en 26 de los 36 las discriminaciones, en el estudio somatosensorial, este fue el caso de ocho de las 10 distinciones. Reproducido con permiso de Nature Publishing Group y Oxford University Press.

Discusión

Los resultados de nuestros estudios anteriores demuestran que intermodal MVPA es una herramienta útil para estudiar los correlatos neurales de las imágenes mentales con experiencia en el "oído de la mente" y el "toque de la mente". En concreto, los resultados muestran que el contenido de esas imágenes se correlaciona con la actividad neuronal en el sistema auditivo precoz y cortezas somatosensoriales, respectivamente, proporcionando apoyo empírico directo para el marco de Damasio de las zonas de convergencia divergencia.

El paradigma básico que describimos puede ser extendido en un número de maneras. La más obvia, estudios similares pueden llevarse a cabo utilizando diferentes combinaciones de modalidades sensoriales. En este sentido, es posible que el establecimiento de ciertas intermodal asociaciones antes del experimento puede aumentar las posibilidades de éxito. Por ejemplo, para estudiar intermodal representaciones en las cortezas olfatoria, se podría temas principales de la exposición de forma simultánea a la vista y el olor de una serie de productos alimenticios. Shortly después, en el interior del escáner fMRI, los recuerdos olfativos de los olores que ser activado por señales visuales, y MVPA podría ser utilizado en un intento de asignar las pruebas a los alimentos correcta basada solamente en la actividad en el córtex olfativo.

Otra cuestión de interés es si los patrones cross-modal inducida de la actividad en la corteza sensorial temprana tienen similitudes con los patrones que son inducidas cuando el sonido o el tacto es realmente experimentado, es decir, no ver el vaso de vidrio añicos invocar un patrón similar de la actividad neuronal en el córtex auditivo antes escuchar realmente el mismo evento? Esta pregunta, de nuevo, se pueden abordar a través de MVPA: es un clasificador que ha sido entrenado en los datos registrados, mientras que los sujetos oyeron ciertos sonidos capaces de discriminar correctamente los datos registrados, mientras que los sujetos vieron clips de vídeo correspondientes? En nuestro estudio auditivo, que intentó una clasificación, pero los resultados fueron marginales (ver fig. 3 en la ref. 7). En ese estudio, sin embargo, las asociaciones auditiva de los participantes no fueron controlados en forma alguna, en otras palabras, no sabemos cómo es similar el auditorio las imágenes de cada tema asociado con videos fueron a las pistas de audio utilizados para entrenar el clasificador. Una vez más, que podría ser interesante para hacer frente a la misma pregunta después de la cruzada específica modal asociaciones han sido preparados en los temas, tal como se describe más arriba para una asociación visuo-olfativo. Esto permitiría un control más fiable de la experiencia mental de los sujetos durante las pruebas de vídeo y por lo tanto puede aumentar el rendimiento de la predicción del clasificador.

Para concluir, hemos introducido una extensión del clásico paradigma MVPA al mostrar que los estímulos se pueden predecir, no sólo dentro, sino también a través de modalidades sensoriales. Por lo tanto, nos muestran que el uso de MVPA no se limita a la investigación de los correlatos de las representaciones perceptivas inducidas directamente por la estimulación sensorial externa. Por el contrario, también puede MVPAevaluar el sustrato neural de las imágenes mentales que se activan internamente: de acuerdo con el marco de Damasio zona de convergencia-divergencia, nuestros hallazgos sugieren que la experiencia consciente de las imágenes mentales que se reconstruyen sobre la base de recuerdos está relacionada con el contenido específico de las representaciones neurales a principios de los sentidos corticales.