Utilizzando misure di elettroencefalografia e registrazione Video di alta qualità per l'analisi di percezione visiva del contenuto multimediale

Riepilogo

Vi presentiamo il rilevamento, acquisizione e analisi dei tassi di eyeblink durante la visione di contenuti multimediali.

Abstract

Questo articolo Esplora un metodo per rilevare le differenze nella percezione visiva in esseri umani. Il metodo utilizzato è basato sulla funzione psicologica (o "cognitiva") di ammiccamento dell'occhio. Ammiccamento dell'occhio dei partecipanti vengono rilevati e acquisito durante la visione di video appositamente creati per l'indagine. La rilevazione e l'acquisizione di ammiccamento dell'occhio sono effettuati con l'aiuto di un dispositivo 20 canali elettroencefalografiche (EEG) wireless. L'international che System di 10-20 per il posizionamento dell'elettrodo è seguito. Una telecamera di video ad alta definizione (HD) viene utilizzata per registrare le espressioni facciali dei partecipanti, per finalità di contrasto. Invece di utilizzare pre-esistente di contenuti multimediali, contenuti video appositamente sono stato creato seguendo criteri specifici di interesse per questa indagine, con stimoli consentendo i ricercatori di gestire i parametri precisi di interesse. In caso contrario, i risultati potrebbero essere contaminati con variabili incontrollate. La sincronizzazione della presentazione di stimoli dei video con le registrazioni di EEG deve essere fatto in millisecondi. Analisi dei dati raccolti viene effettuata con software robusto per lavorare con matrici di grande. Differenze statisticamente significative nel tasso di eyeblink legate alla professionalizzazione di media e di stile di modifica sono trovate con le procedure sperimentali segnalate.

Introduzione

Lo scopo di questo metodo

Questo metodo propone un doppio protocollo per la rilevazione di ammiccamento dell'occhio. L'obiettivo è quello di analizzare la percezione visiva di visualizzatori di contenuto multimediale, creato appositamente per questa indagine, utilizzando sistemi di registrazione video HD e le registrazioni di EEG.

La spiegazione razionale dietro lo sviluppo e/o utilizzo di questo metodo

Ogni eyeblink nasconde flusso visivo per 150-400 ms^1,2. Lampeggia significa che è fisiologica^3,4,5 e psicologico^6,7 funzioni. La connessione tra tasso di attenzione ed eyeblink è stata studiata e dimostrata in diversi studi⁸. Un maggiore livello di attenzione diminuisce eyeblink tasso e secondo studi precedenti, gli esseri umani condividono un meccanismo per controllare i tempi di lampeggi che cerca il momento migliore per evitare la perdita di informazioni visive importanti⁹. Così, analizzando eyeblink comportamento degli spettatori quando guardando schermi potrebbe fornire informazioni per quanto riguarda il livello di attenzione per i contenuti multimediali.

Un metodo per la rilevazione del tasso spontaneo eyeblink è utilizzando elettrodi EEG per registrare l'attività elettrica. Ammiccamento dell'occhio possa essere facilmente individuati da prefrontale ed electrooculogram elettrodi collegati ad un sistema di registrazione EEG. Nella maggior parte delle analisi EEG, ammiccamento dell'occhio è considerati artefatti. Per questo motivo, molti pacchetti di software progettati per l'analisi dei dati EEG hanno eyeblink rilevatori¹⁰. Il vantaggio dell'utilizzo di EEG per la rilevazione di ammiccamento dell'occhio è l'alta risoluzione temporale (nell'ordine di millisecondi) e la possibilità di registrare effetti cervello delle diverse narrazioni e tagli nei film sincronizzati con quelli ammiccamento dell'occhio - una questione aperta per ulteriori Studio. Registrazione volti dei partecipanti con una telecamera HD può essere anche utile per corrispondenza/contrasto scopi⁹.

I vantaggi rispetto ai metodi alternativi con riferimenti a studi pertinenti

Esistono diversi metodi per il conteggio degli occhi lampeggia. Alcuni strumenti dedicati per la rilevazione lampeggia sono bobine magnetiche, fasci di luce a infrarossi (IR), rilevatori di movimento optoelettronici con analisi del movimento dell'occhio come tecniche di eye tracking e diverse tecniche basate su segnali bioelettrici, ad es., elettrooculografia (EOG), elettromiografia (EMG) ed EEG. Un'altra opzione più precisa, ma che richiede tempo manualmente conta lampeggia da una registrazione video frame-by-frame¹¹. Le tecnologie oggi possono essere classificate in due gruppi: a) contatto privo di registrazione che include due modalità, la rilevazione di lampeggio diretto utilizzando computer vision e rilevamento blink non in linea utilizzando eye tracking e b) contatto-base registrazione utilizzando segnali biologici attraverso EOG ed EEG dispositivi^12,13.

Il sistema di eye tracking è una tecnologia ampiamente utilizzata, che vanno dal tradizionale design passivo basato su immagine agli approcci vicino-infrarosso-base attivi pricipalmente usati oggi con una fotocamera ad alta risoluzione. Quest'ultimo sfrutta le proprietà riflettenti della pupilla sotto illuminazione IR¹⁴. Il concetto alla base di metodi moderni di eye tracking è allievo centro corneale riflessione (PCCR), che coinvolge una fotocamera il centro della pupilla, dove la luce si riflette dalla cornea di verifica. Tuttavia, c'è una mancanza di algoritmi di rilevamento blink pubblicato per protocolli di eye tracking. Inoltre, anche se i diversi modelli di eye tracking sul mercato forniscono software integrato con blink detection, il codice sorgente non è sempre fornito dai produttori, che lo rende difficile da modificare o sapere come gli algoritmi di lavoro¹². Inoltre, durante gli esperimenti con eye tracking ci sono eventi che causano perdita di dati, come il tracking ritardi e significativo testa o lo sguardo di movimenti. La zona degli occhi è molto piccola in cattura video, che è un problema per il calcolo della durata del batter, e che a volte presenta vari tipi di artefatti¹⁵.

In questo esperimento, vengono utilizzati metodi EEG ed EOG. EEG non è solitamente utilizzato da solo per rilevare ammiccamento dell'occhio. Tuttavia, analizzando ammiccamento dell'occhio registrato con elettrodi EEG è una procedura standard per lo studio degli spostamenti della palpebra. Questa procedura consente ai ricercatori di avere informazioni di esattamente quando ammiccamento dell'occhio si svolgono. Il modello più comune di segnale per la rilevazione lampeggia è quella dei punti di picco, che rappresenta le risposte di movimento verticale. Ci sono parecchi picco rilevamento algoritmi applicabili a crudo EEG, dominio del tempo, o segnali di frequenza-dominio. Processi coinvolti nella identificazione del picco sono rilevamento di picco, estrazione di caratteristiche e classificazione. Ammiccamento dell'occhio hanno un notevole effetto sui canali frontali del segnale EEG. In genere, ammiccamento dell'occhio è rilevati in EEG utilizzando una soglia di ampiezza pre-determinato¹⁶. Gli algoritmi del software di analisi utilizzati in questo esperimento si basano sulla deviazione standard dei segnali e quadratico medio (RMS) del segnale EEG pre-filtrato; sono open source e disponibile per la comunità scientifica¹⁷. Tuttavia, alcuni movimenti di occhio non comportino ammiccamento dell'occhio possono provocare l'attività elettrica che può essere fonte di confusione. Per questo motivo, un secondo metodo - registrazione facce degli spettatori con una videocamera HD - permette ai ricercatori di abbinare ammiccamento dell'occhio contando manualmente. Con tale metodo doppia, l'investigatore realizza una matrice di ammiccamento dell'occhio che possa essere facilmente analizzati con strumenti statistici.

Di conseguenza, il metodo proposto esegue una triangolazione di dati con due diverse fonti per convalidare l'ammiccamento dell'occhio rilevati. Questo metodo si basa su Nakano et al indicazioni⁹ per conferma. Allo stesso tempo, permette anche ai ricercatori di raccogliere informazioni di attività cerebrale e la banda di frequenza per ulteriori analisi. L'esperimento descritto qui è parte di una più ampia indagine futura gli effetti dei tagli di stile di editing su aree prefrontali e occipital del cervello.

Determinare che se il metodo è appropriato per un'indagine

Questo protocollo sperimentale consente ammiccamento dell'occhio degli spettatori, mentre la visione di contenuti video per essere studiato sotto tre condizioni sperimentali. In primo luogo, tasso di eyeblink viene rilevata utilizzando due tecniche complementari: EEG e video HD registrati. Qui, usiamo un EEG wireless con 20 canali. In secondo luogo, specifici stimoli adattati all'esperimento vengono creati, cosicché il ricercatore può gestire tutte le variabili del contenuto visivo. Qui, tre video con lo stesso stile di editing video narrativo, ma diverso sono stati creati. La narrazione ha consistito di un uomo che entrato in una stanza, seduti a una scrivania, manipolato con tre palle, aperto un computer portatile, visto le informazioni in alcuni libri, digitato qualcosa sul computer portatile, chiuso, mangiato una mela, visto direttamente nella fotocamera e uscì dalla stanza. Gli stimoli dei video tre ultimi 198 s ciascuno. Il primo era un film One-Shot; il secondo è stato modificato secondo le regole classiche di stile hollywoodiano con 33 diversi colpi; e il terzo è stato modificato seguendo le regole di MTV-stile con 79 colpi. Uno stimolo di quarto è stato anche presentato in cui la narrazione era identica, ma il formato è una rappresentazione reale con un attore invece di un video. Questo stimolo non video quarto non è stato utilizzato in uno studio iniziale delle differenze di stile di editing, ma è stato utilizzato in un'indagine per diversa per confrontare eyeblink-tasso differenze tra rappresentazione reale e schermato media⁸. In terzo luogo, diversi gruppi di partecipanti sono selezionati a seconda della loro precedente esperienza nell'analisi visiva dei video. Lo scopo è quello di determinare le differenze nei tassi di eyeblink di gruppi tematici guardando gli stessi stimoli visivi. In questo caso, 40 soggetti hanno preso parte all'inchiesta. Metà di loro erano professionisti dei media (16 maschi e 4 femmine; età 30-56 anni, con un'età media di 44,15 ±7.15 anni) e il resto erano professionisti non multimediale (15 maschi e 5 femmine; età 28-56 anni, con un'età media di ± 43.25 8,59 anni). Professionisti dei media sono stati scelti con il criterio di più di 6 anni di esperienza nel prendere le decisioni relative al editing di contenuti multimediali nel loro lavoro quotidiano.

Access restricted. Please log in or start a trial to view this content.

Protocollo

Tutti i metodi descritti qui sono stati approvati dalla Commissione etica per la ricerca con gli animali e gli esseri umani (CEEAH) dell'Universitat Autònoma de Barcelona.

1. creazione e presentazione di stimoli visivi

1. Creare gli stimoli dei video secondo gli obiettivi desiderati.
   1. Decidere quali variabili sono di interesse per gli stimoli dei video.
      Nota: ad esempio, nella presente inchiesta, la principale variabile di interesse è lo stile di modifica.
      1. Decidere la durata, il contenuto e lo stile del video basato sull'interesse dell'esperimento. Per determinare di tutte queste variabili, è necessario considerare quanti video il partecipante sta a guardare e per quanto tempo il partecipante sarà a guardare lo schermo, valutare se la narrazione del video soddisfa l'interesse e decidere lo stile di visualizzazione del video.
   2. Scrivere la sceneggiatura, prestando attenzione alle variabili selezionate.
   3. Registrare i video con una videocamera di alta qualità e modificare il video come necessario. Cercare un aiuto professionale, se necessario.
2. Progettare un contesto appropriato per la presentazione di stimoli.
   1. Decidere dove l'acquisizione dei dati si svolgerà e progettare uno spazio confortevole per visualizzare gli stimoli. I partecipanti dovrebbero sentirsi a proprio agio.
   2. Selezionare uno schermo di alta qualità per la presentazione del video. Maggiore è la qualità dello schermo, il migliore.
   3. Se ci sono dei video diversi film che sarà presentato, selezionare un metodo per la randomizzazione della loro presentazione.
      Nota: È conveniente randomizzare presentazione di stimoli attraverso i soggetti per evitare risultati inconcludenti a causa dell'ordine in cui i partecipanti percepiscono uno stimolo.
   4. Scegli un pacchetto di software per presentare i video.
      Nota: Ci sono varie opzioni che permettono al ricercatore di visualizzare diversi stimoli con temporizzatori Inter-trial e istruzioni o anche una presentazione randomizzata. Quando si sceglie il software, è fondamentale considerare la sua capacità per la sincronizzazione con dispositivi di acquisizione dati. Poiché questo protocollo analizza tasso eyeblink dei partecipanti, la sincronizzazione tra la presentazione visiva di stimoli visivi e il dispositivo di EEG è fondamentale.

2. selezione dei partecipanti

1. Stabilire un criterio per scegliere i partecipanti. Quando una variabile specifica sta per essere analizzato, è necessario un gruppo di controllo. Annotare il criterio e consultarsi con i colleghi per migliorare il disegno di studio.
2. Selezionare i partecipanti e chiedere l'approvazione da un comitato etico che segue regolamenti e linee guida pertinenti.
   Nota: La maggior parte delle università e centri di ricerca hanno un comitato etico. Per richiedere l'approvazione, sarà necessario comunicare loro gli obiettivi di indagine. Requisiti comuni includono spiegando i metodi di ricerca, i benefici dell'indagine alla società, come si otterranno il consenso informato, se i partecipanti saranno essere ricompensati finanziariamente, e come i dati raccolti dai partecipanti saranno gestiti. Prendere tempo per progettare questa richiesta. È molto importante ottenere l'approvazione di un comitato etico per condividere i risultati con la comunità scientifica. Alcuni documenti che possono essere utili a questo proposito sono la dichiarazione di Helsinki, il codice di Norimberga e il Belmont Report.
3. Progettare un modulo di consenso informato per i partecipanti e seguire i criteri del comitato etico.
4. Spiegare l'esperimento a tutti i potenziali partecipanti. Lasciate che il partecipante conoscere tutte le informazioni importanti, ma evitare di informazioni che non sono importante o può influenzare i risultati dell'esperimento.
   Nota: per esempio, in un protocollo di rilevamento del eyeblink, il partecipante non può essere detto che ammiccamento dell'occhio stanno per essere rilevato, come questo potrebbe modificare il tasso di eyeblink naturale. Chiedere per la loro approvazione a partecipare. Darà ogni partecipante il documento di consenso informato e consentire loro abbastanza tempo per leggerlo, per capire il testo e, infine, di firmarlo.
5. Fissare un appuntamento con ogni partecipante per condurre l'esperimento. Dare al partecipante le seguenti istruzioni: per arrivare riposati e con recentemente lavato i capelli; prodotti chimici come lacca per capelli, ecc., dovrebbero essere evitati perché possono influenzare le registrazioni di EEG. Dare al partecipante tutte le necessarie informazioni di contatto.

3. set-up preparazione

1. Preparare la sessione sperimentale ben prima dell'arrivo del partecipante. Provare la sessione con un collega. Nel caso in cui qualcosa di non corretto viene rilevato, apportare le modifiche corrispondenti alla sessione sperimentale.
   1. Preparare le connessioni tra tutti i dispositivi che stanno per essere utilizzati e controllare la loro sincronizzazione (stimoli visivi presentazione e acquisizione dati).
      Nota: La connettività tra hardware e software è fondamentale. È opportuno eseguire prove per confermare la sincronizzazione. Discutere con il fabbricante o sviluppatore di software, se necessario.
2. Rendere i soggetti a sentirsi a proprio agio nella stanza sperimentale: Benvenuti al partecipante e preparare uno spazio per loro cose (borse e altri).
3. Spiegare l'intero protocollo al partecipante: dove il partecipante sarà seduto, quanti stimoli visivi stanno per essere mostrato e la lunghezza della sessione. Spiegare che la cooperazione del partecipante è estremamente importante.
4. Poiché un sistema di registrazione EEG wireless sta per essere utilizzato, di spiegare quanto sia difficile queste registrazioni sono e che al fine di ottenere adeguati segnali elettrofisiologici con artefatti Bassi, è possibile che il partecipante non deve muoversi inutilmente.

4. acquisizione dati

1. Pulire la superficie della pelle del partecipante per rimuovere eventuali tracce di sporco o residui di prodotti per capelli.
2. Misurare la testa del partecipante. Misurare la distanza tra il nasion e l'inion e segnare il punto a metà strada come un vertice.
3. Preparare gli elettrodi nel tappo EEG utilizzando il sistema di 10-20.
4. Mettere il tappo sul tema dopo il marchio in modo che corrisponda il vertice centrale punto zero (Cz) della PAC.
5. Applicare il gel conduttivo con l'aiuto di una siringa per elettrodi; Assicurarsi che il tappo si adatta bene sulla testa del soggetto.
6. Posizionare l'elettrodo di riferimento e l'elettrodo EOG sulla testa del soggetto.
7. Assicurarsi che il partecipante è comodamente seduto e preparato per la sessione.
8. Fuoco una videocamera HD sul fronte del partecipante in primo piano. Questo utilizzerà per rilevare manualmente ammiccamento dell'occhio dei partecipanti.
9. Verifica che tutti i dispositivi siano sincronizzati.
10. Verificare che la casella di controllo di EEG sia collegata correttamente al computer i dati di registrazione.
11. Controllare che il segnale per ciascun elettrodo sia corretto; in caso contrario, verificare per l'elettrodo problematico.
    Nota: Alcuni motivi comuni per un segnale negativo da un elettrodo sono una mancanza di gel conduttivo dell'elettrodo, una cattiva posizione dell'elettrodo sulla testa, o una cattiva connessione del cavo dell'elettrodo con la sua scatola di controllo.
12. Quando tutto è pronto, iniziare l'esperimento di registrazione (e la riproduzione del video).

5. post-sperimentale sessione

1. Rimuovere il cappuccio dalla testa del partecipante e, se possibile, fornire al partecipante un questionario sugli argomenti di interesse.
2. Salvare tutti i dati in un disco rigido esterno.
   Nota: Si raccomanda di eseguire il backup dei dati. Una buona opzione sarebbe quella di salvare i dati su due dischi rigidi esterni e conservarli in luoghi diversi. Nel progettare la procedura migliore, è importante considerare il protocollo per l'archiviazione di dati approvati dal comitato etico.
3. Pulire gli elettrodi e il tappo; la maggior parte gli elettrodi devono essere puliti immediatamente dopo l'uso.
   1. Pulire gli elettrodi e tappo con abbondante acqua sotto un rubinetto e senza prodotto chimico (salvo altrimenti dal produttore del dispositivo). Asciugare accuratamente gli elettrodi per evitare la corrosione. Se questo protocollo non è sufficiente per pulire il coperchio, di solito può essere lavato in lavatrice (vedere le istruzioni del produttore).

6. analisi dei dati

1. Organizzare i dati di rilevamento eyeblink.
   1. Importare il file di EEG in un pacchetto di software adatto per l'analisi dei dati.
   2. Selezionare l'area di EEG di interesse basato sui trigger di sincronizzazione utilizzati con il software di presentazione di stimoli visivi. Filtrare i dati e applicare un filtro eyeblink per vedere quante e quando vengono generati ammiccamento dell'occhio.
      Nota: Più i pacchetti di software libero e commerciale hanno filtri per rilevare ammiccamento dell'occhio in EEG.
   3. Selezionare il video HD dei volti dei partecipanti e abbinare manualmente ammiccamento dell'occhio con quelli che si trovano nei dati EEG.
   4. Creare una matrice di foglio di calcolo con l'elenco definitivo di ammiccamento dell'occhio di ogni partecipante e calcolare la tariffa al minuto, mentre il soggetto è stato a guardare gli stimoli.
2. Effettuare analisi statistiche.
   1. Consente di importare la matrice il corrispondente software per l'analisi statistica.
   2. In un programma di software statistico, progettare l'analisi desiderata a contrastare le ipotesi iniziali e completarle.

Access restricted. Please log in or start a trial to view this content.

Risultati

Utilizzando la procedura presentata qui, il tasso di eyeblink 40 partecipanti mentre guardando tre diversi film video è stato analizzato. Per un'analisi comparativa su professionalizzazione di media, la metà dei partecipanti sono stati i professionisti dei media. Essi sono stati selezionati sulla base del criterio di almeno 6 anni di esperienza di lavoro nel prendere le decisioni relative al editing di contenuti multimediali e audiovisivi tagli. Per un'analisi comparativa su modifica gl...

Access restricted. Please log in or start a trial to view this content.

Discussione

Un metodo per analizzare la percezione visiva del contenuto multimediale con la creazione di video appositamente è descritto qui. Molti altri studi tentano di analizzare la percezione di contenuti multimediali in contesti narrativi con film pre-esistenti. Il presente metodo si propone di creare contenuti visivi con una costruzione narrativa seguendo i criteri di interesse e si basa sul suggerimento che il tasso di eyeblink è collegato al attenzione^{9 dello spettatore}. Per questo motivo, lo studio...

Access restricted. Please log in or start a trial to view this content.

Materiali

Name	Company	Catalog Number	Comments
EEG Device	Neurolectrics	Enobio 20 EEG/EMG system
Ag/AgCl Electrodes	Neuroelectrics	[NE022b] GelTrode
Recording EEG software	Neuroelectrics	NicOffline software
HD-video camera	Sony Corporation	Sony HDR-GW55VE
Syringe	Monoject	Monoject 412, curved tip syringe, 50/box
Saline electrode EMG gel	Signa-Gel	X32-204: Signa Gel
Visual Stimuli Presentation Software	Paradigm Stimulus Presentation	Perception Research System Incorporated
EEG software analysis	Centre National de la Recherche Scientifique and Montreal Neurological Institute	Brainstorm3
EEG software analysis	The MathWorks Inc.	MATLAB 2013b
TV for video presentation	Panasonic Corporation	PanasonicTH- 42PZ70EA  - 50"
PC for presenting stimuli	MacBook Air	Year 2013, running Mac OSX Mountain Lion
PC for recording stimuli	MacBook	Year 2009 running Windows 7	With a bootcamp partition of the disk for providing Windows OS
Statistical Analysis	Systat Software Inc.	Sigmaplot 11.0