Electroencephalography 측정 및 높은-품질 비디오 녹화를 사용 하 여 미디어 콘텐츠의 시각적 인식 분석

요약

우리는 미디어 콘텐츠를 시청 하는 동안 탐지, 수집, 및 eyeblink 비율의 분석을 제시.

초록

이 기사에서는 인간에서 시각 지 각의 차이 감지 하는 방법. 사용 방법은 eyeblinks의 심리적 (또는 "인지") 기능을 기반으로 합니다. 참가자의 eyeblinks 감지 되며 특별히 수사를 위해 만든 동영상을 보면서 인수. 검색 및 eyeblinks의 인수 20 채널 electroencephalographic (뇌 파) 무선 장치의 도움으로 수행 됩니다. 전극 배치를 위한 10-20 시스템은 뒤 국제. 높은 정의 (HD) 비디오 카메라는 참가자의 얼굴 표정, 대조 목적을 위해 기록 하는 데 사용 됩니다. 대신 기존의 미디어 콘텐츠를 사용 하 여, 목적으로 만들어진 비디오 콘텐츠 관심의 정확한 매개 변수를 관리 하기 위해 연구원 활성화 자극으로이 조사에 대 한 관심의 특정 기준에 따라 생성 되었습니다. 그렇지 않으면, 결과 통제 변수도 오염 수 있습니다. EEG 녹음과 비디오 자극의 프레 젠 테이 션의 동기화 밀리초에서 할 수 있어야 합니다. 수집 된 데이터의 분석은 큰 매트릭스 작업을 위한 강력한 소프트웨어와 함께 수행 됩니다. Eyeblink 요금 미디어 전문화 및 편집 스타일에에서 통계적으로 유의 한 차이 보고 된 실험 절차와 발견 된다.

서문

이 방법의 목적

이 메서드는 eyeblinks을 탐지 하기 위한 듀얼 프로토콜을 제안 합니다. 목표는 시청자의 시각적 인식을 뇌 파 기록 및 HD 비디오 녹화 시스템을 사용 하 여이 조사를 위해 특별히 만든 미디어 콘텐츠를 분석 하는 것입니다.

개발 및 사용이이 방법의 뒤에 있는 근거

각 eyeblink 150-400 ms^1,2에 대 한 시각적 흐름을 숨깁니다. 깜박이 생리^3,,45 와 심리적^6,7 기능 있습니다. 관심과 eyeblink 속도 사이 연결 공부 되었고 다른 연구⁸에서. 관심의 높은 수준을 감소 eyeblink 속도 이전 연구에 따르면 인간이 공유 하는 중요 한 시각적 정보⁹의 손실을 방지 하기 위해 최고의 순간에 대 한 검색 점멸의 타이밍을 제어 하기 위한 메커니즘. 미디어 내용에 관심의 수준에 관한 정보를 제공할 수 있는 화면을 보고 하는 경우 따라서, 시청자의 eyeblink 동작 분석.

뇌 파 전극 전기 활동을 기록 하 여 자발적인 eyeblink 속도 탐지 하기 위한 한 방법이입니다. Eyeblinks는 전 두 엽에 의해 쉽게 검출 될 수 있다 고 electrooculogram 전극 뇌 파 기록 시스템에 연결. 대부분의 뇌 파 분석, eyeblinks에 유물으로 간주 됩니다. 이러한 이유로, 뇌 파 데이터 분석을 위한 많은 소프트웨어 패키지 eyeblink 탐지기¹⁰있다. Eyeblinks을 탐지 하기 위한 뇌 파를 사용 하는 장점은 높은 시간 해상도 (밀리초)의 순서와 다른 서술의 뇌 효과 등록의 가능성은 고 그 eyeblinks와 동기화 하는 영화에-문제를 더 오픈 연구입니다. HD 카메라와 함께 참가자의 얼굴을 기록 유용할 수 있습니다 또한 일치/대비 목적⁹.

관련 연구에 대 한 참조와 다른 방법을 통해 장점

눈 점멸 계산을 위한 여러 방법이 있다. 점멸 감지를 위한 전용된 몇 가지 악기는 자석 코일, 적외선 (IR) 빛 광선, 광전자 모션 감지기 눈-추적 기술, 그리고 생체 전기 신호, 예를 들어, 에 따라 하는 몇 가지 기법 등 아이 운동 분석 electrooculography (EOG), 전도 (EMG), 그리고 뇌 파. 또 다른 더 정확 하지만 시간이 걸리는 옵션은 수동으로 점멸 프레임별으로 비디오 녹화¹¹세 고. 기술 오늘 분류 될 수 있다 광범위 하 게 두 그룹으로: a) 연락처-무료 포함 하는 두 개의 형식, 컴퓨터 비전 및 눈-추적을 사용 하 여 오프 라인 깜박임 탐지를 사용 하 여 직접 깜박임 탐지 기록 및 b) 접촉 기반 사용 하 여 기록 EOG 및 뇌 파 장치^12,13생물학 신호.

눈-추적 시스템은 전통적인 이미지 기반 수동 설계에서 주로 고해상도 카메라와 함께 오늘 사용 활성 근처-적외선-기반 접근에 이르기까지 널리 사용 되는 기술. 후자는 IR 조명¹⁴에서 눈동자의 반사 특성을 이용 한다. 현대 눈-추적 방법 기본 개념 학생 센터 각 막 반사 (PCCR), 빛은 각 막에서 반영은 눈동자의 센터를 추적 하는 카메라를 포함 하는. 그러나, 블 링크 감지 알고리즘 눈-추적 프로토콜에 대 한 게시의 부족이 이다. 또한, 비록 깜박임 탐지와 함께 통합된 소프트웨어를 제공 하는 시장에 눈-추적의 다른 모델, 소스 코드 제공 되지 않습니다 항상 제조업체, 수정 또는 알고리즘¹²를 작동 하는 방법을 알고 어렵습니다. 또한, 눈 추적 실험 동안 이벤트를 추적 지연 및 중요 한 머리 같은 데이터가 손실 또는 움직임 시선이 있다. 눈 비디오 캡처, 블 링크, 기간 계산에 대 한 문제 그리고는 가끔 소개 하는 다양 한 유형의 아티팩트¹⁵에 매우 작습니다.

이 실험에서 뇌 파 및 EOG 메서드가 사용 됩니다. 뇌 파 혼자 eyeblinks 검색을 일반적으로 사용 되지 않습니다. 그러나, eyeblinks 뇌 파 전극으로 기록 분석 꺼 변위의 연구에 대 한 표준 절차 이다. 이 절차의 eyeblinks 열릴 때에 정확 하 게 정보를 연구 수 있습니다. 점멸 감지에 대 한 가장 일반적인 신호 패턴 수직 운동 응답을 나타내는 피크 포인트입니다. 여러 피크 검출 알고리즘 원시에 적용 가능한 뇌 파, 시간 영역 또는 주파수 영역 신호. 프로세스 피크 식별에 관련 된 피크 검출, 특징 추출, 및 분류 있습니다. Eyeblinks는 정면 채널의 뇌 파 신호에 상당한 영향을 미칠. 일반적으로, eyeblinks는¹⁶미리 정해진된 진폭 임계값 사용 하 여 뇌 파에서 검색 됩니다. 이 실험에 사용 되는 분석 소프트웨어에서 알고리즘 및 기반으로 신호 표준 편차는 평균 제곱근 (RMS)의 사전 필터링된 EEG 신호; 그들은 오픈 소스 사회 과학¹⁷수. 그러나, 일부 눈 움직임 eyeblinks를 포함 하지 혼동 될 수 있습니다 전기 활동을 자극 수 있습니다. 그 이유로, 두 번째 방법-기록 HD 비디오 카메라와 함께 시청자의 얼굴-수동으로 그들을 계산 하 여 eyeblinks에 맞게 연구를 수 있습니다. 이중 방법 조사 통계 도구로 쉽게 분석 될 수 있는 eyeblinks의 매트릭스를 달성 한다.

따라서, 제안된 방법 검색 된 eyeblinks를 확인 하기 위해 두 개의 서로 다른 소스와 데이터 삼각 측량을 수행 합니다. 이 방법은 나카노 외. 표시⁹ 확인을 기반으로 합니다. 같은 시간에 두뇌 활동 및 주파수 대역 추가 분석에 대 한 정보를 수집 하는 연구자를 또한 있습니다. 여기에 설명 된 실험 후 두 엽 뇌 영역에 편집 스타일 컷의 효과에 더 넓은 미래 조사의 일부입니다.

여부는 방법은 조사에 대 한 적절 한 결정

이 실험 프로토콜 아래 3 개의 실험 조건 공부 될 비디오 콘텐츠를 시청 하는 동안 시청자의 eyeblinks를 수 있습니다. 첫째, eyeblink 속도 감지 되 면 두 개의 상호 보완적인 기술을 사용 하 여: 뇌 파 및 기록된 HD 비디오. 여기, 우리는 20 채널 무선 뇌 파를 사용합니다. 연구원 시각적 콘텐츠의 모든 변수를 관리할 수 있도록 두 번째, 특정 자극 실험에 맞게 생성 됩니다. 여기, 3 동영상 같은 서술 하지만 다른 비디오 편집 스타일으로 만들어졌습니다. 방을 입력, 책상에 앉아, 3 공 juggled, 노트북, 일부도 서 정보 검색, 노트북에 뭔가 입력, 그것을 폐쇄, 카메라에 직접 사과 먹고 열리고 방을 떠난 남자 이야기에 의하여 이루어져 있다. 3 비디오 자극 최근 198 s 각. 첫 번째는 원 샷 영화; 두 번째 33 다른 샷으로; 고전 할리우드 스타일 규칙에 따라 편집 그리고 세 번째 79 촬영과 뮤직 비디오 스타일 규칙에 따라 편집 했다. 4 자극 또한 서술 했다 동일한, 제시 했다 하지만 포맷 비디오 대신 행위자와 실제 표현. 이 4 번째 비 비디오 자극 편집 스타일 차이의 초기 연구에 사용 하지 않은 하지만 다른 조사에 사용 된 실제 표현 및 스크린된 미디어⁸eyeblink 속도 차이 비교 하. 셋째, 다른 그룹 참가자의 비디오의 시각적 분석에 그들의 이전 전문성에 따라 선택 됩니다. 목적은 같은 시각적 자극을 보고 주제 그룹의 eyeblink 속도에 차이 결정 하는. 이 경우에, 40 과목 조사에 참여를 했다. 그들 중 절반은 미디어 전문가 (16 남성과 4 여성; 44.15 ±7.15 년의 평균 연령 30-56 년, 나이) 그리고 나머지 비 미디어 전문가 (15, 남성과 5 여성; 8.59 년 43.25 ±의 평균 연령 28-56 년, 나이). 미디어 전문가 미디어 편집 그들의 일상 업무에 관련 된 의사 결정을 만드는 경험의 6 년의 기준으로 선정 됐다.

Access restricted. Please log in or start a trial to view this content.

프로토콜

여기에 설명 된 모든 방법은 동물와 Universitat Autònoma de 바르셀로나의 인간 (CEEAH) 연구 윤리 위원회에 의해 승인 되었습니다가지고.

1. 생성 및 시각적 자극의 프레 젠 테이 션

1. 원하는 목표에 따라 비디오 자극을 만듭니다.
   1. 어떤 변수는 비디오 자극에 대 한 관심의 결정.
      참고: 예를 들어 현재 조사에서 관심의 주요 변수는 편집 스타일입니다.
      1. 기간, 콘텐츠, 그리고 실험의 관심에 따라 비디오의 스타일을 결정 합니다. 모든 이러한 변수를 확인 하려면 참가자가 시계와 얼마나 오래 참가자 화면, 비디오의 이야기는 관심을 충족 하는 경우 평가 하 고 비디오의 시각적 스타일을 결정 지켜보고 있을 것 이다 얼마나 많은 동영상을 고려 하십시오.
   2. 주의 선택한 변수를 스크립트를 작성 합니다.
   3. 높은-품질 비디오 카메라와 비디오를 기록 하 고 필요에 따라 비디오 편집. 필요한 경우 전문가 도움을 추구 합니다.
2. 자극의 프레 젠 테이 션에 대 한 적절 한 컨텍스트를 디자인 합니다.
   1. 데이터 수집 자리를 차지할 것 이다 고 표시 자극 하는 편안한 공간 디자인을 결정 합니다. 참가자는 편하게 느껴야 한다.
   2. 비디오 프레 젠 테이 션에 대 한 높은-품질의 화면을 선택 합니다. 화면, 더 나은의 높은 품질.
   3. 여러 비디오 영화 수 여 하는, 그들의 프레 젠 테이 션의 랜덤에 대 한 메서드를 선택 합니다.
      참고: 순서는 참가자는 자극을 인식 하는 결정적 결과 피하기 위해 과목에 걸쳐 자극 프레 젠 테이 션을 무작위로 편리 하다.
   4. 동영상을 제시 하는 소프트웨어 패키지를 선택 하십시오.
      참고: 다른 자극 간 시험 타이머 및 지침, 또는 심지어 무작위로 프레 젠 테이 션을 표시 하는 연구원을 수 있는 다양 한 옵션이 있습니다. 소프트웨어를 선택할 때 그것은 데이터 수집 디바이스와 동기화를 위한 그것의 능력을 고려 하는 중요 한입니다. 때문에이 프로토콜 분석 참가자 들 eyeblink 속도, 시각적 자극의 시각적 프레 젠 테이 션 및 뇌 파 장치 간의 동기화가 매우 중요 합니다.

2입니다. 참가자 선택

1. 참가자를 선택 하기 위한 조건을 설정 합니다. 때 특정 변수 분석, 컨트롤 그룹 필요 합니다. 연구 설계에 따라 개선 하기 위해 동료와 상담 그리고 기준을 적어 둡니다.
2. 참가자를 선택 하 고 관련 지침 및 규정 하는 윤리 위원회에서 승인을.
   참고: 대부분의 대학 및 연구 센터는 윤리 위원회가 있다. 승인 신청, 조사 목표의 그들에 게 해야 합니다. 일반적인 요구 사항을 설명 하는 연구 방법, 사회, 동의 얻을 것입니다 방법, 참가자를 재정적으로, 보답 것입니다 여부 및 참가자 로부터 데이터를 수집 하는 방법을 조사 혜택 관리할 수 있습니다. 이 요청을 디자인 하는 데 시간이 걸릴. 결과 과학 사회와 공유 하는 윤리 위원회의 승인을 얻으려면 매우 중요 하다. 이 점에서 유용할 수 있는 일부 문서는 헬싱키의 선언, 뉘른베르크 코드와 벨몬트 보고서.
3. 참가자에 대 한 동의 폼을 디자인 하 고 윤리 위원회의 기준을 따릅니다.
4. 모든 잠재적인 참가자에 게 실험을 설명 합니다. 참가자에 게 모든 중요 한 정보를 알고 있지만 중요 한 정보를 피 하거나 실험의 결과 영향을 미칠 수 있습니다.
   참고: 예를 들어 eyeblink 탐지 프로토콜에 참가자 수 없습니다 말 했 eyeblinks는 것 검색할 수이 자연 eyeblink 속도 수정할 수 없습니다. 참여 하도록 그들의 승인을 요구 하십시오. 동의 대 한 각 참가자는 문서를 제공 하 고 그들에 게 텍스트를 이해 하는 것, 그것을 읽고 충분 한 시간을 허용 하 고, 마지막으로, 그것을 서명.
5. 각 참가자는 실험을 수행 하는 약속을 확인 합니다. 참가자에 게 다음 지침을 제공: 휴식 및 최근 도착 씻어 머리; 헤어 스프레이, 등, 등 화학 제품 그들은 뇌 파 기록에 영향을 미칠 수 있기 때문에 피해 야 한다. 참가자 모든 필요한 연락처 정보를 제공 합니다.

3. 설치 준비

1. 참가자의 도착 임박 실험 세션을 준비 합니다. 동료와 함께 세션을 연습. 뭔가 잘못 감지 되 면 경우에 실험 세션에 해당 수정 사항을 확인 합니다.
   1. 사용 하 고 그들의 동기화 (시각적 자극 프레 젠 테이 션 및 데이터 수집)을 확인 하려고 모든 장치 간의 연결을 준비 합니다.
      참고: 하드웨어와 소프트웨어 사이의 연결이 중요 합니다. 동기화를 확인 하는 테스트를 수행 하는 것이 바람직합니다. 필요한 경우 제조업체 또는 소프트웨어 개발자와 논의 합니다.
2. 실험 실에서 편안 하 게 느낄 과목 확인: 참가자, 환영 하 고 그들의 것 (가방 등)에 대 한 공간을 준비.
3. 참가자 전체 프로토콜 설명: 참가자 앉아있을 것입니다, 얼마나 많은 시각적 자극 표시 되 고 세션의 길이. 참가자의 협력은 매우 중요 하다는 설명.
4. 무선 뇌 파 기록 시스템, 설명 얼마나 어려운이 음반, 그리고 적절 한 electrophysiological 신호 낮은 아티팩트를 얻기 위하여 사용 될 것입니다, 이후 참가자 불필요 하 게 이동 하지 해야 합니다.

4. 데이터 수집

1. 먼지의 모든 흔적 또는 헤어 제품의 잔해를 제거 하는 참가자의 피부 표면 청소.
2. 참가자의 머리를 측정 합니다. 교정 및 inion, 사이의 거리를 측정 하 고 표시를 정점으로 절반 지점.
3. 10-20 시스템을 사용 하 여 뇌 파 모자에 전극을 준비.
4. 뚜껑의 (Cz) 영점 꼭지점 일치 중앙 마크의 다음과 같은 주제에 뚜껑을 넣어.
5. 전극에 전도성 젤 주사기의 도움으로 적용 뚜껑의 머리에 잘 맞는 다는 것을 확인 하십시오.
6. EOG 전극 및 참조 전극의 머리에 놓습니다.
7. 참가자는 편안 하 게 장착 하 고 세션에 대 한 준비 다는 것을 확인 하십시오.
8. HD 비디오 카메라를 클로즈업에 참가자의 얼굴에 초점을. 이 참가자의 eyeblinks를 수동으로 검색 하 사용 됩니다.
9. 모든 장치 동기화 되었는지 확인 하십시오.
10. 뇌 파 제어 상자 데이터를 등록 하는 컴퓨터에 제대로 연결 되어 있는지 확인 하십시오.
11. 각 전극에 대 한 신호 올바른지 확인; 그렇지 않은 경우에 문제가 있는 전극에 대 한 확인.
    참고: 전극에서 나쁜 신호에 대 한 몇 가지 일반적인 이유는 머리에 전극의 나쁜 위치 또는 나쁜 연결 제어 상자와 전극 케이블의 전극에 전도성 젤의 부족.
12. 모든 준비가 되 면, 시작 실험 기록 (및 비디오).

5. 사후 실험 세션

1. 참가자의 머리에서 모자를 제거 하 고, 가능 하면 줄 참가자 관심의 주제에 관련 된 설문 조사.
2. 외부 하드 드라이브에 모든 데이터를 저장 합니다.
   참고: 데이터를 백업 추천 이다. 좋은 옵션 2 개의 외부 하드 드라이브에 데이터를 저장 하 고 다른 장소에서 그들을 저장 하는 것입니다. 최고의 절차를 설계, 그것은 윤리 위원회에 의해 승인 데이터 저장을 위한 프로토콜을 고려 하는 것이 중요입니다.
3. 깨끗 한 전극 및 모자; 대부분 전극은 사용 후 즉시 청소 될 필요가 있다.
   1. 전극을 청소 하 고 수도 꼭지를 하 고 화학 제품 없이 풍부한 물으로 모자 (명시 하지 않는 한 장치 제조업체에 의해 그렇지 않으면). 신중 하 게 부식 방지 전극 건조. 이 프로토콜 뚜껑 청소 충분 하지 않으면, 그것은 일반적으로 세척 될 수 있다 세탁기에 (제조 업체의 지침을 참조 하십시오).

6. 데이터 분석

1. Eyeblink 검색 데이터를 구성 합니다.
   1. 데이터 분석을 위한 적합 한 소프트웨어 패키지에 EEG 파일을 가져옵니다.
   2. 시각적 자극 프레 젠 테이 션 소프트웨어와 함께 사용 하는 동기화 트리거를 따라 관심의 뇌 파 영역을 선택 합니다. 데이터를 필터링 하 고 볼 eyeblink 필터 적용 얼마나 많은 eyeblinks 때 생성 됩니다.
      참고: 가장 상업 및 무료 소프트웨어 패키지 있다 뇌 파에서 eyeblinks를 검색 하는 필터.
   3. 참가자의 얼굴의 HD 비디오를 선택 하 고 수동으로 뇌 파 데이터에서 발견 된 eyeblinks 일치.
   4. 각 참가자의 eyeblinks의 최종 목록 스프레드시트 매트릭스를 만들고 제목 보고 자극 하는 동안 분당 속도 계산 합니다.
2. 통계 분석을 수행 합니다.
   1. 통계 분석에 대 한 해당 소프트웨어에는 매트릭스를 가져옵니다.
   2. 통계 소프트웨어 프로그램에서 그들을 완료 하 고 초기 가설을 대조 원하는 분석을 디자인 합니다.

Access restricted. Please log in or start a trial to view this content.

결과

절차를 사용 하 여 여기, 3 개의 다른 비디오 영화를 보고 분석 하는 동안 40 참가자의 eyeblink 속도 제공. 미디어 전문화에 비교 분석에 대 한 참가자의 절반 미디어 전문가 했다. 그들은 6 년의 일 경험 결정 미디어 편집에 관련 된 최소한의 기준에 따라 선정 됐다 고 시청각. 편집 스타일에 비교 분석에 대 한 3 개의 비디오 자극 정확히 같은 이야기 하지만 다른 편집 스타일?...

Access restricted. Please log in or start a trial to view this content.

토론

시각적 인식의 목적으로 만들어진 비디오 창조와 미디어 콘텐츠를 분석 하는 방법 여기에 설명 되어 있습니다. 많은 다른 연구는 기존의 영화와 함께 서술 컨텍스트에서 미디어 콘텐츠의 인식 분석 하려고 합니다. 현재 메서드는 관심의 기준에 따라 서술 구조와 영상 콘텐츠를 만들 제안 하 고 제안에 따라 그 eyeblink 속도 시청자의 관심⁹에 연결 되어. 그 이유로 연구 미디어 콘텐...

Access restricted. Please log in or start a trial to view this content.

자료

Name	Company	Catalog Number	Comments
EEG Device	Neurolectrics	Enobio 20 EEG/EMG system
Ag/AgCl Electrodes	Neuroelectrics	[NE022b] GelTrode
Recording EEG software	Neuroelectrics	NicOffline software
HD-video camera	Sony Corporation	Sony HDR-GW55VE
Syringe	Monoject	Monoject 412, curved tip syringe, 50/box
Saline electrode EMG gel	Signa-Gel	X32-204: Signa Gel
Visual Stimuli Presentation Software	Paradigm Stimulus Presentation	Perception Research System Incorporated
EEG software analysis	Centre National de la Recherche Scientifique and Montreal Neurological Institute	Brainstorm3
EEG software analysis	The MathWorks Inc.	MATLAB 2013b
TV for video presentation	Panasonic Corporation	PanasonicTH- 42PZ70EA  - 50"
PC for presenting stimuli	MacBook Air	Year 2013, running Mac OSX Mountain Lion
PC for recording stimuli	MacBook	Year 2009 running Windows 7	With a bootcamp partition of the disk for providing Windows OS
Statistical Analysis	Systat Software Inc.	Sigmaplot 11.0