시각적 이벤트를 기반으로 하는 간격 비교(지속 시간 인식) 작업 중에 눈의 움직임을 모니터링하기 위해 시선 추적을 사용하는 프로토콜을 제시합니다. 목표는 지속 시간 인식 작업에 대한 안구 운동 반응(시간 간격의 비교 또는 구별)을 자극 자체에 대한 반응과 분리하기 위한 예비 가이드를 제공하는 것입니다.
시선 추적 방법을 사용하면 참가자가 깜박이는 원과 같은 시각적 이벤트에 의해 정의된 시간 간격을 추정, 구별 또는 비교하도록 요청받는 시각적 지속 시간 인식 작업 중에 인지 처리의 온라인 모니터링이 가능할 수 있습니다. 그러나 우리가 아는 한, 이 가능성을 검증하려는 시도는 지금까지 결론을 내리지 못했으며, 결과는 자극 출현 후 내려진 오프라인 행동 결정에 초점을 맞추고 있습니다. 이 논문은 참가자들이 두 개의 연속된 간격을 보고 속도가 빨라지는지(첫 번째 간격이 두 번째 간격보다 길음) 느려지는지(두 번째 간격이 더 길어짐)를 결정해야 하는 간격 비교 작업에서 행동 반응에 선행하는 인지 과정을 탐색하기 위한 시선 추적 프로토콜을 제시합니다.
우리의 주요 관심사는 시각적 자극 자체에 대한 안구 운동 반응을 판단과 관련된 지속 시간의 상관 관계에서 분리하는 것이었습니다. 이를 달성하기 위해 우리는 중요한 사건을 기반으로 세 개의 연속적인 시간 창, 즉 기준선 시작, 첫 번째 간격의 시작, 두 번째 간격의 시작, 자극의 끝을 정의했습니다. 그런 다음 각각(고정 횟수, 동공 크기)에 대한 전통적인 안구 운동 측정을 추출하고 시간 창 관련 변화에 중점을 두어 시각적 자극에 대한 반응을 간격 비교 자체와 관련된 반응과 분리했습니다. 예시 결과에서 볼 수 있듯이 시선 추적 데이터는 행동 결과와 일치하는 유의미한 차이를 보여 관여 메커니즘에 대한 가설을 제기했습니다. 이 프로토콜은 초기 단계이며 많은 개선이 필요하지만 현재 기술 상태에서 중요한 진전을 나타냅니다.
시간 지각 능력은 지난 몇 년 동안 점점 더 많은 연구의 관심을 끌었는데, 부분적으로는 이것이 읽기 능력이나 병리학적 상태와 관련이 있을 수 있다는 증거가 축적되었기 때문이다 1,2,3,4,5. 시각적 지속 시간 지각(시각적 이벤트에 의해 정의된 시간 간격을 추정, 구별 또는 비교하는 능력)은 시선 추적 방법이 기여할 수 있는 관심 분야 6,7 중 하나입니다. 그러나 결과는 버튼을 눌러 얼마나 많은 시간이 지났는지(추정치), 시간 간격이 같은지 다른지(구별), 일련의 시간 간격 중 어느 것이 가장 길거나 가장 짧은지를 나타내는 것과 같은 자극 후 행동 결정에 초점을 맞추고 있습니다. 몇몇 연구에서는 행동 결과와 시선추적 데이터8,9의 상관관계를 시도했으나 둘 사이의 상관관계를 찾지 못했으며, 이는 직접적인 관계가 없음을 시사한다.
본 논문에서는 시각적 지속 시간 인식 과제에서 자극 제시 중 안구 운동 반응을 등록하고 분석하기 위한 프로토콜을 제시합니다. 구체적으로, 설명은 참가자들이 두 개의 시간 간격을 정의하는 세 가지 이벤트의 시퀀스를 보고 속도가 빨라졌는지(첫 번째 간격이 두 번째보다 길음) 또는 느려졌는지(첫 번째 간격이 두 번째보다 짧음)를 판단하도록 요청받은 간격 비교 작업을 나타냅니다. 연구에 사용된 시간 간격은 133ms에서 733ms에 이르렀으며 TSF(Temporal Sampling Framework)10의 원칙을 준수했습니다. TSF는 특히 델타 진동(1-4Hz)과 같은 주파수 대역에서 뇌의 진동 활동이 일련의 스트레스 악센트와 같은 들어오는 음성 단위와 동기화됨을 시사합니다. 이 동기화는 음성 인코딩을 향상시키고, 음성 단위에 대한 주의력을 향상시키며, 비정형 저주파 진동을 나타내는 난독증과 같은 상태를 이해하는 데 관련될 수 있는 순차적 규칙성을 추출하는 데 도움이 됩니다. 본 연구에서 제시된 방법을 개발한 목적은 난독증 환자의 시각 시간 지각의 어려움(간격 비교 과제에 대한 집단 효과)이 시각 대상 자체의 처리 문제, 즉 움직임과 휘도 대비를 반영하는지 여부를 확인하는 것이었다11. 만약 그렇다면, 우리는 난독증 환자들이 움직임과 낮은 휘도 대비(집단과 자극 유형 간의 상호작용)를 가진 자극에 대해 대조군에 대한 불리함이 더 클 것으로 예상했다.
원래 연구의 주요 결과는 자극 후 행동 판단에 의해 주도되었습니다. 자극 제시 중에 기록된 시선 추적 데이터(동공 크기 및 고정 횟수)는 행동 결정에 앞선 과정을 탐색하는 데 사용되었습니다. 그러나 현재 프로토콜은 그에 따라 목표가 설정되는 경우 행동 데이터 수집과 독립적으로 사용될 수 있다고 생각합니다. 간격 구분 작업을 위해 조정할 수도 있습니다. 시간 추정 작업에 사용하는 것이 그렇게 즉각적이지는 않지만 그 가능성을 배제하지는 않습니다. 동공 크기를 사용한 이유는 인지 부하12, 13, 14 등을 반영하여 참가자의 기술에 대한 정보를 제공할 수 있기 때문입니다(부하가 높을수록 기술이 적다는 의미). 고정의 횟수와 관련하여, 더 많은 고정은 참가자들이 과제에 더 강하게 관여하는 것을 반영할 수 있다15,16. 원래 연구에서는 5가지 자극 유형을 사용했다. 단순화를 위해 현재 프로토콜에서는 두 개만 사용했습니다(움직임과 관련된 대비를 나타내는 Ball vs. Flash).
우리가 해결하려고 시도한 주요 과제는 시각 자극 자체에 대한 반응을 간격 비교와 관련된 반응과 분리하는 것인데, 이는 눈 운동 반응이 움직임이나 휘도 대비와 같은 특성에 따라 변하는 것으로 알려져 있기 때문이다17. 시각적 자극이 화면에 나타나자마자 처리되고(첫 번째 간격), 간격 비교는 두 번째 시간 간격이 시작되어야 가능하다는 전제에 따라 사전 자극 창, 첫 번째 간격, 두 번째 간격(행동 반응은 포함되지 않음)의 세 가지 시간 창을 정의했습니다. 첫 번째 간격 동안 사전 자극 창의 변화를 분석함으로써 자극 자체에 대한 참가자의 반응 지수를 얻을 수 있습니다. 첫 번째 간격과 두 번째 간격을 비교하면 간격 비교의 가능한 안구 운동 신호를 활용할 수 있습니다.
52명의 참가자(난독증 진단을 받았거나 잠재적 사례로 신호된 25명, 대조군 27명)는 커뮤니티(소셜 미디어 및 편리한 이메일 연락처를 통해)와 대학 과정에서 모집되었습니다. 확증적 신경심리학적 평가와 후속 데이터 분석(자세한 내용은 Goswami10 참조)에 따라 7명의 참가자가 연구에서 제외되었습니다. 이 제외는 기준을 충족하지 못하는 난독증이 있는 4명의 개인, 1차 실험 과제에서 이상치 값을 가진 2명의 난독증 참가자, 시선 추적 데이터가 소음의 영향을 받는 대조군 참가자 1명으로 구성되었습니다. 최종 샘플은 참가자 45명, 난독증 성인 19명(남성 1명), 대조군 26명(남성 5명)으로 구성되었습니다. 모든 참가자는 포르투갈어 원어민이었고 정상 또는 정상으로 교정된 시력을 가지고 있었으며 청력, 신경 또는 언어 문제를 진단받은 사람은 없었습니다. 여기에 설명된 프로토콜은 포르투 대학교 심리학 및 교육 과학 학부의 지역 윤리 위원회(참조 번호 2021/06-07b)의 승인을 받았으며 모든 참가자는 헬싱키 선언에 따라 정보에 입각한 동의서에 서명했습니다.
1. 자극 창출
2. 실험 준비
3. 기기 설정
그림 1: 시선 추적 설정. 기록 시스템의 공간 배열은 자극 컴퓨터, 기록 컴퓨터, 시선 추적기, 응답 장치(버튼 상자) 및 키보드로 구성됩니다. 참가자들은 자극 스크린에서 55cm 떨어진 곳에 앉았다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
4. 데이터 수집 준비
5. 실험 실행
6. 분석을 위한 시간 창 만들기
그림 2: 자극 유형. 실험에 사용된 튀어 오르는 공(왼쪽)과 섬광(오른쪽)의 시퀀스. 점선은 분석에 사용된 시간 창을 나타냅니다: TW0은 사전 자극 기간입니다. TW1은 자극이 화면에 처음 나타나는 것으로, 참가자가 자극 특성과 첫 번째 간격의 길이에 대한 정보를 가지고 있을 때 첫 번째 간격을 표시하고, TW2는 참가자가 첫 번째 간격과 두 번째 간격을 비교하여 결정을 정교화할 수 있는 두 번째 간격을 표시합니다(느려짐 또는 빨라짐). 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
7. 측정값 추출
8. 아티팩트가 있는 평가판 제거
9. 통계 분석
TW 관련 변경 사항을 더 잘 이해하기 위해 분석은 시간 창의 상호 작용(TW0 vs. TW1, TW1 vs. TW2)를 자극 유형 및 그룹으로 바꿉니다. 그림 3에서 볼 수 있듯이 TW 관련 비교(TW01 및 TW12)는 자극(TW x 자극 상호 작용)에 따라 다른 수준의 변화를 보였으며, Balls는 두 그룹 모두에서 섬광보다 안구 운동 반응에서 TW 관련 변화를 더 많이 유도했습니다(TW x 자극 x 그룹 상호 작용 없음). 이것은 동공 크기와 고정 횟수 모두에서 발생했습니다. 집단 영향과 관련하여, TW0에서 TW1로의 고정 횟수 변화(자극 시작에 대한 반응)에 대한 TW x 그룹 상호작용을 발견했다: 난독증 환자는 주로 자극 수치가 낮기 때문에 변화가 감소했다. TW, 자극 및 그룹 간의 상호 작용은 없었습니다. 이것은 집단의 영향이 공과 섬광 모두에 대해 비슷하다는 것을 보여줍니다.
그림 3: 결과. 그룹(대조군 대 난독증, TW x 그룹) 및 자극 유형(공, B, vs. 플래시, F, TW x 자극)의 함수로서 동공 크기 및 고정 수의 시간 창 관련 변화. TW 0-1은 자극 없음과 자극 가시성 사이의 대조를 다룹니다. TW 1-2는 첫 번째 및 두 번째 간격을 주소 간격 비교와 비교합니다. 95% 신뢰 구간은 세로 막대로 표시됩니다. 공은 시선 추적 측정과 두 그룹 모두에서 TW1 대비 TW0(더 많은 감소)과 TW1에서 TW2(더 많은 증가)에서 플래시보다 더 많은 변화를 유도했습니다(TW x 자극, TW x 자극 x 그룹 없음). TW 0-1에 걸친 고정 횟수의 변화는 자극 유형(TW x 그룹, TW x 자극 x 그룹 없음)에 관계없이 대조군보다 난독증 환자에서 더 작았습니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
그림 4: 동작 결과. (A) 그룹별 속도 상승 및 감속 시퀀스(d-prime) 및 자극 유형 간의 구별. (B) 행동 수행(d-prime)과 안구 운동의 시간 창 관련 변화 사이의 유의한 상관관계, 둘 다 자극 평균. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
결정적으로, 이러한 값은 주요 연구와 일치하는 행동 결과(그림 4A)와 유사합니다: 행동 결과는 그룹 x 자극 상호 작용 없이 자극 효과(플래시보다 공의 정확도가 낮음)와 그룹 효과(난독증 환자의 성능 저하)를 가리켰습니다. 또한, 5가지 자극을 사용한 기존 연구에서 모든 자극 유형에 대해 평균을 낸 시선 추적 데이터(고정 횟수)와 행동의 상관관계를 분석한 결과, 난독증 그룹에서 TW1에 비해 TW0의 작은 변화가 향상된 성과와 공존하는 상관관계를 발견했습니다. 전체적으로, 결과는 이러한 (성인) 난독증 환자가 자극 전 기간에 자극 자체에 대한 주의를 의도적으로 통제하기 위해 보상 전략에 의존할 수 있다는 가설과 일치하는 것처럼 보였습니다(빈 화면에 대한 집착이 적을수록 자극이 나타날 때까지 자극에 집중하는 것이 유리할 것입니다). 대조군에서는 이러한 상관관계를 발견하지 못했으며, 이는 대조군이 집중력을 유지하기 위해 전략에 의존할 필요가 없을 수도 있음을 시사합니다. 설명을 위해 여기에 사용된 제한된 데이터 세트(두 가지 자극만, 공과 섬광)는 동일한 패턴을 보여주었습니다(그림 4B): 대조군이 아닌 난독증 환자는 d-prime(행동 차별 지수)과 TW01 관련 변화 사이에 유의미한 상관 관계를 보였습니다.
요컨대, 자극 시작(TW 0-1)과 간격 비교(TW 1-2)에 대한 참가자의 반응을 다루는 시선추적 결과는 난독증이 있는 개인과 없는 개인에서 공과 플래시가 다른 반응을 유도한다는 행동적 증거를 복제했습니다(시선 추적 측정에 대한 TW x 자극, d-prime에 대한 자극 효과). 시선 추적 결과의 한 부분은 또한 난독증 환자에서 자극 시작 시 고정 횟수(TW 0-1)의 변화가 더 작았다는 점에서 d-prime에 대한 그룹 효과와 유사했습니다. 또한, 자극과 집단 간의 상호 작용(난독증 환자와 섬광에 대한 난독증의 일탈 수준이 다름)은 행동 및 시선 추적 데이터에 대해 무효였습니다. 마지막으로, 행동 수행과 안구 운동 반응 사이의 상관 관계는 난독증 그룹에서 유의했습니다.
순서 | 형 | 인터벌 1 | 인터벌 2 | 다름 |
1 | 속도 향상 | 433 | 300 | 133 |
2 | 속도 향상 | 300 | 167 | 133 |
3 | 속도 향상 | 467 | 433 | 34 |
4 | 속도 향상 | 733 | 167 | 566 |
5 | 속도 향상 | 467 | 300 | 167 |
6 | 속도 향상 | 433 | 134 | 299 |
7 | 속도 향상 | 534 | 233 | 301 |
8 | 속도 향상 | 500 | 433 | 67 |
9 | 천천히 가 주세요 | 300 | 433 | -133 |
10 | 천천히 가 주세요 | 167 | 300 | -133 |
11 | 천천히 가 주세요 | 433 | 467 | -34 |
12 | 천천히 가 주세요 | 167 | 733 | -566 |
13 | 천천히 가 주세요 | 300 | 467 | -167 |
14 | 천천히 가 주세요 | 133 | 434 | -301 |
15 | 천천히 가 주세요 | 233 | 534 | -301 |
16 | 천천히 가 주세요 | 433 | 500 | -67 |
평균 간격 | 377.1 | |||
평균 차이 | 212.6 | |||
평균 차이/구간 | 294.8 |
표 1: 간격 기간. 밀리초 단위의 속도 증가 및 감속 시퀀스에 대한 자극 시퀀스입니다.
현재 프로토콜에는 시각적 지속 시간 인식 작업에 시선 추적을 통합하는 데 대한 현재 장애물을 해결하는 데 중요할 수 있는 새로운 구성 요소가 포함되어 있습니다. 여기서 중요한 단계는 이러한 각 시간대에서 발생하는 것으로 추정되는 인지 과정을 기반으로 하는 시간대를 정의하는 것입니다. 우리가 사용한 시스템에서는 시간 창을 관심 영역(이러한 시스템에서 시간과 결합된 공간 관련 개념)으로만 정의할 수 있지만 다른 시스템에서는 시험의 다른 세그먼트를 내보내 이를 수행할 수 있습니다. 이러한 시험의 시간적 세분화 외에도 기간별 매개 변수보다는 시간 창에 걸친 변화를 분석하는 데 집중하는 것이 중요합니다.
수정해야 할 프로토콜과 관련하여 대부분 관심 영역의 차원과 관련이 있었습니다. 우리는 동적 AOI를 사용하여 전체 화면이 아닌 그 뒤에 오는 자극 주변의 공간 선택을 정의하는 첫 번째 시도를 했습니다. 그러나 우리는 곧 그 지역 밖에서 관련 이벤트를 놓칠 수 있다는 것을 깨달았습니다. 우리의 측정이 자극에 초점을 맞추는 것과 관련이 없다는 점을 감안할 때(동공 크기는 플래시나 공에 대한 주의가 아니라 인지 부하에 따라 변할 것으로 예상됨, 고정 횟수는 공간 검색을 반영할 것으로 예상됨) 전체 화면을 관심 영역으로 사용하기로 결정했습니다.
현재 프로토콜은 여전히 많은 개선이 필요한 초기 제안입니다. 개선의 여지가 훨씬 더 많음에도 불구하고 이 중 두 가지만 강조할 것입니다. 첫 번째는 고정 횟수에 대한 시간 창 효과를 해석할 수 없는 세 시간 창의 길이 차이에 관한 것입니다(예: 더 긴 시간 창은 더 많은 고정을 수반하므로 TW0에서 TW1로 감소, 그림 3 참조). 이 문제를 해결하는 한 가지 방법은 시간 단위당 고정 횟수를 고려하는 것입니다.
두 번째는 다양한 문제를 포함하는 시간 창과 추정 진행 프로세스 간의 대응과 관련이 있습니다. 하나는 TW1이 단순한 자극 외관을 나타내는 것이 아니라 간격 비교에 부수적이고 TW0에는 없을 가능성이 있는 간격 추정(첫 번째 간격)의 명시적인 형태일 수 있다는 것입니다. 유사한 방식으로, 시간 윈도우에 걸친 변화는 또한 지속적인 주의력 및 작업 기억(18)과 같은 일반적인 과정의 변화를 반영할 수 있지만, 이러한 변화들 중 일부는 간격 비교 작업에서 예상될 수 있다(작업 메모리 부하가 TW1에서 TW2에 비해 증가할 것으로 예상됨). 이러한 잠재적 혼란을 완화하는 한 가지 방법은 순수 지속 시간 추정, 지속적인 주의 및 작업 기억과 관련된 제어 작업을 도입한 다음 실험(간격 비교)과 제어 작업 간의 비교를 기반으로 시선 추적 데이터 분석을 수행하는 것입니다. 또 다른 문제는 TW0의 기간이 작업과 관련이 없다는 것이며, 작업과 관련이 없는 기간이 성능19에 해로울 수 있는 것으로 알려져 있습니다. 향후 연구는 이를 개선하는 데 초점을 맞출 수 있는데, 이는 짧은 이벤트가 단순히 시간적 근접성(20,21)에 다른 이벤트를 추가함으로써 프레젠테이션보다 빠르거나 늦게 인식되도록 편향될 수 있기 때문에 시각 처리 응답을 더 잘 구분하기 위해 TW0(관련 없는 간격)과 TW1 사이에 300ms의 차이를 만드는 것입니다.
마지막으로, 자발적인 눈 깜빡임은 시간 지각을 왜곡시킴으로써 시간 지각에 영향을 미칠 수 있으며(눈 깜빡임이 간격에 선행하면 시간이 확장되고, 동시에 발생하면 수축), 잠재적으로 개인 내 시간 수행에 변동성이 발생할 수 있다22. 이 문제를 최소화하는 한 가지 방법은 참가자의 행동 판단에 눈 깜빡임 기반 교정 인자를 적용하는 것입니다(예: 자극 전 또는 자극 중 눈 깜빡임의 존재 여부에 따라 각 판단에 신뢰도를 할당). 또한 시행을 확률 변수로 처리하는 통계적 접근 방식을 통합하는 것도 이 문제를 해결하는 데 도움이 될 수 있습니다.
향후 연구와 관련하여 다루어야 할 중요한 주제는 자발적 눈 깜박임 속도(EBR)와 시간 지각 사이의 연관성입니다. EBR은 중심 도파민 기능(DA)23의 비침습적 간접 마커로 알려져 있으며, 최근에는 높은 ERB가 시간적 지각이 좋지 않은 것과 관련이 있습니다. 이 연구는 인터벌 타이밍에서 도파민의 의미를 시사하고 도파민 측정24의 프록시로 ERB의 사용을 지적합니다. 또 다른 중요한 주제는 우리가 분석한 (변화 관련) 측정의 기능적 의미인데, 이는 우리 패러다임의 맥락에서 아직 결정되지 않았습니다. 기존 연구와 현재의 단순화된 데이터 세트에서 TW0에서 TW1로의 동공 크기 증가는 인지 부하 증가의 아이디어와 일치했지만 이 측정에 대한 그룹 효과가 없기 때문에 추가 고려 사항이 없습니다. 제시되는 것으로 보이는 한 가지 패턴은 시간 창에 따른 작은 변화가 더 나은 행동 수행과 상관 관계가 있다는 것입니다(Balls보다 Flashes가 더 좋고, 난독증 환자의 경우 d-prime은 더 작은 변화와 관련이 있음), 추가 연구가 필요합니다.
그 한계에도 불구하고, 우리가 아는 한, 현재 프로토콜은 시선 추적 및 행동 데이터(동일한 효과 프로필)에서 유사한 결과와 둘 사이의 상관관계에 대한 몇 가지 증거를 보여주는 최초의 프로토콜입니다.
저자는 공개할 이해 상충이 없습니다.
이 작업은 보조금 UIDB/00050/2020에 따라 포르투갈 과학 기술 재단의 지원을 받았습니다. 및 PTDC/PSI-GER/5845/2020. APC는 보조금 PTDC/PSI-GER/5845/2020(http://doi.org/10.54499/PTDC/PSI-GER/5845/2020)에 따라 포르투갈 과학 기술 재단(Portuguese Foundation for Science and Technology)에서 전액 자금을 지원했습니다.
Name | Company | Catalog Number | Comments |
Adobe Animate | Adobe | It is a tool for designing flash animation films, GIFs, and cartoons. | |
EyeLink Data Viewer | It is robust software that provides a comprehensive solution for visualizing and analyzing gaze data captured by EyeLink eye trackers. It is accessible on Windows, macOS, and Linux platforms. Equipped with advanced capabilities, Data Viewer enables effortless visualization, grouping, processing, and reporting of EyeLink gaze data. | ||
Eye-tracking system | SR Research | EyeLink 1000 Portable Duo | It has a portable duo camera, a Laptop PC Host, and a response device. The EyeLink integrates with SR Research Experiment Builder, Data Viewer, and WebLink as well as many third-party stimulus presentation software and tools. |
Monitor | Samsung Syncmaster | 957DF | It is a 19" flat monitor |
SR Research Experiment Builder | SR Research | It is an advanced and user-friendly drag-and-drop graphical programming platform designed for developing computer-based experiments in psychology and neuroscience. Utilizing Python as its foundation, this platform is compatible with both Windows and macOS, facilitating the creation of experiments that involve both EyeLink eye-tracking and non-eye-tracking functionalities. |
JoVE'article의 텍스트 или 그림을 다시 사용하시려면 허가 살펴보기
허가 살펴보기This article has been published
Video Coming Soon
Copyright © 2025 MyJoVE Corporation. 판권 소유