Method Article
기계 학습 알고리즘은 인간에게 제시된 자극을 "디코딩"하기 위해 뇌 활동 패턴을 사용하도록 훈련되었습니다. 여기에서는 동일한 기술이 두 마리의 반려견의 뇌에서 추출한 자연주의적 비디오 콘텐츠를 디코딩할 수 있음을 보여줍니다. 우리는 비디오의 행동을 기반으로 한 디코더가 개에서 성공적이라는 것을 발견했습니다.
최근 머신 러닝과 기능적 자기 공명 영상(fMRI)을 사용하여 인간 및 비인간 피질의 시각적 자극을 해독하는 발전은 지각의 본질에 대한 새로운 통찰력을 가져왔습니다. 그러나 이 접근법은 아직 영장류 이외의 동물에 실질적으로 적용되지 않았기 때문에 동물계 전반에 걸쳐 이러한 표현의 본질에 대한 의문이 제기되고 있습니다. 여기에서는 두 마리의 집에서 기르는 개와 두 명의 인간을 대상으로 특별히 제작된 개에 적합한 자연주의 비디오를 시청하면서 얻은 깨어 있는 fMRI를 사용했습니다. 그런 다음 신경망(Ivis)을 훈련시켜 각 뇌 활동에서 총 90분 동안 기록된 뇌 활동에서 비디오 콘텐츠를 분류했습니다. 우리는 개, 사람, 자동차와 같은 범주를 구별하려고 시도하는 객체 기반 분류자와 먹고, 냄새 맡고, 말하기와 같은 범주를 구별하려고 시도하는 행동 기반 분류기를 모두 테스트했습니다. 두 가지 유형의 분류기가 모두 우연을 훨씬 능가하는 성능을 보인 두 인간 피험자와 비교했을 때, 행동 기반 분류기만이 개의 비디오 콘텐츠를 성공적으로 해독했습니다. 이러한 결과는 육식 동물의 뇌에서 자연주의적 비디오를 디코딩하기 위해 기계 학습이 최초로 적용된 것으로 알려져 있음을 보여주며, 개의 눈으로 보는 세상이 우리의 관점과 상당히 다를 수 있음을 시사합니다.
다른 영장류와 마찬가지로 인간의 뇌는 뚜렷하고 잘 알려진 기능,즉 물체의 "무엇"과 "위치"1를 통해 시각적 흐름을 등쪽과 복쪽 경로로 나누는 것을 보여줍니다. 이 무엇을/어디서 이분법은 수십 년 동안 유용한 휴리스틱이었지만, 해부학적 기초는 이제 훨씬 더 복잡한 것으로 알려져 있으며, 많은 연구자들은 인식 대 행동("무엇" 대 "어떻게")에 기반한 소포를 선호합니다2,3,4,5. 또한, 영장류의 시각 체계의 조직에 대한 우리의 이해는 계속해서 개선되고 논쟁이 되고 있지만, 다른 포유류 종의 뇌가 시각 정보를 어떻게 표현하는지에 대해서는 많은 것이 알려지지 않았습니다. 부분적으로, 이러한 빈틈은 역사적으로 시각 신경과학에서 소수의 종에 초점을 맞춘 결과입니다. 그러나 뇌 영상에 대한 새로운 접근 방식은 더 넓은 범위의 동물의 시각 시스템을 비침습적으로 연구할 수 있는 가능성을 열어주고 있으며, 이는 포유류 신경계의 조직에 대한 새로운 통찰력을 제공할 수 있습니다.
개(Canis lupus familiaris)는 진정제나 구속 없이 MRI 촬영에 협력적으로 참여할 수 있도록 훈련받을 수 있는 유일한 동물이기 때문에 영장류와 진화적으로 멀리 떨어져 있는 종의 시각적 자극 표현을 연구할 수 있는 풍부한 기회를 제공합니다 6,7,8. 지난 15,000년 동안 인간과의 공진화로 인해 개도 우리 환경에 서식하며 MRI 스캐너에서 자극을 표시하는 데 선호되는 방법인 비디오 화면을 포함하여 인간이 매일 접하는 많은 자극에 노출됩니다. 그렇다 하더라도, 개는 이러한 일반적인 환경 자극을 인간과는 상당히 다른 방식으로 처리할 수 있으며, 이는 시각 피질이 어떻게 구성되어 있는지에 대한 질문을 불러일으킨다. 중심와(fovea)가 없거나 이염색체(dichromat)가 되는 것과 같은 기본적인 차이점은 낮은 수준의 시각적 인식뿐만 아니라 더 높은 수준의 시각적 표현에도 상당한 다운스트림 결과를 초래할 수 있습니다. 개를 대상으로 한 여러 fMRI 연구는 영장류에서 볼 수 있는 일반적인 등쪽/복부 흐름 구조를 따르는 것으로 보이는 얼굴 처리 영역과 객체 처리 영역이 모두 존재한다는 것을 입증했지만, 개가 그 자체로 얼굴 처리 영역을 가지고 있는지 또는 이러한 영역이 머리의 형태에 선택적인지(예: 개 대 인간)9, 10,11,12,13. 어쨌든, 대부분의 영장류보다 작은 개의 뇌는 덜 모듈화될 것으로 예측될 수 있다14, 따라서 흐름에서 정보 유형의 혼합이 더 많거나 행동과 같은 특정 유형의 정보에 대한 특권이 부여될 수 있다. 예를 들어, 움직임은 질감이나 색깔보다 개의 시각적 지각에서 더 두드러진 특징일 수 있다고 제안되었다15. 또한 개는 우리가 세상과 상호 작용하는 주요 수단 중 하나인 손이 없기 때문에 특히 물체에 대한 시각적 처리는 영장류와 상당히 다를 수 있습니다. 이와 일치하여, 우리는 최근에 발과 입으로 물체와 상호 작용하면 개의 뇌에서 물체 선택 영역이 더 많이 활성화된다는 증거를 발견했습니다16.
개는 가정 환경에서 비디오 화면에 익숙할 수 있지만 그렇다고 해서 인간과 같은 방식으로 실험 환경에서 이미지를 보는 데 익숙하다는 의미는 아닙니다. 좀 더 자연주의적인 자극을 사용하면 이러한 질문 중 일부를 해결하는 데 도움이 될 수 있습니다. 지난 10년 동안 머신 러닝 알고리즘은 인간의 뇌 활동에서 자연주의적 시각 자극을 해독하는 데 상당한 성공을 거두었습니다. 초기의 성공은 개인이 보고 있는 자극의 유형을 분류하기 위해 뇌 활동을 사용하기 위해 고전적이고 차단된 디자인을 적용하는 데 초점을 맞췄고, 이러한 표현을 인코딩하는 뇌 네트워크를 분류했습니다 17,18,19. 더 강력한 알고리즘, 특히 신경망이 개발됨에 따라 자연주의적 비디오를 포함하여 더 복잡한 자극을 해독할 수 있었습니다20,21. 일반적으로 이러한 비디오에 대한 신경 반응에 대해 훈련된 이러한 분류기는 새로운 자극으로 일반화되어 fMRI 반응 당시 특정 피험자가 관찰한 내용을 식별할 수 있습니다. 예를 들어, 영화에 나오는 점프와 회전과 같은 특정 유형의 동작은 인간의 뇌에서 정확하게 해독할 수 있는 반면, 다른 동작(예: 드래그)은 해독할 수 없습니다22. 마찬가지로, fMRI 응답에서 많은 유형의 객체를 디코딩할 수 있지만 일반적인 범주는 더 어려운 것으로 보입니다. 뇌 해독은 인간에만 국한되지 않으며, 다른 종의 뇌에서 정보가 어떻게 구성되어 있는지 이해할 수 있는 강력한 도구를 제공합니다. 인간이 아닌 영장류를 대상으로 한 유사한 fMRI 실험은 측두엽에서 적대감(animacy)과 겉모습(faciness)/몸매(bodiness)의 차원에 대한 뚜렷한 표현을 발견했는데, 이는 인간과 유사하다23.
자연주의적 시각 자극에 대한 개의 표현을 이해하기 위한 첫 번째 단계로, 깨어 있는 fMRI는 MRI에 능숙한 두 마리의 집에서 개에게 적합한 비디오에 대한 피질 반응을 측정하는 데 사용되었습니다. 이 연구에서는 자연주의적 비디오가 개에게 잠재적으로 더 큰 생태학적 타당성과 개의 움직임에 비디오 콘텐츠를 매핑하는 신경망의 성공을 입증했기 때문에 자연주의적 비디오를 사용했습니다24. 세 번의 개별 세션에 걸쳐 256개의 고유한 비디오 클립에 대한 각 개의 응답에서 90분 분량의 fMRI 데이터를 얻었습니다. 비교를 위해, 두 명의 인간 지원자에 대해 동일한 절차를 수행했습니다. 그런 다음 신경망을 사용하여 다양한 수의 클래스를 사용하여 "물체"(예: 인간, 개, 자동차) 또는 "행동"(예: 말하기, 먹기, 냄새 맡기)을 구별하도록 분류기를 훈련하고 테스트했습니다. 이 연구의 목표는 두 가지였습니다 : 1) 자연주의적 비디오 자극이 개 피질에서 해독 될 수 있는지 여부를 결정합니다. 2) 그렇다면, 그 조직이 인간의 조직과 유사한지 여부를 먼저 살펴볼 수 있습니다.
개 연구는 Emory University IACUC (PROTO201700572)의 승인을 받았으며 모든 소유자는 개의 연구 참여에 대한 서면 동의를했습니다. 인체 대상 연구 절차는 에모리 대학 IRB의 승인을 받았으며 모든 참가자는 스캔 전에 서면 동의서를 제공했습니다(IRB00069592).
1. 참가자
2. 자극
3. 실험적인 디자인
4. 이미징
5. 경기 부양 라벨
6. fMRI 전처리
7. 분석
기계 학습 분석에서 모델 성능을 평가하는 가장 일반적인 메트릭에는 정밀도, 정확도, 재현율 및 F1 점수가 포함됩니다. 정확도는 실제 데이터가 제공된 경우 올바른 모델 예측의 전체 백분율입니다. 정밀도는 모델의 긍정 예측에서 실제로 긍정(즉, 참 긍정 비율)인 비율이고, 재현율은 모델이 성공적으로 예측할 수 있는 원본 데이터의 참 긍정 비율입니다. F1 점수는 정밀도 및 재현율의 가중 평균이며 클래스 불균형에 더 강력한 정확도의 대체 척도 역할을 합니다. 그러나 Ivis는 출력이 바이너리가 아니라는 점에서 일반적으로 사용되는 다른 기계 학습 알고리즘과 다릅니다. 브레인 복셀의 특정 입력이 주어지면 각 출력 요소는 각 클래스에 해당하는 확률을 나타냅니다. 이러한 출력에 대한 정확도, 정밀도, 재현율 및 F1을 계산하려면 "승자 독식" 방식으로 이진화해야 했으며, 여기서 가장 높은 확률을 가진 클래스가 해당 볼륨에 대해 예측된 것으로 간주되었습니다. 이 접근 방식은 모델의 품질을 평가하는 것과 관련된 이러한 확률의 순위에 대한 중요한 정보를 제거했습니다. 따라서 이러한 기존 메트릭을 계속 계산하면서 LRAP(Label Ranking Average Precision) 점수를 기본 메트릭으로 사용하여 테스트 세트에서 모델의 정확도를 계산했습니다. 이 메트릭은 본질적으로 분류기가 실제 레이블37에 더 높은 확률을 할당한 정도를 측정합니다.
정도는 다르지만, 신경망 분류기는 인간과 개 모두에게 성공적이었다. 인간의 경우, 이 알고리즘은 객체와 행동을 모두 분류할 수 있었으며, 둘 다에 대한 3클래스 모델을 통해 평균 70%의 정확도를 달성했습니다. LRAP 점수는 테스트 세트에서 모델의 정확도를 계산하기 위한 기본 메트릭으로 사용되었습니다. 이 메트릭은 분류기가 실제 레이블37에 더 높은 확률을 할당한 정도를 측정합니다. 두 사람 모두에게, LRAP 점수의 중앙값은 테스트된 모든 모델에 대해 무작위로 치환된 레이블 세트의 99번째 백분위수보다 컸습니다(표 1; 그림 2). 개의 경우, 두 참가자 모두에서 행동 모델만이 확률보다 훨씬 큰 LRAP 백분위수 순위의 중앙값을 가졌습니다(표 1; P = 객체의 경우 0.13, 동작의 경우 P < 0.001입니다. 개에 대한 평균 3등급 행동 모델 LRAP 점수 = 78번째 백분위수). 이러한 결과는 모든 피험자에게 개별적으로 적용되었을 뿐만 아니라 종별로 그룹화할 때도 마찬가지였습니다.
분류기의 성공을 감안하여 모델의 한계를 결정하기 위해 추가 클래스로 훈련하고 테스트했습니다. 여기에는 Python 패키지 scipy의 계층적 클러스터링 알고리즘을 사용하여 관심 있는 전체 52개의 클래스에 대한 비유사성 행렬을 계산하는 것이 포함되었으며, 이는 쌍별 상관에 의해 정의된 대로 각각에 대한 개인의 뇌 반응의 유사성을 기반으로 클래스를 클러스터링했습니다. 테스트된 추가 모델 중 두 개 모두에서 LRAP 백분위수 중앙값이 가장 높은 모델은 원래의 "말하기", "먹기", "킁킁거리기"의 5가지 클래스와 "쓰다듬기" 및 "놀기"의 두 가지 새로운 클래스를 가지고 있었습니다(그림 2). 이 모델은 모든 참가자에 대해 우연히 예측한 것보다 훨씬 더 큰 LRAP 백분위수 순위의 중앙값을 가졌습니다(표 1; P < 개와 인간 모두 0.001; 개에 대한 평균 5등급 행동 모델 LRAP 점수 = 81번째 백분위수).
각각의 뇌 지도에 역매핑했을 때, 복셀의 기능 중요도 점수는 개와 인간 모두의 후두부, 두정엽 및 측두엽 피질에 있는 많은 정보 복셀 클러스터를 보여주었습니다(그림 3). 인간의 경우, 객체 기반 및 행동 기반 모델은 객체 기반 복셀과 행동 기반 복셀의 공간적 위치에는 약간의 차이가 있었지만 개와 일반적으로 객체 인식과 관련된 영역보다 더 집중적인 패턴을 보여주었습니다.
우리는 이러한 종 차이가 개가 다른 유형의 비디오보다 특정 유형의 비디오(예: 개가 아닌 다른 비디오, 예를 들어 자동차)로 더 많이 이동하는 작업의 상관 관련 동작의 결과가 아님을 확인했습니다. 6개의 모션 매개변수의 유클리드 노름을 계산하고 R 패키지 lme4를 사용하여 클래스를 고정 효과로, 런 번호를 각 개에 대한 무작위 효과로 사용하여 선형 혼합 효과 모델을 피팅했습니다. 각 최종 모델에 대해 Daisy(F(2, 2252) = 0.83, p = 0.44(객체 기반, F(4, 1235) = 1.87, p = 0.11(액션 기반) 또는 Bhubo(F(2, 2231) = 1.71, p = 0.18(객체 기반, F(4, 1221) = 0.94, p = 0.45)의 모션에 대한 클래스 유형의 유의미한 영향은 발견되지 않았습니다.
그림 1: MRI 보어로 표현한 자연주의적 비디오 및 프레젠테이션. (A) 참가자에게 보여준 비디오 클립의 예시 프레임. (B) 4세 복서 믹스견 Bhubo가 깨어 있는 fMRI를 받으면서 비디오를 보고 있습니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
그림 2: 개와 인간의 성능을 모델링합니다. null 분포의 백분위수 순위로 제시된 LRAP 점수의 분포, 3클래스 객체 기반 모델, 3클래스 액션 기반 모델 및 5클래스 액션 기반 모델에 대한 Ivis 머신 러닝 알고리즘의 100회 이상의 학습 및 테스트 반복, 여기서 모델은 다음을 통해 얻은 자연주의적 비디오 자극에 대한 대담한 반응을 분류하려고 시도했습니다. 개와 인간의 깨어 있는 fMRI. 점수는 종별로 집계됩니다. 백분위수 순위가 매우 높은 LRAP 점수는 모델이 우연히 해당 LRAP 점수를 달성할 가능성이 매우 낮다는 것을 나타냅니다. 우연보다 성능이 좋지 않은 모델은 LRAP 점수 백분위수 순위의 중앙값이 ~50입니다. 파선은 100개의 모든 실행에서 각 종에 대한 중앙값 LRAP 점수 백분위수 순위를 나타냅니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
그림 3: 3등급 객체 및 5등급 액션 모델의 구별에 중요한 영역. (A) 인간 및 (B) 개 참가자. 복셀은 모델의 모든 반복에서 평균화된 랜덤 포레스트 분류기를 사용하여 기능 중요도에 따라 순위가 매겨졌습니다. 상위 5%의 복셀(즉, 모델을 훈련하는 데 사용되는 복셀)이 여기에 표시되며, 종별로 집계되고 시각화 목적을 위한 그룹 공간으로 변환됩니다(아틀라스: 인간34 및 개35). 라벨은 Johnson et al.35에 의해 확인된 것을 기반으로 높은 기능 중요도 점수를 가진 개의 뇌 영역을 보여줍니다. 약어 : SSM = suprasylvian gyrus. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
모델 유형 | 훈련 정확도 | 테스트 정확도 | F1 점수 | 정밀 | 기억 | LRAP 점수 중앙값 백분위수 | |
인간 1 | 객체(3 클래스) | 0.98 | 0.69 | 0.48 | 0.52 | 0.49 | >99 |
액션(3개 클래스) | 0.98 | 0.72 | 0.51 | 0.54 | 0.54 | >99 | |
액션(5개 클래스) | 0.97 | 0.51 | 0.28 | 0.37 | 0.27 | >99 | |
인간 2 | 객체(3 클래스) | 0.98 | 0.68 | 0.45 | 0.5 | 0.47 | >99 |
액션(3개 클래스) | 0.98 | 0.69 | 0.46 | 0.5 | 0.48 | >99 | |
액션(5개 클래스) | 0.97 | 0.53 | 0.3 | 0.4 | 0.27 | >99 | |
부보 | 객체(3 클래스) | 0.99 | 0.61 | 0.38 | 0.41 | 0.39 | 57 |
액션(3개 클래스) | 0.98 | 0.63 | 0.38 | 0.4 | 0.4 | 87 | |
액션(5개 클래스) | 0.99 | 0.45 | 0.16 | 0.29 | 0.13 | 88 | |
데이지 | 객체(3 클래스) | 1 | 0.61 | 0.38 | 0.43 | 0.39 | 43 |
액션(3개 클래스) | 0.97 | 0.62 | 0.35 | 0.38 | 0.35 | 60 | |
액션(5개 클래스) | 0.99 | 0.44 | 0.16 | 0.27 | 0.13 | 76 |
표 1: 개와 인간의 깨어 있는 fMRI를 통해 얻은 자연주의적 비디오 자극에 대한 볼드 반응에 대한 훈련 및 테스트를 100회 이상 반복한 Ivis 머신 러닝 알고리즘의 집계 메트릭. 오브젝트 모델에는 3개의 대상 클래스("개", "인간", "자동차")가 있었고, 액션 모델에는 3개 또는 5개의 클래스(3개의 클래스: "말하기", "먹기", "킁킁거리", 5개의 클래스: "말하기", "먹기", "스니핑", "쓰다듬기", "놀이")가 있었습니다. 우연보다 훨씬 큰 값은 굵게 표시됩니다.
보충 표 1: 클래스 레이블. 이 파일을 다운로드하려면 여기를 클릭하십시오.
보충 영화 1: 샘플 비디오 클립. 이 파일을 다운로드하려면 여기를 클릭하십시오.
이 연구의 결과는 자연주의적 비디오가 여러 이미징 세션에 걸쳐 충분히 안정적인 개의 뇌에 표현을 유도하여 인간과 원숭이에서 얻은 결과와 유사한 fMRI로 디코딩할 수 있음을 보여줍니다20,23. 개의 시각 시스템에 대한 이전의 fMRI 연구는 중립적인 배경에 얼굴이나 물체와 같은 벗겨진 자극을 제시했지만, 여기의 결과는 여러 사람과 물체가 서로 상호 작용하는 자연주의적 비디오가 개의 피질에서 활성화 패턴을 유도하여 인간의 피질에서 볼 수 있는 신뢰성에 접근하는 신뢰성으로 해독할 수 있음을 보여줍니다. 이 접근법은 개의 시각 체계가 어떻게 구성되어 있는지에 대한 새로운 연구 길을 열어준다.
개 fMRI 분야가 빠르게 성장했지만 현재까지 이러한 실험은 중립적인 배경에 대한 사람이나 물체의 사진과 같은 상대적으로 빈곤한 자극에 의존해 왔습니다 10,12,13. 또한, 이러한 실험은 얼굴 처리에 관여하는 영장류 방추형 얼굴 영역(FFA) 및 물체 처리를 위한 외측 후두 피질(LOC)과 유사한 뇌 영역을 식별하기 시작했지만, 개가 영장류와 유사한 두드러진 특징에 반응하는 얼굴 영역 자체를 가지고 있는지 또는 개와 사람 또는 얼굴과 머리에 대한 별도의 표현을 가지고 있는지 여부와 같은 이러한 표현의 본질에 대해서는 의견이 분분합니다. 예를 들어 9,13입니다. 물론 개는 영장류가 아니며, 우리는 그들이 일반적인 다감각적 맥락에서 분리된 이러한 인공 자극을 소리와 냄새로 어떻게 해석하는지 알지 못한다. 일부 증거에 따르면 개는 사물의 이미지를 실제 사물의 표상으로 취급하지 않는다12. 스캐너에서 진정한 다감각 경험을 만드는 것은 불가능하지만, 자연주의적 비디오를 사용하면 적어도 개에게는 현실 세계와 더 가까운 동적 자극을 제공함으로써 인공적인 요소를 일부 완화할 수 있습니다. 같은 이유로, 인간 fMRI 연구에서 자연주의적 자극을 사용하는 것이 인기를 얻고 있는데, 예를 들어, 영화의 일련의 사건이 피질에서 여러 시간 척도에 걸쳐 표현되고 영화가 신뢰할 수 있는 감정 활성화를 유도하는 데 효과적이라는 것을 입증했다38. 따라서 자연주의적 비디오는 상대적으로 빈곤한 자극으로 남아 있지만, 인간 신경 과학에서의 성공은 개에서도 유사한 결과를 얻을 수 있는지에 대한 질문을 제기합니다.
우리의 결과는 신경망 분류기가 개의 뇌에서 일부 유형의 자연주의적 콘텐츠를 성공적으로 디코딩했음을 보여줍니다. 이 성공은 자극의 복잡성을 감안할 때 인상적인 위업입니다. 중요한 것은 분류자가 보이지 않는 비디오 클립에서 테스트되었기 때문에 디코딩 모델이 개별 장면에 특정한 속성이 아닌 클립에서 식별할 수 있는 광범위한 범주를 선택했다는 것입니다. 기계 학습 분류기의 성능을 정량화하기 위한 여러 메트릭이 있다는 점에 유의해야 합니다(표 1). 자연주의적 비디오는 본질적으로 모든 클래스가 동일하게 발생하지 않기 때문에 레이블의 무작위 순열에서 null 분포를 구성하고 이에 참조된 중요성을 평가하여 신중한 접근 방식을 취했습니다. 그런 다음 개 모델의 성공이 통계적으로 유의미하여 75-90번째 백분위수 점수를 달성했지만 이는 놀이나 말하기와 같은 현재 행동을 기반으로 비디오를 코딩한 경우에만 해당됩니다.
테스트 세트는 훈련 세트와 달리 클래스 간에 균형이 맞지 않았습니다. 데이터의 20%만 구성되는 경우 가장 작은 클래스 크기로 언더샘플링하면 각 클래스에 대한 샘플 크기가 매우 작아져 계산된 통계를 신뢰할 수 없게 됩니다. 이러한 불균형으로 인한 정확도 부풀려진 가능성을 피하기 위해 LRAP의 null 분포는 각 모델 반복에 대해 클래스 순서를 1,000번 무작위로 치환하여 계산되었습니다. 이 귀무 분포는 모델이 우연히 얼마나 잘 수행될 수 있는지에 대한 참조 역할을 했습니다. 그런 다음 실제 LRAP는 이 null 분포에서 백분위수 순위로 변환되었습니다. 예를 들어 95%와 같이 매우 높은 백분위수 순위는 1,000개의 무작위 순열에서 5%만 높은 점수가 발생했음을 나타냅니다. 따라서 이러한 모델은 우연을 훨씬 뛰어넘는 성과를 내는 것으로 간주될 수 있습니다. 이러한 백분위수 순위가 우연히 예상된 것보다 유의하게 큰지 확인하기 위해(즉, 통계적으로 50번째 백분위수) 각 모델에 대한 100회 반복 모두에서 중앙값 LRAP 백분위수 순위를 계산하고 1표본 Wilcoxon 부호 순위 테스트를 수행했습니다.
주요 목표는 개를 위한 자연주의적 시각 자극의 디코더를 개발하는 것이었지만 인간과의 비교는 피할 수 없습니다. 여기서 우리는 두 가지 주요 차이점을 주목할 수 있습니다: 각 유형의 분류자에 대해, 인간 모델이 개 모델보다 더 나은 성능을 보였습니다. 그리고 인간 모델은 객체 기반 모델과 행동 기반 모델 모두에서 좋은 성능을 보인 반면, 개 모델은 행동 기반 모델에서만 수행되었습니다. 인간 모델의 우수한 성능은 몇 가지 요인에 기인할 수 있습니다. 인간의 뇌는 개의 뇌보다 약 10배 더 크기 때문에 분류기를 만들기 위해 선택할 수 있는 복셀이 더 많습니다. 모델을 동등한 위치에 놓으려면 동일한 수의 복셀을 사용해야 하지만 이는 절대적 또는 상대적 의미일 수 있습니다. 최종 모델은 각 뇌에서 상위 5%의 정보 복셀(상대적 측정)을 기반으로 했지만, 고정된 수의 복셀을 사용하여 유사한 결과를 얻었습니다. 따라서 성능 차이는 인간과 개가 비디오 자극을 인식하는 방식과 관련이 있을 가능성이 더 높은 것으로 보입니다. 위에서 언급했듯이 개와 인간은 모두 지각에 있어 다감각적이지만, 자극은 인간보다 개에게 더 빈곤할 수 있습니다. 예를 들어, 크기 단서가 손실되어 모든 것이 현실 세계의 장난감 버전으로 보일 수 있습니다. 개가 모양보다 크기와 질감에 따라 물체를 분류한다는 증거가 있는데, 이는 인간과 거의 반대입니다39. 또한, 여기에서 고려하지 않은 냄새는 개의 객체 식별, 특히 동종 또는 인간을 식별하는 데 중요한 정보 소스일 수 있습니다 40,41,42. 그러나 크기나 냄새 단서가 없는 경우에도, MRI 스캐너의 특이한 환경에서, 분류기가 작동했다는 사실은 그들의 뇌에서 회수할 수 있는 개와 관련된 정보가 여전히 존재한다는 것을 말해준다. 개 두 마리와 인간 두 마리뿐인 이 종의 차이는 개인차에 기인할 수도 있다. 그러나 두 마리의 개는 MRI 훈련을 받은 개 중 최고를 대표했으며 비디오를 보면서 가만히 있는 데 탁월했습니다. 표본 크기가 클수록 종 간에 더 신뢰할 수 있는 구별을 할 수 있지만, 깨어 있는 fMRI를 수행할 수 있고 일정 시간 동안 비디오를 시청할 수 있는 개의 수가 적기 때문에 항상 모든 개에 대한 일반화 가능성이 제한됩니다. 시각 추적견과 같은 특수 품종이 더 미세하게 조정된 시각적 뇌 반응을 가질 수 있지만, 우리는 개인의 기질과 훈련이 개의 뇌에서 회복할 수 있는 것의 주요 결정 요인일 가능성이 더 높다고 믿습니다.
이러한 종의 차이는 개들이 비디오의 어떤 측면에 주의를 기울였는지에 대한 의문을 제기한다. 이 질문에 답하는 한 가지 접근 방식은 더 간단한 비디오 자극에 의존합니다. 그런 다음 인간, 개, 자동차의 분리된 이미지를 중립적인 배경에 개별적으로 또는 함께 사용함으로써 개의 두드러진 치수를 리버스 엔지니어링할 수 있습니다. 그러나 이것은 방법론적으로 비효율적일 뿐만 아니라 현실 세계의 자극을 더욱 빈곤하게 만듭니다. 주의의 문제는 디코딩 접근법만으로도 해결할 수 있으며, 사실상 모델 성능을 사용하여43에 주의를 기울이고 있는 것이 무엇인지 결정할 수 있습니다. 이러한 맥락에서, 여기서의 결과는 인간이 행위자와 행동 모두에 주의를 기울이는 반면, 개는 행동 자체에 더 집중한다는 것을 시사한다. 이는 개인이 놀 때와 먹을 때의 움직임 빈도와 같은 낮은 수준의 동작 기능의 차이 때문일 수도 있고, 더 높은 수준에서 이러한 활동을 범주적으로 표현하기 때문일 수도 있습니다. 개의 피질 전체에 걸쳐 유익한 복셀이 분포되어 있다는 것은 이러한 표현이 시각 영역에 국한될 수 있는 낮은 수준의 특징이 아니라는 것을 시사합니다. 더 다양한 비디오 자극을 사용한 추가 연구는 개에 의한 범주 차별에서 움직임의 역할을 조명할 수 있습니다.
요약하면, 이 연구는 인간의 피질에 대해 수행되는 것과 동일한 방식으로 fMRI를 사용하여 개의 피질에서 자연주의적 시각 정보를 복구하는 것의 타당성을 입증했습니다. 이 시연은 소리나 냄새가 없어도 비디오를 보는 개에 의해 복잡한 장면의 돌출된 차원이 암호화되고 이러한 차원이 뇌에서 복구될 수 있음을 보여줍니다. 둘째, 이러한 유형의 작업을 수행할 수 있는 소수의 개에 기초하여 정보는 일반적으로 인간에서 볼 수 있는 것보다 피질에 더 널리 분포될 수 있으며, 행동 유형은 행위자나 물체의 신원보다 더 쉽게 복구되는 것처럼 보입니다. 이러한 결과는 비디오 화면을 포함하여 개가 인간과 공유하는 환경을 어떻게 인식하는지 조사하는 새로운 방법을 열어주며, 개와 다른 영장류가 아닌 동물이 세상을 어떻게 "보는지"에 대한 향후 탐구를 위한 풍부한 길을 제시합니다.
없음.
이 분석을 개발하는 데 도움이 된 통찰력을 제공해 준 Kate Revill, Raveena Chhibber, Jon King, MRI를 위한 개를 모집하고 훈련하는 데 도움을 준 Mark Spivak, 비디오 제작 및 라벨링에 도움을 준 Phyllis Guo에게 감사드립니다. 우리는 또한 헌신적인 개 주인인 Rebecca Beasley(Daisy)와 Ashwin Sakhardande(Bhubo)에게 감사드립니다. 인체 연구는 국립 안과 연구소(National Eye Institute)의 보조금(Grant R01 EY029724 to D.D.D.D.)의 지원으로 이루어졌습니다.
Name | Company | Catalog Number | Comments |
3 T MRI Scanner | Siemens | Trio | |
Audio recordings of scanner noise | homemade | none | |
Camera gimbal | Hohem | iSteady PRO 3 | |
Dog-appropriate videos | homemade | none | |
fMRI processing software | AFNI | 20.3.01 | |
Mock scanner components | homemade | none | Mock head coil and scanner tube |
Neural net software | Ivis | 1.7.1 | |
Optical flow software | OpenCV | 4.2.0.34 | |
Projection system for scanner | homemade | none | |
Trophy Cam HD | Bushnell | 119874 | |
Video camera | GoPro | HERO7 | |
Visualization software | ITK-SNAP | 3.6.0 | |
Windows Video Editor | Microsoft | Windows 11 version |
JoVE'article의 텍스트 или 그림을 다시 사용하시려면 허가 살펴보기
허가 살펴보기This article has been published
Video Coming Soon
Copyright © 2025 MyJoVE Corporation. 판권 소유