동물 커뮤니케이션 연구를위한 자동화된 대화형 비디오 재생

요약

동영상 재생 동물의 행동에서 널리 사용되는 기법입니다. 우리는 만들어 주제 행동에 실시간 자동 데이터에 대한 응답으로 3 - D 컴퓨터 애니메이션의 규칙 기반의 대화형 재생을 적용하는 프로그램을 평가했다.

초록

비디오 재생 동물 커뮤니케이 션에 영상 신호의 제어 조작 및 프레 젠 테이션을 위해 널리 사용되는 기술입니다. 특히, 매개 변수 기반 컴퓨터 애니메이션은 독립적으로 화면에 동물의 현실, 영상의 맥락에서 행동, 형태학의, 또는 분광 특성의 숫자를 조작할 수있는 기회를 제공합니다. 종래의 재생의 가장 큰 제한은 그러나, 시각 자극이 살고 동물과 상호 작용할 수있는 능력이 부족이다. 비디오 게임 기술의 대출, 우리는 비디오 추적 시스템에서 실시간 신호에 대한 응답으로 애니메이션을 제어 비디오 재생을위한 자동화, 쌍방향 시스템을 만들었습니다. 우리는 여성 swordtail 물고기, Xiphophorus birchmanni에 메이트 - 선택의 실험을 실시하여이 방법을 보여주었다. 여자는 수족관의 반대편에 conspecific 구애 남성과 heterospecific 구애 남성 (X. 말린치) 사이 동시에 선택할 수 있었다. 구애 수컷 야생에서처럼 가상 남성 자극은 여성의 수평 위치를 추적하는 프로그램되었다. 야생 잡은 X의 메이트 - 선택 재판 birchmanni의 여성은 효과적으로 현실적인 시각 자극을 생성하는 프로토 타입의 능력을 확인하는 데 사용되었습니다.

프로토콜

1. 하드웨어 및 뷰어 시스템을 설정합니다.

이 시스템은 두 개의 모니터 둘러싸인 테스트 탱크로 구성되어 있습니다. BIOBSERVE 뷰어 시스템에 연결된 비디오 카메라가 실시간으로 피사체의 움직임을 기록합니다. 모션 데이터가 화면에서 움직이는 자극의 움직임을 결정하는 별도의 서버에 대화형 비디오 재생 (IVP) 프로그램에 전달됩니다.

1. 일치하는 모니터 출력, 깨끗한 물로 채워진 80 리터 수족관의 반대편 끝에 두 개 CRT 모니터를.
2. 플레이스 카메라 오버헤드는 수족관의 전체보기를 캡처, 비디오 카드를 BIOBSERVE에 연결합니다.
3. 카메라에서 추적 정보를받을 수있는 뷰어 시스템을 구성합니다.
4. 지정된 네트워크 IP 주소를 통해 동물의 주둥이, 몸, 그리고 실시간으로 애니메이션 서버에 꼬리의 좌표를 보냅니다 뷰어 플러그인 활성화합니다.
5. 애니메이션 서버를 켭니다.

2. 보정.

1. 애니메이션 서버에서 InteractiveDisplaySetup.txt를 엽니다. "모니터 정보"아래 픽셀 화면 너비와 스크린의 높이를 입력합니다. "ProgramType '에서'교정 '을 입력합니다. 파일에 변경 사항을 저장하십시오.
2. 프로그램을 시작합니다 IVP 프로그램 아이콘을 두 번 클릭합니다.
3. 로 단계 2.3에서 뷰어 시스템에 설치된 탱크 크기의 extents에 입력합니다. 이것은 뷰어 데이터와 IVP에서 대화형 출력 사이의 통신을 보장합니다.
4. 물고기 탱크의 종료는 모니터보다 작은 때문에, 소프트웨어는 사용자가의보기 영역 (뷰포트)를 이동하려면 키보드 (위치를위한 너비와 S, Z와 X 높이, 그리고 화살표 키) 사용할 수 있습니다 테스트 탱크의 끝을과 정렬을 자극. 애니메이션 서버에서 볼, 분홍 뷰포트 한 테스트 모니터 및 기타에 파란색 뷰포트 (그림 1)에 에코합니다.
5. 그것이 원하는 자극의 크기와 일치까지 모두 viewports에 남성 물고기의 표시를 확장하기 위해 키보드에서 Z와 X를 사용합니다.
6. 그들은 시험 수조의 가장자리에 정렬되도록 표시된 상자를 이동합니다. 사용자는 물고기의 중심에서 방향이나 거리에 상자를 이동 Q 또는 W 키를 사용합니다.
7. 프로그램에 의해 메시지가 표시되면 실험 정보를 입력합니다. 사용자는 미리 모델 (우리의 예제에서, 남성 Xiphophorus birchmanni, X. 말린치을 구애) 중에서 선택하는 옵션이 있습니다. 사용자는 또한 각 자극이 나타납니다되는 각 단계에서 각 생선 (비 대화형 또는 대화형), 측면 무대의 동작 및 각 자극의 원하는 크기 (표준 길이)를 지정합니다.
8. 사용자가 물고기 움직임이 수족관의 양쪽에있는 모델의 움직임이 정확하게 동일하게 나타날 것이라 고는 미러링, 즉되고 싶은 경우 다음 질문은 묻습니다. 물고기 애니메이션 모드에 모두 해당하면 이러한에만 사용됩니다. 마지막 질문은 지느러미 지느러미의 움직임을 우려. 사용자는 기본 지느러미를 선택할 수 있으며, 이것은 지느러미는 측면 구애 표시 중에 인상 만들 것입니다. 지느러미가 기본적으로 설정되어 있지 않으면 모델이 모니터에서 피사체의 거리에 따라 그 지느러미 지느러미를 제기하는 경우, 사용자가 결정할 수 있습니다.

메이트 - 선택 시험을위한 IVP를 3.Starting.

1. 오픈 InteractiveDisplaySetup.txt 및 설정 "ProgramType"liveTesting 및 실험 데이터를 포함 동일한 파일 이름에 'experimentName'을 설정합니다.
2. 부드럽게 수족관에서 물고기를 주제 장소와 10 분 기다립니다.
3. 뷰어 2.0 및 IVP를 시작합니다.

4. 메이트 - 선택 재판.

전체 실험 순서가 아닌 대화형 비디오 자극에게 ^1-4 사용하여 이전 연구를 따릅니다. 여자는 테스트 수족관의 반대편 끝에 모니터에 두 개의 서로 다른 자극과 함께 제공됩니다. 여성 문제는 Biobserve 뷰어 시스템에 의해 실시간으로 추적할 수 있습니다. 응답 분석은 연결 시간, 여자 10 하나의 모니터의 cm 또는 다른 내에서 지출 시간의 금액입니다. 협회 시간이 자동으로 뷰어에 의해 계산됩니다.

1. 비디오 자극은 두, 20 분 단계로 구성된 재판에서 과목으로 표시됩니다. 무대 네 5 분 세그먼트로 구성되어 있습니다 :
   1. 첫 번째 세그먼트는 두 모니터에 단색 화면을 표시하여 5 분 동안 시험 수조에 암컷을 acclimatizes.
   2. 두 번째 세그먼트에서는 두 개의 서로 다른 비디오 자극은 여성, 왼쪽 모니터에 하나 5 분 동안 오른쪽에있는 다른 표시됩니다.
   3. 즉시 비디오 자극의 표시에 따라 단색 화면이 다시 5 분 동안 두 모니터에 표시됩니다.
   4. 네 번째와 마지막 세그먼트에서 두 번째 세그먼트의 자극을 제시하지만, 각각의 자극의 위치가 전환됩니다. 이것은 사이드 바이어스를위한 시간 - 여성 제어를 제공합니다.
2. 초ond 단계 동시에 - 제출 자극의 다른 세트와 동일한 패턴을 반복합니다.
3. 추가 실험은 2 단계로 반환하고 체계적으로 프레 젠 테이션의 측면과 질서를 변화에 의해 운영됩니다.

5. 대표 결과.

우리는 구애 남성의 인터랙티브 및 비 - 대화형 애니메이션으로 여성 응답을 비교하여 대화형 재생의 효과를 평가했다. 비 대화형 자극은 이전 연구 ^1-4에서와 같이, 여성 행동의 독립적인 화면 구애의 자극을 수행했습니다.

대화형 자극이 화면에 걸쳐 여성의 수평 위치를 추적. 모의 생선이나 대상 물고기 중의 위치는 운영 체제는 중심과 주둥이를 연결하는 라인의 미드로 정의했다. X 방향은 수조의 길이를 말합니다, 그리고 Z 방향은 수조의 폭 (그림 2)를 말합니다 어디에, 다음과 같이 남성의 행동을 지킬 세 규칙이 있었다 :

규칙 1 : 모의 남성은 항상 Z 방향으로 그녀를 추적, 화면 전체 주제를 따릅니다.

규칙 2 : 그것은 측면 구애의 디스플레이를 수행할 때 가상 남자의 지느러미 지느러미에만 발생합니다.

규칙 3 : 모의 남성 swordtail 물고기는 그것이 여성에게 표시되는 총 시간의 50 %를위한 측면 구애의 디스플레이를 수행합니다. 측면 구애 디스플레이는 Z 방향으로 여성의 생선 중 하나 - 네번째 남자 몸 길이 이내되고있는 남성 생선에 의해 트리거됩니다. 측면 구애 디스플레이는 여성이 X 방향으로 모니터에 얼마나 가까이에 독​​립적입니다.

대화형 자극은 밀접하게 실시간으로 여성의 위치 (그림 3)을 추적.

^4,5 대화형이 아닌 자극을 사용하여 이전 작업은 여성의 X를 보여주 birchmanni 강력하게 자신의 수종의 영상 신호를 선호. IVP 만든 대화형이 아닌 자극은 conspecific 메이트 환경 설정 (t = 1.923, N = 9, P는 = 0.046)을 도출에서 동일하게 효과적했다. 여성이 시뮬레이션 대화형 conspecific 및 heterospecific 남성에서 테스트했을 때 바로 전이나 후에 같은 시험에서, 그러나, 그들은 환경 설정 (그림 4)를 표시하지 못했습니다.

그림 1. 보정을위한 설정을 모니터링합니다.

그림 2. 탱크와 모니터 설정의 도식 볼 위치를 설명하는 데 사용 나타내는 축.

그림 3. 시간이 지남에 따라 애니메이션 견본 대표 여성 피사체의 수평 위치.

그림 4. 인터랙티브 및 비 - 대화형 conspecific 및 heterospecific 남성 자극과 여성 협회의 시간 (s). 각각의 플롯은 프로토 타입으로 위치 출력의 다섯 분 녹화에서 만들어집니다. 이러한 플롯에서는 시간이 0으로 5 분 거리에 수직 Y 방향으로 진행.

그림 5. 2 대화형 자극에 의해 대표 협회 시간 데이터 및 추적. 이 암컷 두 다섯 분 구간이 표시됩니다.

토론

동물의 행동에 인터랙티브 비디오 재생에 대한 이전 방법은 과목에서 행동 단서에 대한 답변을 제공하기 위해 인간의 운영에 의존합니다. IVP과 함께, 우리는 주제의 행동을 실시간으로 자동 데이터에 대한 응답으로 규칙 기반의 상호 작용을 적용하는 프로그램을 만들었습니다. 우리는 간단히 아래의 프로그램을 만드는 데 관련된 단계를 설명합니다.

첫 번째 단계는 X의 디지털 남성 증거물을 만드는 것이었다 birchmanni 및 X. 말린치. 우리는 이전의 연구 ⁶ 유사한 접근을했다. 우리가 진짜 X의 사진에 따라 텍스처를 모델로 아르 3D meshes을 만들 birchmanni 및 X. 말린치. 실제 물고기, 물고기의 모양을 모델로 사용되는 것과 동일한 사진의 현실적인 텍스처를 캡처하려면 그 동안 맛있는 생선은 텍스처로 사용되었습니다. 자신의 UV에 적용 평면지도 사진의 질감과 UV지도를 정렬 좌표. 둘째, 디지털 물고기 메쉬는 실제 물고기처럼 변형해야합니다. 이것을 달성하기 위해, 가상의 뼈대는 몸체와 지느러미를 위해 만들어진하여 메쉬에 "피부". 관절이 회전하는 경우 skinning 과정은 메쉬가 변형 될 수 있습니다.

둘째, 우리는 디지털 물고기 움직임을 추가했습니다. 남성 swordtail의 물고기가 만드는 6 개 주요 움직임이 애니메이션되었습니다. 움직임 세는 물고기가 수영을 것이되는 여러 가지 속도를 나타내는 데 사용되었습니다. 다른 세 개의 움직임이 회전 또는 측면 구애의 디스플레이를 전시, 여전히 남아있는 물고기했다. 남성은 남성 또는 여성 수신기 ³ 존재 여부에 따라 그들의 지느러미 지느러미를 늘리거나 줄일 수 있기 때문에, 우리는 측면 구애 디스플레이의에서 지느러미 지느러미의 움직임을 decoupled. 그것이주기 동안 제기된이나 지점에서 낮아 수 있도록 지느러미 지느러미는 키되었습니다. 스물넷 애니메이션 사이클의 총 사용되었습니다. 각각의 사이클이 시작과 애니메이션주기 쉽게 함께 조화를 수 있도록 같은 자세에서 물고기와 함께 끝났다. 스물넷 애니메이션 사이클의 모든 남자 X를 구애, rotoscoping ^7,8 라이브의 오버헤드 비디오에서 원하는 동작에 의해 만들어진 birchmanni.

셋째, 우리는 상호 작용을 활성화. 우리는 실시간으로 주둥이, 몸, 그리고 여성 swordtail의 꼬리의 위치를​​ 추적하고 IVP 프로그램에 실시간으로 정보를 전송 Biobserve 뷰어 시스템을 사용합니다. 이것은 각각의 모니터에 각각의 구애 남성 별도로 이루어졌다. 남성 애니메이션 주제 물고기의 위치를​​ 따라갔다. 우리는 레이놀즈가이 여성을 접근으로 남성은 여성에 따라 속도를 줄이다 수 스티어링 동작 ^9,10를 사용하여 다음과 같은 모델로 도착.

각 시간 단계에서 남성 swordtail 물고기의 위치를​​ 계산하려면, 시스템은 프로그램이 남자를 운전 세력을 계산할 수있게 여성의 현재 위치와 함께 제공했다. 첫째, 대상 - 오프셋 벡터는 여성 물고기의 위치에서 남성 물고기의 위치를​​ 빼서 계산했다. 남성 생선에서 여성 물고기 두 번째 거리는 대상 - 오프셋 벡터의 크기를 복용에 의해 결정되었다. 셋째, 남성 물고기의 원하는 속도는 일정한 감속 값으로 거리를 나눔으로써 결정되었다. 이것은 여성의 물고기를 접근으로 남성 물고기가 느리게 수있었습니다. 마지막으로, 원하는 가속이 원하는 속도에서 남성의 현재 속도를 빼서 계산했다.

애니메이션은 60 Hz에서에서 비디오의 개별 프레임으로 표시되기 때문에, 계산은 0.016 초 간격으로 각각의 이산 시간 단계되었다. 최대 속도는 이러한 실험 10cm / s의 값으로 설정되었습니다. 새로운 속도의 크기가 최대 속도보다 큰 경우, 속도는 최대로 설정했습니다.

이 특정 시뮬레이션 들어, 대화형 남성 물고기는 지느러미 지느러미에게 시간의 50 %를 제기하고, 오직 구애 상호 작용하는 동안. 남성 자극이 Z의 차원에서 여성 swordtail 물고기의 0.25 몸 길이 내에 있을때 측면 구애 디스플레이 동작이 트리거되었습니다.

우리는 비 대화형 애니메이션이 강한 환경 설정을 elicited과 여성이 상호 작용 자극하에 시간의 대부분을 보낸 것을 주어진 사실에도 불구하고, 상호 작용이 conspecifics에 대한 여성 환경 설정을 폐지되는 놀랐다. 하나의 가능성은 밀접하게 여성을 따라하는 등 검과 지느러미 지느러미로 남성을 평가하는 데 사용되는 영상 신호를 무시 수있다는 것입니다. 또한, 암컷은 구애 남성에 대한 관심을 잃고 적은 가능성이있을 수 있으며, 따라서 적은 가능성이 두 개인 (그림 5) 샘플 수 있습니다.

그럼에도 불구하고, 우리의 결과 즉 비디오 게임 기술의 작동 원리는, 소프트웨어 기반한다는 것을 보여주기, 사용자 입력에 응답 규칙 기반 에이전트가 성공적으로 연구에 대화형 재생에 적용할 수있는동물 행동. 규칙 기반의 대화형 재생이 유형의 shoaling 및 단체 운동 ^11,12 연구를 위해 유용합니다. 특히, 가상의 모범이 shoaling 위해 사용하는 규칙을 조작하는 능력은 동물 shoaling 결정을하는 데 사용하는 프로세스에 우리에게 통찰력을 제공한다.

자료

Name	Company	Catalog Number	Comments
Maya 8.0
C# program using Microsoft’s XNA Game Studio 2.0
BIOBSERVE Viewer 2
Dell 15” CRT monitor (2)
20 X 20 X 80 cm Plexiglas testing aquarium
Dell Latitude computer (animation server)