Автоматизированная Интерактивная Воспроизведение видео по изучению коммуникации животных

Резюме

Воспроизведение видео является широко используемый метод в поведении животных. Мы создали и оценили программу, которая применяется на основе правил, интерактивное воспроизведение 3-D анимации компьютер в ответ в режиме реального времени, автоматизированные данные на тему поведения.

Аннотация

Воспроизведение видео является широко используемым методом для контролируемого манипулирования и представления визуальных сигналов в коммуникации животных. В частности, на основе параметров компьютерной анимации предлагает возможность самостоятельно управлять любым количеством поведенческие, морфологические, или спектральных характеристик в контексте реальных, движущиеся изображения животных на экране. Главное ограничение обычного воспроизведения, однако, является то, что зрительный стимул отсутствует способность взаимодействовать с живого животного. Заимствования из видеоигр технологии, мы создали автоматизированный, интерактивная система для воспроизведения видео, который управляет анимацией в ответ на сигналы реального времени с помощью системы отслеживания видео. Мы продемонстрировали этот метод путем проведения мате-выбор испытаний на женских рыбы меченосца, Xiphophorus birchmanni. Женщины получили одновременного выбора между ухаживания мужчины конспецифичный и ухаживания мужчин гетероспецифических (X. Малинче) на противоположных сторонах аквариума. Виртуальные мужчины стимул был запрограммирован для отслеживания горизонтального положения женщин, как ухаживать самцы в дикой природе. Мате-выбор испытаний на пойманных X. birchmanni женщины были использованы для проверки способности прототипа эффективно генерировать реалистичные визуальные стимулы.

протокол

1. Настройка аппаратного и просмотра системы.

Система состоит из тестирования танк в сопровождении двух мониторов. Видео-камеры, подключенной к системе просмотра записей BIOBSERVE движение объекта в реальном времени. Движение данных передается в интерактивном режиме воспроизведения видео (IVP) программы на отдельном сервере, который определяет движение анимированные стимулов на экране.

1. Поместите два ЭЛТ-мониторов на противоположных концах 80-л аквариуме с чистой водой; выход матча монитора.
2. Место накладные камеры для съемки виду аквариум; подключения к BIOBSERVE видеокарты.
3. Настройка просмотра системы для получения сведений об отслеживании от камеры.
4. Включить плагин для просмотра, который посылает координаты морду животного, тело и хвост анимации сервере в режиме реального времени через указанный адрес IP-сети.
5. Включите анимацию сервера.

2. Калибровка.

1. На анимации сервере откройте InteractiveDisplaySetup.txt. Введите ширину экрана и высоту экрана в пикселях в разделе "Монитор Инфо". В разделе "ProgramType" введите "калибровку". Сохранить изменения в файл.
2. Дважды щелкните на значке программы IVP, чтобы начать программу.
3. Введите в степени танка размеры, что создано в системе просмотра в шаге 2.3. Это позволит обеспечить соответствие между просмотра данных и интерактивный вывод из IVP.
4. Так как концы аквариумы меньше, чем мониторы, программное обеспечение позволяет пользователю использовать клавиатуру (и с при ширине, г, х по высоте, и клавиши со стрелками на должность), чтобы переместить область просмотра (просмотра) из стимулы для согласования с концами тестирование бака. Просмотров по анимации сервер, розовые окна вторит на одном мониторе тестирования и синий просмотра на другом (рис. 1).
5. Используйте г и х на клавиатуре, чтобы масштаб отображения мужчина рыбы на обоих окнах, пока он соответствует желаемой стимул размера.
6. Перемещение ящиков представлен так, что они присоединяются к краям теста танк. Пользователь использует Q или W клавиши для перемещения ящиков в сторону или от центра рыбы.
7. Введите эксперимент информацию при запросе программой. Пользователь имеет возможность выбора между предустановленными модели (в нашей демонстрации, ухаживания мужчин Xiphophorus birchmanni, X. Малинче). Пользователь также определяет поведение каждой рыбы на каждом этапе (не интерактивный или интерактивные), стороны и стадии, на которой каждый стимул появится, и желаемый размер (стандартная длина) каждого стимула.
8. Следующий вопрос, если пользователь хочет, чтобы рыба движения должны быть зеркальными, то есть, что движение модели с обеих сторон аквариум будет в точности то же самое. Это используется только, когда рыба как в режим анимации. Окончательный вопросы касаются движения спинного плавника. Пользователь может выбрать по умолчанию спины, это сделало бы спинным только поднять во время боковой дисплей ухаживания. Если спинной не установлен по умолчанию, пользователь может решить, если модель поднимает его спинной плавник в зависимости от расстояния предмета от монитора.

3.Starting IVP для партнера альтернативный тест.

1. Открытое InteractiveDisplaySetup.txt и установите "ProgramType", чтобы liveTesting и установить 'experimentName' с тем же именем файла, содержащего данные эксперимента.
2. Аккуратно местах, подверженных рыбы в аквариуме и подождите 10 мин.
3. Начало просмотра 2.0 и IVP.

4. Мате-выбор суда.

Общий экспериментальных последовательности следует предыдущих исследований с использованием не-интерактивных видео-стимулов ^1-4. Женщины представлены в двух разных раздражителей на мониторах на противоположных концах тестирования аквариума. Женский поведение отслеживается в режиме реального времени по системе просмотра Biobserve. Ответ анализа является объединение время, количество времени, которое женщина тратит пределах 10 см от одного монитора или другой стороны. Ассоциация времени автоматически вычисляется Viewer.

1. Видео стимулы отображаются тематикам в суд, состоящий из двух, 20-минутный этапов. Этап состоит из четырех 5-минутные сегменты:
   1. Первый сегмент acclimatizes женщиной теста бак в течение пяти минут, показывая монохроматического экрана на обоих мониторах.
   2. Во втором сегменте, два различных раздражителей видео отображаются на женщин, один на левом мониторе, а другой на право в течение пяти минут.
   3. Сразу же после отображения видео раздражители, монохроматических экране снова отображается на обоих мониторах в течение пяти минут.
   4. В четвертом и последнем сегменте, стимулы от второго сегмента представлены, но положение каждого стимула меняется. Это обеспечивает в пределах и женщиной контроля за побочными предвзятости.
2. Секвторых этапе повторяется по той же схеме, с различным набором одновременно, представлены раздражители.
3. Дополнительные испытания выполняются, возвращаясь к шагу 2 и систематически различные стороны и порядок представления.

5. Представитель результаты.

Мы оценили эффективность интерактивного воспроизведения, сравнивая женский ответ на интерактивные и не интерактивные анимации ухаживания самцов. Неинтерактивном стимула осуществляется ухаживания стимулов на экране, независимо от женского поведения, как и в предыдущих исследованиях ^1-4.

Интерактивные стимул гусеничных горизонтальное положение женщин по всему экрану. Положение либо моделируются рыбу или рыбу предмет был оперативно определен как середина линии, соединяющей центр тяжести и морду. Три правила, руководящие мужского поведения были следующими, где направления X относится к длине цистерны, а также направление Z относится к ширине цистерны (рис. 2):

Правило 1: моделирование мужчин всегда следует за предметом по экрану, отслеживание ее в направлении Z.

Правило 2: спинной плавник самца моделируется только возникает, когда она выполняет боковой дисплей ухаживания.

Правило 3: моделирование самец меченосца будет выполнять только боковой дисплей ухаживания за 50% от общего времени, что отображается на женщину. Боковые Токовые вызван самец находясь в одной четверти мужчин длина тела самки рыбы в направлении Z. Боковой дисплей ухаживания не зависит от того, как близко самка на монитор в направлении х.

Интерактивные стимул тесно гусеничных положение женщин в реальном времени (рис. 3).

Предыдущая работа с использованием не-интерактивные раздражители ^4,5 показало, что женщины X. birchmanni сильно предпочтительным визуальные сигналы своего вида. Неинтерактивном стимулы созданные IVP были одинаково эффективны при выявлении предпочтений конспецифичный мате (т = 1,923, N = 9, р = 0,046). Когда женщины были протестированы на моделирование и интерактивные конспецифичный гетероспецифических мужчины непосредственно до или после этого в тот же суд, однако, они не смогли показать предпочтения (рис. 4).

Рисунок 1. Монитор установка для калибровки.

Рисунок 2. Схематическое изображение танка и настройки монитора, с указанием осей, используемый для описания позиции.

Рисунок 3. Горизонтальное положение анимированных образцом и представительства женщин тему с течением времени.

Рисунок 4. Ассоциацией раз (а) самок с интерактивными и не интерактивные конспецифичный и гетероспецифических мужчин стимулы. Каждый участок создается из пятиминутной записи выходной позиции прототипа. В этих участков, с течением времени в вертикальном направлении Y от 0 до 5 минут.

Рисунок 5. Представитель ассоциации времени и отслеживания данных по две интерактивные раздражители. Два пятиминутных сегменты для двух самок показаны.

Обсуждение

Предыдущие методы для интерактивного воспроизведения видео в поведении животных сделали ставку на человека-оператора, чтобы дать ответ на поведенческие сигналы от предметов. С IVP, мы создали программу, которая применяется на основе правил, интерактивность в ответ в режиме реального времени, автоматизированные данные на тему поведения. Мы кратко этапы создания программы ниже.

Первым шагом было создание цифровых мужской экземпляров X. birchmanni и X. Малинче. Мы взяли подход похож на предыдущие исследования ^6. Мы создали 3D-сетки, которые по образцу текстур на основе фотографий реальных X. birchmanni и X. Малинче. Для захвата реалистичные текстуры реальной рыбы, те же фотографии используются для моделирования рыб формы были использованы в качестве текстуры для рыбы. Плоские карты применялись к их координаты UV выровнены УФ карта с фотографией текстуры. Во-вторых, цифровая сетка рыба должна деформироваться как настоящая рыба. Чтобы достичь этого, виртуальная скелет был создан для тела и плавники и "кожей", чтобы сетка. Шкуры процесс позволяет сетки должны быть деформированы, когда суставы повернуты.

Во-вторых, мы добавили в движении к цифровому рыбы. Шесть основных движений, которые самец меченосца делает были анимированы. Три из движений используются для представления различных скоростях, при которых рыба будет плавать. Остальные три движения рыбы оставшиеся до сих пор, поворот, или экспонирование боковой дисплей ухаживания. Так как самцы могут увеличивать или уменьшать их спинной плавник, в соответствии с будь то мужчина или женщина приемники присутствуют ^3, мы отделены движение спинной плавник от боковой дисплей ухаживания. Спинной плавник был ключом, так что она может быть повышена или понижена в любой момент в течение цикла. В общей сложности из двадцати четырех циклов анимации были использованы. Каждый цикл начинался и заканчивался с рыбой в той же позе, так что анимация циклы могут легко смешаться вместе. Все двадцать четыре цикла анимации были созданы ротоскопирования ^7,8 желаемого движения от верхних видео жить, ухаживания мужчин X. birchmanni.

В-третьих, мы включили интерактивности. Мы использовали Biobserve система просмотра отслеживать в режиме реального времени положение морда, тело и хвост женщин меченосца и передавать эту информацию в режиме реального времени программы IVP. Это было сделано отдельно для каждого ухаживания мужчин на каждом мониторе. Мужской анимации следуют позиции субъекта рыбы. Мы смоделировали следующий использованием Рейнольдс прибыла рулевое поведение ^9,10, что позволило мужчин следовать женского и замедляться по мере приближения женщины.

Чтобы вычислить положение самец меченосца на каждом шаге по времени, система поставляется с текущего положения женщин, что позволило программе для расчета сил, которые управляют мужчины. Во-первых, цель смещения вектора рассчитывается путем вычитания положение мужчины рыбы с позиции женщины рыбы. Второй расстояние от мужчины рыбы женщина рыбы было определено, принимая величину целевой вектор смещения. В-третьих, нужную скорость самца рыбы определяется путем деления расстояния на постоянную величину замедления. Это позволило самец замедляться по мере приближения женщина рыбы. Наконец, желаемый ускорение рассчитывается путем вычитания скорость течения самца от желаемой скорости.

С анимацией предоставляются в виде отдельных кадров видео с частотой 60 Гц, расчеты были сделаны для каждого дискретного шага по времени, с интервалом в 0,016 секунды. Максимальная скорость была установлена ​​на значение 10 см / с для этих экспериментов. Если величина новая скорость была больше, чем максимальная скорость, скорость была установлена ​​на максимум.

Для этого конкретного моделирования, интерактивные самец поднял ее спинной плавник 50% времени, и только в период ухаживания взаимодействий. Бокового поведения ухаживания дисплей был спровоцирован, когда мужчины стимулом была в пределах 0,25 длины тела женского рыбы меченосца в измерении Z.

Мы были удивлены тем, что интерактивность отменили женщины предпочитают conspecifics, несмотря на то, что не интерактивные анимации вызвал сильное предпочтение и учитывая, что женщины провели большую часть времени общения с интерактивными раздражители. Одной из возможностей является то, что внимательно следит женщина может изменить визуальные сигналы, используемые для оценки мужчин, например, меч и спинного плавника. Кроме того, женщины могут быть меньше, скорее всего, потеряет интерес к ухаживания самца, и, следовательно, менее вероятно, образец как физические, так (рис. 5).

Тем не менее, наши результаты показывают, что принцип действия видеоигры технологии, а именно программным управлением, основанной на правилах агентов в ответ на ввод пользователя может быть успешно применен для интерактивного воспроизведения в исследованияхповедения животных. Этот тип на основе правил интерактивного воспроизведения должны оказаться полезными для изучения обмеления и коллективного движения ^11,12. В частности, способность манипулировать правила, которые виртуальные экземпляр использует для обмеления должно дать нам представление о процессах, которые животные используют, чтобы сделать обмеления решений.

Материалы

Name	Company	Catalog Number	Comments
Maya 8.0
C# program using Microsoft’s XNA Game Studio 2.0
BIOBSERVE Viewer 2
Dell 15” CRT monitor (2)
20 X 20 X 80 cm Plexiglas testing aquarium
Dell Latitude computer (animation server)