Name: swarmsight: real-time tracking of insect antenna movements and proboscis extension reflex using a common preparation and conventional hardware
Uploaded: 2017-12-25T14:00:00
Duration: 8 min 13 s
Description: Watch this Scientific Journal Video about SwarmSight: Real-time Tracking of Insect Antenna Movements and Proboscis Extension Reflex Using a Common Preparation and Conventional Hardware at JoVE.com

JB, SMC и РКГ были поддержаны низ R01MH1006674 для SMC и низ R01EB021711 для РКГ. CMJ и BHS были поддержаны идеи NSF лаборатории проекта на «крекинг обонятельные код» для BHS. Мы благодарим Кайл Steinmetz, Тарин Oboyle и Рэйчел Halby за их помощь в проведении этого исследования.

1. ловить и использовать медоносных пчел
<ol>
	<li>Выполните шаги протокол 1-3.1.1 Смит и бремя59.</li>
</ol>
2. Подготовка животных упряжи и видео камеры
<ol>
	<li>Скройте ноги, применяя ленты над верхней части трубки ремень, визуально проверка, что ноги нельзя рассматривать переход от верхней.</li>
	<li>Удержать голову, применяя подогревом воск в задней части головы насекомых. Визуально проверьте, что глава фиксированных и не двигаться. На данный момент антенн и мандибулы должна быть только придатков, свободно двигаться.</li>
	<li>Увеличить контраст между антеннами и фоновое видео, поставив лист белой бумаги под насекомых ремень. Чтобы свести к минимуму необходимость позднее настроить камеру, Марк расположение насекомых ремень на бумаге, а затем поместить новые лица в том же месте.</li>
	<li>Исправьте положение камеры, используя штатив или владелец веб-камеру поставить камеру над головой насекомого. Используя программное обеспечение камеры, просматривать видео и увеличьте масштаб, чтобы увеличить изображение головы, позволяя оформления ~ 20-30% на всех сторонах видео.<ol>
		<li>Убедитесь, что только движущихся объектов в представлении камеры являются усики или мандибулы Хоботок и переместите камеру или животного, при необходимости. Примечание: SwarmSight проверяет для движения в пикселях вокруг головы. Лишние движения в непосредственной близости от головы, вызванных объекты, такие как ноги, тени, вентиляторы или люди могут запутать программного обеспечения и ввести дополнительный шум.</li>
	</ol>
	</li>
	<li>Свести к минимуму антенна тени, регулируя окружающего освещения. Примечание: Программное обеспечение может терпеть некоторые тени, но для достижения наилучших результатов, они должны быть сведены к минимуму.</li>
	<li>Предотвратить автоматическое камеры экспозиции корректировки с помощью программного обеспечения скорости затвора камеры держать время экспозиции камеры постоянной на протяжении всего видео. Используя программное обеспечение, настройте скорость затвора для максимизации контраста (видео сцены не слишком светлый или слишком темный), регулируя экспозицию ползунок в группе «Настройки веб-камеры.» Примечание: Приведенные выше инструкции являются специфическими для веб-камеры и используемого программного обеспечения. Эти должны быть адаптированы, если используются другие веб-камеры.</li>
	<li>Место доставки исходного запаха и убедитесь, что оно не мешает зрения камеры, проверяя канала видео камеры. Убедитесь, что источник вакуума помещаются на противоположной стороне, чтобы удалить запахи стимул.</li>
	<li>Место LED, или некоторые другие визуальный индикатор, который изменяет яркость для обозначения запах еды, в поле зрения камеры. Примечание: Значение яркости Светодиодной сохраняется, программного обеспечения и может использоваться для определения точного кадры когда доставки запах начинается и заканчивается.</li>
</ol>
3. фильм каждый человек в условиях эксперимента
<ol>
	<li>Фильм, который каждого индивидуального насекомых и испытаний условия в отдельных видео файлы записи каждого отдельного теста сочетание отдельно или с помощью видео редактирования программного обеспечения, чтобы разделить видео файл на более мелкие файлы. Примечание: Программное обеспечение требует от пользователя найти положение головы в каждом видео и голову, чтобы оставаться фиксированными. Если голова движется, будет представлен дополнительный шум. Функцию пакетной обработки SwarmSight позволяет пользователю быстро задать расположения головки для нескольких видео и предполагается, что главой насекомых остается фиксированным в течение каждого видео файла. Инструкции о том, как разделить видео файлы можно найти онлайн60.</li>
</ol>
4. видео анализ
<ol>
	<li>Скачать и установить модуль «Антенна отслеживания», следуя инструкциям онлайн58. Примечание: Видео учебники, описывающие способы использования программного обеспечения доступны на веб-сайте, как хорошо.</li>
	<li>Откройте видео файл, показывающий снят животных, используя кнопку «Browse».</li>
	<li>Позиционирование антенны датчика и датчика лечения
	<ol>
		<li>После того, как видео загрузится, положение прямоугольные виджет «Антенна датчика» над головой животного, используя значок поворота и масштаба для выравнивания виджет с головы (см. Рисунок 1 d например).</li>
		<li>Наведите светодиод, который указывает, когда запах или стимул представлен круговой виджет «Лечение датчик». Примечание: Датчик лечения будет записывать значение яркости пиксела в центре виджет для каждого кадра.</li>
	</ol>
	</li>
	<li>Запуск обработки видео
	<ol>
		<li>Нажмите кнопку «Play» (черный треугольник) в левом нижнем углу, чтобы начать анализ фреймов. Примечание: Обнаруженных вероятно антенны и Хоботок очков будет выделенный желтым. Желтые кольца покажет местоположение советы придатков. Углов (где 0 — непосредственно перед животное) антенны и Длина удлинителя Хоботок будет показан в виджете «Модель» в нижнем левом углу (см. рис. 1 d). Виджет «Доминирующей секторов» в правом нижнем углу покажет относительную интенсивность пяти секторах 36 градусов где было выявлено наибольшее количество очков антенны. Мрачные секторы содержат наибольшее количество очков, а легкий наименьшим. Будет показан номер сектора (1-5) с наибольшим количеством очков в нижних углах виджет (см. рис. 1 d).</li>
	</ol>
	</li>
	<li>Настройка пороговых значений фильтра и добавить зоны отчуждения
	<ol>
		<li>Чтобы изменить чувствительность фильтры, отрегулируйте ползунки в разделе «Фильтры», на правой панели. Примечание: В зависимости от условий освещения и общего движения скорость придатков, чувствительности различных фильтров будет оптимальным. Пользователь может найти оптимальные значения, значения и наблюдая за выделенных областей в виджете антенна датчика. Когда найден идеальный набор особенностей, будут выделены только придатков. Рекомендуется для ускоренного перехода к другой части видео чтобы убедиться, что фильтр чувствительности оптимального там, тоже.</li>
		<li>При необходимости, игнорировать посторонние объекты, в правой панели разверните раздел «Антенна датчика», нажмите «Добавить зоны отчуждения» кнопку (см. рис. 1 d) и нажмите на набор точек для формирования красный многоугольник, содержание которого будут игнорироваться программное обеспечение. Примечание: Если видео содержит лишние движения, и движение в виджете антенна датчика зоны (например, перемещение ноги, сильных теней, лабораторное оборудование, и т.д.), программное обеспечение может ошибочно его придаток движения.</li></ol></li></ol>Посторонние объекты могут игнорироваться путем рисования Красная полигонов или «Запретных зон». Ничего внутри красный многоугольник не будет использоваться для отслеживания.
	
	
	<li>Сохранение результатов
	<ol>
		<li>После того, как были созданы фильтры и виджеты, остановить видео, перезапустить его с самого начала и играть его до конца. Примечание: Когда играл весь видео, позиции придатков для всех видео кадров будет храниться в памяти.</li>
		<li>Чтобы сохранить данные позиции придаток в файл, разверните раздел «Сохранить» справа и нажмите кнопку «Сохранить в. CSV» кнопку. Затем выберите папку для сохранения файла. Примечание: «сохранить в. CSV» кнопка будет сохранить результаты обработки в файл CSV. По умолчанию пользователю будет предложено сохранить файл CSV в той же папке, что и видео файл и будет иметь дату и время как часть имени файла. Полученный CSV-файл будет содержать набор столбцов, содержащих информацию о положении придатков, включая антенна углы и доминирующей секторов, а также ориентацию и положение головы. Онлайн61приводится описание каждого столбца.</li>
		<li>При необходимости используйте столбцы (s) и значения поля в разделе сохранить создать дополнительный столбец (или больше если разделенные запятыми) в CSV-файл для записи сведений, например тема ID или имя экспериментальные условия. Примечание: Значение в поле столбцов будет отображаться в заголовке первого столбца и значение в поле значения будет повторяться во всех строках первого столбца.</li>
	</ol>
	</li>
	<li>Пакетная обработка Примечание: Программа может обрабатывать несколько видео файлов в пакете. Однако пользователь должен предоставить головы расположение информации для каждого видео перед запуском пакета.<ol>
		<li>В правой панели в разделе «Видео файлы» нажмите кнопку «Пакетная обработка», чтобы открыть окно, которое позволяет создавать список видео файлов для последовательно обрабатываться программным обеспечением.</li>
		<li>Используйте кнопку «Добавить больше видео файлы для пакетного» выберите один или несколько видео-файлов должны быть включены в список партии.</li>
		<li>При необходимости используйте клавиши «CTRL» или «SHIFT» для выбора несколько видео, которые будут использовать тот же набор параметров виджета. Примечание: Хорошими кандидатами для повторного использования параметра представляют собой наборы видео же животного, не были перемещены между различных экспериментальных условиях.</li>
		<li>Начните, параметры виджета использоваться для выбранного видео, нажав кнопку «Установить датчик позиции для выбранных».</li>
		<li>Настройка параметров в антенна датчика, датчик лечения, фильтры, или сохранить разделы и нажмите кнопку «Сохранить параметры для партии «когда сделано.</li>
		<li>После того, как были выбраны параметры для каждого видео, запустите пакетный процесс, нажав кнопку «Начать обработку». Примечание: Программа будет загружать видео файлы в том порядке, в котором они появляются в списке пакетов, обрабатывать их и сохранить их соответствующие CSV-файлы в ту же папку, где расположены файлы видео. Индикатор в верхней части обеспечит оценкам заканчиваются после завершения первого видео.</li>
	</ol>
	</li>

Авторы заявляют, что они не имеют никаких финансовых интересов.

Представленные здесь метод позволяет насекомых антенны и Хоботок движений в реальном времени отслеживать без оборудования и специальных животных препаратов.
Ограничения:
Несмотря на эти преимущества есть некоторые ограничения метода. К ним относятся требования, что голова животного ограничивается от движения, необходимости для пользователя, чтобы выбрать расположение и ориентацию животное для каждого видео, требование иметь доступ к компьютеру с Windows и неспособность программного обеспечения отслеживания движение в трех измерениях (3D) и в некоторых позициях визуально неоднозначной придаток, описанные ниже.
Программное обеспечение требует, чтобы голова животного фиксируется в месте и не движется во время видео. Это похоже на подготовке предыдущих работ48,49,50,51. Это позволяет изменять программное обеспечение, чтобы разрешить автоматическое обнаружение головы вращений, однако, это будет потреблять дополнительное время обработки и ввести новый источник ошибки. Если модифицированное программное обеспечение для обнаружения угол поворота головы неправильно, это скажется на углы антенн, как их вычисления задается угол поворота головы. В настоящее время пользователь выбирает направление головы один раз в видео. Этот подход, хотя и не без человеческой ошибки, минимизирует ошибки в расчетах угол когда голова не разрешено перемещаться во время видео.
Программное обеспечение также требует Windows 7 (или более поздней версии) операционной системы (ОС). Цель заключалась в том, чтобы сделать программное обеспечение легко установить, настроить и использовать пользователями без программирования или сложные навыки администрирования компьютера. Мы решили целевой Windows, потому что он широко доступен, и в тех случаях, когда доступ к нему ограничены, могут быть легко созданы виртуальные машины (например, VMware, VirtualBox Parallels) с Windows. Этот выбор OS значительно упрощает установку программного обеспечения с помощью easy-to-use, бесплатные командной строки установщика и избежать ошибок, характерных для различных ОС.
Программное обеспечение отслеживает только положение придатков в 2D пространстве. Известно, что насекомые переместить их антенну в 3D, которая может означать, что важная информация теряется, когда только двухмерные координаты измеряются. В то время как использование нескольких камер или зеркала могут помочь в сборе дополнительной информации, необходимой для 3D локализации, это можно вычислить, с использованием тригонометрических отношений, ожидаемое положение вне плоскости, предполагая, что усики Одноместный линейных сегментов постоянной длины и двигаться только на одной стороне плоскости камеры. Для медоносных пчел это предположение верно получить приблизительные оценки позиции в 3D, но не обязательно в случае других видов и ситуаций.
Программное обеспечение не будет правильно обнаруживать антенн и Хоботок Совет места в некоторых неоднозначных ситуациях. Если животное перемещает антенну так, чтобы в видео, оно перекрывало расширенный Хоботок, программное обеспечение будет вероятно обнаружить кончик антенны как кончик Хоботок. Однако, угол антенны все еще вероятно будут рассчитываться правильно (от non перекроя части). Аналогично Если антенна советы двигаться прямо над головой животного (т.е. не по бокам) затем программное обеспечение может только обнаружить части антенны, которая видна за пределами головы, или себя предыдущее расположение антенны или обнаружить ложные видео шум как расположение антенны. В обеих ситуациях даже человека рейтеров испытывают трудности, взыскательных антенны от Хоботок или головы. Чтобы смягчить эту проблему, мы рекомендуем использовать фильтр подвижного средний57 3-рама, симметричный сырье X и Y координаты производства программного обеспечения. Этот фильтр удаляет колебания большой временной позиции (сингл кадр) и сохраняет больше движений положение антенны. Мы обнаружили, что 3-рамка фильтра выполнен лучше, чем без фильтра, в то время как более широкое фильтры (например, 5, 11 или 15 кадров) снижение точности. Код примера R, который использует видео-учебник и фильтра можно найти онлайн58.
Значение как научный инструмент:
Доступность метода быстро получить точные насекомых придаток движений в экономически эффективным образом имеет потенциал, чтобы открыть новые области исследования.
Хоботок расширение рефлекс (PER) является часто используемые поведенческие реакции расследовать учить и память целого ряда насекомых59. Предыдущие исследования обычно опирались на бинарный продлен или не мера процента, хотя видео и электромиографической анализы показали гораздо более сложные топологии для Хоботок движений65,66. Этот метод позволяет быстрой квантификации Хоботок движений в высокого временнóго и пространственного разрешения.
Насекомых антенна движения в ответ на запахи изучены плохо. Одна из причин этого является, что антенны, как правило, двигаться так быстро, что экономически, автоматизированных средств для получения антенны движение данных не была доступна. Метод, представленный здесь можно быстро получить антенна движения данных для большого количества насекомых в большое количество условий. Это может помочь, например, исследователи, расследование сопоставление между антенной движения в ответ на различные стимулы, в частности летучие запахи. С помощью камеры, которые захвата кадров 30 Гц, программное обеспечение может использоваться для характеризовать динамику усиков движение до 15 Гц (Найквиста предел). Если необходима квалификация в высоких частотах, камеры с более высокими ставками захвата (например, 60 или 120 fps) могут быть использованы. Однако может потребоваться более быстрый компьютер для обработки выше fps видео в режиме реального времени. Мы предположить, что классы запахов, и возможно даже некоторые отдельные запахи, имеют характерный врожденной усиков движений. Если эти классы или соединений могут быть обнаружили, неизвестные запахи или их класса может быть обнаружены усиков движения неподготовленных насекомых. Если такое отображение существует, сочетание достаточных данных движение антенны и состояние искусства машина обучения алгоритмы должны начать раскрыть его. Кроме того как это сопоставление изменений в ответ на обучения, формы во время разработки, или нарушается с генетического вмешательства может предложить понимание функции обонятельные системы.Наконец эта работа может дать понимание искусственной обнаружения запаха, если она показывает методы оптимального выборки для запаха в сложных средах.
Будущая работа:
Здесь, мы показали, что антенна движения данных можно быстро получены и проанализированы: значительные поведение ответы могут быть обнаружены от данных, генерируемых нашего программного обеспечения, и были определены несколько областей дальнейшего расследования.
Время курсы вызвали стимул антенны угол отклонения от и восстановления базовой линии и рикошета любой стимул заключение и его зависимость от запаха концентрации могут быть расследованы и математически моделировать. Кроме того любые изменения антенны движений, вызванных appetitive или отрицательной принадлежности также можно оценить с помощью программного обеспечения.
Можно также изучить лучше дифференциация запахов. В этом исследовании, запахов, в чистом и 35 x разреженных версии вызвало аналогичные ответы: антенны, в среднем, как представляется, быстро уйти от источника запаха и вернуться к предварительной запах исходных линий через несколько секунд. Мы предположить, что даже разбавленных версии были очень сильные обонятельные стимулы для медоносных пчел. Значение true, если более широкий спектр концентраций могут использоваться для определения, если усиков ответы различать запахи. Кроме того более сложный анализ лучше может выявить различия в усиков движения в ответ на различные запахи. Мы сделали файлы данных, используемые для создания фигур в этой рукописи, доступных для заинтересованных исследователей на веб-сайте SwarmSight67.
Кроме того хотя в сферу этой рукописи, программное обеспечение может быть продлен для обработки видео животных, размещены в камерах с двумя зеркалами, под углом в 45° (см. Рисунок 1 d например). Это может использоваться для точно локализовать и отслеживать их движение в трехмерном пространстве и придатков. Однако, алгоритмы для 3D отслеживания должны будут эффективно: (a) неоднозначность нескольких антенн, когда они являются видимыми в одном из боковые зеркала, (b) правильно для несовершенства в зеркало углы и (c) приходится искажения из-за камеры позиционирование.
Наконец дополнительный выигрыш в точность позиционирования могут быть реализованы через использование Калман фильтр68, какие модели и использует информацию физическое состояние как придаток скорость и ускорение для ограничения прогнозируемого расположения. Однако любое увеличение точности должны оцениваться против любых сокращений в скорости за счет дополнительных вычислений.
Заключение:
Многие насекомые использовать антенны активно образец летучих соединений в их местных условиях. Шаблоны в усиков движений может обеспечить понимание восприятия запаха насекомых и как она зависит от принадлежности, токсичных соединений и генетические изменения. Аналогичным образом Хоботок движений были использованы для оценки восприятия запаха и его модуляции. Однако быстро получить большое количество данных с высоким разрешением придаток движение было трудно. Здесь протокол и программное обеспечение описан которые автоматизирует такие задачи. Таким образом мы создали и продемонстрировал, как сочетание недорогих аппаратных средств, общей подготовки животных и открытым исходным кодом программное обеспечение может использоваться для быстро получать данные с высоким разрешением насекомых придаток движения. Были показаны выходные данные программного обеспечения, как она превосходит человека рейтинговых агентств в скорости и точности, и как ее выходные данные могут быть проанализированы и визуализированы.

Большинство членистоногих перемещение антенны или другие придаток к образцу экологические сигналы и сигналы во времени и пространстве. Животных можно использовать антенны для перемещения их окружающей среды путем обнаружения сенсорные сигналы летучих химических веществ и вкусовые и механических раздражителей1,2,3,4. У насекомых усики содержат сенсорные рецепторы, которые связывают летучих химических веществ4,5,6 и передавать этот сигнал через обонятельной сенсорных нейронов Центральный мозг регионах1,7 ,8,9. Насекомых можно скорректировать позиции антенн для модуляции информацию о входящих запахи4,10,11. Эта модуляция облегчает активно информированных поведенческих реакций запахи и их перья12,13.
Многие насекомые, включая перепончатокрылых (например, медоносных пчел и шмелей), триплоидная (например, бабочки), двукрылых (например, мух и комаров), среди прочего, корма, расширяя их Хоботок14 , 15 , 16 , 17 , 18 , 19 , 20 , 21. расширение Хоботок надежно использовались в прошлом для различных обучения и памяти задачи22,23,24,25,26, 27,-28,-29,-30,-31. Аналогичным образом количественная оценка движения антенн с высоким временным и пространственным разрешением может дать понять отношения между стимулом, поведение и внутреннее состояние животного. Действительно предыдущей работы показал как усиков движений содержат богатый количество информации о мед пчелы слежения окружающей среды и изменения движения с обучения,32,33,34 35,36,,3738.
В течение последнего десятилетия методы для наблюдения за поведением животных были значительно ускорился прогресс в камерах с высоким разрешением видео, компьютерной обработки скорости и алгоритмы машинного зрения. Такие задачи, как животных обнаружения, подсчет, отслеживания и анализа предпочтений место было автоматизированного с сложного программного обеспечения, которое может обрабатывать видео поведения животных и извлечь соответствующие меры39,40, 41,42,,4344,45,,4647.
Эти технологии также помогают отслеживания движений насекомых антенны и Хоботок. Это возможно для человека рейтеров использовать курсор мыши к вручную отслеживать положение антенны. Однако хотя этот метод может быть точной, задача занимает много времени, и человека невнимательность и усталость могут привести к ненадежные результаты. Специальное оборудование и подготовка может использоваться для уменьшения необходимости сложного программного обеспечения. Например одна установка используется высокоскоростной камеры и окрашены советы антенн для отслеживания движения антенна48. Пользователи могут также попросить выбрать ключ кадры видео для оказания помощи программного обеспечения для обнаружения местоположения антенны и Хоботок49. Другой подход обнаружено два крупнейших движения кластеры для выявления антенн, но он не обнаружить местонахождение Хоботок50. Другой пакет программного обеспечения может обнаружить расположения антенны и Хоботок, но требует около 7,5 s время обработки за кадр51, которая может быть непомерно высокой для наблюдения в реальном времени или долгосрочных исследований. Наконец это может быть возможность настроить коммерческие пакеты программного обеспечения (например, EthoVision) для выполнения задач46, но их лицензирования и учебных расходов может быть непомерно высока.
С методом, описанным здесь, мы расширили наши предыдущей работы по движения анализ программного обеспечения41 для отслеживания расположения насекомых антенн и Хоботок с следующих целей: (1) не требуется специального оборудования или сложных животных подготовки, (2). Рама, обработка в режиме реального времени (30 fps или быстрее) на обычного компьютера, (3) простота использования и (4) открытым исходным кодом, легко расширяемая кода.
Результате Роман метод и открытым исходным кодом программного обеспечения, SwarmSight придаток отслеживания, не требует покраски советы антенн, можно использовать потребителей веб-камеру для захвата видео и видео кадры процессов на 30-60 fps на обычного компьютера ( Рисунок 1). Программное обеспечение принимает видео файлов в качестве входных данных. Пользователь находит на должность руководителя насекомых в видео, и, после обработки, файл запятыми (CSV) производится с расположения антенн и Хоботок. Программное обеспечение способно читать сотни различных форматов видео (включая форматы, производимых в большинстве цифровых камер) с помощью FFmpeg библиотеки52.
<img alt="Figure 1" class="xfigimg" src="/files/ftp_upload/56803/56803fig1.jpg"> 
Рисунок 1: животных установки и программное обеспечение вывода. (A) A мед пчелы добытчик с его головы и тела, сдержанный в упряжи. (B) запах источник помещается перед животное, видео камеры позиционируется выше, и источник вакуума помещаются за животное. (C) антенна наконечник и Хоботок переменных определяется по SwarmSight из видео. (D) пользователь наведении животное антенна датчика и настраивает параметры фильтра. Программное обеспечение обнаруживает положения антенны и Хоботок (желтые кольца).<a href="//ecsource.jove.com/files/ftp_upload/56803/56803fig1large.jpg" target="_blank">Пожалуйста, нажмите здесь, чтобы посмотреть большую версию этой фигуры.</a>
Во-первых тело насекомого и его голова сдержанно в обвязке таким образом, что антенна и Хоботок движения легко наблюдаются (рис. 1A). Запах источник помещается перед насекомых, с источник вакуума, помещают позади, чтобы удалить запахи из воздуха и свести к минимуму потенциальные последствия сенсорной адаптации (рис. 1B). Обычные веб-камера помещается над головой насекомых на штатив. Светодиодный индикатор могут быть расположены в поле зрения камеры чтобы указать, когда запах представлен.
<img alt="Figure 2" class="xfigimg" src="/files/ftp_upload/56803/56803fig2.jpg"> 
Рисунок 2: система координат антенна. X, Y значения использовать видео системы координат, где верхний левый угол происхождения и повышения значения X и Y при направлении в нижнем правом углу. Углы выражаются в градусах относительно передней части головы (обычно источник запахов). Значение «0» означает, что линия, образованная жгутика антенна указывает непосредственно перед животного. Все углы являются положительными, за исключением, когда антенна указывает на противоположные направления (например, правом жгутика точек слева). <a href="//ecsource.jove.com/files/ftp_upload/56803/56803fig2large.jpg" target="_blank">Пожалуйста, нажмите здесь, чтобы посмотреть большую версию этой фигуры.</a>
После съемки, видео файл открыт с помощью программного обеспечения SwarmSight, где пользователь позиций виджете антенна датчика (рис. 1 d, черный квадрат) над головой насекомого и начинает воспроизведение видео. Когда результаты сохраняются, CSV-файл будет содержать X, Y позиции антенны советы, антенна углами по отношению к передней части головы (рис. 2) и Хоботок X, Y позиции. Кроме того доминирующим сектором метрики вычисляется для каждой антенны. Метрические шоу, которые из пяти секторов 36 градусов вокруг каждой антенны содержится наибольшее количество очков могут быть усики и может быть полезным, если антенна/угол метрики не являются надежными, из-за шумных или иным образом проблемных видео.
Вкратце программное обеспечение работает с помощью набора движения фильтры53 и расслабленной наводнение заполнения алгоритм54. Найти вероятность антенна точки, используются два фильтра:41,3-подряд кадр разница в фильтр55 и56 фильтр Медиана фон вычитание. Фильтр пороговое расстояние цвет используется для Хоботок точки обнаружения. Топ 10% точек каждого фильтра объединяются, и наводнение заполнения алгоритм, который проверяет последовательных точек с пробелами до 2 пикселей (px) находит крайние точки. Параллельно кадра декодирования, обработки и визуализации трубопроводов и оптимизации памяти, выделение потока данных фильтра достигает высокой производительности. Сырые x и y значения координат, производства программного обеспечения после обработки с 3-кадр подвижного медианный фильтр57 (см. обсуждение). Инструкциям, чтобы загрузить полный исходный код можно найти онлайн58.
Ниже — это протокол подготовить добытчик пчелы мед для слежения антенны. Аналогичный протокол может использоваться для отслеживания перемещения антенны/Хоботок других насекомых. В разделе результаты мы опишем пример вывода трассировки антенна, обнаруженного программного обеспечения, Сравнение программного обеспечения вывода для отслеживания выполняемых человека рейтинговых агентств и оценки антенн движения в ответ на пяти отдушки.

<table border="0" cellpadding="0" cellspacing="0" width="938">
	<tbody>
		<tr height="42">
			<td height="42" style="height:42px;width:188px;">Insect harness</td>
			<td style="width:95px;">N/A</td>
			<td style="width:161px;">N/A</td>
			<td style="width:495px;">Use materials needed for Protocol sections 1-3.1.1 of Smith &#38; Burden (2014)</td>
		</tr>
		<tr height="21">
			<td height="21" style="height:21px;width:188px;">Odor delivery source</td>
			<td style="width:95px;">N/A</td>
			<td style="width:161px;">N/A</td>
			<td style="width:495px;">Use materials needed for Protocol section 3 of Smith &#38; Burden (2014)</td>
		</tr>
		<tr height="42">
			<td height="42" style="height:42px;width:188px;">Vacuum source</td>
			<td style="width:95px;">N/A</td>
			<td style="width:161px;">N/A</td>
			<td style="width:495px;">Use materials needed for Protocol section 3 of Smith &#38; Burden (2014)</td>
		</tr>
		<tr height="42">
			<td height="42" style="height:42px;width:188px;">LED connected to odor delivery source</td>
			<td style="width:95px;">N/A</td>
			<td style="width:161px;">N/A</td>
			<td style="width:495px;">Use materials needed for Protocol section 3 of Smith &#38; Burden (2014)</td>
		</tr>
		<tr height="42">
			<td height="42" style="height:42px;width:188px;">Low Voltage Soldering Iron</td>
			<td style="width:95px;">Stannol</td>
			<td style="width:161px;">Low Voltage Micro Soldering Iron 12V, 8W</td>
			<td style="width:495px;"></td>
		</tr>
		<tr height="21">
			<td height="21" style="height:21px;width:188px;">DC Power Supply</td>
			<td style="width:95px;">Tekpower</td>
			<td style="width:161px;">HY152A</td>
			<td style="width:495px;"></td>
		</tr>
		<tr height="42">
			<td height="42" style="height:42px;width:188px;">White sheet of paper</td>
			<td style="width:95px;">Georgia-Pacific</td>
			<td style="width:161px;">998606</td>
			<td style="width:495px;">Any white sheet of paper can be used as alternative</td>
		</tr>
		<tr height="42">
			<td height="42" style="height:42px;width:188px;">Tripod</td>
			<td style="width:95px;">AmazonBasics</td>
			<td style="width:161px;">50-Inch Lightweight Tripod</td>
			<td style="width:495px;">Optional</td>
		</tr>
		<tr height="42">
			<td height="42" style="height:42px;width:188px;">Camera</td>
			<td style="width:95px;">Genius</td>
			<td style="width:161px;">WideCam F100</td>
			<td style="width:495px;">FLIR Flea3 or another camera with manual focus can be used.</td>
		</tr>
		<tr height="42">
			<td height="42" style="height:42px;width:188px;">Camera software</td>
			<td style="width:95px;">Genius</td>
			<td style="width:161px;">N/A</td>
			<td style="width:495px;">Software comes with camera. On MacOS, Photo Booth app can be used to record videos.</td>
		</tr>
		<tr height="63">
			<td height="63" style="height:63px;width:188px;">Camera shutter speed software</td>
			<td style="width:95px;">Genius</td>
			<td style="width:161px;">N/A</td>
			<td style="width:495px;">Genius camera software allows shutter speed setting. In Mac OS, iGlasses by ecamm can be used instead: http://www.ecamm.com/mac/iglasses/</td>
		</tr>
		<tr height="84">
			<td height="84" style="height:84px;width:188px;">Windows Operating System</td>
			<td style="width:95px;">Microsoft</td>
			<td style="width:161px;">Windows 7 Professional</td>
			<td style="width:495px;">Versions 7 or later are compatible. Oracle VirtualBox, Parallels Desktop, or VMWare Fusion can be used to create a Windows virtual machine in MacOS environments.</td>
		</tr>
		<tr height="21">
			<td height="21" style="height:21px;width:188px;">SwarmSight software</td>
			<td style="width:95px;">SwarmSight</td>
			<td style="width:161px;">Appendage Tracking</td>
			<td style="width:495px;">Download from http://SwarmSight.org</td>
		</tr>
		<tr height="42">
			<td height="42" style="height:42px;width:188px;">R software</td>
			<td style="width:95px;">R Project</td>
			<td style="width:161px;">R 3.4.0</td>
			<td style="width:495px;">Download from: https://cran.r-project.org/bin/windows/base/</td>
		</tr>
		<tr height="63">
			<td height="63" style="height:63px;width:188px;">R Studio software</td>
			<td style="width:95px;">RStudio</td>
			<td style="width:161px;">RStudio Desktop</td>
			<td style="width:495px;">Download from: https://www.rstudio.com/products/rstudio/download/</td>
		</tr>
	</tbody>
</table>

swarmsight: real-time tracking of insect antenna movements and proboscis extension reflex using a common preparation and conventional hardware

Многие важные научно и аграрно насекомых использовать антенны обнаружить присутствие летучих химических соединений и расширить их Хоботок во время кормления. Возможность быстро получить с высоким разрешением измерения естественных движений, антенна и Хоботок и оценить, как они изменяются в ответ на химическое, развития и генетических манипуляций может помочь понимание поведения насекомых. Путем расширения нашей предыдущей работы по оценке совокупного Рой насекомых или животных группы движений от природных и лабораторных видео с помощью видео анализ программного обеспечения SwarmSight, мы разработали модуль роман, бесплатным и открытым исходным кодом программного обеспечения, SwarmSight придаток Отслеживание (SwarmSight.org) для отслеживания по кадрам насекомых антенны и Хоботок позиций от обычных веб-камеры видео с использованием обычных компьютеров. Программное обеспечение обрабатывает кадры около 120 раз быстрее, чем люди, выполняет лучше, чем человека точности и, используя 30 кадров в вторая (fps) видео, можно захватить усиков динамика до 15 Гц. Программное обеспечение используется для отслеживать усиков ответ медоносных пчел в двух запахов и обнаружили значительные среднее усиков опровержения от запаха источник около 1 сек после презентации запах. Мы наблюдали антенна позиции плотность тепла карта формирования кластера и кластер и означает угол зависимость концентрации запаха.

В разделах ниже являются примером участок антенн углов производится из данных программного обеспечения, Сравнение программного обеспечения точности и скорости с человека рейтинговых агентств, а также результаты эксперимента, где мед пчелы антенна движения зависит от представления различные запахи. 62,программного обеспечения R63 был использован для выполнения анализа и создания фигуры. Код R для анализа и фигура поколения, а также видео уроки можно найти онлайн58.
Программное обеспечение вывода:
Рисунок 3 показывает пять случайно выбранных следы антенны углов обнаружены программного обеспечения от видео, пчёл, с чистой и 35 x минеральное масло разбавленный версий heptanal и heptanol, а также чистый воздух.
<img alt="Figure 3" class="xfigimg" src="/files/ftp_upload/56803/56803fig3.jpg"> 
Рисунок 3: пять образцов следы антенн углов, обнаруженных SwarmSight. Ось y показывает антенна угол в градусах, где «0» находится прямо перед животное, к источнику запах, с больших значений, указывая вдали от источника запаха. Heptanol, heptanal и их 35 x минеральное масло разбавленный версий, а также чистый воздух, были применены во время серый 0 - 3600 ms windows для одного мед пчелы кормоуборочные комбайны. Левой антенны помечен красным, прямо синей. На пяти участках изображены пять случайных пчел, один из каждого условия. <a href="//ecsource.jove.com/files/ftp_upload/56803/56803fig3large.jpg" target="_blank">Пожалуйста, нажмите здесь, чтобы посмотреть большую версию этой фигуры.</a>
Проверка программного обеспечения:
Чтобы проверить, что программное обеспечение может надежно обнаруживать расположение антенн, антенна позиций, расположенных на людей были сопоставлены с позиций, расположенных на программное обеспечение. Два человека рейтеров было предложено найти советы антенны и Хоботок в 425 видеокадров (~ 14 s видео). Пользовательский программный модуль придаток места, отмеченные рейтинговых агентств, автоматически Расширенный видео кадры и учет количество времени, затраченное на задачу. Как пример переписки между человека - программное обеспечение расположен значениями, накладывается вертикальных координат следы одной антенны для программного обеспечения и для двух человека обнаруженных местах показаны на рисунке 4A. Расстояние между позициями двух рейтинговых агентств отмеченные антенна была вычисляется и назван «Расстояние между человека.» Расстояние между антенной обнаружено программное обеспечение и ближайший расположение обнаруженных человеческого рейтеров вычисляется и назван «Программное обеспечение-ближайший человека расстояние» (рис. 4В).
<img alt="Figure 4" class="xfigimg" src="/files/ftp_upload/56803/56803fig4.jpg"> 
Рисунок 4: сравнение с человека рейтеров. (A) два человека рейтинговых агентств и советы антенна SwarmSight расположен в 425 видеокадров. Совет Y координаты левой антенны по кадрам нашел человека рейтинговых агентств и накладываются программное обеспечение. (B) накладывается разногласия по кадрам (расстояние в видео пикселей) между человека рейтеров (оранжевый) и разногласия между программного обеспечения и ближайший человека Оценщик стоимости (черный). (C) человека против расположение кончика человека антенн (оранжевый) и программное обеспечение против человека местах (черный). (D) гистограммы и кумулятивного распределения (барашек) человека против человека и программного обеспечения против человека разногласия по кадрам расстояния. <a href="//ecsource.jove.com/files/ftp_upload/56803/56803fig4large.jpg" target="_blank">Пожалуйста, нажмите здесь, чтобы посмотреть большую версию этой фигуры.</a>
Расстояние между человека был 10,9 px в среднем, в течение 55,2 px в 95% кадров, и имел максимальное значение 81,6 px. Программное обеспечение-ближайший человека расстояние было 8.0 px в среднем, в 18,3 px в 95% кадров, и имел максимальное значение 49.0 px (см. гистограммы расстояние в 4 d рисуноки Рисунок 4 c). 5 px был приблизительно ширину антенны. В целом расстояние между человека был небольшой для кадров в начале задачи и увеличилась в второй половине задачи. Мы подозреваем, что это было из-за усталости вещь. Между тем программное обеспечение-ближайший человека расстояние уровнях остается неизменным всей задачи.
Программного обеспечения скорости и точности сравнение с человека рейтинговых агентств:
Люди оценили отзыв и Хоботок Расположение голосовойантенн со средней скоростью 0.52 кадров в секунду (fps). Чтобы оценить человека fps, общее количество кадров, оценено люди (по 425) была разделена общего времени они провели на задачу (873 761 и s s). Программное обеспечение оценили кадры на 65 fps в среднем на Dual-Core Windows 7 PC. Высокую скорость обработки и точность же или лучше, чем человека рейтеров программное обеспечение можно ожидать выполнять работу около 125 человека рейтинговых агентств в единицу времени.
Обнаружение антенна реакции на запахи:
Чтобы продемонстрировать, что протокол может использоваться для обнаружения значительного различия поведения насекомых движения, мы подвергнуты 23 женский мед пчелы два различных запахов. Чистый heptanal и heptanol, 35 x минеральное масло разведений двух запахов, и чистый воздух, как элемент управления, были представлены для 4 s (пять условий в общей сложности). Видео, как описано в протоколе выше, были обработаны с SwarmSight программного обеспечения, и проанализированы антенна углов (рис. 5).
<img alt="Figure 5" class="xfigimg" src="/files/ftp_upload/56803/56803fig5.jpg"> 
Рисунок 5: антенна угол средства и плотности тепловой карты для пяти запах условий. (A) тепло карты показаны антенна угол плотность до, во время (темной регион средний) и после приема heptanol, воздуха и heptanal Отдушки для женщин медоносных пчел (n = 23). Черные кривые, покадрового средней антенны углы (обеих антенн). Горизонтальные линии, углы предварительно запах среднее (базовый уровень). Обратите внимание на кластер предпочтительным антенны местах (красный кластера в нижний участок) от запаха источник для условий чистый запах и соответствующие изменения на угол средней антенны.Также обратите внимание «отскок» кластер после заключения запаха и его очевидной начала зависимость концентрации запаха (см. расположение кластера в других четырех участков). Плотность тепла карта цветовая шкала произвольной, но единой во всех условиях. Изменение среднего угла (B) от среднего до запаха (Ошибка бары S.E.M). За исключением воздуха, все означает, что изменения были значительными (t-тест p &#60; 0,05). <a href="//ecsource.jove.com/files/ftp_upload/56803/56803fig5large.jpg" target="_blank">Пожалуйста, нажмите здесь, чтобы посмотреть большую версию этой фигуры.</a>
Видео кадры из 9 s сегментов видео, состоящий из 3 s до наступления запах, 3.6 s запах презентации и 2.4 s после завершения запах были согласованы во всех лиц и условий (300 кадров/сегмент). Покадровая средства обоих антенна углов всех лиц были вычисляется для каждого условия и называется «Означают углы» (Рисунок 5A, черный кривых). Средняя антенна углов рамы до наступления запах через лиц для каждого условия были вычисляется и под названием «Предварительная запах исходных линий» (Рисунок 5A, тонкие горизонтальные линии).
Во всех условиях, за исключением управления средние углы увеличилась от исходных линий, каждый пик раз 750-1050 ms после наступления запах (Рисунок 5A, черный кривых в 0 - 3600 ms регионе). Средние изменения от исходных линий, были протестированы на значимость (Рисунок 5B) путем сравнения двух антенна средства физических лиц в пиковое время запах презентация средний угол каждого состояния в базовых означает, с помощью серии 1-Пример t-тесты () Шапиро нормальности тесты не значительные во всех условиях). Средний угол от базовой изменение 26.9° для чисто heptanal (среднее достиг 750 МС после появления запаха), 21.1° для 0,2 М heptanal (на 990 МС), 19.6° для чистого heptanol (в 1050 МС), 19.3° 0,2 М heptanol (на 780 МС) и 3,45 ° для контроля воздуха (не пик). Во всех условиях, за исключением управления, средний угол от базовой изменение существенных (холм скорректированы p &#60; 0,05). Мы отмечаем, что средний угол занимает больше времени, чтобы вернуться к базовой линии в ответ на чисто Отдушки для разреженных отдушки чем (низкочастотный отфильтрованные означает, вернулся в базовых 3,690 ms после появления запаха для чистой и 2940 ms для разбавленных heptanol; heptanal, возвращение раз были 4260 МС для чистой и 3000 МС для разреженных версий).
Визуализация с помощью тепловых карт:
Чтобы визуализировать ответы антенны, антенны угол плотности тепловой карты для каждого условия были созданы (Рисунок 5A, синий красный фон). Углы антенны через 10 s видео сегменты для каждого человека в состояние были convolved с гауссова ядра (R пакет Масса, kde2d функция64). Синие области показывают низкой плотности антенна углов, в то время как красные области показывают высокие плотности антенна углов. Тепловая карта в нижний участок Рисунок 5A для чисто heptanal условия иллюстрирует поведение антенны.
Карта показывает, что до запаха (t &#60; 0), плотность угол антенна распространяется относительно равномерно во все углы. Около 1 s после появления запаха начала (t ~ 1000 мс), пара синий и красный кластеров. В области тени красный, усики были найдены более часто чем в областях затененные синим. Синий кластера указывает, что антенны, как правило, избегать меньшие углы (запах источник был расположен в направлении 0 градусов), то время как красный кластера указывает, что антенн предпочитает более углы (от источника запаха). Красный кластера постепенно исчезает, как запах презентация сохраняется. Красный, хотя и менее интенсивным, кластер другой появляется около 1 сек после завершения запах. Мы имя второй красный кластеров «Отскок кластеров». В соответствии с средний угол восстановления раз выше, мы отмечаем, что кластеры отскок, кажется, появляются раньше и менее интенсивным для разреженных запахи, чем для чистого запахи.

Watch this Scientific Journal Video about SwarmSight: Real-time Tracking of Insect Antenna Movements and Proboscis Extension Reflex Using a Common Preparation and Conventional Hardware at JoVE.com

SwarmSight: Real-time Tracking of Insect Antenna Movements and Proboscis Extension Reflex Using a Common Preparation and Conventional Hardware

Этот протокол описывает шаги для использования программного обеспечения novel, SwarmSight, для отслеживания по кадрам насекомых антенны и Хоботок позиций от обычных веб-камеры видео с использованием обычных компьютеров. Свободный, с открытым исходным кодом программное обеспечение обрабатывает кадры около 120 раз быстрее, чем люди и выполняет лучше, чем человека точности.

SwarmSight: В реальном времени отслеживать насекомых антенна движений и Хоботок расширение рефлекс с использованием общей подготовки и обычного оборудования

Many scientifically and agriculturally important insects use antennae to detect the presence of volatile chemical compounds and extend their proboscis ...

Research

JoVE Journal

Neuroscience

Behavioural Pharmacology in Classical Conditioning of the Proboscis Extension Response in Honeybees (Apis mellifera)

Behavioural Pharmacology in Classical Conditioning of the Proboscis Extension Response in Honeybees Apis mellifera

Поведенческая фармакология в классической Кондиционирование Ответ хоботок Расширение в Медоносные пчелы ( Apis Mellifera)

Honeybees (Apis mellifera) are well known for their communication and orientation skills and for their impressive learning capability1,2. Because the ...

Recording Human Electrocorticographic (ECoG) Signals for Neuroscientific Research and Real-time Functional Cortical Mapping

Recording Human Electrocorticographic ECoG Signals for Neuroscientific Research and Real-time Functional Cortical Mapping

Запись Electrocorticographic человека (ЭГ) Сигналы для Neuroscientific исследований и в реальном времени функциональных корковых карт

Neuroimaging studies of human cognitive, sensory, and motor processes are usually based on noninvasive techniques such as electroencephalography (EEG), ...

A Proboscis Extension Response Protocol for Investigating Behavioral Plasticity in Insects: Application to Basic, Biomedical, and Agricultural Research

Ответ Протокол Хоботок Расширение для исследования поведенческой пластичности в насекомых: применение к основным, биомедицинских и сельскохозяйственных исследований

Insects modify their responses to stimuli through experience of associating those stimuli with events important for survival (e.g., food, mates, threats). ...

Real-time Electrophysiology: Using Closed-loop Protocols to Probe Neuronal Dynamics and Beyond

В режиме реального времени электрофизиологии: Использование замкнутой протоколы к Probe нейронов динамики и Beyond

Experimental neuroscience is witnessing an increased interest in the development and application of novel and often complex, closed-loop protocols, where ...

Insect-controlled Robot: A Mobile Robot Platform to Evaluate the Odor-tracking Capability of an Insect

Насекомое управляемый робот: мобильный робот Платформа для оценки запаху отслеживания Способность насекомого

Robotic odor source localization has been a challenging area and one to which biological knowledge has been expected to contribute, as finding odor ...

Triggering Cell Stress and Death Using Conventional UV Laser Confocal Microscopy

Срабатывание клеточный стресс и смерть с использованием обычных УФ-лазера конфокальной микроскопии

Using a standard confocal setup, a UV ablation method can be utilized to selectively induce cellular injury and to visualize single-cell responses and ...

A Protocol for the Administration of Real-Time fMRI Neurofeedback Training

Протокол для управления реального времени МР-томографию Neurofeedback подготовки

Neurologic disorders are characterized by abnormal cellular-, molecular-, and circuit-level functions in the brain. New methods to induce and control ...

Live-cell Measurement of Odorant Receptor Activation Using a Real-time cAMP Assay

Жить клеточной измерение одоранта рецептор активации с помощью реального времени лагеря Assay

The enormous sizes of the mammalian odorant receptor (OR) families present difficulties to find their cognate ligands among numerous volatile chemicals. ...

Real-time In Vitro Monitoring of Odorant Receptor Activation by an Odorant in the Vapor Phase

Режиме реального времени в Vitro мониторинга одоранта рецептор активации одоранта в паровой фазе

Olfactory perception begins with the interaction of odorants with odorant receptors (OR) expressed by olfactory sensory neurons (OSN). Odor recognition ...

Real-Time fMRI Brain Mapping in Animals

Картирование мозга фМРТ в реальном времени у животных

Dynamic fMRI responses vary largely according to the physiological conditions of animals either under anesthesia or in awake states. We developed a ...