Name: swarmsight: real-time tracking of insect antenna movements and proboscis extension reflex using a common preparation and conventional hardware
Uploaded: 2017-12-25T14:00:00.000+00:00
Duration: 8 min 13 s
Description: Watch this Scientific Journal Video about SwarmSight: Real-time Tracking of Insect Antenna Movements and Proboscis Extension Reflex Using a Common Preparation and Conventional Hardware at JoVE.com

JB, SMC, 및 RCG SMC에 NIH R01MH1006674와 RCG NIH R01EB021711에 의해 지원 되었다. CMJ와 BHS NSF 아이디어 연구소 프로젝트에 의해 지원 되었다에 "" BHS를 후 각 코드를 크래킹. 우리가이 연구에서 그들의 지원에 대 한 카일 Steinmetz, 린 Oboyle, 그리고 레이첼 Halby 감사 합니다.

1. 캐치 하 고 꿀벌을 활용
<ol>
	<li>스미스와 부담59의 프로토콜 단계 1 3.1.1에 따라.</li>
</ol>
2. 준비 동물 하네스 및 비디오 카메라
<ol>
	<li>하네스 튜브, 시각적으로 다리 위에서 이동 볼 수 없는 검사의 정상에 테이프를 적용 하 여 다리를 숨깁니다.</li>
	<li>곤충의 머리의 뒤에 온수 왁 스를 적용 하 여 머리를 제 지. 머리는 고정 및 이동 하지 않았는지 살펴보십시오. 이 시점에서, 안테나와는 mandibles 유일한 부속 자유롭게 이동 해야 합니다.</li>
	<li>곤충 하네스는 밑에 종이의 흰 시트를 배치 하 여 안테나와 비디오 배경 사이의 대비를 극대화 합니다. 나중에 카메라를 조정 하는 필요를 최소화 하기 위해 종이에 곤충 마구의 위치를 표시 하 고 같은 위치에 새로운 개인을 배치 합니다.</li>
	<li>곤충의 머리 위에 카메라를 삼각대 또는 웹캠 홀더를 사용 하 여 카메라 위치를 수정 합니다. 카메라 소프트웨어를 사용 하는 비디오 미리 보기 고 머리 이미지를 비디오의 모든 면에서 20 ~ 30% 클리어런스에 대 한 허용을 확대 하려면 확대.<ol>
		<li>카메라 보기에서 유일한 이동 개체 안테나 또는 코/mandibles와 필요한 경우 카메라 또는 동물 위치 확인 하십시오. 참고: SwarmSight 픽셀 머리 주변에 운동에 대 한 확인 합니다. 다리, 그림자, 팬, 또는 인간 개체에 의해 발생 하는 머리의 바로 근처에 없는 모션 소프트웨어를 혼동 하 고 추가 소음을 소개 수 있습니다.</li>
	</ol>
	</li>
	<li>주위 점화를 조정 하 여 안테나 그림자를 최소화 합니다. 참고: 소프트웨어는 몇 가지 그림자를 허용할 수 있는 하지만 최상의 결과 그들은 최소한으로 유지 되어야 한다.</li>
	<li>카메라 셔터 속도 소프트웨어 카메라 노출 시간 비디오 내내 일정 하 게 유지를 사용 하 여 자동 카메라 노출 조정을 방지 합니다. ' 웹캠 설정.'에서 '노출 슬라이더'를 조정 하 여 대비 (비디오 장면 너무 어둡거나 너무 빛)을 극대화 하기 위해 셔터 속도 조정 소프트웨어를 사용 하 여 참고: 위의 지침은 웹캠 및 사용 하는 소프트웨어입니다. 이러한 다른 웹캠 사용 하는 경우 적응 해야 합니다.</li>
	<li>냄새 배달 소스 놓고 그것 카메라 비디오 피드를 검사 하 여 카메라 보기를 방해 하지 않습니다 확인 합니다. 진공 소스 자극 냄새를 제거 하는 반대 측에 배치 됩니다 확인 하십시오.</li>
	<li>Led가, 또는 다른 시각적 표시기를 나타내는 냄새 배달, 카메라 뷰 내에서 밝기를 변경 하는 장소. 참고: LED 밝기 값은 소프트웨어에 의해 저장 되며 냄새 배달 시작 하 고 끝나는 때 정확한 프레임을 결정 하기 위해 사용할 수 있습니다.</li>
</ol>
3. 실험 조건에서 각각 영화
<ol>
	<li>각 개별 곤충 및 테스트 조건에 별도 비디오 파일을 별도로 각 개별 테스트 조합을 기록 하거나 사용 하 여 비디오 영화 편집 긴 비디오 파일을 더 작은 파일로 분할 하는 소프트웨어. 참고: 소프트웨어 사용자를 각 비디오에 고정 머리에 대 한 머리의 위치를 찾으려고 합니다. 머리를 이동 하는 경우 추가 소음을 소개 합니다. SwarmSight의 일괄 처리 기능 빠르게 여러 동영상에 대 한 머리의 위치를 설정 하려면 사용자를 허용 하 고 곤충 머리 각 비디오 파일의 기간에 대 한 고정 남아 가정. 긴 비디오 파일을 분할 하는 방법에 대 한 지침 온라인60찾을 수 있습니다.</li>
</ol>
4. 비디오 분석
<ol>
	<li>다운로드 및 온라인58을 제공 하는 단계에 따라 ' 안테나 추적 ' 모듈을 설치. 참고: 소프트웨어를 사용 하는 방법을 설명 하는 비디오 자습서 뿐만 아니라 웹 사이트에 사용할 수 있습니다.</li>
	<li>'찾아보기' 버튼을 사용 하 여 촬영 된 동물을 보여주는 비디오 파일을 엽니다.</li>
	<li>위치는 안테나 센서 및 처리 센서
	<ol>
		<li>일단 비디오 로드, 직사각형 "안테나 센서" 위젯 정렬 머리와 위젯 (예를 들어 그림 1D 참조) 회전 및 크기 조절 아이콘을 사용 하 여 동물의 머리를 놓으십시오.</li>
		<li>냄새 또는 자극 제시 되는 때를 나타내는 LED 위에 원형 "치료 센서" 위젯을 놓습니다. 참고: 치료 센서의 모든 프레임에 대 한 위젯 센터에서 픽셀의 명도 값을 기록 합니다.</li>
	</ol>
	</li>
	<li>시작 비디오 처리
	<ol>
		<li>프레임의 분석을 시작 하려면 왼쪽된 하단에 (검은색 삼각형) "재생" 버튼을 누릅니다. 참고: 검색된 가능성이 안테나와 코 포인트는 강조 표시 된 노란색 될 것입니다. 노란 반지는 부속의 끝의 위치가 표시 됩니다. 코 확장 길이 안테나의 각도 (0가 직접 동물 앞) "모델" 위젯 왼쪽된 하단 모서리에 표시 됩니다 ( 그림 1D참조). 오른쪽 아래 모서리에 "지배적인 분야" 위젯 5 36 학위 분야의 상대적 강도 대부분 안테나 포인트 발견 되었습니다 표시 됩니다. 어두운 분야 포함 가장 포인트는 가벼운가지고 최소. 가장 포인트는 섹터 번호 (1-5) 위젯의 하단 모서리에 표시 됩니다 ( 그림 1D참조).</li>
	</ol>
	</li>
	<li>필터 임계값을 조정 하 고 추가 제외 영역
	<ol>
		<li>필터의 감도 변경 하려면 오른쪽 패널에 "필터" 섹션에서 슬라이더를 조정 합니다. 참고: 조명 조건과 부속의 일반적인 이동 속도 따라 다른 필터 감도 것입니다 수. 있습니다 사용자는 값을 조정 하 고 안테나 센서 도구에서 강조 표시 된 영역을 관찰 하 여 최적의 값을 찾아 수 있습니다. 감도 이상적인 집합이 있으면, 부속만 강조 표시 됩니다. 그것은 비디오의 다른 부분에 빨리 앞에 되도록 필터 감도 최적의 너무 좋습니다.</li>
		<li>필요한 경우, 오른쪽 패널에서 외부 개체를 무시 하려면 "안테나 센서" 섹션을 확장 단추를 클릭 "추가 제외 영역" ( 그림 1D참조), 어떤을의 내용에 의해 무시 됩니다 빨간색 다각형 형태로 점의 집합을 클릭 합니다 소프트웨어입니다. 참고: 비디오 포함 외부 모션 모션 안테나 센서 위젯 영역 (예를 들어, 움직이는 다리, 강한 그림자, 실험실 장비, 등) 내 경우 소프트웨어 수 있습니다 실수 그것 돌출부 움직임을 위해.</li></ol></li></ol>외부 개체는 빨간색 다각형 또는 "제외 영역." 그림으로 무시 될 수 있습니다. 빨간색 다각형 내부 추적 사용 되지 것입니다.
	
	
	<li>결과 저장
	<ol>
		<li>필터와 위젯 설정 되었습니다, 일단 동영상을 중지 하 고 처음부터 다시 시작 한 끝에 그것을 재생. 참고: 전체 비디오 재생은, 일단 모든 비디오 프레임에 대 한 부속의 위치는 메모리에 저장 됩니다.</li>
		<li>돌출부 위치 데이터를 파일에 저장, 오른쪽에 있는 "저장" 섹션을 확장 하 고 클릭 하십시오 "를 저장. CSV"버튼입니다. 다음 파일을 저장할 폴더를 선택 하십시오. 참고:는 "저장을. CSV"버튼은.csv 파일에 처리 결과 저장할 것 이다. 기본적으로 사용자는 비디오 파일과 같은 폴더에.csv 파일을 저장 하려면 제공 됩니다 하 고 파일 이름 날짜 및 시간을 있을 것 이다. 결과.csv 파일은 방향 뿐만 아니라 안테나 각도 및 지배적인 분야를 포함 하 여 부속의 위치와 머리의 위치에 대 한 정보를 포함 하는 열 집합이 포함 됩니다. 각 열의 설명 온라인61제공 됩니다.</li>
		<li>필요에 따라 사용 열 (s) 및 값 필드 저장 섹션에서 제목 ID 또는 실험 상황의 이름과 같은 기록 정보를.csv 파일에 추가 열 (이상 경우 쉼표로 구분 하 여)을 만들려고 합니다. 참고: 열 상자에서 값의 첫 번째 열 머리글에 표시 됩니다 하 고 값 상자에 값을 첫 번째 열의 모든 행에 반복 됩니다.</li>
	</ol>
	</li>
	<li>일괄 처리 참고: 소프트웨어는 일괄 처리에서 여러 개의 비디오 파일을 처리할 수 있습니다. 그러나, 사용자는 일괄 처리를 시작 하기 전에 각 비디오에 대 한 머리 위치 정보를 제공 해야 합니다.<ol>
		<li>"비디오 파일" 섹션에서 오른쪽 패널에서 소프트웨어에 의해 순차적으로 처리 될 비디오 파일의 목록을 만들 수 있습니다 창을 열려면 "일괄 처리" 버튼을 클릭 합니다.</li>
		<li>"추가 더 많은 비디오 파일을 일괄 처리" 버튼을 사용 하 여 일괄 처리 목록에 포함 될 하나 이상의 비디오 파일을 선택 합니다.</li>
		<li>필요에 따라 "CTRL" 또는 "SHIFT" 키를 사용 하 여 여러 개의 동영상을 동일한 위젯 매개 변수 집합을 사용 합니다를 선택 하. 참고: 매개 변수 재사용을 위한 좋은 후보자가 다른 실험 조건 사이 이동 하지 같은 동물의 동영상의 집합은.</li>
		<li>시작 "설정 센서 위치에 대 한 선택" 버튼을 클릭 하 여 선택한 동영상에 사용할 위젯 매개 변수를 설정 합니다.</li>
		<li>안테나 센서, 치료 센서, 필터, 매개 변수를 조정 또는 섹션을 저장 하 고 "저장 매개 변수를 일괄" 완료 되 면을 클릭 합니다.</li>
		<li>각 비디오에 대 한 매개 변수를 선택한 후 "처리 시작" 버튼을 클릭 하 여 일괄 처리를 시작 합니다. 참고: 소프트웨어 순서는 그들이 일괄 처리 목록에 표시, 처리, 해당.csv 파일 비디오 파일은 같은 폴더에 저장 비디오 파일을 로드 합니다. 진행률 표시줄 맨 첫 번째 비디오를 완료 한 후 한 예상된 완료 시간을 제공할 것입니다.</li>
	</ol>
	</li>

저자 들은 아무 경쟁 금융 관심사 선언 합니다.

여기에 제시 된 메서드는 특별 한 동물 준비 또는 하드웨어를 필요로 하지 않고 곤충 안테나와 코 움직임의 실시간 추적을 수 있습니다.
제한 사항:
이러한 장점에도 불구 하 고 메서드의 몇 가지 제한 사항이 있습니다. 이 동물의 머리 운동, 위치 및 각 비디오에 대 한 동물의 방향을 선택 하는 사용자에 대 한 필요성에서에서 제한 된다 요구를 포함 Windows 컴퓨터 및 소프트웨어의 추적 하는 무 능력에 대 한 액세스를 요구 3 차원 (3D) 및 아래에 설명 된 일부 시각적으로 모호한 돌출부 위치 운동.
소프트웨어는 동물의 머리 장소에 고정 되어 비디오 동안 이동 하지 해야 합니다. 이전 작업48,49,,5051의 준비와 비슷합니다. 그러나 그것은 머리 회전의 자동 검색을 허용 하도록 소프트웨어를 수정할 수,,이 추가 처리 시간을 소비 하 고 오류의 새로운 소스를 소개 것. 수정 된 소프트웨어 제대로 머리 회전을 감지 한다면,이 것이 영향을 안테나 각도 그들의 계산 머리 회전 각도 기준으로. 현재, 사용자는 비디오에 한 번씩 머리 방향을 선택합니다. 이 이렇게, 동안 인간의 오류 없이 각도 계산 오류 때 최소화 머리 비디오 중에 이동할 수 없습니다.
소프트웨어에는 Windows 7 (또는 이상) 운영 체제 (OS)도 필요합니다. 목표는 소프트웨어를 보다 쉽게 설치, 설치, 및 프로그래밍 또는 정교한 컴퓨터 관리 기술 없이 사용자가 사용 하기 했다. 그것은 널리, 그리고 그것에 접근은 제한 하는 경우에서 windows 가상 컴퓨터 (예를 들어, 버추얼 박스, vm 웨어, 패 러 랠) 쉽게 만들 수 있기 때문에 대상 창 하기로. 운영 체제의이 선택은 크게 사용 하기 쉬운, 명령행 라인 무료 설치 프로그램을 통해 소프트웨어 설치를 간소화 하 고 다른 Os에 특정 버그를 피 한다.
소프트웨어는만 2 차원 공간에는 부속의 위치를 추적합니다. 곤충만 2D 좌표를 측정 하는 경우 중요 한 정보가 손실 됩니다 하는 것을 의미할 수도 있고 3 차원에서 그들의 안테나를 이동 알려져 있습니다. 동안 여러 카메라 또는 거울을 사용 하 여 3D 지역화에 필요한 추가 정보 수집에 도움이 수, 계산, 삼각 관계, 여 예상된 밖으로의 비행기 위치를 사용 하 여 가정 하는 안테나는 가능 하다 일정 길이의 선 세그먼트를 단일 하 고 카메라 비행기의 한쪽에만 이동 합니다. 꿀 꿀벌에 대 한이 가정 거친 예측 3d, 위치에 대 한 진정한 보유 하 고 있지만 반드시 다른 종 및 상황에 대 한 경우 되지 않을 것 이다.
안테나와 코 소프트웨어 올바르게 검색 하지 것입니다 팁 몇 가지 모호한 상황에서 위치. 동물 겹치도록, 비디오, 확장된 코 안테나 이동, 소프트웨어는 코 끝으로 가능성이 안테나의 끝을 감지 합니다. 그러나 안테나 각도, 것입니다 여전히 아마 계산 올바르게 (에서 겹치지 않는 부분). 마찬가지로, 안테나 팁 (즉, 양쪽에)에 동물의 머리 바로 위에 이동 하는 경우 다음 소프트웨어만 안테나는 머리의 외부에 표시 되는 부분을 감지 안테나의 이전 위치를 가정 하거나 가짜 감지 안테나 위치에로 비디오 잡음입니다. 두 상황에서 조차 인간의 점자 코 또는 머리에서 안테나를 분별 하는 어려움이 있다. 이 문제를 완화 하려면 원시 X 및 Y에 3 프레임, 대칭 회전 평균57 필터 적용 좋습니다 좌표는 소프트웨어에 의해 제작. 이 필터는 큰 과도 (단일 프레임) 위치 변동, 제거 하 고 더 긴 안테나 위치 움직임을 유지. 우리는 3 프레임 필터 넓은 필터 (예: 5, 11, 또는 15 프레임) 정확도 감소 하는 동안 필터, 보다 더 나은 수행을 발견 했다. 예를 들어 R 코드를 필터 및 비디오 자습서를 사용 하 여 온라인58찾을 수 있습니다.
과학적인 도구로 값:
메서드를 빠르게 비용 효율적인 방식으로 움직임을 정확한 곤충 돌출부의 여부는 조사의 새로운 영역을 열어.
코 확장 반사 (%)은 조사 학습 및 곤충59의 다양 한 메모리를 일반적으로 사용 되 행동 응답 이다. 비록 비디오 및 시 분석 코 움직임65,66에 훨씬 더 복잡 한 토폴로지를 보여 이전 연구 일반적으로 당의 이진 확장 또는 아닙니다 측정에 의존 했습니다. 여기 메서드는 높은 시간적, 공간적 해상도에 코의 급속 한 정량화를 수 있습니다.
냄새에 대 한 응답에서 곤충 안테나 움직임 제대로 이해 하 고. 이 이유 하나는 안테나 너무 빠르게 안테나 운동 데이터를 비용 효율적인, 자동화 된 수단 사용할 수 되지 않은 이동 하는 경향이. 여기에 제시 된 방법은 빠르게 많은 조건에서 곤충의 큰 숫자에 대 한 안테나 운동 데이터를 가져오는 데 사용 될 수 있습니다. 이 수 원조, 예를 들어 안테나 움직임 다양 한 자극, 특히 휘발성 냄새에 대 한 응답에서 간의 매핑을 조사 연구. 30 Hz에서 프레임을 캡처하는 카메라를 사용 하 여 소프트웨어를 사용할 수 있는 더듬이 운동 역학 특성 15 Hz (Nyquist 한계). 더 높은 주파수에서 특성, 필요한 경우 더 높은 캡처 속도 (예를 들어, 60 또는 120 fps)와 카메라 활용 수 있습니다. 그러나, 더 빠른 컴퓨터는 실시간으로 더 높은 fps 비디오를 처리 하는 데 필요할 수 있습니다. 우리는 냄새, 그리고 어쩌면 일부 개별 냄새의 클래스 특성 타고 난 더듬이 움직임을가지고 추측. 경우 해당 클래스 또는 화합물 발견, 알 수 없는 수 냄새 또는 그들의 클래스 일반인된 곤충의 더듬이 움직임에서 검출 될 수 있는. 이러한 매핑이 존재 하는 경우 충분 한 안테나 운동 데이터와 첨단 기계 학습 알고리즘의 조합 그것을 폭로 하기 시작 한다. 또한, 어떻게 그 매핑, 개발 하는 동안 양식을 학습에 대 한 응답 변경 또는 함께 방해 유전자 개입 후 각 시스템의 기능에 대 한 통찰력을 제안할 수 있었다.마지막으로, 복잡 한 환경에서 냄새에 대 한 최적의 샘플링 방법을 계시 하는 경우이 작품 냄새의 인공 감지에 대 한 통찰력을 줄 수 있었다.
미래의 작업:
여기, 우리가 보였다는 안테나 운동 데이터 빠르게 획득 하 고 수 분석: 중요 한 동작 응답 우리의 소프트웨어에 의해 생성 된 데이터를 사용 하 여 검색 하 고 추가 조사의 여러 영역을 발견 했다.
자극을 elicited 안테나의 시간 과정 각도에서 편차와 기준선 복구와 어떤 자극 결론 리바운드 효과 그것의 의존 냄새 농도 조사 하 고 수학적으로 모델링 될 수 있습니다. 또한, appetitive에 의해 유도 된 안테나의 변경 또는 혐오 컨디셔닝 또한 소프트웨어 평가 될 수 있다.
냄새의 더 나은 차별화는 또한 탐험 수 있습니다. 이 연구에서는 순수에 냄새와 희석된 버전 x 35 elicited 비슷한 응답: 안테나, 평균, 빠르게 냄새 소스에서 철수 하 고 몇 초 후 사전 냄새 기준선에 반환에 등장. 우리는 심지어 희석된 버전 꿀 꿀벌에 대 한 매우 강한 후 각 자극을 되었을 수 있습니다 추측 하고있다. True 인 경우 농도의 광범위 한 범위 만약 더듬이 응답 차별화 냄새 확인을 사용할 수 있습니다. 또한, 보다 정교한 분석 더 나은 다른 냄새에 대 한 응답에서 더듬이 움직임에 차이 계시 할지도 모른다. 우리는이 원고를 SwarmSight 웹사이트67에 관심 있는 연구자 수에 숫자를 생성 하는 데 사용 하는 데이터 파일을 만들었습니다.
또한,이 원고를의 범위 밖에 소프트웨어는 이중 거울 (예를 들어 그림 1D 참조) 45 ° 각도와 챔버에 배치 하는 동물의 동영상 처리를 연장 수 있습니다. 이 정확 하 게 지역화 하 고는 부속 및 3D 공간에서 그들의 움직임을 추적 사용 될 수 있습니다. 그러나, 3 차원 추적을 위한 알고리즘 해야 효율적으로: (a) (b) 미러 각도, 결함에 대 한 올바른 사이드 미러 중 하나에 표시 하 고 (c) 카메라 때문에 왜곡에 대 한 계정 때 여러 안테나 사이 구분 포지셔닝.
마지막으로, 위치 정확도에 추가 상승은 칼만 필터68, 모델의 사용을 통해 실현 될 수 및 돌출부 속도 및 가속도 예측된 위치를 제한 하려면 같은 물리적 상태 정보를 활용. 그러나, 정확도에 어떤 이익 든 지 어떤 추가 계산 때문에 속도 감소에 대하여 평가 되어야 한다.
결론:
많은 곤충은 그들의 지역 환경에 휘발성 화합물을 적극적으로 안테나를 사용 합니다. 더듬이 움직임 패턴 곤충 냄새 인식 및 컨디셔닝, 독성 화합물, 그리고 유전 변경에 의해 영향에 대 한 통찰력을 제공할 수 있습니다. 마찬가지로, 코 움직임 냄새 인식 및 그것의 변조를 평가 하기 위해 사용 되었습니다. 그러나, 급속 하 게 고해상도 돌출부 운동 데이터의 대량을 얻기 어려운 되었습니다. 여기, 프로토콜 및 소프트웨어 같은 작업을 자동화 하는 설명 되어 있습니다. 요약 하자면, 우리 생성 하 고 시연 어떻게 저렴 한 하드웨어의 조합, 일반적인 동물 준비, 그리고 오픈 소스 소프트웨어 빠르게 고해상도 곤충 돌출부 운동 데이터를 가져오는 데 사용할 수 있습니다. 소프트웨어, 그것은 속도와 정확성, 인간의 점자를 능가 하는 어떻게의 출력 데이터를 분석 하 고 시각화 수 어떻게 출력 표시 했다.

대부분 절지동물 이동 안테나 또는 다른 돌출부 시간과 공간에 환경 단서와 신호를 샘플 합니다. 동물 화학 휘발성, 미각 및 기계적 자극1,2,,34등 감각 신호를 감지 하 여 자신의 환경을 탐색 하는 안테나를 사용할 수 있습니다. 곤충, 안테나 포함 화학 휘발성4,,56 바인딩할 중앙 두뇌 지역1,7 후 각 감각 신경 통해이 신호를 감각 수용 체 ,,89. 곤충은 들어오는 냄새4,,1011에 대 한 정보를 변조 하 안테나 위치를 조정할 수 있습니다. 이 변조 용이 적극적으로 정보 행동 응답 냄새와 그들의 깃털12,13.
많은 곤충, 등 (예: 꿀 꿀벌과 땅벌) Hymenopterans, Lepidopterans (예를 들면, 나비), Dipterans (예를 들어, 파리와 모기), 다른 가운데, 그들의 코14 를 확장 하 여 피드 , 15 , 16 , 17 , 18 , 19 , 20 , 21. 코 확장을 안정적으로 다양 한 학습 및 메모리 작업22,23,,2425,26, 에 대 한 과거에 사용 되었습니다 27,,2829,,3031. 마찬가지로, 높은 시간적 및 공간적 해상도 안테나 운동의 양적 평가 자극, 행동, 그리고 동물의 내부 상태 사이 관계에 대 한 통찰력을 생성할 수 있습니다. 실제로 이전 작업 더듬이 움직임 풍부한 양의 환경의 꿀 꿀벌 추적에 대 한 정보를 포함 하는 어떻게 하 고 어떻게 움직임32,,3334, 학습 변화를 보이고 있다 35,36,,3738.
지난 10 년간, 동물 행동 관찰 방법이 되어 크게 가속 발전 고해상도 비디오 카메라에 의해 컴퓨터 처리 속도, 및 머신 비전 알고리즘. 동물 검색, 계산, 추적, 및 장소 환경 분석 같은 작업 동물 행동의 동영상을 처리할 수 있는 정교한 소프트웨어와 함께 왔 되었습니다 있다 및 추출 관련 측정39,40, 41,42,43,44,45,,4647.
이러한 기술에는 곤충 안테나와 코 움직임의 추적 주 었 있다. 마우스 커서를 사용 하 여 수동으로 안테나의 위치를 추적 하는 인간의 평가 대 한 가능 하다. 그러나,이 방법은 될 수 있지만 정확 하 게, 작업은 시간이 걸리고, 그리고 인간의 부주의 피로 신뢰할 수 없는 결과가 발생할 수 있습니다. 특별 한 장비와 준비를 복잡 한 소프트웨어에 대 한 필요성을 줄이기 위해 사용할 수 있습니다. 예를 들어 한 설치 고속 카메라를 사용 하며 안테나 운동48를 추적 하기 위해 안테나의 끝을 그렸다. 사용자가 수 또한 검출 하는 안테나와 코 위치49에서 소프트웨어를 돕기 위해 동영상의 키 프레임을 선택 하 게 됩니다. 또 다른 방법은 감지 안테나, 식별 하기 위해 두 개의 큰 모션 클러스터 하지만 코 위치50검색 하지 않습니다. 다른 소프트웨어 패키지 안테나 및 코 위치를 검색할 수 있습니다 하지만 약 7.5 필요 처리 시간 당 프레임51, 실시간 또는 장기 관측 연구에 대 한 금지 될 수 있는 s. 마지막으로,46작업 수행 하려면 (예: EthoVision) 상용 소프트웨어 패키지를 사용자 지정할 수 있습니다 하지만 그들의 라이센스 및 훈련 비용 금지 될 수 있습니다.
여기 설명 하는 방법을 우리 곤충 안테나 및 다음 목표와 코의 위치를 추적 하기 위해 모션 분석 소프트웨어41 에 우리의 이전 작업 확장: 특별 한 하드웨어 또는 복잡 한 동물 준비에 대 한 요구 (1) (2) 실시간에 처리 하는 프레임 (30 fps 또는 빠르게) 기존 컴퓨터의 사용, 및 (4) 오픈-소스, 쉽게 확장 가능한 코드 (3) 쉽게에.
결과 소설 방법 및 오픈 소스 소프트웨어, SwarmSight 돌출부 추적, 안테나 팁의 회화를 요구 하지 않는다, 비디오, 그리고 프로세스는 기존의 컴퓨터 (에 30-60 fps 비디오 프레임 캡처 소비자 웹 카메라를 사용할 수 있습니다. 그림 1)입니다. 소프트웨어 입력으로 비디오 파일을 사용합니다. 사용자는 비디오에서 곤충 머리의 위치를 찾습니다 하 고, 처리 후 쉼표로 구분 된 값 (.csv) 파일은 안테나와 코의 위치와 생산. 소프트웨어는52FFmpeg 라이브러리 사용 하 여 수백 개의 다른 비디오 포맷 (를 포함 하 여 대부분의 디지털 카메라에 의해 생성 하는 형식)을 읽을 수 있는.
<img alt="Figure 1" class="xfigimg" src="/files/ftp_upload/56803/56803fig1.jpg"> 
그림 1: 동물 설치 및 소프트웨어 출력. (A) A의 머리와 몸을 마구에 절제 된 꿀 꿀벌 사실. 소스는 동물, 비디오 카메라 앞에 배치 하는 (B) 냄새, 위에 있고 진공 소스 동물 뒤에 배치 됩니다. (C) 안테나 끝과 코 변수는 비디오에서 SwarmSight 소프트웨어에 의해 감지. (D) 사용자 동물 이상의 안테나 센서를 배치 하 고 필터 매개 변수를 조정 합니다. 소프트웨어는 안테나와 코 위치 (노란색 반지)를 검색합니다.<a href="//ecsource.jove.com/files/ftp_upload/56803/56803fig1large.jpg" target="_blank">이 그림의 더 큰 버전을 보려면 여기를 클릭 하십시오.</a>
첫째, 곤충의 몸과 머리는 제 지 마구에는 안테나와 코 움직임은 쉽게 관찰 (그림 1A). 냄새 소스 뒤에, 공기에서 냄새를 제거 하 고 감각 적응 (그림 1B)의 잠재적인 영향을 최소화 하려면 배치 진공 소스와 곤충, 앞에 배치 됩니다. 기존의 웹 카메라는 삼각대에 곤충의 머리 위에 배치 됩니다. LED 냄새 제시 되는 때를 나타내기 위해 카메라의 뷰 내에서 배치 될 수 있습니다.
<img alt="Figure 2" class="xfigimg" src="/files/ftp_upload/56803/56803fig2.jpg"> 
그림 2: 안테나 좌표계. X, Y 값 사용 하 여 비디오 좌표 시스템 왼쪽 위가 X 및 Y 값 증가 오른쪽 하단 모서리 쪽으로 이동할 때. 각도 머리 (일반적으로 악취 소스)의 앞에 관하여도 표시 됩니다. "0" 값 안테나 생물체에 의해 형성 된 선 동물 앞 직접 가리키는 의미 합니다. 모든 각도 긍정적, 제외 하 고 때 반대 방향으로 (예를 들어, 왼쪽 오른쪽 편 포인트) 안테나 포인트 이다. <a href="//ecsource.jove.com/files/ftp_upload/56803/56803fig2large.jpg" target="_blank">이 그림의 더 큰 버전을 보려면 여기를 클릭 하십시오.</a>
촬영 후 비디오 파일 사용자는 곤충의 머리 위에 안테나 센서 위젯 (그림 1D, 검은 사각형)을 배치 하 고 비디오 재생을 시작 SwarmSight 소프트웨어와 함께 열립니다. .Csv 파일은 X 포함 됩니다 결과 저장할 때 안테나의 Y 위치 팁, 안테나 각도 (그림 2), 머리와 코의 앞에 상대적인 X, Y 위치. 또한, 지배적인 분야 통계는 각 안테나에 대 한 계산 됩니다. 통계 쇼는 각 안테나를 둘러싼 5 36도 분야의 가장 포인트를 포함 된 안테나, 될 것으로 간주 하 고 안테나 위치/각도 통계 시끄러운 또는 그렇지 않으면 문제가 비디오 인해 신뢰할 수 없는 경우 유용할 수 있습니다.
간단히, 소프트웨어 동작 필터53 와54편안한 홍수 채우기 알고리즘 집합을 사용 하 여 작동 합니다. 두 필터는 사용 가능성이 안테나 포인트를 찾으려면: 3 연속 프레임 차이 필터41,55 와 중간 배경 빼기56 필터. 컬러 거리 임계값 필터 코 포인트 감지에 사용 됩니다. 각 필터의 포인트의 최고 10% 결합 되 고 2 픽셀 (px) 최대 간격으로 연속 포인트를 검사 하는 홍수 채우기 알고리즘 극단적인 포인트를 찾아냅니다. 병렬 프레임 디코딩, 처리 및 렌더링 파이프라인 및 최적화 된 메모리 할당 필터 데이터 흐름의 고성능을 달성 한다. 원시 x 및 y 좌표 값은 소프트웨어에 의해 생성 되는 3 프레임 롤링 메디아 필터57 와 사후 처리 ( 내용참조). 전체 소스 코드를 다운로드 하는 지시는 온라인58찾을 수 있습니다.
아래는 안테나 추적 꿀 꿀벌 사실을 준비 하는 프로토콜이입니다. 유사한 프로토콜 다른 곤충의 안테나/코 움직임을 추적 하기 위해 사용 될 수 있습니다. 결과 섹션에서 우리는 인간의 점자 및 안테나 운동 5 odorants에 대 한 응답에서의 평가 의해 수행 하는 관리 소프트웨어를 출력의 비교 소프트웨어에 의해 감지 되는 샘플 안테나 추적 출력을 설명 합니다.

<table><tbody><tr><td>Insect harness</td><td>N/A</td><td>N/A</td><td>Use materials needed for Protocol sections 1-3.1.1 of Smith &amp;amp; Burden (2014)</td></tr><tr><td>Odor delivery source</td><td>N/A</td><td>N/A</td><td>Use materials needed for Protocol section 3 of Smith &amp;amp; Burden (2014)</td></tr><tr><td>Vacuum source</td><td>N/A</td><td>N/A</td><td>Use materials needed for Protocol section 3 of Smith &amp;amp; Burden (2014)</td></tr><tr><td>LED connected to odor delivery source</td><td>N/A</td><td>N/A</td><td>Use materials needed for Protocol section 3 of Smith &amp;amp; Burden (2014)</td></tr><tr><td>Low Voltage Soldering Iron</td><td>Stannol</td><td>Low Voltage Micro Soldering Iron 12V, 8W</td><td></td></tr><tr><td>DC Power Supply</td><td>Tekpower</td><td>HY152A</td><td></td></tr><tr><td>Tripod</td><td>AmazonBasics</td><td>50-Inch Lightweight Tripod</td><td>Optional</td></tr><tr><td>Camera</td><td>Genius</td><td>WideCam F100</td><td>FLIR Flea3 or another camera with manual focus can be used.</td></tr><tr><td>Camera software</td><td>Genius</td><td>N/A</td><td>Software comes with camera. On MacOS, Photo Booth app can be used to record videos.</td></tr><tr><td>Camera shutter speed software</td><td>Genius</td><td>N/A</td><td>Genius camera software allows shutter speed setting. In Mac OS, iGlasses by ecamm can be used instead: http://www.ecamm.com/mac/iglasses/</td></tr><tr><td>Windows Operating System</td><td>Microsoft</td><td>Windows 7 Professional</td><td>Versions 7 or later are compatible. Oracle VirtualBox, Parallels Desktop, or VMWare Fusion can be used to create a Windows virtual machine in MacOS environments.</td></tr><tr><td>SwarmSight software</td><td>SwarmSight</td><td>Appendage Tracking</td><td>Download from http://SwarmSight.org</td></tr><tr><td>R software</td><td>R Project</td><td>R 3.4.0</td><td>Download from: https://cran.r-project.org/bin/windows/base/</td></tr><tr><td>R Studio software</td><td>RStudio</td><td>RStudio Desktop</td><td>Download from: https://www.rstudio.com/products/rstudio/download/</td></tr></tbody></table>

swarmsight: real-time tracking of insect antenna movements and proboscis extension reflex using a common preparation and conventional hardware

많은 과학적 농업으로 중요 한 곤충은 안테나를 사용 하 여 휘발성 화합물의 존재를 감지 하 여 수 유 하는 동안 그들의 코를 확장. 능력을 빠르게 자연 안테나와 코 움직임의 고해상도 측정을 얻을 하 고 그들이 어떻게 화학, 발달, 및 유전자 조작에 대 한 응답에서 변경 평가 곤충 행동의 이해를 도움이 됩니다. 평가 집계 곤충 떼 또는 동물 그룹에서 자연 스러운 움직임과 실험실 동영상 비디오 분석 소프트웨어 SwarmSight를 사용 하 여 우리의 이전 작업을 확장 하 여 우리 개발 했다 소설, 무료 및 오픈 소스 소프트웨어 모듈 SwarmSight 돌출부 기존의 컴퓨터를 사용 하 여 기존의 웹 카메라 비디오에서 (SwarmSight.org) 곤충 안테나 및 코 위치의 프레임별으로 추적을 위한 추적. 소프트웨어 처리 프레임 약 120 배 더 빠른 인간 보다, 인간의 정확도, 보다 더 나은 수행 하 고, 더듬이 역학을 캡처할 수 있습니다 두 번째 (fps) 동영상을 초당 30 프레임을 사용 하 여 최대 15 Hz. 소프트웨어 두 냄새 꿀벌의 더듬이 응답을 추적 하 고 중요 한 말 더듬이 retractions 냄새 소스 1에서 발견 하는 데 사용 되었다 냄새 프레 젠 테이 션 후 s. 안테나 위치 밀도 열 클러스터 형성 및 클러스터 지도 및 각도 냄새 농도에 의존을 의미 관찰 합니다.

아래 섹션에서는 예를 들어 안테나 각도의 줄거리는 소프트웨어의 데이터, 소프트웨어 정확성과 속도 인간 평가, 그리고 꿀 꿀벌 안테나 움직임의 프레 젠 테이 션에 의해 영향을 실험의 결과와 비교에서 생산 다른 한 냄새 R 소프트웨어62,63 분석을 수행 하 고 숫자 생성을 사용 되었다. 비디오 자습서 뿐만 아니라 분석 및 그림 세대 R 코드 온라인58찾을 수 있습니다.
소프트웨어 출력:
그림 3 은 순수 하 고 35 x 미네랄 오일 희석 버전 heptanal의 제시 하는 꿀벌의 동영상에서 소프트웨어에 의해 감지 안테나 각도의 5 개의 무작위로 선택 된 추적 및 heptanol, 뿐만 아니라 깨끗 한 공기.
<img alt="Figure 3" class="xfigimg" src="/files/ftp_upload/56803/56803fig3.jpg"> 
그림 3: 5 SwarmSight에 의해 감지 안테나 각도의 흔적을 샘플. Y 축도, "0"가 바로 앞으로 악취 소스 동물 냄새 소스에서 가리키는 큰 값의 안테나 각도를 보여줍니다. Heptanol, heptanal, 그리고 그들의 35 미네랄 오일 희석 버전 뿐만 아니라, 깨끗 한 공기, x 0-회색 동안 단일 꿀 꿀벌 채집에 3600 ms 윈도우 적용 되었다. 왼쪽된 안테나는 빨간색, 파란색 표시 바로 표시 됩니다. 각 조건에서 5 개의 무작위 꿀벌 5 플롯에서 묘사 된다. <a href="//ecsource.jove.com/files/ftp_upload/56803/56803fig3large.jpg" target="_blank">이 그림의 더 큰 버전을 보려면 여기를 클릭 하십시오.</a>
소프트웨어 유효성 검사:
소프트웨어 안정적으로 안테나의 위치를 검색할 수 있습니다 확인을 인 간에 의해 위치한 안테나 위치는 소프트웨어에 의해 위치와 비교 되었다. 2 인간의 평가 425 비디오 프레임에 안테나와 코 끝을 찾을 하도록 요청 했다 (~ 14 비디오의 s). 사용자 정의 소프트웨어 모듈 자동으로 비디오 프레임, 고급 점자에 의해 표시 된 돌출부 위치를 기록 하 고 작업에 소요 하는 시간을 기록. 인간 및 소프트웨어 위치 값 간의 관계의 예로 겹쳐의 수직 좌표 추적 소프트웨어에 대 한 및 두 인간의 검색 된 위치에 대 한 하나의 안테나 그림 4A에 표시 됩니다. 두 채 표시 된 안테나 위치 사이의 거리 계산 되었고 "인간 간 거리입니다." 라는 소프트웨어에 의해 감지 안테나 위치와 인간의 평가 의해 감지 하는 가장 가까운 위치 간의 거리 계산 되었고 "소프트웨어 가장 가까운 인간의 거리" (그림 4B) 라는.
<img alt="Figure 4" class="xfigimg" src="/files/ftp_upload/56803/56803fig4.jpg"> 
그림 4: 인간의 평가와 비교. (A) 2 인간의 점자 및 425 비디오 프레임에 위치한 SwarmSight 안테나 팁입니다. 프레임에 의해 왼쪽된 안테나 팁 Y 좌표 인간의 평가 의해 발견 하 고 소프트웨어 겹쳐 있다. (B) 겹쳐 인간의 점자 (오렌지)와 소프트웨어 및 가장 가까운 인간의 평가자 값 (검정) 사이의 불일치 사이 프레임-의해-프레임 불일치 (비디오 픽셀에서 거리). (C) 인간 대 인간의 안테나 끝 위치 (오렌지)와 인간의 위치 (블랙) 대 소프트웨어. (D) 막대 그래프와 누적 분포 (점선)의 인간 대 인간의 프레임-의해-프레임 불일치 거리 대 소프트웨어 <a href="//ecsource.jove.com/files/ftp_upload/56803/56803fig4large.jpg" target="_blank">이 그림의 더 큰 버전을 보려면 여기를 클릭 하십시오.</a>
인간의 간 거리는 10.9 평균 55.2 내에 픽셀 픽셀 프레임의 95%에서 81.6의 최대 값을 했다 픽셀. 소프트웨어-가장 가까운 인간의 거리는 8.0 평균 18.3 내에 픽셀 픽셀 프레임의 95%에서 49.0의 최대 값을 했다 px ( 그림 4D, 및 그림 4C거리 막대 그래프 참조). 5 픽셀은 안테나의 폭 약. 전반적으로, 인간 간 거리는 작업의 시작에서 프레임에 대 한 작은 되었고 작업의 두 번째 절반에 증가. 우리는이 둥 급 피로 때문 이었다을 의심 한다. 한편, 소프트웨어 가장 가까운 인간의 거리 수준 작업에 걸쳐 일정 한 남아 있었다.
소프트웨어 속도 인간의 평가와 정확도 비교:
인간 안테나 끝과 코 위치는 평균 속도로 0.52 초당 프레임 (fps)의 별. 인간의 fps를 예상 하려면 인간 (각 425) 별 프레임의 총 수는 그들이 작업에 소요 된 총 시간으로 분할 되었다 (873 s와 761 s). 소프트웨어는 듀얼 코어 PC에 윈도우 7에 평균 65 fps 게임에서 프레임을 평가. 높은 처리 속도와 정확도를 유사 하거나 인간의 점자 보다 더 나은, 단위 시간 당 약 125 인간의 점자의 작업을 수행 하는 소프트웨어를 기대 수 있습니다.
안테나 응답 냄새의 검출:
입증 하기 위해 곤충 운동에 중요 한 행동 차이 감지 하는 프로토콜을 사용할 수 있는, 우리가 두 개의 서로 다른 냄새 23 여성 꿀벌 대상이. 순수 heptanal 및 heptanol, 35, 두 냄새 및 제어, 깨끗 한 공기의 미네랄 오일 희석 x 4 각각 제시 했다 s (총에서 5 조건). 동영상, 위의 프로토콜에 설명 된 대로 SwarmSight 소프트웨어와 함께 처리 했다 고 안테나 각도 분석 (그림 5).
<img alt="Figure 5" class="xfigimg" src="/files/ftp_upload/56803/56803fig5.jpg"> 
그림 5: 5 냄새 조건에 대 한 안테나 각도 수단과 밀도 열 지도. (A) 열 (어두운 중간 지역), 동안 전에 보여주는 안테나 각도 밀도 지도 그리고 heptanol, 공기, 그리고 여성 꿀벌을 heptanal odorants의 관리 후 (n = 23). 블랙 커브는 프레임 당 평균 안테나 각도 (두 안테나). 수평 라인은 사전 냄새 평균 (기준선) 각도. 말은 안테나 각도를 순수한 냄새 조건과 해당 변경 내용에 대 한 냄새 소스에서 기본 안테나 위치 (하단 플롯에서 붉은 클러스터)의 클러스터 note또한 "리바운드" 클러스터 냄새 결론 후에 그것의 명백한 발병 냄새 농도 의존 주의 (다른 4 개의 플롯에 클러스터 위치 참조). 밀도 열 지도 색 눈금은 모든 조건에서 임의의 하지만 유니폼. 전 냄새 의미에서 (B) 평균 각도 변경 (오류 막대 S.E.M). 공기를 제외한 모든 변경 내용이 중요 한 의미 (t- p 테스트 &#60; 0.05). <a href="//ecsource.jove.com/files/ftp_upload/56803/56803fig5large.jpg" target="_blank">이 그림의 더 큰 버전을 보려면 여기를 클릭 하십시오.</a>
9 s 세그먼트의 3의 구성 된 비디오에서 비디오 프레임 3.6 냄새 발병 전에 s 냄새 프레 젠 테이 션의 s 및 2.4의 냄새 결론 후 모든 개인 및 조건 (300 프레임/세그먼트) 정렬 했다. 모든 개인의 두 안테나 각도의 프레임 단위 의미 각 조건에 대해 계산 되었고 라는 "말은 각도" (그림 5A, 검은 곡선). 각 조건에 대 한 개인에 걸쳐 냄새 발병 하기 전에 프레임의 말은 안테나 각도 계산 되었고 "사전 냄새 베이스 라인" (그림 5A, 얇은 수평 라인) 라고.
컨트롤을 제외 하 고 모든 조건에서 평균 각도 베이스 라인, 각 냄새 발병 (그림 5A, 0-3600 ms 지역에서 검은 곡선) 후 한번 750-1050 ms의 정점에서 증가. 1-표본 t시리즈를 사용 하 여 초기 평균 각 조건 피크 냄새-프레 젠 테이 션 평균 각도 시 개인의 두 안테나 수단을 비교 하 여 의미 (그림 5B)에 대 한 기준선에서 평균 변경 테스트-테스트 ( 샤 피로 정상 테스트 모든 조건에서 중요 하지). 기준선에서 평균 각도 변화는 26.9 ° 순수한 heptanal (평균 뾰족해지고 750 ms 냄새 발병 후), 0.2 M (990 ms)에서 heptanal에 대 한 21.1 ° (1050 ms의 경우)에 순수한 heptanol 19.6 ° 19.3 ° 0.2 M heptanol (에서 780 ms), 및 공기 제어 (피크) 3.45 °. 컨트롤을 제외 하 고 모든 조건에서 기준선에서 평균 각도 변화는 상당한 (Holm 조정 p &#60; 0.05). 우리 주의 평균 각도 기준선 보다 희석된 odorants에 순수한 odorants에 대 한 응답에서을 반환 하는 데 시간이 오래 걸립니다 (저역 통과 필터링 된 평균 위한 냄새 발병 후 초기 3690 ms 돌아갑니다 순수 했으며 2940 ms 희석된 heptanol, heptanal, 반환 시간에 희석된 버전에 대 한 순수 하 고 3000 ms 4,260 ms).
열 지도 사용 하 여 시각화:
각 조건 했다 안테나 응답, 안테나 각도 밀도 열 지도 시각화 하기 위해 (그림 5A, 블루-레드 배경)를 생성 합니다. 조건 당 각각 10 s 비디오 세그먼트에 걸쳐 안테나 각도 가우시안 커널 (R 패키지 질량, kde2d 함수64) convolved 했다. 파란색 영역 빨간색 영역 안테나 각도의 높은 밀도 표시 하는 동안 안테나 각도, 낮은 밀도 보여줍니다. 순수한 heptanal 조건에 대 한 그림 5A 의 하단 음모에 열 지도 안테나 동작을 보여 줍니다.
지도 보여줍니다 전에 냄새 제시 (t &#60; 0), 안테나 각도 밀도 분산 되어 상대적으로 균일 하 게 모든 각도. 약 1 s 후 냄새 발병 (t ~ 1000 ms), 파란색과 빨간색 클러스터의 한 쌍이 나타납니다. 지역 회색 빨간색, 안테나 더 발견 됐다 자주 보다 지역 파란색 음영. 블루 클러스터 안테나 작은 각도 (0도의 방향에 위치한 냄새 소스), 레드는 동안을 피하기 위해 경향이 나타냅니다 클러스터 나타냅니다 안테나 (냄새 소스)에서 더 큰 각도 선호. 빨간색 클러스터 냄새 프레 젠 테이 션 유지에 점차적으로 사라집니다. 또 다른 강렬한, 클러스터 덜 쓰 신 빨간색 나타납니다 약 1 냄새 결론 후 s. 우리는 두 번째 빨간색 클러스터 "리바운드 클러스터" 이름을합니다. 위의 말은 각도 복구 시간 일치, 우리 주의 리바운드 클러스터 이전 표시 것과 순수한 냄새에 대 한 보다 희석된 냄새에 대 한 덜 강렬.

Watch this Scientific Journal Video about SwarmSight: Real-time Tracking of Insect Antenna Movements and Proboscis Extension Reflex Using a Common Preparation and Conventional Hardware at JoVE.com

SwarmSight: Real-time Tracking of Insect Antenna Movements and Proboscis Extension Reflex Using a Common Preparation and Conventional Hardware

이 프로토콜 기존의 컴퓨터를 사용 하 여 기존의 웹 카메라 비디오에서 곤충 안테나 및 코 위치의 프레임별으로 추적을 위한 새로운 소프트웨어, SwarmSight, 사용 하기 위한 단계를 설명 합니다. 무료, 오픈-소스 소프트웨어 프레임 약 120 배를 인간 보다 더 빨리 처리 하 고 이상의 인간의 정확도에서 수행 합니다.

SwarmSight: 곤충 안테나와 일반적인 준비와 기존 하드웨어를 사용 하 여 코 확장 반사의 실시간 추적

Many scientifically and agriculturally important insects use antennae to detect the presence of volatile chemical compounds and extend their proboscis ...

swarmsight-real-time-tracking-insect-antenna-movements-proboscis

Research

JoVE Journal

Neuroscience

8.1K 조회수.  Arizona State University. 이 프로토콜 기존의 컴퓨터를 사용 하 여 기존의 웹 카메라 비디오에서 곤충 안테나 및 코 위치의 프레임별으로 추적을 위한 새로운 소프트웨어, SwarmSight, 사용 하기 위한 단계를 설명 합니다. 무료, 오픈-소스 소프트웨어 프레임 약 120 배를 인간 보다 더 빨리 처리 하 고 이상의 인간의 정확도에서 수행 합니다.

비디오: SwarmSight: Real-time Tracking of Insect Antenna Movements and Proboscis Extension Reflex Using a Common Preparation and Conventional Hardware

Early Metamorphic Insertion Technology for Insect Flight Behavior Monitoring

Early Metamorphosis Insertion Technology (EMIT) is a novel methodology for integrating microfabricated neuromuscular recording and actuation platforms on insects during their metamorphic development. Here, the implants are fused within the structure and function of the neuromuscular system as a result of metamorphic tissue remaking. The implants emerge with the insect where the development of tissue around the electronics during pupal development results in a bioelectrically and biomechanically enhanced tissue interface. This relatively more reliable and stable interface would be beneficial for many researchers exploring the neural basis of the insect locomotion with alleviated traumatic effects caused during adult stage insertions. In this article, we implant our electrodes into the indirect flight muscles of Manduca sexta. Located in the dorsal-thorax, these main flight powering dorsoventral and dorsolongitudinal muscles actuate the wings and supply the mechanical power for up and down strokes. Relative contraction of these two muscle groups has been under investigation to explore how the yaw maneuver is neurophysiologically coordinated. To characterize the flight dynamics, insects are often tethered with wires and their flight is recorded with digital cameras. We also developed a novel way to tether Manduca sexta on a magnetically levitating frame where the insect is connected to a commercially available wireless neural amplifier. This set up can be used to limit the degree of freedom to yawing &#8220;only&#8221; while transmitting the related electromyography signals from dorsoventral and dorsolongitudinal muscle groups.

We present a novel surgical procedure to implant electrodes in Manduca sexta during its early metamorphic stages. This technique allows mechanically stable and electrically reliable coupling with the neuromuscular tissue to study flight neurophysiology dynamics. We also present a novel magnetic levitation platform for tethered studies of insect yaw.

곤충 비행 동작 모니터링에 대한 초기 변성 삽입 기술

Early Metamorphosis Insertion Technology (EMIT) is a novel methodology for integrating microfabricated neuromuscular recording and actuation platforms on ...

연구

행동분석학

Studying the Neural Basis of Adaptive Locomotor Behavior in Insects

Studying the neural basis of walking behavior, one often faces the problem that it is hard to separate the neuronally produced stepping output from those leg movements that result from passive forces and interactions with other legs through the common contact with the substrate. If we want to understand, which part of a given movement is produced by nervous system motor output, kinematic analysis of stepping movements, therefore, needs to be complemented with electrophysiological recordings of motor activity. The recording of neuronal or muscular activity in a behaving animal is often limited by the electrophysiological equipment which can constrain the animal in its ability to move with as many degrees of freedom as possible. This can either be avoided by using implantable electrodes and then having the animal move on a long tether (i.e. Clarac et al., 1987; Duch &amp; Pfl&uuml;ger, 1995; B&ouml;hm et al., 1997; Gruhn &amp; Rathmayer, 2002) or by transmitting the data using telemetric devices (Kutsch et al, 1993; Fischer et al., 1996; Tsuchida et al. 2004; Hama et al., 2007; Wang et al., 2008). Both of these elegant methods, which are successfully used in larger arthropods, often prove difficult to apply in smaller walking insects which either easily get entangled in the long tether or are hindered by the weight of the telemetric device and its batteries. In addition, in all these cases, it is still impossible to distinguish between the purely neuronal basis of locomotion and the effects exerted by mechanical coupling between the walking legs through the substrate. One solution for this problem is to conduct the experiments in a tethered animal that is free to walk in place and that is locally suspended, for example over a slippery surface, which effectively removes most ground contact mechanics. This has been used to study escape responses (Camhi and Nolen, 1981; Camhi and Levy, 1988), turning (Tryba and Ritzman, 2000a,b; Gruhn et al., 2009a), backward walking (Graham and Epstein, 1985) or changes in velocity (Gruhn et al., 2009b) and it allows the experimenter easily to combine intra- and extracellular physiology with kinematic analyses (Gruhn et al., 2006).
We use a slippery surface setup to investigate the timing of leg muscles in the behaving stick insect with respect to touch-down and lift-off under different behavioral paradigms such as straight forward and curved walking in intact and reduced preparations.

We describe a method to record motor activity, timed to the electrically recorded tarsal contact signal in a tethered insect, walking on a slippery surface. This is used to study the neural basis of adaptive behavior under reduced influence of mechanical interaction between legs through the substrate.

곤충의 적응 운동력이있는 사람의 행동의 신경 기초를 공부

Studying the neural basis of walking behavior, one often faces the problem that it is hard to separate the neuronally produced stepping output from those ...

신경과학

A Precise and Autonomous System for the Detection of Insect Emergence Patterns

Existing systems to measure insect emergence patterns have limitations; they are only partially automated and are limited in the maximum number of emerging insects they can detect. In order to obtain precise measurement of insect emergence, it is necessary for systems to be semi-automated and able to measure large numbers of emerging insects. We addressed these issues by designing and building a system that is automated and can measure emergence of up to 1200 insects. We modified the existing &#34;falling-ball&#34; system using Arduino microcontrollers to automate data collection and expand the sample size through multiple data channels. Multiple data channels enable the user to not only increase their sample size, but also allows for multiple treatments to be run simultaneously in a single experiment. Furthermore, we created an R script to automatically visualize the data as a bubble plot, while also calculating the median day and time of emergence. The current system was designed using 3D printing so the user can modify the system to be adjusted for different species of insects. The goal of this protocol is to investigate important questions in chronobiology and stress physiology, using this precise and automated system to measure insect emergence patterns.

Measurement of insect emergence patterns requires precision. Existing systems are only semi-automated and sample size is limited. We addressed these issues by designing a system using microcontrollers to precisely measure the time of emergence of large numbers of emerging insects.

곤충 출현 패턴의 검출을 위한 정확 하 고 자치 시스템

Existing systems to measure insect emergence patterns have limitations; they are only partially automated and are limited in the maximum number of ...

환경과학

C. elegans Tracking and Behavioral Measurement

We have developed instrumentation, image processing, and data analysis techniques to quantify the locomotory behavior of C. elegans as it crawls on the surface of an agar plate. For the study of the genetic, biochemical, and neuronal basis of behavior, C. elegans is an ideal organism because it is genetically tractable, amenable to microscopy, and shows a number of complex behaviors, including taxis, learning, and social interaction1,2. Behavioral analysis based on tracking the movements of worms as they crawl on agar plates have been particularly useful in the study of sensory behavior3, locomotion4, and general mutational phenotyping5. Our system works by moving the camera and illumination system as the worms crawls on a stationary agar plate, which ensures no mechanical stimulus is transmitted to the worm. Our tracking system is easy to use and includes a semi-automatic calibration feature. A challenge of all video tracking systems is that it generates an enormous amount of data that is intrinsically high dimensional. Our image processing and data analysis programs deal with this challenge by reducing the worms shape into a set of independent components, which comprehensively reconstruct the worms behavior as a function of only 3-4 dimensions6,7. As an example of the process we show that the worm enters and exits its reversal state in a phase specific manner.

C. elegans Tracking and Behavioral Measurement

We have developed a video-rate tracking microscope system that can record and quantify C. elegans behavior at high resolution and high speeds. We have also developed computational methods to reduce the dimensionality of the worm images to a fundamental set of measurements that completely describe the shape of the worm.

C. elegans 추적 및 행동 측정

We have developed instrumentation, image processing, and data analysis techniques to quantify the locomotory behavior of C. elegans as it crawls on the ...

Behavioral Tracking and Neuromast Imaging of Mexican Cavefish

Cave-dwelling animals have evolved a series of morphological and behavioral traits to adapt to their perpetually dark and food-sparse environments. Among these traits, foraging behavior is one of the useful windows into functional advantages of behavioral trait evolution. Presented herein are updated methods for analyzing vibration attraction behavior (VAB: an adaptive foraging behavior) and imaging of associated mechanosensors of cave-adapted tetra, Astyanax mexicanus. In addition, methods are presented for high-throughput tracking of a series of additional cavefish behaviors including hyperactivity and sleep-loss. Cavefish also show asociality, repetitive behavior and higher anxiety. Therefore, cavefish serve as an animal model for evolved behaviors. These methods use free-software and custom-made scripts that can be applied to other types of behavior. These methods provide practical and cost-effective alternatives to commercially available tracking software.

Here, we present methods for high-throughput study of a series of the Mexican cavefish behaviors and vital staining of a mechanosensory system. These methods use free-software and custom-made scripts, providing a practical and cost-effective method for the studies of behaviors.

행동 추적 및 멕시코 Cavefish의 Neuromast 이미징

Cave-dwelling animals have evolved a series of morphological and behavioral traits to adapt to their perpetually dark and food-sparse environments. Among ...

Automated Rat Single-Pellet Reaching with 3-Dimensional Reconstruction of Paw and Digit Trajectories

Rodent skilled reaching is commonly used to study dexterous skills, but requires significant time and effort to implement the task and analyze the behavior. Several automated versions of skilled reaching have been developed recently. Here, we describe a version that automatically presents pellets to rats while recording high-definition video from multiple angles at high frame rates (300 fps). The paw and individual digits are tracked with DeepLabCut, a machine learning algorithm for markerless pose estimation. This system can also be synchronized with physiological recordings, or be used to trigger physiologic interventions (e.g., electrical or optical stimulation).

Rodent skilled reaching is commonly used to study dexterous skills, but requires significant time and effort to implement the task and analyze the behavior. We describe an automated version of skilled reaching with motion tracking and three-dimensional reconstruction of reach trajectories.

발과 숫자 궤적의 3 차원 재구성에 도달 자동화 된 쥐 단일 펠릿

Rodent skilled reaching is commonly used to study dexterous skills, but requires significant time and effort to implement the task and analyze the ...

A Proboscis Extension Response Protocol for Investigating Behavioral Plasticity in Insects: Application to Basic, Biomedical, and Agricultural Research

Insects modify their responses to stimuli through experience of associating those stimuli with events important for survival (e.g., food, mates, threats). There are several behavioral mechanisms through which an insect learns salient associations and relates them to these events. It is important to understand this behavioral plasticity for programs aimed toward assisting insects that are beneficial for agriculture. This understanding can also be used for discovering solutions to biomedical and agricultural problems created by insects that act as disease vectors and pests. The Proboscis Extension Response (PER) conditioning protocol was developed for honey bees (Apis mellifera) over 50 years ago to study how they perceive and learn about floral odors, which signal the nectar and pollen resources a colony needs for survival. The PER procedure provides a robust and easy-to-employ framework for studying several different ecologically relevant mechanisms of behavioral plasticity. It is easily adaptable for use with several other insect species and other behavioral reflexes. These protocols can be readily employed in conjunction with various means for monitoring neural activity in the CNS via electrophysiology or bioimaging, or for manipulating targeted neuromodulatory pathways. It is a robust assay for rapidly detecting sub-lethal effects on behavior caused by environmental stressors, toxins or pesticides.
We show how the PER protocol is straightforward to implement using two procedures. One is suitable as a laboratory exercise for students or for quick assays of the effect of an experimental treatment. The other provides more thorough control of variables, which is important for studies of behavioral conditioning. We show how several measures for the behavioral response ranging from binary yes/no to more continuous variable like latency and duration of proboscis extension can be used to test hypotheses. And, we discuss some pitfalls that researchers commonly encounter when they use the procedure for the first time.

The Proboscis Extension Response (PER) conditioning protocol, developed for the honey bee (Apis mellifera), provides an ecologically-relevant and easily quantifiable means for studying several different mechanisms of learning in many insect species.

코 확장 응답 곤충의 행동 소성을 조사하기위한 프로토콜 : 기본, 바이오 메디컬에 응용 프로그램, 및 농업 연구

Insects modify their responses to stimuli through experience of associating those stimuli with events important for survival (e.g., food, mates, threats). ...

Using Insect Electroantennogram Sensors on Autonomous Robots for Olfactory Searches

Robots designed to track chemical leaks in hazardous industrial facilities1 or explosive traces in landmine fields2 face the same problem as insects foraging for food or searching for mates3: the olfactory search is constrained by the physics of turbulent transport4. The concentration landscape of wind borne odors is discontinuous and consists of sporadically located patches. A pre-requisite to olfactory search is that intermittent odor patches are detected. Because of its high speed and sensitivity5-6, the olfactory organ of insects provides a unique opportunity for detection. Insect antennae have been used in the past to detect not only sex pheromones7 but also chemicals that are relevant to humans, e.g., volatile compounds emanating from cancer cells8 or toxic and illicit substances9-11. We describe here a protocol for using insect antennae on autonomous robots and present a proof of concept for tracking odor plumes to their source. The global response of olfactory neurons is recorded in situ in the form of electroantennograms (EAGs). Our experimental design, based on a whole insect preparation, allows stable recordings within a working day. In comparison, EAGs on excised antennae have a lifetime of 2 hr. A custom hardware/software interface was developed between the EAG electrodes and a robot. The measurement system resolves individual odor patches up to 10 Hz, which exceeds the time scale of artificial chemical sensors12. The efficiency of EAG sensors for olfactory searches is further demonstrated in driving the robot toward a source of pheromone. By using identical olfactory stimuli and sensors as in real animals, our robotic platform provides a direct means for testing biological hypotheses about olfactory coding and search strategies13. It may also prove beneficial for detecting other odorants of interests by combining EAGs from different insect species in a bioelectronic nose configuration14 or using nanostructured gas sensors that mimic insect antennae15.

We describe a protocol for using insect antennae in the form of electroantennograms (EAGs) on autonomous robots. Our experimental design allows stable recordings within a day and resolves individual odor patches up to 10 Hz. The efficiency of EAG sensors for olfactory searches is demonstrated in driving a robot toward an odor source.

후각 검색을위한 자율 로봇에 곤충 Electroantennogram 센서를 사용하여

Robots designed to track chemical leaks in hazardous industrial facilities1 or explosive traces in landmine fields2 face the same problem as insects ...

FIM Imaging and FIMtrack: Two New Tools Allowing High-throughput and Cost Effective Locomotion Analysis

The analysis of neuronal network function requires a reliable measurement of behavioral traits. Since the behavior of freely moving animals is variable to a certain degree, many animals have to be analyzed, to obtain statistically significant data. This in turn requires a computer assisted automated quantification of locomotion patterns. To obtain high contrast images of almost translucent and small moving objects, a novel imaging technique based on frustrated total internal reflection called FIM was developed. In this setup, animals are only illuminated with infrared light at the very specific position of contact with the underlying crawling surface. This methodology results in very high contrast images. Subsequently, these high contrast images are processed using established contour tracking algorithms. Based on this, we developed the FIMTrack software, which serves to extract a number of features needed to quantitatively describe a large variety of locomotion characteristics. During the development of this software package, we focused our efforts on an open source architecture allowing the easy addition of further modules. The program operates platform independent and is accompanied by an intuitive GUI guiding the user through data analysis. All locomotion parameter values are given in form of csv files allowing further data analyses. In addition, a Results Viewer integrated into the tracking software provides the opportunity to interactively review and adjust the output, as might be needed during stimulus integration. The power of FIM and FIMTrack is demonstrated by studying the locomotion of Drosophila larvae.

FIM is a novel, cost effective imaging system designed to track small moving objects such as C. elegans, planaria or Drosophila larvae. The accompanying FIMTrack program is designed to deliver fast and efficient data analysis. Together, these tools allow high-throughput analysis of behavioral traits.

FIM 이미징 및 FIMtrack : 높은 처리량 및 비용 효율적인 로코 분석을 허용하는 두 가지 새로운 도구

The analysis of neuronal network function requires a reliable measurement of behavioral traits. Since the behavior of freely moving animals is variable to ...

Insect-machine Hybrid System: Remote Radio Control of a Freely Flying Beetle (Mercynorrhina torquata)

The rise of radio-enabled digital electronic devices has prompted the use of small wireless neuromuscular recorders and stimulators for studying in-flight insect behavior. This technology enables the development of an insect-machine hybrid system using a living insect platform described in this protocol. Moreover, this protocol presents the system configuration and free flight experimental procedures for evaluating the function of the flight muscles in an untethered insect. For demonstration, we targeted the third axillary sclerite (3Ax) muscle to control and achieve left or right turning of a flying beetle. A thin silver wire electrode was implanted on the 3Ax muscle on each side of the beetle. These were connected to the outputs of a wireless backpack (i.e., a neuromuscular electrical stimulator) mounted on the pronotum of the beetle. The muscle was stimulated in free flight by alternating the stimulation side (left or right) or varying the stimulation frequency. The beetle turned to the ipsilateral side when the muscle was stimulated and exhibited a graded response to an increasing frequency. The implantation process and volume calibration of the 3 dimensional motion capture camera system need to be carried out with care to avoid damaging the muscle and losing track of the marker, respectively. This method is highly beneficial to study insect flight, as it helps to reveal the functions of the flight muscle of interest in free flight.

Insect-machine Hybrid System: Remote Radio Control of a Freely Flying Beetle Mercynorrhina torquata

This protocol describes the process of constructing an insect-machine hybrid system and carrying out wireless electrical stimulation of the flight muscles required to control the turning motion of a flying insect.

곤충 - 기계 하이브리드 시스템 : 자유롭게 비행 비틀의 원격 무선 제어 (<em&gt; Mercynorrhina의 torquata</em&gt;)

The rise of radio-enabled digital electronic devices has prompted the use of small wireless neuromuscular recorders and stimulators for studying in-flight ...