Name: swarmsight: real-time tracking of insect antenna movements and proboscis extension reflex using a common preparation and conventional hardware
Uploaded: 2017-12-25T14:00:00
Duration: 8 min 13 s
Description: Watch this Scientific Journal Video about SwarmSight: Real-time Tracking of Insect Antenna Movements and Proboscis Extension Reflex Using a Common Preparation and Conventional Hardware at JoVE.com

JB, SMC og RCG ble støttet av NIH R01MH1006674 til SMC og NIH R01EB021711 til RCG. CMJ og BHS ble støttet av NSF ideer lab prosjektet på "knekke olfactory koden" til BHS. Vi takker Kyle Steinmetz Taryn Oboyle og Rachael Halby for deres hjelp i å gjennomføre denne forskningen.

1. ta og utnytte honning bier
<ol>
	<li>Følge protokollen trinnene 1 til 3.1.1 Smith og byrden59.</li>
</ol>
2. forberede dyr sele og videokamera
<ol>
	<li>Skjule beina ved å bruke tape over toppen av sele røret, visuelt inspisere at beina ikke kan sees toppen.</li>
	<li>Holde hodet ved å bruke oppvarmet voks på baksiden av insekt hodet. Visuelt inspisere at hodet er fast og ikke flytte. På dette punktet, bør antenner og Accolade være de eneste vedheng fri til å flytte.</li>
	<li>Maksimere kontraster mellom antenner og video bakgrunnen ved å plassere et hvitt ark under insekt selen. For å minimere behovet for å senere justere kameraet, markere plasseringen av insekt selen på papir og deretter plassere nye personer på samme sted.</li>
	<li>Fastsette Kameraposisjonen bruker et stativ eller en webcam holder for å plassere kameraet over insekt hodet. Bruker kameraprogramvaren, forhåndsvise videoen, og zoom inn forstørre hodet bildet, slik at en ~ 20-30% klaring på alle sider av videoen.<ol>
		<li>Kontroller at bare bevegelige objekter i kameraet vise antenner eller snabel/Accolade og flytte kameraet eller dyr hvis nødvendig. Merk: SwarmSight sjekker for bevegelse i piksler rundt hodet. Overflødig bevegelse i umiddelbar nærhet av hodet forårsaket av objekter som Ben, skygger, fans eller mennesker kan forvirre programvaren, og innføre ekstra.</li>
	</ol>
	</li>
	<li>Minimere antenne skygger ved å justere omgivelseslys. Merk: Programvaren kan tolerere noen skygger, men for best resultat, de bør holdes til et minimum.</li>
	<li>Forhindre automatisk kamera eksponering justeringer ved hjelp av kameraet lukkeren hastighet programvare for å holde kameraet eksponeringstid konstant gjennom hele videoen. Bruker programvaren, justere lukkerhastighet for å maksimere kontraster (video scene ikke for lyse eller for mørke), ved å justere 'skyvekontrollen for eksponering"under"Webcam innstillinger". Merk: Instruksjonene ovenfor er spesifikk for webcam og programvare som brukes. Disse må tilpasses hvis andre webkameraer brukes.</li>
	<li>Plasser lukt levering kilden og sikre at den ikke hindrer kameravisningen ved kontroll kameraet videoen strøm. Kontroller at noen vakuum er plassert på motsatt side å fjerne stimulans lukt.</li>
	<li>Plassere en LED eller noen andre visuell indikator som endrer lysstyrken for å angi lukt levering, innen kameravisningen. Merk: LED lysstyrkeverdien lagres av programvaren og kan brukes til å bestemme de eksakte rammene når lukt levering begynner og slutter.</li>
</ol>
3. film enkelte under eksperimentelle forhold
<ol>
	<li>Film hver individuelle insekt og test betingelse i separate video filer ved innspilling hver individuell test kombinasjon separat eller bruke video redigering programvare for å dele en lang videofil i mindre filer. Merk: Programvaren krever at brukeren å finne plasseringen av hodet i hver video og hodet skal være fast. Hvis hodet flyttes, vil ekstra bli introdusert. Funksjonen for gruppebehandling i SwarmSight lar brukeren raskt angi plasseringen av hodet for flere videoer og forutsetter at insekt hodet fortsatt fast for varigheten av hver videofil. Instruksjoner om hvordan å dele lenge videofiler kan finnes online60.</li>
</ol>
4. video analyse
<ol>
	<li>Dataoverføre og installere modulen "Antenne sporing" ved å følge trinnene online58. Merk: Video tutorials beskriver hvordan du bruker programvaren er tilgjengelig på nettstedet også.</li>
	<li>Åpne en videofil viser en filmet dyr med "Browse"-knappen.</li>
	<li>Plassere antennen sensoren og behandling sensor
	<ol>
		<li>Når videoen laster, plasser rektangulære "Antenne Sensor" widget dyrets hodet, ved hjelp av rotasjon og skala ikonene justere widgeten med hodet (se figur 1 d for eksempel).</li>
		<li>Plasser sirkulær "Behandling Sensor" widget over LED som angir når lukt eller stimulans blir presentert. Merk: Behandling sensoren registrerer lysstyrkeverdien for bildepunktet i sentrum av widgeten for hver ramme.</li>
	</ol>
	</li>
	<li>Start videobehandling
	<ol>
		<li>Trykk på "Play"-knappen (svart trekant) i nedre venstre hjørne starte analysen av rammene. Merk: Oppdaget sannsynlig antenne og Snabel poeng blir uthevet gule. Gul ringene vil vise plasseringen av tips av lemmer. Vinkler (der 0 er rett foran dyr) av antennen og hvor snabel filtypen vises i "Modell" widget i nedre venstre hjørne (se figur 1 d). "Dominerende sektorer" widget i nedre høyre hjørne viser den relative intensiteten av fem 36 graders sektorer hvor mest antenne poeng påvist. Mørkeste sektorene inneholder flest poeng, mens det letteste har færrest. Sektor nummeret (1-5) med flest poeng vil bli vist i de nederste hjørnene av widget (se figur 1 d).</li>
	</ol>
	</li>
	<li>Justere filteret terskler og legge ekskludering soner
	<ol>
		<li>For å endre følsomheten filtre, kan du justere skyveknapper i delen "Filter" til høyre panel. Merk: Avhengig av lysforholdene og generell bevegelseshastighet på lemmer, annet filter sensitiviteter blir optimal. Brukeren kan finne de optimale verdiene ved å justere verdiene og observere de uthevede områdene i antenne Sensor widget. Når et ideelt sett av sensitiviteter er funnet, merkes bare lemmer. Det anbefales å spole frem til andre deler av videoen å sikre filteret problemområdene er optimale, også.</li>
		<li>Eventuelt for å ignorere overflødige objekter til høyre panel, utvide delen "Antenne Sensor" Klikk "Legg til utelukkelse sone" (se figur 1 d), og klikk på et sett med punkter å danne en rød polygon, innholdet som blir ignorert av den programvare. Merk: Hvis videoen inneholder overflødige bevegelse og bevegelse i antenne Sensor widgeten sone (f.eks flytte bena, sterk skygger, laboratorieutstyr, etc.), programvaren kan tabbe den for appendage bevegelse.</li></ol></li></ol>Overflødige objekter kan ignoreres ved å tegne røde polygoner eller "Ekskludering soner." Inne rød polygon vil ikke bli brukt for sporing.
	
	
	<li>Lagre resultatene
	<ol>
		<li>Når filtrene og widgets har blitt satt opp, stoppe videoen, starter den på nytt fra begynnelsen og spille den til slutten. Merk: Når hele videoen har spilt, plasseringen av lemmer for alle videobilder lagres i minnet.</li>
		<li>Hvis du vil lagre appendage posisjon dataene til en fil, Utvid delen "Lagre" på høyre, og klikk "lagre til. CSV"-knappen. Velg en mappe å lagre filen. Merk: "Lagre til. CSV"knappen vil lagre behandling resultatene til en CSV-fil. Standard brukeren tilbys lagre CSV-filen i samme mappe som videofilen og har en dato og et klokkeslett som en del av filnavnet. .Csv Denne filen inneholder et sett med kolonner som inneholder informasjon om plasseringen av lemmer, inkludert antenne vinkler og dominerende sektorer, samt retningen og posisjonen til hodet. Beskrivelsen av hver kolonne er tilgjengelig online61.</li>
		<li>Eventuelt bruke kolonner (s) og verdi(er) feltene i delen lagre for å opprette en ekstra kolonne (eller mer hvis atskilt med semikolon) i CSV-filen til å registrere informasjon, for eksempel emne ID eller navnet på en eksperimentell tilstand. Merk: Verdien i boksen kolonner vises i toppteksten i den første kolonnen og verdien i verdi (er)-boksen vil bli gjentatt i alle radene i første kolonne.</li>
	</ol>
	</li>
	<li>Satsvis behandling Merk: Programvaren kan behandle flere video-filer i en bunke. Brukeren må imidlertid angi hodet stedsinformasjonen for hver video før du starter gruppebehandlingen.<ol>
		<li>Klikk på "Batch Processing"-knappen for å åpne et vindu der opprettelse av video-filer behandles sekvensielt av programvaren i panelet til høyre, under "Video-filer".</li>
		<li>Bruk knappen "Legg til flere Video filer til parti" for å velge én eller flere videofiler i listen over satsvise.</li>
		<li>Eventuelt bruk "CTRL" eller "SHIFT" for å velge flere videoer som bruker samme sett av widgeten. Merk: Gode kandidater for parameteren gjenbruk er sett med videoer av samme dyret har ikke flyttet mellom forskjellige eksperimentelle forhold.</li>
		<li>Begynne å sette widget parameterne skal brukes for de valgte videoene ved å klikke "Angi Sensor posisjoner for valgt".</li>
		<li>Justere parametere i antenne Sensor, behandling Sensor, filtre, eller lagre inndelinger, og klikk "Lagre parametere til parti" når du er ferdig.</li>
		<li>Når parameterne for hver video har blitt valgt, begynne den satsvise prosessen ved å klikke "Start behandling". Merk: Programvaren lastes videofiler i rekkefølge som de vises i listen over satsvise, behandle dem og lagre deres tilsvarende CSV-filer i samme mappe hvor videofilene ligger. En fremdriftsindikator på toppen vil gi en anslått sluttiden etter den første videoen er fullført.</li>
	</ol>
	</li>

Forfatterne erklærer at de har ingen konkurrerende økonomiske interesser.

Metoden som presenteres her gjør at sanntid sporing av insekt antenne og Snabel bevegelser uten spesielle dyr forberedelser eller maskinvare.
Begrensninger:
Til tross for disse fordelene er det noen begrensninger i metoden. Disse inkluderer kravet at leder av dyret er begrenset fra bevegelsen, behovet for brukeren å velge og dreie av dyr hver video, kravet om å ha tilgang til en Windows-maskin og programvaren manglende evne til å spore bevegelse i tre dimensjoner (3D) og noen visuelt uklare appendage posisjoner beskrevet nedenfor.
Programvaren krever at leder av dyret er fast og ikke går under videoen. Dette ligner på forberedelsene til tidligere arbeid48,49,50,51. Det er mulig å endre programvaren slik at automatisk gjenkjenning av hodet rotasjoner, men dette konsumerer ekstra behandlingstid og introdusere en ny kilde til feil. Hvis den endrede programvaren oppdage hodet rotasjon feil, vil dette påvirke antennene anglerne, utregningen er i forhold til hodet rotasjonsvinkelen. Foreløpig velger brukeren hodet retningen hver video. Denne tilnærmingen, minimerer mens ikke uten menneskelige feil, vinkel beregningsfeil når hodet ikke er tillatt å flytte under videoen.
Programvaren krever også en Windows 7 (eller senere)-operativsystemet (OS). Målet var å gjøre programvaren lett å installere, konfigurere og bruke av brukere uten programmering eller sofistikert datamaskin administrasjon ferdigheter. Vi besluttet å målrette Windows fordi det er allment tilgjengelig, og i tilfeller der tilgang til det begrenses virtuelle maskiner (f.eks VirtualBox, VMware, parallell) med Windows kan lett bli opprettet. Dette valget av OS sterkt forenkler installasjon av programvare ved hjelp av en lett-å-bruke, kommandolinje-line-fri installasjon og unngår feil gjelder for ulike OSs.
Programvaren registrerer bare plasseringen av vedheng i 2D-plass. Insekter er kjent for å flytte sine antenne i 3D, som kan bety at viktig informasjon går tapt når bare 2D-koordinater måles. Mens bruken av flere kameraer eller speil kan hjelpe i å samle ytterligere informasjon som kreves i 3D lokalisering, er det mulig å beregne, med bruk av trigonometriske relasjoner, en beregnet ut-av-flyet posisjon ved forutsatt at de er enkelt linjesegmenter konstant lengden og bare flytte på siden av kameraet flyet. For honning bier, forutsetningen gjelder å få grovt anslag for posisjon i 3D, men ikke nødvendigvis ville være tilfelle for andre arter og situasjoner.
Programvaren vil ikke riktig oppdage antenner og Snabel tips steder i noen tvetydig situasjoner. Hvis et dyr flytter antenne slik at videoen, det overlapper en utvidet snabel, vil programvaren sannsynligvis oppdage spissen av antennen som spissen av snabel. Antenne vinkelen imidlertid vil fremdeles sikkert beregnes riktig (fra delen ikke-overlappende). Tilsvarende, hvis antennen tips flytter direkte over hodet av dyret (dvs. ikke på sidene) deretter programvaren kan bare oppdage delen av antennen som er synlig utenfor hodet, antar den forrige plasseringen av antennen eller oppdage falske videostøy som antennen er plassert. I begge situasjoner har engang menneskelig raters problemer med kresne antennen på snabel eller hodet. For å løse dette problemet, anbefaler vi at du bruker et 3-ramme, symmetrisk rullende median57 filter på rå X- og Y koordinatene produsert av programvaren. Dette filteret fjerner store forbigående (single-ramme) posisjon svingninger, og beholder lengre antenne posisjon bevegelser. Vi har funnet at 3-ramme filteret utført bedre enn ingen filter, mens bredere filtre (f.eks, 5, 11 eller 15 rammer) redusert nøyaktighet. Eksempelkoden R som bruker filteret og en videodemonstrasjon kan finnes online58.
Verdi som et vitenskapelig verktøy:
Tilgjengeligheten av en metode for å raskt få nøyaktig insekt appendage bevegelser på en kostnadseffektiv måte har potensial til å åpne opp nye områder for undersøkelse.
Snabel forlengelsen reflex (PER) er vanlige atferdsdata Svar å undersøke læring og hukommelse av en rekke insekter59. Tidligere studier har generelt stolt på en binær utvidet-eller-ikke mål PER, selv om video- og electromyographic analyser har vist mye mer kompleks topologier til snabel bevegelser65,66. Metoden her gir rask kvantifisering av snabel bevegelser i høy timelige og romlig oppløsning.
Insekt antenne bevegelser svar på lukt er dårlig forstått. En årsak til dette er at antenner tendens til å bevege seg så raskt at en kostnadseffektive, automatiske betyr å få antenne bevegelse data ikke er tilgjengelig. Metoden som presenteres her kan brukes å raskt få antenne bevegelse data for store tall av en rekke forhold. Dette kan for eksempel hjelpe forskere undersøker tilordningen mellom antenne bevegelser i respons på ulike stimuli, spesielt flyktige lukt. Bruker kameraer som ta bilder på 30 Hz, programvaren kan brukes til å beskrive antennal bevegelse dynamics opptil 15 Hz (Nyquist grense). Hvis karakteristikk i høyere frekvenser er nødvendig, kunne kameraer med høyere fangst priser (f.eks 60 eller 120 fps) brukes. Men må en raskere datamaskin behandle høyere fps videoer i sanntid. Vi spekulere at klasser av lukt, og muligens noen personlige lukt, har karakteristiske medfødte antennal bevegelser. Hvis disse klasser eller forbindelser kan være oppdaget, ukjent lukt eller klasse ble oppdaget fra antennal bevegelse av utrente insekter. Hvis det finnes slike en tilordning, skal deretter kombinasjonen av nok antenne bevegelse data og toppmoderne maskin læring algoritmer begynne å avdekke. Også hvordan den kartleggingen endringer i svaret til læring, skjemaer under utvikling, eller avbrytes med kunne genetisk tiltak tilby innblikk i funksjonene i olfactory systemet.Til slutt, dette arbeidet kan gi innsikt i kunstig påvisning av lukt hvis det avslører optimal Prøvetaking metoder for lukt i komplekse miljøer.
Videre arbeidet:
Her vi viste at antennen bevegelse kan raskt innhentet og analysert: betydelige atferd svar kan oppdages fra data generert av vår programvare, og flere områder av videre undersøkelser ble identifisert.
Tiden kurs av stimulus-skapte antenne vidvinkel avvik fra og gjenoppretting til grunnlinjen og stimulans konklusjon etterpå effekter og forholdet til lukt konsentrasjon kan bli undersøkt og modellert matematisk. I tillegg, endringer av antenne bevegelser indusert av appetitive eller aversive condition også kan vurderes med programvaren.
Dele lukt kan også utforskes. I denne studien både lukt, i ren og 35 x utvannet versjoner skapte lignende svar: antenner, gjennomsnittlig syntes å raskt trekke deg fra lukt og returnere pre lukt grunnlinjen etter noen sekunder. Vi spekulere at selv utvannet versjonene kan ha vært sterkt olfactory stimuli for honning bier. Hvis sann, kan et bredere spekter av konsentrasjoner brukes til å bestemme om antennal svarene skille lukt. I tillegg kan mer avanserte analyser bedre avdekke forskjeller i antennal bevegelser svar på forskjellige lukter. Vi har gjort datafilene brukes til å generere tall i dette manuskriptet tilgjengelig for interesserte forskere på SwarmSight nettsted67.
Videre mens du er utenfor omfanget av dette manuskriptet, kan programvaren utvides for å behandle videoer av dyr plassert i kammer med to speil vinkel på 45° (se figur 1 d for eksempel). Dette kan brukes til nøyaktig lokalisere og spore lemmer og deres bevegelse i 3D-rom. Imidlertid algoritmer for 3D spore ville være nødvendig å effektivt: (a) skille mellom flere antenner når de vises i en av sidespeil, (b) riktig for feil i speilet vinkler, og (c) står for forstyrrelser på grunn av kameraet posisjonering.
Endelig ytterligere gevinst i posisjon nøyaktighet kan realiseres ved bruk av et Kalman filter68, hvilke modeller og benytter fysisk tilstandsinformasjon appendage hastighet og akselerasjon å begrense spådd steder. Imidlertid bør eventuelle gevinster i nøyaktighet vurderes mot reduksjoner i fart på grunn av ytterligere beregninger.
Konklusjon:
Mange insekter bruk antenner aktivt prøve flyktige forbindelser i lokale miljøer. Mønstre i antennal bevegelser kan gi innsikt i insekt lukt oppfatning og hvordan den påvirkes av condition, giftige forbindelser og genetiske endringer. Tilsvarende har snabel bevegelser blitt brukt til å vurdere lukt oppfatning og dens modulering. Imidlertid har raskt å skaffe store mengder høyoppløselig appendage bevegelse data vært vanskelig. En protokoll og programvare er her beskrevet som automatiserer slik oppgave. I sammendraget, har vi skapt og vist hvordan kombinasjonen av billig maskinvare, en felles dyr forberedelse og åpen kilde-programvare kan brukes til å raskt få høyoppløselige insekt appendage bevegelse data. Resultatet av programvaren, hvordan det overgår menneskelig raters i hastighet og nøyaktighet, og hvordan dens utdataene kan analysert og visualisert ble vist.

De fleste leddyr flytte antenner eller andre appendage prøve miljømessige stikkordene og signaler i tid og rom. Dyrene kan bruke antenner for å navigere miljøet ved å registrere sensoriske stikkordene som kjemisk flyktige og gustatory og mekanisk stimuli1,2,3,4. I insekter inneholde antennene sensoriske reseptorer som binder seg til kjemiske flyktige4,5,6 og overføre signalet via olfactory sensoriske neurons til sentrale hjernen regioner1,7 ,8,9. Insekter kan justere antenner posisjoner å modulere informasjon om innkommende lukt4,10,11. Denne modulering Letter aktivt informert atferdsmessige responser til lukt og sine fjær12,13.
Mange insekter, inkludert Hymenopterans (f.eks honning bier og Humler), Lepidopterans (f.eks sommerfugler) og Dipterans (f.eks fluer og mygg), blant annet feed ved å utvide deres snabel14 , 15 , 16 , 17 , 18 , 19 , 20 , 21. snabel forlengelsen pålitelig er brukt i siste for en rekke læring og hukommelse oppgaver22,23,24,25,26, 27,28,29,30,31. Tilsvarende kan kvantitativ vurdering av antenner bevegelse med høy timelige og romlig oppløsning gi innsikt i forholdet mellom stimulans, atferd og interne tilstanden til dyret. Faktisk tidligere arbeid har vist hvor antennal bevegelser inneholder rik mengde informasjon om honey bee sporing av miljøet og hvordan bevegelser endres lære32,33,34, 35,36,37,38.
I det siste tiåret, har metoder for å observere dyr atferd blitt betraktelig ved fremskritt i høy oppløsning videokameraer, databehandling hastigheter og maskinen visjon algoritmer. Oppgaver som animalsk deteksjon, telling, sporing og sted preferanse analyser har blitt hjulpet med sofistikert programvare som kan behandle videoer av dyr opptreden og ekstrakt relevante måler39,40, 41,42,43,44,45,46,47.
Disse teknologiene har også hjulpet sporing av insekt antenne og Snabel bevegelser. Det er mulig for menneskelig raters å bruke en markøren manuelt spore plasseringen av antennene. Men mens denne metoden kan være nøyaktig, oppgaven er tidkrevende, og menneskelig uoppmerksomhet og tretthet kan medføre upålitelige resultater. Spesialutstyr og forberedelser kan brukes til å redusere behovet for innviklet programvare. For eksempel, ettall setup brukes et høyhastighets kamera og malt tips av antenner å spore antenne bevegelse48. Brukere kan også bli bedt om å velge nøkkel-rammer videoer å hjelpe programvaren oppdager antenne og Snabel plassering49. En annen tilnærming oppdaget to største bevegelse klynger for å identifisere antenner, men det gjenkjenner ikke snabel beliggenhet50. En annen programvarepakke kan oppdage antenne og Snabel steder, men krever ca 7.5 s behandling tid per ramme51, som kan være uoverkommelige for sanntid eller langsiktig observasjon studier. Til slutt, det kan være mulig å tilpasse reklamen programvarepakker (f.eks EthoVision) for å utføre oppgaven46, men lisensiering og trening kostnadene være uoverkommelige.
Med metoden beskrevet her vi utvidet våre tidligere arbeid på bevegelse analyse programvare41 spore plasseringen av insekt antenner og Snabel med følgende mål: (1) ingen behov for spesiell maskinvare eller komplekse dyr forberedelse, (2). ramme behandlingen i sanntid (30 fps eller raskere) på en vanlig datamaskin, (3) brukervennlighet bruk, og (4) åpen-kildekode, lett utvides koden.
Den resulterende romanen metoden og åpen kildekode programvare, SwarmSight Appendage sporing, krever ikke maleri av antenner tips, kan bruke en forbruker webkamera for å fange video og prosesser videobilder på 30-60 fps på en tradisjonell ( Figur 1). Programmet tar video-filer som inndata. Du finner plasseringen av insekt hodet i videoen, og etter behandling, en kommadelt fil (CSV) er produsert med plassering av antenner og Snabel. Programvaren er i stand til å lese hundrevis av forskjellige videoformater (inkludert produseres av de fleste digitale kameraer) ved hjelp av FFmpeg biblioteket52.
<img alt="Figure 1" class="xfigimg" src="/files/ftp_upload/56803/56803fig1.jpg"> 
Figur 1: dyr oppsett og programvare utgang. (A) A honey bee forager med hodet og kroppen restriktiv sele. (B) lukt kilde er plassert foran dyret, et videokamera er plassert over, og en vakuum kilde er plassert bak dyret. (C) antennen tips og Snabel variabler oppdaget av SwarmSight fra videoen. (D) brukeren plasserer antennen sensoren over dyrene og justerer parameterne filter. Programvaren registrerer antenne og Snabel stillingene (gul ringer).<a href="//ecsource.jove.com/files/ftp_upload/56803/56803fig1large.jpg" target="_blank">Klikk her for å se en større versjon av dette tallet.</a>
Først er et insekt kropp og hodet hindret i en sele slik at antennen og Snabel bevegelser er lett observeres (figur 1A). En lukt kilde er plassert foran insekt, med vakuum kilde plassert bak, fjerne lukt fra luften og minimere mulige effekter av sensoriske tilpasning (figur 1B). Et vanlig webkamera er plassert over insekt hodet på et stativ. En LED kan plasseres i kameraets visningen som indikerer når lukten blir presentert.
<img alt="Figure 2" class="xfigimg" src="/files/ftp_upload/56803/56803fig2.jpg"> 
Figur 2: antenne koordinatsystem. X, Y-verdier bruker video koordinatsystem, der øvre venstre hjørne er opprinnelse og X og Y verdier øker når du flytter mot nederst til høyre. Vinklene er uttrykt i grader i forhold til forsiden av hodet (vanligvis lukt kilden). En "0" verdi betyr at linjen av antenne flagell peker rett foran dyret. Alle vinkler er positiv, bortsett fra når en antenne peker til den motsatte retningen (f.eks rett flagell poeng til venstre). <a href="//ecsource.jove.com/files/ftp_upload/56803/56803fig2large.jpg" target="_blank">Klikk her for å se en større versjon av dette tallet.</a>
Etter innspillingen og åpnes videofilen med SwarmSight programvaren, der brukeren plasserer antennen Sensor widgeten (figur 1 d, svarte firkanten) i hodet av insekter, og starter videoavspilling. Når resultatene lagres, CSV-filen inneholder X, Y posisjoner av antennen tips, antenne vinkler i forhold til forsiden av hodet (figur 2), og Snabel X, Y-posisjon. I tillegg beregnes en dominerende sektor beregning for hver antenne. Metrisk viser hvilke av de fem 36 graders sektorene rundt hver antenne inneholdt mest poeng anses trolig bli antennene, og kan være nyttig hvis antennen posisjon/vinkel beregningene ikke er pålitelig på grunn av støy eller ellers problematisk videoer.
Kort, programvaren fungerer ved hjelp av en rekke bevegelse filtre53 og en avslappet flom fyll algoritmen54. Du finner sannsynligvis antenne poeng, to filtre brukes: en 3-rad-ramme forskjellen filter41,55 og filtere median-bakgrunn subtraksjon56 . Avstand terskelen fargefilter brukes for snabel punktet deteksjon. De 10% av punktene for hvert filter kombineres, og en flom fyll algoritme som undersøker sammenhengende poeng med hull til 2 piksler (px) finner ytterpunkter. Parallelle ramme dekoding, behandling, og rørledninger og optimert hukommelse tildeling av filteret dataflyten oppnår høy ytelse. Rå x- og y-koordinaten verdiene produsert av programvaren er etter behandlet med en 3-ramme rullende median filter57 (se diskusjon). Instruksjonene for å laste ned hele kildekoden finner online58.
Nedenfor er en protokoll for å forberede en honey bee forager antenne sporing. En lignende protokoll kan brukes til å spore antenne/snabel bevegelsene til noen andre insekt. I delen resultater beskriver vi et eksempel antenne Sporingsutdata som oppdages av programvaren, sammenligning av programvare utgang til sporing av menneskelig raters og vurdering av antenner bevegelse svar på fem odorants.

<table border="0" cellpadding="0" cellspacing="0" width="938">
	<tbody>
		<tr height="42">
			<td height="42" style="height:42px;width:188px;">Insect harness</td>
			<td style="width:95px;">N/A</td>
			<td style="width:161px;">N/A</td>
			<td style="width:495px;">Use materials needed for Protocol sections 1-3.1.1 of Smith &#38; Burden (2014)</td>
		</tr>
		<tr height="21">
			<td height="21" style="height:21px;width:188px;">Odor delivery source</td>
			<td style="width:95px;">N/A</td>
			<td style="width:161px;">N/A</td>
			<td style="width:495px;">Use materials needed for Protocol section 3 of Smith &#38; Burden (2014)</td>
		</tr>
		<tr height="42">
			<td height="42" style="height:42px;width:188px;">Vacuum source</td>
			<td style="width:95px;">N/A</td>
			<td style="width:161px;">N/A</td>
			<td style="width:495px;">Use materials needed for Protocol section 3 of Smith &#38; Burden (2014)</td>
		</tr>
		<tr height="42">
			<td height="42" style="height:42px;width:188px;">LED connected to odor delivery source</td>
			<td style="width:95px;">N/A</td>
			<td style="width:161px;">N/A</td>
			<td style="width:495px;">Use materials needed for Protocol section 3 of Smith &#38; Burden (2014)</td>
		</tr>
		<tr height="42">
			<td height="42" style="height:42px;width:188px;">Low Voltage Soldering Iron</td>
			<td style="width:95px;">Stannol</td>
			<td style="width:161px;">Low Voltage Micro Soldering Iron 12V, 8W</td>
			<td style="width:495px;"></td>
		</tr>
		<tr height="21">
			<td height="21" style="height:21px;width:188px;">DC Power Supply</td>
			<td style="width:95px;">Tekpower</td>
			<td style="width:161px;">HY152A</td>
			<td style="width:495px;"></td>
		</tr>
		<tr height="42">
			<td height="42" style="height:42px;width:188px;">White sheet of paper</td>
			<td style="width:95px;">Georgia-Pacific</td>
			<td style="width:161px;">998606</td>
			<td style="width:495px;">Any white sheet of paper can be used as alternative</td>
		</tr>
		<tr height="42">
			<td height="42" style="height:42px;width:188px;">Tripod</td>
			<td style="width:95px;">AmazonBasics</td>
			<td style="width:161px;">50-Inch Lightweight Tripod</td>
			<td style="width:495px;">Optional</td>
		</tr>
		<tr height="42">
			<td height="42" style="height:42px;width:188px;">Camera</td>
			<td style="width:95px;">Genius</td>
			<td style="width:161px;">WideCam F100</td>
			<td style="width:495px;">FLIR Flea3 or another camera with manual focus can be used.</td>
		</tr>
		<tr height="42">
			<td height="42" style="height:42px;width:188px;">Camera software</td>
			<td style="width:95px;">Genius</td>
			<td style="width:161px;">N/A</td>
			<td style="width:495px;">Software comes with camera. On MacOS, Photo Booth app can be used to record videos.</td>
		</tr>
		<tr height="63">
			<td height="63" style="height:63px;width:188px;">Camera shutter speed software</td>
			<td style="width:95px;">Genius</td>
			<td style="width:161px;">N/A</td>
			<td style="width:495px;">Genius camera software allows shutter speed setting. In Mac OS, iGlasses by ecamm can be used instead: http://www.ecamm.com/mac/iglasses/</td>
		</tr>
		<tr height="84">
			<td height="84" style="height:84px;width:188px;">Windows Operating System</td>
			<td style="width:95px;">Microsoft</td>
			<td style="width:161px;">Windows 7 Professional</td>
			<td style="width:495px;">Versions 7 or later are compatible. Oracle VirtualBox, Parallels Desktop, or VMWare Fusion can be used to create a Windows virtual machine in MacOS environments.</td>
		</tr>
		<tr height="21">
			<td height="21" style="height:21px;width:188px;">SwarmSight software</td>
			<td style="width:95px;">SwarmSight</td>
			<td style="width:161px;">Appendage Tracking</td>
			<td style="width:495px;">Download from http://SwarmSight.org</td>
		</tr>
		<tr height="42">
			<td height="42" style="height:42px;width:188px;">R software</td>
			<td style="width:95px;">R Project</td>
			<td style="width:161px;">R 3.4.0</td>
			<td style="width:495px;">Download from: https://cran.r-project.org/bin/windows/base/</td>
		</tr>
		<tr height="63">
			<td height="63" style="height:63px;width:188px;">R Studio software</td>
			<td style="width:95px;">RStudio</td>
			<td style="width:161px;">RStudio Desktop</td>
			<td style="width:495px;">Download from: https://www.rstudio.com/products/rstudio/download/</td>
		</tr>
	</tbody>
</table>

swarmsight: real-time tracking of insect antenna movements and proboscis extension reflex using a common preparation and conventional hardware

Mange vitenskapelig og agriculturally viktig insekter bruk antenner å oppdage tilstedeværelsen av flyktige kjemiske forbindelser og forlenge deres snabel under mating. Muligheten til å raskt få høyoppløselige målinger av naturlige antenne og Snabel bevegelser og vurdere hvordan de endrer svar på kjemisk, utviklingsmessige og genetisk manipulasjoner kan hjelpe forståelsen av insekt atferd. Ved å utvide vår tidligere arbeid på vurdere samlet insekt sverm eller dyr gruppe bevegelser fra naturlige og laboratoriet videoer med video analyseprogramvare SwarmSight, utviklet vi en roman, gratis og åpen kildekode modul, SwarmSight Appendage Sporing (SwarmSight.org) for frame-by-frame sporing av insekt antenne og Snabel posisjoner fra konvensjonelle web kamera videoer med konvensjonelle datamaskiner. Programmet behandler rammer omtrent 120 ganger raskere enn mennesker utfører på bedre enn menneskelig nøyaktighet og, med 30 rammens per andre (fps) videoer, kan fange antennal dynamics opptil 15 Hz. Programvaren ble brukt til å spore antennal svar honning bier til to lukt og funnet betydelige mener antennal retractions fra lukt kilde ca 1 s etter lukt presentasjon. Vi observerte antenne posisjon tetthet varme kart klynge dannelse og cluster og mener vinkel avhengighet av lukt konsentrasjon.

I avsnittene nedenfor er et eksempel tomten antenner vinkler produsert fra dataene av programvaren, sammenligning av programvare nøyaktighet og hastighet med menneskelige raters, og resultatet av et eksperiment der honey bee antenne bevegelse påvirkes av presentasjonen av forskjellige lukter. R programvaren62,63 ble brukt til å utføre analyse og generere tallene. R finner for analyse og figur generasjon samt videoopplæringsmateriale online58.
Programvare utgang:
Figur 3 viser fem tilfeldig valgt spor av antenne vinkler oppdaget av programvaren fra videoer av honning bier presentert med ren og 35 x mineralolje utvannet versjoner av heptanal og heptanol, samt ren luft.
<img alt="Figure 3" class="xfigimg" src="/files/ftp_upload/56803/56803fig3.jpg"> 
Figur 3: fem prøve spor av antenner vinkler oppdaget av SwarmSight. Y-aksen viser antenne vinkel i grader, der "0" er rett foran dyret, mot den lukt kilden, med større verdier peker deg fra lukt. Heptanol, heptanal, og deres 35 x mineralolje utvannet versjoner, samt ren luft, ble brukt under grå 0 - 3600 ms windows enkelt honey bee sankere. Venstre antenne er merket rød, høyre merket blå. Fem tilfeldige bier, en fra hver betingelse, er avbildet i fem tomter. <a href="//ecsource.jove.com/files/ftp_upload/56803/56803fig3large.jpg" target="_blank">Klikk her for å se en større versjon av dette tallet.</a>
Programvare validering:
For å validere at programvaren kan oppdage plasseringen av antennene, ble antennen ved mennesker sammenlignet med stillingene ved programvaren. To menneskelige raters ble bedt om å plassere antennen og Snabel tips i 425 videobilder (~ 14 s video). En tilpasset programvare modul registrert appendage plasseringene preget av raters, avansert automatisk videobilder, og spilt inn tiden brukt på oppgaven. Som et eksempel på korrespondanse mellom menneske - og programvare-ligger verdier, lagt loddrette koordinaten spor av en antenne for programvaren og de to menneskelige oppdagede plasseringene vises i figur 4A. Avstanden mellom to raters' merket antennen var beregnet og kalte "Inter-menneskelig avstand." Avstanden mellom hvor antennen gjenkjent av programvaren og nærmeste sted oppdaget av menneskelig raters var beregnet og kalt "Programvare-nærmest Human avstand" (figur 4B).
<img alt="Figure 4" class="xfigimg" src="/files/ftp_upload/56803/56803fig4.jpg"> 
Figur 4: sammenligning med menneskelige raters. (A) to menneskelige raters og SwarmSight ligger antenne tips i 425 videobilder. Frame-by-frame venstre antenne tips Y koordinatene funnet av menneskelig raters og programvare er lagt. (B) lagt frame-by-frame uenighet (avstand i video piksler) mellom menneskelig raters (oransje) og uenighet mellom og nærmeste menneskelige rater verdien (svart). (C) menneskelige vs human antennen tips steder (oransje) og programvare vs menneskelige steder (svart). (D) histogrammer og kumulative distribusjoner (stiplet) av menneskelige og menneskelige og programvare vs menneskelige frame-by-frame uenighet avstander. <a href="//ecsource.jove.com/files/ftp_upload/56803/56803fig4large.jpg" target="_blank">Klikk her for å se en større versjon av dette tallet.</a>
Inter-menneskelig avstand var 10.9 px i gjennomsnitt i 55.2 px i 95% av rammer, og hadde en maksimumsverdi på 81.6 px. Programvare-nærmest Human avstanden var 8.0 px i gjennomsnitt i 18.3 px i 95% av rammer, og hadde en maksimumsverdi på 49,0 px (se avstanden histogrammer i Figur 4 dog figur 4C). 5 px var ca bredden av en antenne. Samlet mellom menneske avstanden var lite i rammer i begynnelsen av oppgaven, og økte i andre halvdel av oppgaven. Vi tror dette skyldes rater tretthet. I mellomtiden forble programvare-nærmest Human avstand nivåer konstant for aktiviteten.
Programvare hastighet og nøyaktighet sammenligning med menneskelige Raters:
Mennesker vurdert antenne tips og Snabel steder med en gjennomsnittlig hastighet på 0.52 bilder per sekund (fps). For å beregne menneskelige fps, antall rammer favoritthoteller mennesker (425 hver) ble delt på totale tiden brukte de på aktiviteten (873 s og 761 s). Programvaren vurdert rammene på 65 fps i gjennomsnitt på en Dual-Core Windows 7-PC. Høy bearbeiding fart og nøyaktighet lik eller bedre enn menneskelig raters, kan programvaren forventes å utføre arbeidet med ca 125 menneskelige raters per tidsenhet.
Oppdagelsen av antenne svar lukt:
For å demonstrere at protokollen kan brukes til å oppdage betydelig atferdsdata forskjeller i insekt bevegelse, utsatt vi 23 kvinnelige honning bier til to forskjellige lukter. Pure heptanal og heptanol, 35 x mineralolje fortynninger av to lukt og ren luft som kontrollen, ble presentert for 4 s (fem betingelser totalt). Videoer, som beskrevet i protokollen ovenfor, ble behandlet med SwarmSight programvare, og antenne vinkler analysert (figur 5).
<img alt="Figure 5" class="xfigimg" src="/files/ftp_upload/56803/56803fig5.jpg"> 
Figur 5: antenne vinkel midler og tetthet varme kart for fem lukt forhold. (A) Heat kart viser antenne vinkel tetthet før, under (mørkere midten regionen), og etter administrasjon av heptanol, luft og heptanal odorants til kvinnelige honning bier (n = 23). Svart kurver er per-rammen gjennomsnittlig antenne vinkler (begge antenner). Vannrette linjer er pre lukt betyr (grunnlinje) vinkler. Merk klyngen foretrukne antenne steder (rød klynge i bunnen plot) fra lukt kilde for ren lukt, og tilsvarende endringer mener antenne vinkelen.Merk også "rebound" klyngen etter lukt konklusjon og tilsynelatende utbruddet forholdet til lukt konsentrasjon (se klynge beliggenhet i andre fire tomter). Tetthet varme kart fargeskala er vilkårlig men uniform over alle forhold. (B) mener vinkel endring fra før lukt betyr (feilfelt S.E.M). Bortsett fra luften, mener alle endringene var betydelig (t-test p &#60; 0,05). <a href="//ecsource.jove.com/files/ftp_upload/56803/56803fig5large.jpg" target="_blank">Klikk her for å se en større versjon av dette tallet.</a>
Videobilder fra 9 s deler av videoen består av 3 før lukt utbruddet, 3.6 s lukt presentasjonen, og 2.4 s etter lukt ble justert på tvers av alle individer og betingelser (300 bilder/segmentet). Per-rammen ble både antenne vinkler av alle individer beregnet for hver tilstand og kalt "Mener vinkler" (figur 5A, svart kurver). Mener antenne vinkler på rammer før lukt utbruddet på tvers av individer for hvert vilkår var beregnet og kalt "Pre lukt grunnlinjene" (figur 5A, tynne vannrette linjer).
I alle forhold, unntatt kontroll, mener vinkler økt fra grunnlinjene, hver topp når 750-1050 ms etter lukt utbruddet (figur 5A, svart kurver i 0 - 3600 ms-regionen). Mener endringene fra opprinnelig ble testet for betydning (figur 5B) ved å sammenligne to-antenne midler individer ved topp lukt-presentasjon mener vinkel hver betingelse planlagte middelverdien ved hjelp av en rekke 1 utvalg t-tester () Shapiro normalitet tester ikke signifikant under alle forhold). Mener vinkel endringen fra grunnlinjen var 26.9° for ren heptanal (betyr nådde 750 ms etter lukt utbruddet), 21,1 ° 0,2 m heptanal (på 990 ms), 19,6 ° for ren heptanol (på 1050 ms), 19,3 ° 0,2 M heptanol (på 780 ms) og 3,45 ° for luft kontroll (ingen peak). I alle forhold, unntatt kontroll, mener vinkel endringen fra grunnlinjen var betydelig (Holm justert p &#60; 0,05). Vi registrerer at gjennomsnittlig vinkelen tar lengre tid å gå tilbake til opprinnelig svar på ren odorants enn å utvannet odorants (low pass filtrerte betyr tilbake til opprinnelig 3,690 ms etter lukt utbruddet for ren og 2,940 ms for utvannet heptanol, for heptanal, retur ganger var 4,260 ms i ren og 3000 ms for utvannet versjoner).
Visualisering med varme kart:
Visualisere antenne svar, antenne vinkel tetthet varme kart for hver betingelse ble generert (figur 5A, blå og rød bakgrunn). Antenne vinkler over 10 s video segmenter for hver enkelt per betingelse ble convolved med en Gaussian kjerne (R-pakke masse, kde2d funksjonen64). Blå områder viser lav tettheter antenne vinkler, mens røde områder viser høye tettheter av antenne vinkler. Varmekartet i bunnen plottet av figur 5A for ren heptanal betingelsen illustrerer antenne problemet.
Kartet viser at før lukt er presentert (t &#60; 0), antenne vinkel tetthet er distribuert relativt jevnt over alle vinkler. Ca 1 s etter lukt utbruddet (t ~ 1000 ms), et par blå og røde klynger vises. I områder skyggelagt rødt, antenner ble funnet mer ofte enn i områder skyggelagt blå. Blå klyngen angir at antenner tendens til å unngå mindre vinkler (lukt kilde ble plassert i retning av 0 grader), mens røde klynge angir at antenner foretrakk større vinkler (fra lukt kilde). Rød klyngen forsvinner gradvis som lukt presentasjonen beholdes. En rød, om enn mindre intens, klynge vises ca 1 s etter lukt. Vi navnet andre røde klynger "Rebound klynger". Samsvar med mener vinkel utvinningen ganger ovenfor, vi merke at etterpå klynger synes å komme tidligere og er mindre intens for utvannet lukt enn for ren lukt.

Watch this Scientific Journal Video about SwarmSight: Real-time Tracking of Insect Antenna Movements and Proboscis Extension Reflex Using a Common Preparation and Conventional Hardware at JoVE.com

SwarmSight: Real-time Tracking of Insect Antenna Movements and Proboscis Extension Reflex Using a Common Preparation and Conventional Hardware

Denne protokollen beskriver trinnene for bruk av romanen programvaren, SwarmSight, frame-by-frame spore insekt antenne og Snabel posisjoner fra konvensjonelle web kamera videoer med konvensjonelle datamaskiner. Den gratis, åpen kildekode programvaren behandler rammer omtrent 120 ganger raskere enn mennesker og utfører på bedre enn menneskelig nøyaktighet.

SwarmSight: Sanntidssporing av insekt antenne bevegelser og Snabel forlengelsen Reflex bruker vanlige forberedelse og tradisjonell isenkram

Many scientifically and agriculturally important insects use antennae to detect the presence of volatile chemical compounds and extend their proboscis ...

Research

JoVE Journal

Neuroscience

Behavioural Pharmacology in Classical Conditioning of the Proboscis Extension Response in Honeybees (Apis mellifera)

Behavioural Pharmacology in Classical Conditioning of the Proboscis Extension Response in Honeybees Apis mellifera

Honeybees (Apis mellifera) are well known for their communication and orientation skills and for their impressive learning capability1,2. Because the ...

Recording Human Electrocorticographic (ECoG) Signals for Neuroscientific Research and Real-time Functional Cortical Mapping

Recording Human Electrocorticographic ECoG Signals for Neuroscientific Research and Real-time Functional Cortical Mapping

Opptak menneskerettigheter Electrocorticographic (ECOG) Signaler for nevrovitenskapelig forskning og Real-time Funksjonell kortikal Mapping

Neuroimaging studies of human cognitive, sensory, and motor processes are usually based on noninvasive techniques such as electroencephalography (EEG), ...

A Proboscis Extension Response Protocol for Investigating Behavioral Plasticity in Insects: Application to Basic, Biomedical, and Agricultural Research

En Proboscis Extension Response Protokoll for Gransker Behavioral Plastisitet i Insekter: Søknad til Basic, Biomedical, og landbruksforskning

Insects modify their responses to stimuli through experience of associating those stimuli with events important for survival (e.g., food, mates, threats). ...

Real-time Electrophysiology: Using Closed-loop Protocols to Probe Neuronal Dynamics and Beyond

Sanntidselektro: Bruk lukket sløyfe Protokoller å probe Nevronale Dynamics og Beyond

Experimental neuroscience is witnessing an increased interest in the development and application of novel and often complex, closed-loop protocols, where ...

Insect-controlled Robot: A Mobile Robot Platform to Evaluate the Odor-tracking Capability of an Insect

Insekt-styrt robot: Et mobilt Robot Platform til Vurdere Lukt-sporing Capability av et insekt

Robotic odor source localization has been a challenging area and one to which biological knowledge has been expected to contribute, as finding odor ...

Triggering Cell Stress and Death Using Conventional UV Laser Confocal Microscopy

Utløsende Cell Stress og død ved bruk av konvensjonell UV Laser konfokalmikroskopi

Using a standard confocal setup, a UV ablation method can be utilized to selectively induce cellular injury and to visualize single-cell responses and ...

A Protocol for the Administration of Real-Time fMRI Neurofeedback Training

En protokoll for administrasjon av Real-Time fMRI Neurofeedback opplæring

Neurologic disorders are characterized by abnormal cellular-, molecular-, and circuit-level functions in the brain. New methods to induce and control ...

Live-cell Measurement of Odorant Receptor Activation Using a Real-time cAMP Assay

Live-celle måling av Odorant reseptor aktivisering benytter en sanntid leiren analysen

The enormous sizes of the mammalian odorant receptor (OR) families present difficulties to find their cognate ligands among numerous volatile chemicals. ...

Real-time In Vitro Monitoring of Odorant Receptor Activation by an Odorant in the Vapor Phase

Sanntid i Vitro overvåking av Odorant reseptor aktivering av en Odorant i damp fase

Olfactory perception begins with the interaction of odorants with odorant receptors (OR) expressed by olfactory sensory neurons (OSN). Odor recognition ...

Real-Time fMRI Brain Mapping in Animals

Sanntids fMRI-hjernekartlegging hos dyr

Dynamic fMRI responses vary largely according to the physiological conditions of animals either under anesthesia or in awake states. We developed a ...