Name: swarmsight: real-time tracking of insect antenna movements and proboscis extension reflex using a common preparation and conventional hardware
Uploaded: 2017-12-25T14:00:00
Duration: 8 min 13 s
Description: Watch this Scientific Journal Video about SwarmSight: Real-time Tracking of Insect Antenna Movements and Proboscis Extension Reflex Using a Common Preparation and Conventional Hardware at JoVE.com

JB, SMC og Risikokapital blev støttet af NIH R01MH1006674 til SMC og NIH R01EB021711 til retningslinjerne for Risikokapital. CMJ og BHS blev støttet af NSF ideer lab projekt på "sprængning olfaktoriske koden" til BHS. Vi takker Kyle Steinmetz, Taryn Oboyle og Rachael Halby for deres bistand i denne forsker.

1. fange og udnytte honningbier
<ol>
	<li>Følg protokol trin 1 gennem 3.1.1 Smith og byrde59.</li>
</ol>
2. forberedelse af animalske seletøj og videokamera
<ol>
	<li>Skjule benene ved at anvende tape over toppen af sele tube, visuelt eftersyn at ben ikke kan ses fra toppen.</li>
	<li>Dy hovedet ved at anvende opvarmede voks på bagsiden af insekt hovedet. Inspicér visuelt at hovedet er fast og ikke bevægelige. På dette tidspunkt, bør antenner og hvaltænder være de eneste vedhæng til at flytte.</li>
	<li>Maksimere kontrasten mellem antennen og den video baggrund ved at placere et hvidt stykke papir nedenunder den insekt sele. For at minimere behovet for at senere justere kameraet, Markér placeringen af insekt seletøjet på papiret, og derefter placere nye personer på den samme placering.</li>
	<li>Fix kameraposition ved hjælp af et stativ eller en webcam indehaveren til at placere kameraet over insekt hoved. Ved hjælp af kamera software, få vist videoen, og zoom ind for at forstørre det hoved billede, giver mulighed for en ~ 20-30% clearance på alle sider af videoen.<ol>
		<li>Sikre, at de eneste bevægelige objekter i kameravisningen er antenner eller Snabel/hvaltænder og flytte kameraet eller dyret, hvis det er nødvendigt. Bemærk: SwarmSight undersøger for bevægelse i pixel omkring hovedet. Uvedkommende bevægelse i umiddelbar nærhed af hovedet skyldes objekter, såsom ben, skygger, fans eller mennesker kan forvirre softwaren, og indføre yderligere støj.</li>
	</ol>
	</li>
	<li>Minimere antenne skygger ved at justere belysningsforhold. Bemærk: Softwaren kan tåle nogle skygger, men for de bedste resultater, de bør holdes på et minimum.</li>
	<li>Forhindre automatisk kamera eksponering justeringer ved hjælp af kamera shutter hastighed software til at holde kameraet eksponeringstid konstant gennem hele videoen. Ved hjælp af software, justere lukkerhastigheden for at maksimere kontrasten (video scene ikke alt for lyst eller for mørkt), ved at justere eksponering skyderen under 'Webcam indstillinger.' Bemærk: Ovenstående instruktioner er specifikke for webcam og software, der anvendes. Disse skal tilpasses, hvis andre webkameraer er brugt.</li>
	<li>Placer lugt levering kilde og sikre, at det ikke hindrer kameravisningen af inspicerende kamera video feed. Sikre, at et vakuum kilde er placeret på den modsatte side til at fjerne stimulus lugt.</li>
	<li>Placere en LED, eller nogle andre visuel indikator, der ændrer lysstyrken for at angive lugt levering og kameravisningen. Bemærk: LED lysstyrkeværdi er gemt af softwaren og kan bruges til at bestemme de nøjagtige rammer, når lugt levering begynder og slutter.</li>
</ol>
3. film hver enkelt eksperimentelle betingelser
<ol>
	<li>Film hver enkelte insekt og test betingelse i separate video filer af enten optagelse hver individuel test kombination separat eller ved hjælp af video redigeringssoftware til at opdele en lang video fil i mindre filer. Bemærk: Softwaren kræver, at brugeren kan finde placeringen af hovedet i hver video, og hovedet skal have en fast. Hvis hovedet bevæger sig, vil blive indført ekstra støj. Funktionen batchbehandling af SwarmSight giver brugeren mulighed for hurtigt angive placeringen af hoved for flere videoer og antager at insekt hovedet forbliver fast for varigheden af hver video fil. Instruktioner om hvordan man opdele lange videofiler kan findes online60.</li>
</ol>
4. video analyse
<ol>
	<li>Hent og Installer den antenne Tracking modul ved at følge fremgangsmåden online58. Bemærk: Video tutorials der beskriver hvordan man bruger softwaren er tilgængelig på hjemmesiden.</li>
	<li>Åbne en video-fil viser en filmet dyr ved hjælp af knappen "Gennemse".</li>
	<li>Positionering antenne sensor og behandling sensor
	<ol>
		<li>Når videoen belastninger, Placer den rektangulære "Antenne Sensor" widget på dyrets hoved, ved hjælp af rotation og skala ikoner til at justere widget med hovedet (Se figur 1 d for eksempel).</li>
		<li>Placer den cirkulære "Behandling Sensor" widget over Lysdioden, der angiver, hvornår lugt eller stimulus præsenteres. Bemærk: Behandling Sensor registrerer lysstyrkeværdi af pixel i midten af widget for hver ramme.</li>
	</ol>
	</li>
	<li>Start video behandling
	<ol>
		<li>Tryk på knappen "Afspil" (sort trekant) i nederste venstre hjørne at starte analysen af frames. Bemærk: De detekterede sandsynligvis antenne og Snabel punkter vil blive fremhævet gul. De gule ringe vil vise placeringen af spidserne af vedhæng. Vinkler (hvor 0 er direkte foran dyret) af antennen og Snabel udvidelse længde bliver vist i "Model" widget'en i nederste venstre hjørne (Se figur 1 d). "Dominerende sektorer" widget i nederste højre hjørne vil vise den relative intensitet af de fem 36-graders sektorer, hvor de fleste antenne punkter er blevet påvist. De mørkeste områder indeholder flest point, mens den letteste har færrest. Sektor nummer (1-5) med de fleste point vil blive vist i de nederste hjørner af widget (Se figur 1 d).</li>
	</ol>
	</li>
	<li>Justere filteret tærskler og tilføje udelukkelse zoner
	<ol>
		<li>For at ændre følsomheden af filtrene, justere skyderne i afsnittet "Filtre" på højre panel. Bemærk: Afhængig af lysforhold og generel bevægelse hastighed i vedhæng, vil forskellige filter følsomheder være optimal. Brugeren kan finde den optimale værdier ved at justere værdierne og observere de markerede områder i widget'en antenne Sensor. Når et ideelt sæt af sårbarhed er fundet, fremhæves kun vedhæng. Det anbefales at spole frem til andre dele af videoen at sikre filter følsomheder er optimal der, også.</li>
		<li>Valgfrit, for at ignorere uvedkommende objekter, på det højre panel, udvide sektionen "Antenne Sensor" Klik "Tilføj udelukkelse Zone" knappen (Se figur 1 d), og klik på en række punkter til at danne en rød polygon, hvis indhold vil blive ignoreret af den software. Bemærk: Hvis videoen indeholder uvedkommende bevægelse, og bevægelse er i widget'en antenne Sensor zone (f.eks. flytter ben, stærke skygger, lab udstyr, osv.), softwaren kan forveksler det med vedhæng bevægelse.</li></ol></li></ol>De fremmede objekter kan blive ignoreret af tegning røde polygoner eller "Udelukkelse zoner." Noget inde i en rød polygon vil ikke blive brugt til sporing.
	
	
	<li>Gemmer resultater
	<ol>
		<li>Når filtre og widgets er oprettet, stop video, genstarte den fra begyndelsen, og spille det til slutningen. Bemærk: Når hele videoen har spillet, vedhæng til alle videobilleder holdninger vil blive gemt i hukommelsen.</li>
		<li>Hvis du vil gemme vedhæng holdning data til en fil, udvide sektionen "Gem" til højre, og klik på "Gem til. CSV"knappen. Vælg derefter en mappe til at gemme filen. Bemærk: "Gem til. CSV"knap vil gemme behandling resultater til en .csv-fil. Som standard, brugeren vil blive tilbudt at gemme .csv-fil i samme mappe som video-fil og får en dato og et klokkeslæt som en del af filnavnet. Den resulterende .csv fil vil indeholde et sæt kolonner, der indeholder oplysninger om placeringen af vedhæng, herunder antenne vinkler og dominerende sektorer samt orientering og holdning af hovedet. Beskrivelse af hver kolonne er fastsat online61.</li>
		<li>Vælge at bruge kolonner (s) og værdi(er) felter i afsnittet Gem til at oprette en ekstra kolonne (eller mere hvis adskilt af kommaer) i .csv-filen til at registrere oplysninger, såsom genstand ID eller navnet på en eksperimentel tilstand. Bemærk: Værdien i boksen kolonner vises i overskriften i den første kolonne og værdi i boksen værdi(er) vil blive gentaget i alle rækkerne i den første kolonne.</li>
	</ol>
	</li>
	<li>Batchafvikling Bemærk: Softwaren kan behandle flere video filer i en batch. Men brugeren skal fremlægge hoved placeringsoplysninger for hver video før du starter batchen.<ol>
		<li>I det højre panel i "videofiler" sektionen, skal du klikke på knappen "Batchbehandling" for at åbne et vindue, der giver mulighed for at oprette en liste over videofiler skal behandles sekventielt af softwaren.</li>
		<li>Brug "Tilføje flere Video filer til Batch" knappen til at vælge en eller flere videofiler medtages på batchlisten.</li>
		<li>Vælge at bruge "CTRL" eller "SHIFT"-tasterne til at vælge flere videoer, der vil bruge det samme sæt af widget parametre. Bemærk: Gode kandidater til parameter genbrug er sæt af videoer af de samme dyr, der ikke er blevet flyttet mellem forskellige forsøgsbetingelser.</li>
		<li>Begynd opsætning widget parametrene der skal bruges til de valgte videoer ved at klikke på knappen "Angiv Sensor positioner for udvalgte".</li>
		<li>Justere parametre i antenne Sensor, behandling Sensor, filtre, eller gemme dele, og klik på "Gem parametre til Batch" når du er færdig.</li>
		<li>Når parametrene for hver video har været udvalgt, begynde at batch-processen ved at klikke på knappen "Start forarbejdning". Bemærk: Softwaren vil indlæse videofiler i den rækkefølge, de vises på batchlisten, behandle dem, og gemme deres tilsvarende .csv-filer til den samme mappe, hvor den video filer er placeret. En statuslinje på toppen vil give en anslået sluttidspunkt efter den første video er afsluttet.</li>
	</ol>
	</li>

Forfatterne erklærer, at de har ingen konkurrerende finansielle interesser.

Metoden præsenteres her muliggør real-time tracking af insekt antenne og Snabel bevægelser uden særlige animalske præparater eller hardware.
Begrænsninger:
På trods af disse fordele er der nogle begrænsninger i metoden. Disse omfatter kravet om, at lederen af dyret er begrænset fra bevægelse, behovet for brugeren at vælge den placering og orientering af dyr for hver video, kravet om at have adgang til en Windows-computer, og softwarens evne til at spore bevægelse i tre dimensioner (3D) og i nogle visuelt tvetydige vedhæng positioner beskrevet nedenfor.
Softwaren kræver, at lederen af dyret er fast på plads og ikke bevæger sig under videoen. Dette er lignende til at forberede tidligere arbejde48,49,50,51. Det er muligt at ændre softwaren, hvis du vil tillade automatisk detektion af hoved rotationer, men dette ville forbruge ekstra behandlingstid og indføre en ny kilde til fejl. Hvis den ændrede software skulle opdage hoved rotation forkert, vil dette påvirke antenner vinkler, som deres beregning er i forhold til hoved rotationsvinklen. I øjeblikket vælger brugeren den hoved orientering én gang pr. video. Denne tilgang, minimerer mens ikke uden menneskelige fejl, vinkel beregningsfejl når hovedet ikke er tilladt at flytte under videoen.
Softwaren kræver også en Windows 7 (eller senere) operativsystem (OS). Målet var at gøre softwaren nemt at installere, opsætning og brug af brugere uden programmering eller avancerede computer administration færdigheder. Vi besluttede at målet Windows, fordi det er bredt tilgængelige, og i tilfælde, hvor adgang til det begrænsede, virtuelle maskiner (fx VirtualBox, VMware, Parallels) med Windows let kan oprettes. Dette valg af OS højlig forenkler installation af software ved hjælp af en let at bruge, gratis kommando linje installer og undgår bugs specifikke for forskellige OS'er.
Softwaren spor kun placeringen af vedhæng i 2D rummet. Insekter er kendt for at flytte deres antenne i 3D, hvilket kan betyde, at vigtig information går tabt, når kun 2D-koordinater måles. Mens brugen af flere kameraer eller spejle kunne støtte i at indsamle de ekstra oplysninger, der kræves for 3D lokalisering, er det muligt at beregne, med brugen af trigonometriske forbindelser, en anslået ud af flyet position af antages det, at antenner er enkelt linjesegmenter af konstant længde og kun bevæge på den ene side af kameraet flyet. For honningbier, denne antagelse holder stik at opnå groft skøn for position i 3D, men ville ikke nødvendigvis være tilfældet for andre arter og situationer.
Softwaren vil ikke korrekt afsløre antenner og Snabel tip steder i nogle tvetydige situationer. Hvis et dyr flytter en antenne, så at i videoen, det overlapper en udvidet Snabel, registrere softwaren sandsynligvis spidsen af antennen som spidsen af Snabel. Antenne vinkel vil dog stadig sandsynligvis beregnes korrekt (fra den ikke-overlappende del). Ligeledes, hvis antennen tips flytte direkte over hovedet af dyret (dvs. ikke på siderne) derefter softwaren kan kun opdage del af den antenne, der er synlige uden for hovedet, antager den forrige placering af antennen eller detektere falske video støj som Antennens placering. I begge situationer har endda menneskelige raters svært kræsne antenne fra Snabel eller hovedet. For at afhjælpe dette problem, anbefaler vi anvender en 3-frame, symmetrisk rullende median57 filter på rå X og Y koordinater produceret af softwaren. Dette filter fjerner store forbigående (single-frame) position udsving, og bevarer længere antenne holdning bevægelser. Vi har fundet, at filteret 3-frame klaret sig bedre end intet filter, mens bredere filtre (f.eks. 5, 11 eller 15 frames) reduceret nøjagtighed. R eksempelkode, der bruger filteret og en video tutorial kan findes online58.
Værdi som et videnskabeligt redskab:
Tilgængeligheden af en metode til hurtigt opnå nøjagtig insekt vedhæng bevægelser på en omkostningseffektiv måde har potentiale til at åbne nye områder af undersøgelsen.
Snabel udvidelse refleks (PER) er et almindeligt anvendte adfærdsmæssige reaktion at undersøge indlæring og hukommelse af en lang række insekter59. Tidligere undersøgelser har generelt stolet på en binær udvidet eller ikke foranstaltning af PER, selvom video og Elektromyografi analyser har vist meget mere komplekse topologier til Snabel bevægelser65,66. Metoden her giver mulighed for hurtig kvantificering af Snabel bevægelser i høje tidsmæssige og rumlige opløsninger.
Insekt antenne bevægelser i svar til lugt er dårligt forstået. En af grundene til dette er, at følehornene tendens til at bevæge sig så hurtigt, en omkostningseffektiv, automatiseret måde at opnå antenne bevægelse data ikke er tilgængelige. Metoden præsenteres her kunne bruges til hurtigt få antenne bevægelse data for stort antal insekter i et stort antal betingelser. Dette kunne støtte, for eksempel forskere undersøger tilknytningen mellem antenne bevægelser i respons på forskellige stimuli, navnlig flygtige lugte. Ved hjælp af kameraer, der fange rammer på 30 Hz, softwaren kan bruges til at karakterisere antennal bevægelse dynamics op til 15 Hz (Nyquist grænsen). Hvis karakterisering i højere frekvenser er nødvendig, kunne kameraer med højere fange satser (fx 60 eller 120 fps) udnyttes. Dog kan en hurtigere computer være nødvendigt at behandle højere fps videoer i realtid. Vi spekulere, at klasser af lugt, og måske endda nogle enkelte lugte, har karakteristiske medfødte antennal bevægelser. Hvis disse klasser eller forbindelser kunne være opdaget, ukendt kunne lugte eller deres klasse påvises fra antennal bevægelse af utrænede insekter. Hvis sådan en tilknytning findes, bør så kombinationen af tilstrækkelige antenne bevægelse data og topmoderne machine learning algoritmer begynde at afdække det. Også, hvordan denne kortlægning ændringer som reaktion til at lære, formularer under udvikling, eller er afbrudt med genetiske indgreb kunne tilbyde indsigt i funktioner af de olfaktoriske system.Endelig, dette arbejde kunne give indblik i kunstige påvisning af lugte hvis det afslører optimal prøveudtagningsmetoder for lugte i komplekse miljøer.
Fremtidige arbejde:
Her, vi viste at antenne bevægelse data kan opnås hurtigt og analyseret: betydelig adfærd svar kan registreres fra de data genereret af vores software, og flere områder af yderligere undersøgelser blev identificeret.
Tidsforløbet af stimulus-fremkaldte antenne vinkel afvigelser fra og tilbagebetaling til baseline og enhver stimulus-konklusion rebound effekter og dens afhængighed af lugt koncentration kan undersøges og modelleret matematisk. Derudover eventuelle ændringer af antenne bevægelser induceret af appetitive eller afskrækningsmiddel conditioning kan også vurderes med softwaren.
Bedre differentiering af lugte kan også undersøges. I denne undersøgelse, både lugte, i ren og 35 x fortyndede versioner fremkaldt lignende svar: antenner, gennemsnitligt, syntes at hurtigt trække fra lugt kilde og vende tilbage til før lugt basislinjer efter et par sekunder. Vi spekulere, at selv de fortyndede versioner kan have været meget stærk olfaktoriske stimuli for honningbier. Hvis sand, kan en bredere vifte af koncentrationer bruges til at bestemme, hvis de antennal svar differentiere lugte. Derudover kan mere sofistikeret analyse bedre afsløre forskelle i antennal bevægelser som svar på forskellige lugte. Vi har lavet de datafiler bruges til at generere tal i dette håndskrift, der er tilgængelige for interesserede forskere på SwarmSight hjemmeside67.
Endvidere, mens uden for anvendelsesområdet for dette manuskript, softwaren kunne udvides til også for at behandle videoer af dyr placeret i kamre med dobbelte spejle vinklet på 45° (Se figur 1 d for eksempel). Dette kunne bruges til præcist lokalisere og spore vedhæng og deres bevægelse i 3D-rum. Men algoritmerne for 3D inddeling ville være forpligtet til at effektivt: a skelne mellem flere antenner når de er synlige i en af de side spejle, (b) korrekt for defekter i spejl vinkler, og (c) tegner sig for forvridninger, der skyldes kamera positionering.
Endelig, yderligere gevinster i position nøjagtighed kan realiseres via brugen af et Kalman filteret68, hvilke modeller og udnytter tilstandsform oplysninger som vedhæng hastighed og acceleration begrænse forudsagte steder. Men eventuelle gevinster i nøjagtighed bør evalueres mod nogen reduktion i hastighed på grund af yderligere beregninger.
Konklusion:
Mange insekter bruger antenner til aktivt prøve flygtige forbindelser i deres lokale miljøer. Mønstre i antennal bevægelser kan give indsigt i insekt lugt perception og hvordan det påvirkes af conditioning, giftige forbindelser og genetiske ændringer. Snabel bevægelser har ligeledes anvendt til at vurdere lugt perception og dets graduering. Dog har hurtigt at opnå store mængder af høj opløsning vedhæng bevægelse data været vanskeligt. Her, er en protokol og software beskrevet der automatiserer denne opgave. Sammenfattende har vi lavet og demonstreret, hvordan kombinationen af billig hardware, en fælles animalske forberedelse og open source-software kan bruges til hurtigt opnå høj opløsning insekt vedhæng bevægelse data. Produktionen af softwaren, hvordan det udkonkurrerer menneskelige raters i hastighed og nøjagtighed, og hvordan dens outputdata kan analyseres og visualiseret blev vist.

De fleste leddyr flytte antenner eller andre vedhæng til prøve miljømæssige stikord og signaler i tid og rum. Dyrene kan bruge antenner til at navigere deres miljø ved at afsløre sensoriske signaler som kemiske flygtige og gustatoriske og mekaniske stimuli1,2,3,4. I insekter indeholder følehornene sensoriske receptorer, der binder til kemiske flygtige4,5,6 og videresende dette signal via olfaktoriske sensoriske neuroner til centrale hjernen regioner1,7 ,8,9. Insekter kan tilpasse antenner positioner for at modulere oplysninger om indgående lugte4,10,11. Denne graduering letter aktivt informeret adfærdsmæssige reaktioner på lugte og deres faner12,13.
Mange insekter, herunder Hymenopterans (fx honningbier og humlebier), Lepidopterans (fx sommerfugle) og Dipterans (fx, fluer og myg), blandt andre, foder ved at udvide deres Snabel14 , 15 , 16 , 17 , 18 , 19 , 20 , 21. Snabel udvidelse har været pålideligt anvendes i fortiden for en bred vifte af indlæring og hukommelse opgaver22,23,24,25,26, 27,28,29,30,31. Tilsvarende kan kvantitative vurdering af antenner bevægelse med høj tidsmæssige og rumlige opløsning give indsigt i forholdet mellem stimulus, adfærd og indre tilstand af dyret. Faktisk tidligere arbejde har vist, hvordan antennal bevægelser indeholder en rig mængde af information om honey bee sporing af miljøet og hvordan bevægelser ændrer sig med læring32,33,34, 35,36,37,38.
I det sidste årti, har metoder til observation dyrs adfærd været stærkt accelereret af forskud i høj opløsning video kameraer, edb-behandling hastigheder, og maskinen vision algoritmer. Opgaver som animalske påvisning, tælle, sporing og sted præference analyser har været hjulpet med avanceret software, der kan behandle videoer af dyrs adfærd og ekstrakt relevante måler39,40, 41,42,43,44,45,46,47.
Disse teknologier har også hjulpet sporing af insekt antenne og Snabel bevægelser. Det er muligt for menneskelige raters at bruge en musemarkøren til manuelt spore placeringen af antenner. Denne metode kan være præcis, opgaven er tidskrævende, og menneskelige uopmærksomhed og træthed kan resultere i upålidelige resultater. Specialudstyr og forberedelse kan bruges til at reducere behovet for komplekse software. For eksempel, en opsætning bruges et højhastighedskamera og malet tips af antenner til at spore antenne bevægelse48. Brugere kan også blive bedt om at markere nøglen-rammer af videoer til at hjælpe softwaren til at opdage den antenne og Snabel placering49. En anden tilgang fundet de to største bevægelse klynger for at identificere antenner, men det betyder ikke afsløre Snabel beliggenhed50. En anden softwarepakke kan registrere antenne og Snabel placeringer, men kræver ca 7.5 s behandlingstid pr. ramme51, som kunne være uoverkommelige for real-time eller langsigtet observation undersøgelser. Endelig kan det muligt at tilpasse kommerciel softwarepakker (f.eks. EthoVision) til at udføre opgaven46, men deres licenser og uddannelse omkostninger kan være uoverkommelige.
Med metoden beskrevet her, udvidede vi vores tidligere arbejde på bevægelse analyse software41 at spore placeringen af insekt antenner og Snabel med følgende mål: (1) ingen krav til speciel hardware eller komplekse animalske forberedelse, (2). ramme forarbejdning på real-time (30 fps eller hurtigere) på en konventionel computer, (3) lethed af brug og (4) open-source, nemt forlænges kode.
Den resulterende roman metode og open source software, SwarmSight vedhæng Tracking, kræver ikke maleri af antenner tips, kan bruge en forbruger webkamera til at optage videoer og processer videobilleder på 30-60 fps på en konventionel computer ( Figur 1). Softwaren tager video filer som input. Brugeren lokaliserer holdning af insekt hovedet i videoen, og efter behandling, et komma semikolonseparerede værdier (.csv) fil er produceret med placeringen af antenner og Snabel. Softwaren er i stand til at læse hundredvis af forskellige video formater (herunder formater produceret af de fleste digitale kameraer) ved hjælp af FFmpeg bibliotek52.
<img alt="Figure 1" class="xfigimg" src="/files/ftp_upload/56803/56803fig1.jpg"> 
Figur 1: animalsk Setup og software output. (A) A honey bee forager med sit hoved og kroppen spændt fast i en sele. (B) lugt kilde er placeret foran dyret, et videokamera er placeret over, og et vakuum kilde er placeret bag dyret. (C) antennen tip og Snabel variabler opdaget af SwarmSight software fra videoen. (D) brugeren placerer antennen sensor over dyret og justerer filterparametre. Softwaren registrerer antenne og Snabel positioner (gule ringe).<a href="//ecsource.jove.com/files/ftp_upload/56803/56803fig1large.jpg" target="_blank">Venligst klik her for at se en større version af dette tal.</a>
Først, et insekt kroppen og hovedet er tilbageholdende i en sele, så antennen og Snabel bevægelser er let observeret (figur 1A). En lugt kilde er placeret foran insekt, med en vakuum kilde placeret bag, til at fjerne lugt fra luften og minimere mulige effekter af sensorisk tilpasning (figur 1B). En konventionel webkamera er placeret over insekt hoved på et stativ. Et LED kan placeres inden for kameravisning angiver, når lugt bliver præsenteret.
<img alt="Figure 2" class="xfigimg" src="/files/ftp_upload/56803/56803fig2.jpg"> 
Figur 2: antenne koordinatsystem. X, Y værdier bruger video koordinatsystemet, hvor øverste venstre hjørne er oprindelse og X og Y værdier stigning når man bevæger sig mod nederste højre hjørne. Vinklerne udtrykkes i grader med hensyn til forreste del af hovedet (normalt lugt kilden). Et "0" værdi betyder, at linjen dannet af antenne fimrehår peger direkte foran dyret. Alle vinkler er positive, undtagen når en antenne peger i den modsatte retning (f.eks. højre fimrehår point til venstre). <a href="//ecsource.jove.com/files/ftp_upload/56803/56803fig2large.jpg" target="_blank">Venligst klik her for at se en større version af dette tal.</a>
Efter optagelserne, er video-fil åbnet med SwarmSight software, hvor brugeren placerer widget'en antenne Sensor (figur 1 d, sorte firkant) over lederen af insekt, og starter den video playback. Når resultaterne gemmes, .csv-filen indeholder X, Y positioner antennen tips, antenne vinkler i forhold til forrest del af hovedet (figur 2), og at Snabel X, Y position. Derudover er en dominerende sektor metrikværdi beregnet for hver antenne. Den metriske viser, hvilke af de fem 36-graders sektorer omkring hver antenne indeholdt flest point anses for sandsynligt, at være antenner, og kan være nyttigt, hvis antennen holdning/vinkel målinger ikke er pålidelige på grund af støjende eller ellers problematiske videoer.
Kort, software fungerer ved hjælp af et sæt af motion filtre53 og en afslappet flood fill algoritme54. For at finde sandsynlige antenne point, to filtre anvendes: en 3-træk-frame forskellen filter41,55 og en median-baggrund subtraktion56 filter. En farve afstand tærskel filter bruges til Snabel punkt påvisning. De øverste 10% af punkterne i hvert filter er kombineret, og en oversvømmelse fyld algoritme, der undersøger, sammenhængende punkter med huller op til 2 pixel (px) lokaliserer yderpunkter. Parallel ramme afkodning, forarbejdning, og rendering rørledninger og optimeret hukommelse tildeling af filter dataflow opnår høj ydeevne. Rå x og y koordinere værdier produceret af softwaren er efterbehandlet med en 3-frame rullende median filter57 (Se diskussion). Instruktionerne for at downloade den fulde kildekode kan findes online58.
Nedenfor er en protokol til at forberede en honey bee forager til antenne sporing. En lignende protokol kan bruges til at spore antenne/Snabel bevægelser af nogen andre insekt. I afsnittet resultater beskriver vi en stikprøve antenne sporingsoutput, der er registreret af softwaren, sammenligning af software output til sporing udføres af menneskelige raters og vurdering af antenner bevægelse i svar på fem duftstoffer.

<table border="0" cellpadding="0" cellspacing="0" width="938">
	<tbody>
		<tr height="42">
			<td height="42" style="height:42px;width:188px;">Insect harness</td>
			<td style="width:95px;">N/A</td>
			<td style="width:161px;">N/A</td>
			<td style="width:495px;">Use materials needed for Protocol sections 1-3.1.1 of Smith &#38; Burden (2014)</td>
		</tr>
		<tr height="21">
			<td height="21" style="height:21px;width:188px;">Odor delivery source</td>
			<td style="width:95px;">N/A</td>
			<td style="width:161px;">N/A</td>
			<td style="width:495px;">Use materials needed for Protocol section 3 of Smith &#38; Burden (2014)</td>
		</tr>
		<tr height="42">
			<td height="42" style="height:42px;width:188px;">Vacuum source</td>
			<td style="width:95px;">N/A</td>
			<td style="width:161px;">N/A</td>
			<td style="width:495px;">Use materials needed for Protocol section 3 of Smith &#38; Burden (2014)</td>
		</tr>
		<tr height="42">
			<td height="42" style="height:42px;width:188px;">LED connected to odor delivery source</td>
			<td style="width:95px;">N/A</td>
			<td style="width:161px;">N/A</td>
			<td style="width:495px;">Use materials needed for Protocol section 3 of Smith &#38; Burden (2014)</td>
		</tr>
		<tr height="42">
			<td height="42" style="height:42px;width:188px;">Low Voltage Soldering Iron</td>
			<td style="width:95px;">Stannol</td>
			<td style="width:161px;">Low Voltage Micro Soldering Iron 12V, 8W</td>
			<td style="width:495px;"></td>
		</tr>
		<tr height="21">
			<td height="21" style="height:21px;width:188px;">DC Power Supply</td>
			<td style="width:95px;">Tekpower</td>
			<td style="width:161px;">HY152A</td>
			<td style="width:495px;"></td>
		</tr>
		<tr height="42">
			<td height="42" style="height:42px;width:188px;">White sheet of paper</td>
			<td style="width:95px;">Georgia-Pacific</td>
			<td style="width:161px;">998606</td>
			<td style="width:495px;">Any white sheet of paper can be used as alternative</td>
		</tr>
		<tr height="42">
			<td height="42" style="height:42px;width:188px;">Tripod</td>
			<td style="width:95px;">AmazonBasics</td>
			<td style="width:161px;">50-Inch Lightweight Tripod</td>
			<td style="width:495px;">Optional</td>
		</tr>
		<tr height="42">
			<td height="42" style="height:42px;width:188px;">Camera</td>
			<td style="width:95px;">Genius</td>
			<td style="width:161px;">WideCam F100</td>
			<td style="width:495px;">FLIR Flea3 or another camera with manual focus can be used.</td>
		</tr>
		<tr height="42">
			<td height="42" style="height:42px;width:188px;">Camera software</td>
			<td style="width:95px;">Genius</td>
			<td style="width:161px;">N/A</td>
			<td style="width:495px;">Software comes with camera. On MacOS, Photo Booth app can be used to record videos.</td>
		</tr>
		<tr height="63">
			<td height="63" style="height:63px;width:188px;">Camera shutter speed software</td>
			<td style="width:95px;">Genius</td>
			<td style="width:161px;">N/A</td>
			<td style="width:495px;">Genius camera software allows shutter speed setting. In Mac OS, iGlasses by ecamm can be used instead: http://www.ecamm.com/mac/iglasses/</td>
		</tr>
		<tr height="84">
			<td height="84" style="height:84px;width:188px;">Windows Operating System</td>
			<td style="width:95px;">Microsoft</td>
			<td style="width:161px;">Windows 7 Professional</td>
			<td style="width:495px;">Versions 7 or later are compatible. Oracle VirtualBox, Parallels Desktop, or VMWare Fusion can be used to create a Windows virtual machine in MacOS environments.</td>
		</tr>
		<tr height="21">
			<td height="21" style="height:21px;width:188px;">SwarmSight software</td>
			<td style="width:95px;">SwarmSight</td>
			<td style="width:161px;">Appendage Tracking</td>
			<td style="width:495px;">Download from http://SwarmSight.org</td>
		</tr>
		<tr height="42">
			<td height="42" style="height:42px;width:188px;">R software</td>
			<td style="width:95px;">R Project</td>
			<td style="width:161px;">R 3.4.0</td>
			<td style="width:495px;">Download from: https://cran.r-project.org/bin/windows/base/</td>
		</tr>
		<tr height="63">
			<td height="63" style="height:63px;width:188px;">R Studio software</td>
			<td style="width:95px;">RStudio</td>
			<td style="width:161px;">RStudio Desktop</td>
			<td style="width:495px;">Download from: https://www.rstudio.com/products/rstudio/download/</td>
		</tr>
	</tbody>
</table>

swarmsight: real-time tracking of insect antenna movements and proboscis extension reflex using a common preparation and conventional hardware

Mange videnskabeligt og landbrugsmæssigt vigtigt insekter bruger antenner til påvisning af tilstedeværelse af flygtige kemiske forbindelser og udvide deres Snabel under fodring. Evnen til hurtigt at opnå høj opløsning målinger af naturlige antenne og Snabel bevægelser og vurdere, hvordan de ændrer svar på kemiske, udviklingsmæssige og genetiske manipulationer kan støtte forståelsen af insekt adfærd. Ved at udvide vores tidligere arbejde på vurderingen af samlede insekt sværm eller animalske gruppe bevægelser fra naturlige og laboratorium videoer via video analyse software SwarmSight, udviklede vi en roman, gratis og open source software-modul, SwarmSight vedhæng Tracking (SwarmSight.org) til frame-by-frame sporing af insekt antenne og Snabel positioner fra konventionel web kamera videoer ved hjælp af konventionelle computere. Softwaren behandler rammer omkring 120 gange hurtigere end mennesker, udfører på bedre end menneskelige nøjagtighed og, ved hjælp af 30 frames per second (fps) videoer, kan fange antennal dynamics op til 15 Hz. Softwaren blev brugt til at spore de antennal svar af honningbier til to lugte og fundet betydelige betyder antennal forbehold fra lugt kilde omkring 1 s efter lugt præsentation. Vi observerede antenne holdning tæthed varme kort klynge dannelse og klynge og betyde vinkel afhængighed lugt koncentration.

I afsnittene nedenfor er et eksempel plot af antenner vinkler fremstillet af data af softwaren, sammenligning af software nøjagtighed og hastighed med menneskelige raters og resultaterne af et eksperiment, hvor honey bee antenne bevægelighed er påvirket af præsentation af forskellige lugte. R software62,63 blev brugt til at udføre analysen og generere tallene. R kode for analyse og figur generation samt video tutorials kan findes online58.
Software Output:
Figur 3 viser fem tilfældigt udvalgte spor af antenne vinkler opdaget af software fra videoer af honningbier præsenteret med ren og 35 x mineralsk olie fortyndes versioner af heptanal og heptanol, såvel som ren luft.
<img alt="Figure 3" class="xfigimg" src="/files/ftp_upload/56803/56803fig3.jpg"> 
Figur 3: fem prøve spor af antenner vinkler opdaget af SwarmSight. Y-aksen viser antenne vinkel i grader, hvor "0" er direkte foran dyret mod lugt kilden, med større værdier peger væk fra lugt kilden. Heptanol, heptanal, og deres 35 x mineralsk olie fortyndes versioner, samt ren luft, blev anvendt under grå 0 - 3.600 ms windows til enkelt honey bee foragers. Venstre antenne markeres rød, lige mærket blå. Fem tilfældige bier, en fra hver tilstand, er afbildet i de fem grunde. <a href="//ecsource.jove.com/files/ftp_upload/56803/56803fig3large.jpg" target="_blank">Venligst klik her for at se en større version af dette tal.</a>
Software validering:
For at validere, at softwaren pålideligt kan registrere placeringen af antenner, blev antenne positioner placeret af mennesker sammenlignet med de holdninger, der ligger ved softwaren. To menneskelige raters blev bedt om at finde de antenne og Snabel tips i 425 videobilleder (~ 14 s video). En brugerdefineret software modul registreres vedhæng steder præget af raters, automatisk avanceret videobilleder, og indspillet mængden af tid brugt på opgave. Som et eksempel på korrespondance mellem menneske - og software-beliggende værdier, overlejret lodret koordinere spor af en antenne til softwaren og de to menneskelige detekterede lokationer er vist i figur 4A. Afstanden mellem de to raters markant antenne holdninger blev beregnet og navngivet "Inter-menneskelig afstand." Afstand mellem Antennens placering registreret af softwaren og den nærmeste placering blev fundet af de menneskelige raters blev beregnet og navngivet "Software-nærmeste menneskelige afstand" (figur 4B).
<img alt="Figure 4" class="xfigimg" src="/files/ftp_upload/56803/56803fig4.jpg"> 
Fig. 4: sammenligning med menneskelige raters. (A) to menneskelige raters og SwarmSight placeret antenne tips i 425 videobilleder. Frame-by-frame venstre antenne tip Y koordinater fundet af de menneskelige raters og software er overlejret. (B) overlejret frame-by-frame uenighed (afstand i video pixels) mellem menneskelige raters (orange) og uenighed mellem software og nærmeste menneske rater værdi (sort). (C) Human vs menneskelige tip Antenneplaceringer (orange) og software vs menneskelige steder (sort). (D) histogrammer og kumulative distributioner (stiplet) af menneske vs human og software vs. human frame-by-frame uenighed afstande. <a href="//ecsource.jove.com/files/ftp_upload/56803/56803fig4large.jpg" target="_blank">Venligst klik her for at se en større version af dette tal.</a>
Inter-menneskelig afstand var 10.9 px i gennemsnit inden for 55.2 px i 95% af rammerne, og havde en maksimal værdi på 81.6 px. Den Software-nærmeste menneskelige afstand var 8.0 px i gennemsnit inden for 18,3 px i 95% af rammerne, og havde en maksimal værdi af 49,0 px (Se afstand histogrammer i figur 4D, og figur 4 c). 5 px var ca bredden af en antenne. Samlet set Inter menneskelige afstanden var lille til rammer i starten af opgaven, og steg i anden halvdel af opgaven. Vi formoder, det var på grund af rater træthed. I mellemtiden, Software-nærmeste menneskelige afstand niveauer forblev konstant hele opgaven.
Software hastighed og nøjagtighed sammenligning med menneskelige Raters:
Mennesker bedømt tip og Snabel Antenneplaceringer ved en gennemsnitlig hastighed på 0,52 billeder per sekund (fps). Du skal vurdere menneskets fps, var det samlede antal rammer bedømt af mennesker (425 hver) divideret med det samlede tidsforbrug på opgaven (873 s og 761 s). Softwaren rangerede rammer på 65 fps i gennemsnit på en Dual-Core Windows 7 PC. Med høj forarbejdning hastighed og nøjagtighed svarende til eller bedre end menneskelige raters, kan softwaren forventes at udføre arbejdet i omkring 125 menneskelige raters pr. tidsenhed.
Påvisning af antenne svar at lugte:
For at demonstrere, at protokollen kan anvendes til at påvise betydelige adfærdsmæssige forskelle i insekt bevægelighed, udsættes vi 23 kvindelige honningbier til to forskellige lugte. Pure heptanal og heptanol, 35 x mineralolie fortyndinger af de to lugte, og ren luft som kontrolelementet, blev præsenteret for 4 s (fem betingelser i alt). Videoer, som beskrevet i protokollen ovenfor, blev behandlet med SwarmSight software, og af antenne vinkler analyseret (figur 5).
<img alt="Figure 5" class="xfigimg" src="/files/ftp_upload/56803/56803fig5.jpg"> 
Figur 5: antenne vinkel midler og tæthed varme kort til fem lugt betingelser. (A) varme kort viser antenne vinkel tæthed før, under (mørkere midten region), og efter administration af heptanol-, luft- og heptanal duftstoffer til kvindelige honningbier (n = 23). Sorte kurver er pr. ramme gennemsnitlige antenne vinkler (begge antenner). Vandrette linjer er pre lugt middelværdi (baseline) vinkler. Bemærk klyngen af foretrukne Antenneplaceringer (rød klynge i bunden plot) fra lugt kilden til ren lugt betingelser, og tilsvarende ændringer til den gennemsnitlige antenne vinkel.Bemærk også "rebound" klyngen efter lugt konklusion og dens tilsyneladende indsættende afhængighed lugt koncentration (Se klynge placering i de andre fire parceller). Tæthed varme kort farveskala er vilkårlige, men ensartet på tværs af alle betingelser. (B) betyder vinkel forandring fra før lugt middelværdi (fejllinjer S.E.M). Bortset fra luften, alle betyde ændringer var signifikant (t-test p &#60; 0,05). <a href="//ecsource.jove.com/files/ftp_upload/56803/56803fig5large.jpg" target="_blank">Venligst klik her for at se en større version af dette tal.</a>
Videobilleder fra 9 s segmenter af videoen bestående af 3 s før lugt, 3.6 s af lugt præsentation og 2.4 s efter lugt konklusion blev justeret på tværs af alle individer og betingelser (300 rammer/segment). Per-indramme middel til både antenne vinkler for alle individer blev beregnet for hver betingelse og kaldes "Betyder vinkler" (figur 5A, sorte kurver). De gennemsnitlige antenne vinkler af rammer før lugt debut på tværs af individer for hver betingelse blev beregnet og kaldet "Pre lugt basislinjer" (figur 5A, tynde vandrette linjer).
Under alle forhold, undtagen kontrol, steg de gennemsnitlige vinkler fra basislinjer, hver toppet endnu en 750-1.050 ms efter lugt debut (figur 5A, sorte kurver i 0 - 3.600 ms region). De gennemsnitlige ændringer fra basislinjerne blev testet for betydning (figur 5B) ved at sammenligne de to-antenne midler af enkeltpersoner i spidsbelastningen lugt-præsentation betyder vinkel for hver betingelse til baseline middelværdien ved hjælp af en række 1-prøven t-test () Shapiro normalitet tester ikke signifikant under alle forhold). Den gennemsnitlige vinkel ændring fra baseline var 26.9° for ren heptanal (mean toppede på 750 ms efter lugt debut), 21,1 ° for 0,2 M heptanal (på 990 ms), 19,6 ° for ren heptanol (på 1.050 ms), 19,3 ° for 0,2 M heptanol (på 780 ms) og 3,45 ° for air control (ingen top). Under alle forhold, undtagen kontrol, den gennemsnitlige vinkel ændring fra baseline var signifikant (Holm justeret p &#60; 0,05). Vi bemærker, at den gennemsnitlige vinkel tager længere tid at vende tilbage til baseline svar på ren duftstoffer end til fortyndede Duftenes (low-pass filtreret betyder vendte tilbage til baseline 3,690 ms efter lugt debut for ren og på 2,940 ms for fortyndede heptanol; heptanal, afkast gange var 4,260 ms for ren og 3.000 ms for fortyndede versioner).
Visualisering ved hjælp af varme kort:
At visualisere antenne svar, antenne vinkel tæthed varme kort for hver betingelse var genereret (figur 5A, blå-rød baggrund). Antenne vinkler på tværs af 10 s video segmenter for den enkelte pr. betingelse var convolved med en Gaussisk kerne (R pakke masse, kde2d funktion64). Blå områder viser lav tætheder af antenne vinkler, mens røde områder viser høje tætheder af antenne vinkler. Zonekort i bunden plottet i figur 5A for de rene heptanal betingelse illustrerer antenne adfærd.
Kortet viser, at før lugten præsenteres (t &#60; 0), antenne vinkel tæthed er fordelt forholdsvis jævnt på tværs af alle vinkler. Ca. 1 s efter lugt debut (t ~ 1.000 ms), et par af blå og røde klynger vises. I områder skraverede rød, følehornene fandtes flere hyppigt end i områder skyggen blå. Den blå cluster angiver, at antenner tendens til at undgå mindre vinkler (lugt kilde var placeret i retning af 0 grader), mens røde cluster angiver, at antenner foretrak større vinkler (fra lugt kilde). Den røde klynge forsvinder gradvist som lugt præsentation bevares. En anden rød, omend mindre intense, klynge vises omkring 1 s efter lugt konklusion. Vi navngive de anden rød klynger "Rebound klynger". I overensstemmelse med de gennemsnitlige vinkel inddrivelse gange ovenfor, vi Bemærk at rebound klynger synes at dukke op tidligere og er mindre intens for fortyndet lugte end for rene lugt.

Watch this Scientific Journal Video about SwarmSight: Real-time Tracking of Insect Antenna Movements and Proboscis Extension Reflex Using a Common Preparation and Conventional Hardware at JoVE.com

SwarmSight: Real-time Tracking of Insect Antenna Movements and Proboscis Extension Reflex Using a Common Preparation and Conventional Hardware

Denne protokol beskriver trin for at bruge den nye software, SwarmSight, til frame-by-frame sporing af insekt antenne og Snabel positioner fra konventionel web kamera videoer ved hjælp af konventionelle computere. Den gratis, open source software behandler rammer omkring 120 gange hurtigere end mennesker og udfører på bedre end menneskelige nøjagtighed.

SwarmSight: Real-time Tracking af insekt antenne bevægelser og Snabel udvidelse refleks ved hjælp af en fælles forberedelse og konventionelle Hardware

Many scientifically and agriculturally important insects use antennae to detect the presence of volatile chemical compounds and extend their proboscis ...

Research

JoVE Journal

Neuroscience

Behavioural Pharmacology in Classical Conditioning of the Proboscis Extension Response in Honeybees (Apis mellifera)

Behavioural Pharmacology in Classical Conditioning of the Proboscis Extension Response in Honeybees Apis mellifera

Honeybees (Apis mellifera) are well known for their communication and orientation skills and for their impressive learning capability1,2. Because the ...

Recording Human Electrocorticographic (ECoG) Signals for Neuroscientific Research and Real-time Functional Cortical Mapping

Recording Human Electrocorticographic ECoG Signals for Neuroscientific Research and Real-time Functional Cortical Mapping

Optagelse Humane Electrocorticographic (ECOG) signaler for neurovidenskabelige forskning og Real-time Funktionel Kortikal Mapping

Neuroimaging studies of human cognitive, sensory, and motor processes are usually based on noninvasive techniques such as electroencephalography (EEG), ...

A Proboscis Extension Response Protocol for Investigating Behavioral Plasticity in Insects: Application to Basic, Biomedical, and Agricultural Research

En Proboscis Extension Respons protokol til undersøgelse af Behavioral plasticitet i Insekter: Ansøgning til Basic, Biomedicinsk, og Agricultural Research

Insects modify their responses to stimuli through experience of associating those stimuli with events important for survival (e.g., food, mates, threats). ...

Real-time Electrophysiology: Using Closed-loop Protocols to Probe Neuronal Dynamics and Beyond

Real-time Elektrofysiologi: Brug lukkede kredsløb protokoller til Probe Neuronal Dynamics og Beyond

Experimental neuroscience is witnessing an increased interest in the development and application of novel and often complex, closed-loop protocols, where ...

Insect-controlled Robot: A Mobile Robot Platform to Evaluate the Odor-tracking Capability of an Insect

Insekt-kontrollerede robot: Et mobilt Robot Platform at evaluere Lugt-sporing Mulighed for et insekt

Robotic odor source localization has been a challenging area and one to which biological knowledge has been expected to contribute, as finding odor ...

Triggering Cell Stress and Death Using Conventional UV Laser Confocal Microscopy

Udløsning Cell Stress and Death anvendelse af konventionelle UV laser konfokal mikroskopi

Using a standard confocal setup, a UV ablation method can be utilized to selectively induce cellular injury and to visualize single-cell responses and ...

A Protocol for the Administration of Real-Time fMRI Neurofeedback Training

En protokol til Administration af Real-Time fMRI Neurofeedback træning

Neurologic disorders are characterized by abnormal cellular-, molecular-, and circuit-level functions in the brain. New methods to induce and control ...

Live-cell Measurement of Odorant Receptor Activation Using a Real-time cAMP Assay

Live-celle måling af lugtstof Receptor aktivering ved hjælp af en Real-time lejr Assay

The enormous sizes of the mammalian odorant receptor (OR) families present difficulties to find their cognate ligands among numerous volatile chemicals. ...

Real-time In Vitro Monitoring of Odorant Receptor Activation by an Odorant in the Vapor Phase

Real-time i Vitro overvågning af lugtstof Receptor aktivering af en lugtstof i fasen for damp

Olfactory perception begins with the interaction of odorants with odorant receptors (OR) expressed by olfactory sensory neurons (OSN). Odor recognition ...

Real-Time fMRI Brain Mapping in Animals

Real-Time fMRI hjernekortlægning hos dyr

Dynamic fMRI responses vary largely according to the physiological conditions of animals either under anesthesia or in awake states. We developed a ...