Name: swarmsight: real-time tracking of insect antenna movements and proboscis extension reflex using a common preparation and conventional hardware
Uploaded: 2017-12-25T14:00:00
Duration: 8 min 13 s
Description: Watch this Scientific Journal Video about SwarmSight: Real-time Tracking of Insect Antenna Movements and Proboscis Extension Reflex Using a Common Preparation and Conventional Hardware at JoVE.com

JB, SMC och RCG stöttades av NIH R01MH1006674 till SMC och NIH R01EB021711 till Riskkapitalriktlinjerna. CMJ och BHS stöddes av NSF idéer projektet lab på ”knäcka olfactory koden” till BHS. Vi tackar Kyle Steinmetz, Taryn Oboyle och Rachael Halby för deras hjälp i denna forskning.

1. fånga och utnyttja honungsbin
<ol>
	<li>Följ de protokoll steg 1 genom 3.1.1 för Smith och börda59.</li>
</ol>
2. förbereda djur sele och videokamera
<ol>
	<li>Dölja benen genom att tillämpa tejp över toppen av sele röret, visuellt inspektera att benen inte kan ses från toppen.</li>
	<li>Hålla huvudet genom att tillämpa uppvärmd vax på baksidan av insekt huvudet. Kontrollera visuellt att huvudet är fasta och inte flytta. Vid denna punkt, bör antenner och Underkäkar vara de enda bihang som är gratis att flytta.</li>
	<li>Maximera kontrasten mellan antennerna och video bakgrunden genom att placera ett vitt pappersark under insekt selen. För att minimera behovet av att senare justera kameran, markera platsen för insekt selen på papper, och sedan placera nya individer på samma plats.</li>
	<li>Fixa kameraposition med hjälp av ett stativ eller en webbkamera-hållare för att placera kameran ovanför insektens huvud. Med hjälp av kamera programvara, Förhandsgranska video och zooma in för att förstora den huvud bild, gör att en ~ 20-30% på alla sidor av videon.<ol>
		<li>Säkerställa att de enda rörliga objekt i kameravyn är antenner eller de snabel/Underkäkar och flytta kameran eller djuret om det behövs. Obs: SwarmSight kontrollerar rörelsen i pixlar kring huvudet. Ovidkommande motion i omedelbar närhet av huvudet orsakas av föremål såsom ben, skuggor, fläktar eller människor kan förvirra programvaran, och införa ytterligare buller.</li>
	</ol>
	</li>
	<li>Minimera antenn skuggor genom att justera allmänbelysning. Obs: Programvaran kan tolerera några skuggor, men för bästa resultat, bör de hållas till ett minimum.</li>
	<li>Förhindra automatisk kamera exponering justeringar med hjälp av kamerans slutare hastighet programvara för att hålla kameran exponeringstiden konstant under hela videon. Använda programvaran justera slutartiden för att maximera kontrast (video scen inte för ljus eller för mörk), genom att justera 'exponeringsreglaget' under 'Webbkamera inställningar.' Obs: Ovanstående instruktioner är specifika till webbkamera och programvara som används. Dessa kommer att behöva anpassas om andra webbkameror används.</li>
	<li>Placera lukt leverans källan och säkerställa att det inte hindrar kameravyn genom att inspektera kameran videoflödet. Kontrollera att en vakuumkällan är placerad på motsatt sida ta bort stimulans lukter.</li>
	<li>Placera en LED, eller några andra visuell indikator som ändrar ljusstyrka för att indikera lukt leverans, inom kameravyn. Obs: LED ljusstyrka värdet sparas av programvara och kan användas för att bestämma de exakta ramarna när lukt leveransen börjar och slutar.</li>
</ol>
3. film varje individ under experimentella förhållanden
<ol>
	<li>Film varje enskild insekt och testa villkor i separat video filer genom att antingen registrera varje enskilt test kombination separat eller använda video redigerande mjukvaran att dela en lång video filen i mindre filer. Obs: Programvaran kräver att användaren att lokalisera positionen av huvudet i varje video och för huvudet ska vara fast. Om huvudet rör sig, kommer ytterligare buller att införas. Funktionen gruppbearbetning av SwarmSight tillåter användaren att snabbt ange platsen för chefen för flera videoklipp och förutsätter att insekt huvudet förblir fast för varaktigheten av varje videofil. Instruktioner om hur du delar lång video filer kan hittas online60.</li>
</ol>
4. video analys
<ol>
	<li>Hämta och installera modulen 'Antenn Tracking' genom att följa stegen som tillhandahålls online58. Obs: Video tutorials som beskriver hur du använder programvaran finns på webbplatsen samt.</li>
	<li>Öppna en videofil som visar en filmade djur med knappen 'Utforska'.</li>
	<li>Placera antennen sensor och behandling sensor
	<ol>
		<li>När videon laddar, placera widgeten ”antenn Sensor” rektangulära över djurets huvud, genom att använda ikonerna rotation och skala för att anpassa widgeten med huvudet (se figur 1 d till exempel).</li>
		<li>Placera widgeten cirkulär ”behandling Sensor” över den LED som indikerar när den lukt eller stimulus presenteras. Obs: Behandling sensorn registrerar ljusstyrka värdet för pixeln i mitten av widgeten för varje bildruta.</li>
	</ol>
	</li>
	<li>Starta video-bearbetning
	<ol>
		<li>Tryck på knappen 'Play' (svart triangel) i det nedre vänstra hörnet att starta analysen av ramar. Obs: De upptäckta sannolika antenn och Snabel punkterna kommer att vara markerade gul. De gula ringarna visar placeringen av tips av bihang. Vinklarna (där 0 är direkt framför djuret) för antennen och Snabel förlängning längd visas i widgeten ”modell” i det nedre vänstra hörnet (se figur 1 d). Widgeten ”dominerande sektorerna” i det nedre högra hörnet visar relativa intensiteten i de fem 36 graders sektorerna där flest antenn Poäng har upptäckts. De mörkaste sektorerna innehåller flest poäng, medan den lättaste har minst antal. Sektorn numret (1-5) med flest poäng kommer att visas i de nedre hörnen av widgeten (se figur 1 d).</li>
	</ol>
	</li>
	<li>Justera filtret tröskelvärden och lägga till uteslutning zoner
	<ol>
		<li>För att ändra känsligheten av filter, justera reglagen i avsnittet ”filter” på den högra panelen. Obs: Beroende på ljusförhållanden och allmän rörelse hastigheten på bihang, olika filter känslighet blir optimal. Användaren kan hitta de optimala värdena genom att justera värdena och att iaktta de markerade områdena i widgeten antenn Sensor. När en perfekt inställd känslighet hittas, markeras bara bihang. Det rekommenderas att snabbspola framåt till andra delar av videon att säkerställa filter känsligheten är optimala där, alltför.</li>
		<li>Alternativt om du vill ignorera främmande objekt, på den högra panelen, expandera avsnittet ”antenn Sensor”, klicka ”Lägg till säkerhetszon”-knappen (se figur 1 d) och klicka på en uppsättning punkter bildar en röd polygon, vars innehåll kommer att ignoreras av den programvara. Obs: Om videon innehåller främmande motion och rörelse är inom antenn Sensor widgetens zon (t.ex. flytta benen, starka skuggor, labbutrustning, etc.), programvaran kan missta det för bihang rörelse.</li></ol></li></ol>Främmande föremål kan ignoreras av ritning Röda polygoner eller ”undantagszoner”. Något inuti en röd polygon kommer inte användas för spårning.
	
	
	<li>Sparar resultaten
	<ol>
		<li>När filter och widgets har satts, stoppa videon, starta om den från början och spela det till slutet. Obs: När hela videon har spelat, placerar av bihang för alla bildrutor lagras i minnet.</li>
		<li>Spara bihang positionsdata till en fil, expandera avsnittet ”Spara” till höger, och klicka på ”Spara till. CSV-”-knappen. Välj sedan en mapp att spara filen. Obs: ”Spara till. CSV ”knappen kommer att spara bearbetning resultat till en CSV-fil. Som standard, användaren kommer att erbjudas att spara CSV-filen i samma mapp som videofilen och kommer att ha ett datum och tid som en del av filnamnet. Den resulterande CSV-filen innehåller en uppsättning kolumner som innehåller information om de de bihang, inklusive den antenn vinklar och dominerande sektorerna samt orientering samt position av huvudet. Beskrivning av varje kolumn tillhandahålls online61.</li>
		<li>Alternativt använd kolumner (s) och värde(n) fälten i avsnittet Spara för att skapa en extra kolumn (eller mer om avgränsade med semikolon) i CSV-filen för att registrera information angående ID eller namnet på en experimentell skick. Obs: Värdet i rutan kolumner visas i rubriken på den första kolumnen och värdet i rutan värde(n) kommer att upprepas i alla rader i den första kolumnen.</li>
	</ol>
	</li>
	<li>Batch-bearbetning Obs: Programvaran kan bearbeta flera videofiler i en batch. Dock måste användaren ge huvudet platsinformation för varje video innan du startar batch.<ol>
		<li>Klicka på knappen ”Batch Processing” för att öppna ett fönster som gör att skapa en lista över filer som ska bearbetas sekventiellt av programvaran i den högra panelen, i ”Video-filer”.</li>
		<li>Använda på ”lägga till fler Video filer till Batch” knappen för att välja en eller flera videofiler som ska inkluderas i batchlistan.</li>
		<li>Alternativt Använd ”CTRL” eller ”SHIFT” för att välja flera videoklipp som kommer att använda samma uppsättning widget parametrar. Obs: Bra kandidater för parametern återanvändning är uppsättningar av videor av samma djur som inte har flyttats mellan olika experimentella förhållanden.</li>
		<li>Börja ställa widget parametrar som ska användas för de valda videorna genom att klicka på knappen ”Ställ in sensorn positioner för valda”.</li>
		<li>Justera parametrar i antenn Sensor, behandling Sensor, filter, eller Spara avsnitt och klicka på ”Spara parametrar till Batch” när du är klar.</li>
		<li>När parametrarna för varje video har valts, starta batchprocessen genom att klicka på knappen ”starta behandling”. Obs: Programvaran kommer att ladda videofiler i den ordning som de visas i batchlistan, bearbeta dem och spara sina motsvarande .csv-filer i samma mapp där videofilerna som finns. En förloppsindikator på toppen ger en beräknade sluttiden efter den första videon har slutförts.</li>
	</ol>
	</li>

Författarna förklarar att de har inga konkurrerande finansiella intressen.

Metoden presenteras här möjliggör spårning av insekt antenn och Snabel rörelser i realtid utan att särskilda djur beredningar eller maskinvara.
Begränsningar:
Trots dessa fördelar finns det vissa begränsningar för metoden. Dessa omfattar kravet på att huvudet av djuret är begränsad från rörelse, behovet för användare att välja plats och orientering av djuret för varje video, kravet på att ha tillgång till en Windows-dator och programvarans oförmåga att spåra rörelse i tre dimensioner (3D) och i några visuellt tvetydiga bihang positioner beskrivs nedan.
Programvaran kräver att huvudet av djuret är fast på plats och går inte under videon. Detta är liknande till förberedelserna inför föregående arbete48,49,50,51. Det är möjligt att modifiera programvaran för att tillåta automatisk identifiering av huvudet rotationer, dock skulle konsumera ytterligare bearbetningstid och införa en ny källa till fel. Om den modifierade programvaran skulle upptäcka huvud rotation felaktigt, skulle detta påverka antennerna vinklar, som deras uträkning är i förhållande till huvudet rotationsvinkeln. För närvarande väljer användaren huvud orientering en gång per video. Detta synsätt, minimerar medan inte utan mänskliga fel, vinkel beräkningsfel när huvudet inte är tillåtet att flytta under videon.
Programvaran kräver också en Windows 7 (eller senare) operativsystem (OS). Målet var att göra programvaran lätt att installera, konfigurera och använda av användare utan programmerings- eller avancerade datorkunskaper administration. Vi beslutade att målet Windows eftersom det är allmänt tillgänglig, och i fall där tillgång till den är begränsad, virtuella maskiner (t.ex., VirtualBox, VMware, paralleller) med Windows kan skapas enkelt. Detta val av OS förenklar installationen med hjälp av en lätt-till-använda, befalla-fodra-gratis installer och undviker buggar som är specifika för olika OSs.
Programvaran endast spårar positionen för bihang i 2D utrymme. Insekter är kända för att flytta sin antenn i 3D, vilket kan innebära att viktig information går förlorad när endast 2D-koordinater mäts. Även användningen av flera kameror eller speglar kunde underlätta samla ytterligare uppgifter som krävs för 3D lokalisering, är det möjligt att beräkna, med användning av trigonometriska relationer, en uppskattad ute-av-plane position av förutsatt att antennerna är enda rad segment av konstant längd och bara flytta på ena sidan av kameran planet. För honungsbin, detta antagande stämmer att få grova uppskattningar för position i 3D, men inte nödvändigtvis skulle vara fallet för andra arter och situationer.
Programvaran kommer inte identifieras korrekt av antenner och Snabel spets platser i vissa tvetydiga situationer. Om ett djur rör sig en antenn så att, i videon, det överlappar en utökad snabel, kommer programvaran sannolikt upptäcka spetsen av antennen som spetsen på proboscis. Antenn vinkel kommer dock fortfarande sannolikt beräknas korrekt (från den icke-överlappande delen). Likaså om antennen tipsen flytta direkt ovanför huvudet av djuret (dvs, inte på sidorna) kan sedan programvaran endast upptäcka del av antennen som är synlig utanför huvudet, anta den tidigare platsen för antennen eller upptäcka falska videobrus som Antennens placering. I båda situationerna har även mänskliga bedömare svårt kräsna antennen från proboscis eller huvudet. För att mildra detta problem, rekommenderar vi att använda en 3-ram, symmetrisk rullande median57 filter till rå X och Y koordinater produceras av programvaran. Detta filter tar bort stora övergående (single frame) position fluktuationer och bevarar längre antenn läge rörelser. Vi har funnit att filtret 3-frame presterade bättre än inget filter, medan större filter (t.ex. 5, 11 eller 15 bildrutor) minskad noggrannhet. R-exempelkod som använder filtret och en video tutorial kan hittas online58.
Värde som vetenskapligt verktyg:
Tillgängligheten av en metod för att snabbt erhålla korrekt insekt bihang rörelser på ett kostnadseffektivt sätt har potential att öppna upp nya områden för utredning.
Snabel förlängning reflex (PER) är en vanligt förekommande beteendemässiga svar att undersöka inlärning och minne av en mängd insekter59. Tidigare studier har allmänhet förlitat sig på ett binärt extended-eller-inte mått på PER, även om video- och elektromyografisk analyser har visat mycket mer komplexa topologier till snabel rörelser65,66. Den här tillåter snabb kvantifiering av snabel rörelser i höga tidsmässiga och rumsliga upplösningar.
Insekt antenn rörelser som svar på lukter är dåligt känd. En anledning till detta är att antennerna tenderar att flytta så snabbt att en kostnadseffektiv, automatiserade medel att få antenn rörelse uppgifter inte har varit tillgängliga. Metoden presenteras här kan användas för att snabbt få antenn rörelse data för ett stort antal insekter i ett stort antal villkor. Detta kunde stöd, till exempel forskare undersöker mappningen mellan antenn rörelser som svar på olika stimuli, i synnerhet flyktiga lukter. Med kameror som tar bilder vid 30 Hz, programvaran kan användas för att karaktärisera antennal rörelse dynamics upp till 15 Hz (Nyquist gräns). Om karakterisering i högre frekvenser behövs, kunde kameror med högre bindningsandel (t.ex. 60 eller 120 fps) utnyttjas. En snabbare dator kan dock krävas att bearbeta högre fps video i realtid. Vi spekulerar att klasser av lukter, och möjligen även vissa enskilda lukter, har karakteristiska medfödda antennal rörelser. Om dessa klasser eller föreningar kunde vara upptäckta, okända kunde lukter eller deras klass detekteras från antennal rörelse av otränade insekter. Om sådan mappning finns bör sedan kombinationen av tillräckliga antenn rörelse data och toppmoderna algoritmerna för maskininlärning börja avslöja den. Också, hur mappningen ändras som svar till lärande, former under utveckling, eller störs med genetiska ingrepp kunde erbjuda inblick i funktioner för luktsinnet.Slutligen kan detta arbete ge insikt i konstgjorda detektion av lukter om det avslöjar optimal provtagningsmetoder för lukter i komplexa miljöer.
Framtida arbete:
Här, vi visade att antenn rörelse data kan erhålls snabbt och analyseras: betydande beteende Svaren kan upptäckas från de data som genereras av vår programvara, och flera områden av vidare utredning identifierades.
Tidsförlopp av stimulus-framkallade antenn vinkel avvikelser från och återhämtning till baslinjen och någon stimulans-avslutning rebound effekter och dess beroende av lukt koncentration kan undersökas och modelleras matematiskt. Dessutom några ändringar av antenn rörelser induceras av apéritivo eller aversiva luftkonditionering kan också bedömas med programvaran.
Bättre differentiering av lukter kan också utforskas. I denna studie både lukt, i ren och 35 x utspädda versioner framkallade liknande svar: antenner, i genomsnitt, visades att snabbt dra sig bort från lukt och återgå till före lukt baslinjer efter några sekunder. Vi spekulerar att även de utspädda versionerna kan ha varit mycket stark lukt stimuli för att honungsbin. Om sant, kunde ett bredare spektrum av koncentrationer användas för att avgöra om antennal Svaren skilja lukter. Dessutom kan mer sofistikerad analys bättre avslöja skillnader i antennal rörelser som svar på olika lukter. Vi har gjort de datafiler som används för att generera siffror i detta manuskript som är tillgänglig för intresserade forskare på SwarmSight webbplats67.
Dessutom medan utanför tillämpningsområdet för detta manuskript, skulle programvaran kunna utvidgas för att bearbeta videor av djur placeras i kamrarna med dubbla speglar vinklad 45 ° (se figur 1 d till exempel). Detta skulle kunna användas att exakt lokalisera och spåra bihang och deras rörelse i 3D-rymden. Dock algoritmerna för 3D-tracking skulle krävas att effektivt: a disambiguera mellan flera antenner när de är synliga i en av sidospeglar, (b) rätt för brister i spegeln vinklar, och (c) redovisa snedvridningar på grund av kameran positionering.
Slutligen, ytterligare vinster i positionsnoggrannheten kan förverkligas via användning av ett Kalman-filter68, vilka modeller och utnyttjar aggregationstillstånd information såsom bihang hastighet och acceleration vill begränsa förutspådda platser. Eventuella vinster i noggrannhet bör dock utvärderas mot eventuella minskningar i hastighet på grund av ytterligare beräkningar.
Slutsats:
Många insekter använder antenner att aktivt prova flyktiga föreningar i deras lokala miljöer. Mönster i antennal rörelser kan ge insikt i insekt lukt perception och hur den påverkas av luftkonditionering, giftiga föreningar och genetiska förändringar. Likaså har snabel rörelser använts för att bedöma lukt perception och dess modulering. Dock har det varit svårt att snabbt få stora mängder högupplösta bihang rörelse data. Här, beskrivs ett protokoll och programvara som automatiserar sådan uppgift. Sammanfattningsvis har vi skapat och visat hur kombinationen av billig hårdvara, ett vanligt djur preparat och programvaran med öppen källkod kan användas för att snabbt få högupplösta insekt bihang rörelse data. Produktionen av programvaran, hur det överträffar mänskliga bedömare i hastighet och noggrannhet och hur dess utdata kan analyseras och visualiseras visades.

De flesta leddjur flytta antenner eller andra bihang till prov miljömässiga cues och signaler i tid och rum. Djuren kan använda antenner för att navigera sin omgivning genom att upptäcka sensoriska signaler som flyktiga kemiska ämnen och luktintrycket och mekaniska stimuli1,2,3,4. Hos insekter innehåller antenner sensoriska receptorer som binder till flyktiga kemiska ämnen4,5,6 och sända denna signal via luktsinnet sensoriska nervceller till centrala hjärnan regionerna1,7 ,8,9. Insekter kan justera antennerna positioner för att modulera information om inkommande lukter4,10,11. Denna modulering underlättar aktivt informerade beteendemässiga Svaren till lukt och sina plymer12,13.
Många insekter, däribland Hymenopterans (t.ex. honungsbin och humlor), Lepidopterans (t.ex. fjärilar) och Dipterans (t.ex. flugor och myggor), bland annat foder genom att utvidga sin snabel14 , 15 , 16 , 17 , 18 , 19 , 20 , 21. snabel förlängning har använts på ett tillförlitligt sätt i förflutnan för en mängd inlärning och minne uppgifter22,23,24,25,26, 27,28,29,30,31. Kvantitativ bedömning av antenner rörelse med hög temporal och spatial upplösning kanske likaså ger insikt i förhållandet mellan stimulansen, beteende och inre tillstånd av djuret. Faktiskt tidigare arbete har visat hur de antennal rörelserna innehåller en rik mängd information om honey bee spårning av miljön och hur rörelser förändras med lärande32,33,34, 35,36,37,38.
Under det senaste decenniet, har metoder för att observera djurs beteende kraftigt påskyndats av framsteg inom högupplösta videokameror, dator bearbetning hastigheter och maskin vision algoritmer. Uppgifter som djur upptäckt, inventering, spårning och plats förkärlek analyserna har fått hjälp med sofistikerad mjukvara som kan bearbeta videor av djurs beteende och extrahera relevanta åtgärder39,40, 41,42,43,44,45,46,47.
Dessa tekniker har också hjälpt spårning av insekt antenn och Snabel rörelser. Det är möjligt för mänskliga bedömare att använda en musmarkören att manuellt spåra placeringen av antennerna. Men denna metod kan vara korrekt, uppgiften är tidskrävande och mänskliga ouppmärksamhet och trötthet kan resultera i otillförlitliga resultat. Specialutrustning och förberedelse kan användas för att minska behovet av komplex programvara. Till exempel en inställning används en höghastighetskamera och målade tips av antenner att spåra de antenn rörelse48. Användare kan också bli ombedd att välja nyckel-ramar av videor att hjälpa programvaran att upptäcka antenn och Snabel plats49. Ett annat tillvägagångssätt upptäcktes de två största rörelse kluster för att identifiera antenner, men det identifierar inte de snabel läge50. Ett annat programpaket kan upptäcka antenn och Snabel platser, men kräver ca 7,5 s bearbetningstid per ram51, som kunde vara oöverkomliga för realtid eller långsiktig observationsstudier. Slutligen, det kan vara möjligt att anpassa kommersiell programvarupaket (t.ex. EthoVision) för att utföra den uppgift46, men deras licensiering och utbildning kostnader kan vara oöverkomliga.
Med den metod som beskrivs här, utökade vi vårt tidigare arbete på rörelse analys programvara41 att spåra placeringen av insekt antenner och Snabel med följande mål: (1) inget krav på speciell hårdvara eller komplexa djur beredning, (2). ram bearbetning i realtid (30 bps eller snabbare) på en konventionell dator, (3) enkel användning och (4) öppen källkod, lätt utdragbara kod.
Den resulterande roman metod och programvara med öppen källkod, SwarmSight bihang spårning, kräver inte målning av antenner tips, kan använda en konsument webbkamera för att fånga videoklipp och videobildrutor processer på 30-60 fps på en konventionell dator ( (Se figur 1). Programvaran använder video filer som indata. Användaren söker efter placeringen av insekt huvudet i videon och efter bearbetning, en fil med kommaavgränsade värden (.csv) produceras med platserna av antenner och snabel. Programvaran är kan läsa hundratals olika videoformat (inklusive format som produceras av de flesta digitalkameror) med hjälp av FFmpeg bibliotek52.
<img alt="Figure 1" class="xfigimg" src="/files/ftp_upload/56803/56803fig1.jpg"> 
Figur 1: djur installation och programvara utdata. (A) A honey bee forager med dess huvud och kropp fastspänd i en sele. (B) lukt källa placeras framför djuret, en videokamera är placerad ovanför, och en vakuumkällan är placerad bakom djuret. (C), antennen spets och Snabel variabler identifieras av programvaran SwarmSight från videon. (D), användaren placerar antennen sensorn över djuret och justerar filterparametrarna. Programmet upptäcker antenn och Snabel positioner (gula ringar).<a href="//ecsource.jove.com/files/ftp_upload/56803/56803fig1large.jpg" target="_blank">Klicka här för att visa en större version av denna siffra.</a>
Först är en insektens kropp och huvudet fastspända i en sele så att antennen och Snabel rörelser följs enkelt (figur 1A). En lukt källa placeras framför insekten, med en vakuum källa som placeras bakom, ta bort lukter från luften och minimera potentiella effekter av sensorisk anpassning (figur 1B). En konventionell webbkamera är placerad ovanför den insektsvaxer huvud på ett stativ. En LED kan placeras inom kamerans vy att indikera när lukten som presenteras.
<img alt="Figure 2" class="xfigimg" src="/files/ftp_upload/56803/56803fig2.jpg"> 
Figur 2: antenn koordinatsystem. X, Y-värden använder video koordinatsystemet, där övre vänstra hörnet är ursprung och X- och Y-värden ökar när du flyttar mot det nedre högra hörnet. Vinklar är uttryckt i grader med avseende på framsidan av huvudet (vanligtvis lukt källan). Värdet ”0” betyder att den linje som bildas av den antenn flagellen pekar direkt framför djuret. Alla vinklar är positiva, utom när en antenn pekar i motsatt riktning (t.ex. rätt flagellen punkterna till vänster). <a href="//ecsource.jove.com/files/ftp_upload/56803/56803fig2large.jpg" target="_blank">Klicka här för att se en större version av denna siffra.</a>
Efter inspelningen, öppnas video filen med programvaran SwarmSight, där användaren placerar widgeten antenn Sensor (figur 1 d, svart fyrkant) över huvudet av insekt och börjar videouppspelningen. När resultaten sparas, CSV-filen innehåller X, Y positioner av antennen tips, antenn vinklar i förhållande till framsidan av huvudet (figur 2), och Snabel X, Y-position. Dessutom beräknas en dominerande sektorn mått för varje antenn. Den metriska visar vilken av de fem 36 graders sektorer som omger varje antenn innehöll flest poäng anses sannolikt att vara antenner och kan vara användbart om antenn/vinkel mätvärden inte är tillförlitliga på grund av bullriga eller annars problematiska videor.
Kort, programvaran fungerar med hjälp av en uppsättning rörelse filter53 och en avslappnad översvämning fyllning algoritm54. För att hitta sannolika antenn punkter, två filter används: en 3-i rad-bildruta skillnaden filter41,55 och en median-bakgrund subtraktion56 filter. Ett färgfilter avstånd tröskel används för Snabel punkt upptäckt. Topp 10% av pekar av varje filter kombineras, och en översvämning fyllning algoritm som inspekterar sammanhängande punkter med luckor upp till 2 pixlar (px) lokaliserar extrema punkter. Parallella ram avkodning, bearbetning, och rendering pipelines och optimerad minne tilldelningen av filtret dataflödet uppnår hög prestanda. Råa x- och y-koordinaten värden produceras av programvaran är efterbehandlade med en 3-frame rullande median filter57 (se diskussion). Instruktionerna för att ladda ner full källkod kan hittas online58.
Nedan är ett protokoll för att förbereda en honey bee forager för antenn spårning. En liknande protokoll kan användas för att spåra antenn/snabel förehavanden av någon annan insekt. I resultatavsnittet beskriver vi ett prov antennen spårningsutdata som detekteras av programvaran, jämförelse av programvara utdata till spårning framförd av mänskliga bedömare, och bedömning av antenner rörlighet svar på fem doftämnen.

<table border="0" cellpadding="0" cellspacing="0" width="938">
	<tbody>
		<tr height="42">
			<td height="42" style="height:42px;width:188px;">Insect harness</td>
			<td style="width:95px;">N/A</td>
			<td style="width:161px;">N/A</td>
			<td style="width:495px;">Use materials needed for Protocol sections 1-3.1.1 of Smith &#38; Burden (2014)</td>
		</tr>
		<tr height="21">
			<td height="21" style="height:21px;width:188px;">Odor delivery source</td>
			<td style="width:95px;">N/A</td>
			<td style="width:161px;">N/A</td>
			<td style="width:495px;">Use materials needed for Protocol section 3 of Smith &#38; Burden (2014)</td>
		</tr>
		<tr height="42">
			<td height="42" style="height:42px;width:188px;">Vacuum source</td>
			<td style="width:95px;">N/A</td>
			<td style="width:161px;">N/A</td>
			<td style="width:495px;">Use materials needed for Protocol section 3 of Smith &#38; Burden (2014)</td>
		</tr>
		<tr height="42">
			<td height="42" style="height:42px;width:188px;">LED connected to odor delivery source</td>
			<td style="width:95px;">N/A</td>
			<td style="width:161px;">N/A</td>
			<td style="width:495px;">Use materials needed for Protocol section 3 of Smith &#38; Burden (2014)</td>
		</tr>
		<tr height="42">
			<td height="42" style="height:42px;width:188px;">Low Voltage Soldering Iron</td>
			<td style="width:95px;">Stannol</td>
			<td style="width:161px;">Low Voltage Micro Soldering Iron 12V, 8W</td>
			<td style="width:495px;"></td>
		</tr>
		<tr height="21">
			<td height="21" style="height:21px;width:188px;">DC Power Supply</td>
			<td style="width:95px;">Tekpower</td>
			<td style="width:161px;">HY152A</td>
			<td style="width:495px;"></td>
		</tr>
		<tr height="42">
			<td height="42" style="height:42px;width:188px;">White sheet of paper</td>
			<td style="width:95px;">Georgia-Pacific</td>
			<td style="width:161px;">998606</td>
			<td style="width:495px;">Any white sheet of paper can be used as alternative</td>
		</tr>
		<tr height="42">
			<td height="42" style="height:42px;width:188px;">Tripod</td>
			<td style="width:95px;">AmazonBasics</td>
			<td style="width:161px;">50-Inch Lightweight Tripod</td>
			<td style="width:495px;">Optional</td>
		</tr>
		<tr height="42">
			<td height="42" style="height:42px;width:188px;">Camera</td>
			<td style="width:95px;">Genius</td>
			<td style="width:161px;">WideCam F100</td>
			<td style="width:495px;">FLIR Flea3 or another camera with manual focus can be used.</td>
		</tr>
		<tr height="42">
			<td height="42" style="height:42px;width:188px;">Camera software</td>
			<td style="width:95px;">Genius</td>
			<td style="width:161px;">N/A</td>
			<td style="width:495px;">Software comes with camera. On MacOS, Photo Booth app can be used to record videos.</td>
		</tr>
		<tr height="63">
			<td height="63" style="height:63px;width:188px;">Camera shutter speed software</td>
			<td style="width:95px;">Genius</td>
			<td style="width:161px;">N/A</td>
			<td style="width:495px;">Genius camera software allows shutter speed setting. In Mac OS, iGlasses by ecamm can be used instead: http://www.ecamm.com/mac/iglasses/</td>
		</tr>
		<tr height="84">
			<td height="84" style="height:84px;width:188px;">Windows Operating System</td>
			<td style="width:95px;">Microsoft</td>
			<td style="width:161px;">Windows 7 Professional</td>
			<td style="width:495px;">Versions 7 or later are compatible. Oracle VirtualBox, Parallels Desktop, or VMWare Fusion can be used to create a Windows virtual machine in MacOS environments.</td>
		</tr>
		<tr height="21">
			<td height="21" style="height:21px;width:188px;">SwarmSight software</td>
			<td style="width:95px;">SwarmSight</td>
			<td style="width:161px;">Appendage Tracking</td>
			<td style="width:495px;">Download from http://SwarmSight.org</td>
		</tr>
		<tr height="42">
			<td height="42" style="height:42px;width:188px;">R software</td>
			<td style="width:95px;">R Project</td>
			<td style="width:161px;">R 3.4.0</td>
			<td style="width:495px;">Download from: https://cran.r-project.org/bin/windows/base/</td>
		</tr>
		<tr height="63">
			<td height="63" style="height:63px;width:188px;">R Studio software</td>
			<td style="width:95px;">RStudio</td>
			<td style="width:161px;">RStudio Desktop</td>
			<td style="width:495px;">Download from: https://www.rstudio.com/products/rstudio/download/</td>
		</tr>
	</tbody>
</table>

swarmsight: real-time tracking of insect antenna movements and proboscis extension reflex using a common preparation and conventional hardware

Många vetenskapligt och agriculturally viktiga insekter använda antenner att upptäcka förekomsten av flyktiga kemiska föreningar och utöka sin snabel under utfodring. Förmågan att snabbt få högupplösta mätningar av naturliga antenn och Snabel rörelser och bedöma hur de förändras som svar på kemiska, utvecklingsmässiga och genetiska manipulationer kan hjälpa förståelsen av insekters beteende. Genom att utvidga vårt tidigare arbete på att bedöma sammanlagda insekt svärm eller djurgrupp rörelser från naturliga och laboratorium videor med hjälp av videoanalys programvara SwarmSight, utvecklat vi en ny, fri och öppen programvarumodul, SwarmSight bihang Spårning (SwarmSight.org) för bildruta-för-bildruta spårning av insekt antenn och Snabel positioner från konventionella web kamera videor med hjälp av konventionella datorer. Programvaran bearbetar ramar ungefär 120 gånger snabbare än människor, utför på bättre än mänskliga noggrannhet och, med hjälp av 30 stommen per andra (fps) video, kan fånga antennal dynamics upp till 15 Hz. Programvaran används för att spåra honungsbin antennal svar till två lukter och hittade signifikant genomsnittlig antennal retractions bort lukt ungefär 1 s efter lukt presentation. Vi observerade antenn position täthet värme karta kluster bildandet och kluster och menar vinkel beroende på lukt koncentration.

I avsnitten nedan är ett exempel tomt på antennerna vinklar produceras från data av programvaran, jämförelse av programvara noggrannhet och hastighet med mänskliga bedömare, och resultatet av ett experiment där honey bee antenn rörlighet påverkas av presentation av olika lukter. R programvara62,63 användes för att utföra analysen och generera siffrorna. R-kod för analys och figur generation samt videosjälvstudier kan hittas online58.
Programvara utgång:
Figur 3 visar fem slumpmässigt utvalda spår av antenn vinklar upptäcks av programvaran från videor av honungsbin presenteras med ren och 35 x mineral olja utspädd versioner av heptanal och heptanol, samt ren luft.
<img alt="Figure 3" class="xfigimg" src="/files/ftp_upload/56803/56803fig3.jpg"> 
Figur 3: fem prov spår av antennerna vinklar detekteras av SwarmSight. Y-axeln visar antenn vinkel i grader, där ”0” är direkt framför djuret, mot lukt källa, med större värden pekar bort lukt. Heptanol, heptanal, och deras 35 x mineral olja utspädd versioner, samt ren luft, tillämpades under grå 0 - 3 600 ms windows till enda honey bee halvöknar. Vänster antenn markeras rött, rätt blåmarkerade. Fem slumpmässiga bin, en från varje skick, skildras i fem tomterna. <a href="//ecsource.jove.com/files/ftp_upload/56803/56803fig3large.jpg" target="_blank">Klicka här för att se en större version av denna siffra.</a>
Validering av programvara:
För att validera att programvaran på ett tillförlitligt sätt kan upptäcka placeringen av antennerna, jämfördes antenn positioner ligger vid människor med de ståndpunkter som ligger av programvaran. Två mänskliga bedömare ombads att leta upp antennen och Snabel tips i 425 videobildrutor (~ 14 s video). En anpassad programvarumodul bihang platser präglas av en bedömare, automatiskt avancerade bildrutor, spelade in och mängden tid som spenderas på uppgiften. Som ett exempel på korrespondens mellan mänskliga - och programvara-ligger värden, ovanpå vertikala samordna spår av en antenn för programvaran och för de två mänskliga identifierade platserna visas i figur 4A. Avståndet mellan de två bedömare markerade antenn positioner var beräknas och heter ”mellan mänskliga avstånd”. Avståndet mellan antennen upptäcks av programvaran och den närmaste platsen som detekteras av de mänskliga bedömare var beräknas och heter ”programvara-närmaste mänskliga Distance” (figur 4B).
<img alt="Figure 4" class="xfigimg" src="/files/ftp_upload/56803/56803fig4.jpg"> 
Figur 4: jämförelse med mänskliga bedömare. (A), två mänskliga bedömare och SwarmSight ligger antennen tipsen i 425 videobildrutor. Bildruta-för-bildruta vänster antenn tip Y koordinater hittades av de mänskliga bedömare och programvara är överlagrade. (B) ovanpå bildruta-för-bildruta oenighet (avstånd i video pixlar) mellan mänskliga bedömare (orange) och oenighet mellan programvara och närmaste mänskliga rater värde (svart). (C) mänskliga vs mänskliga tip Antennplatser (orange) och programvara vs mänskliga platser (svart). (D) histogram och kumulativa distributioner (streckad) av mänskliga vs mänskliga och programvara vs mänskliga bildruta-för-bildruta oenighet avstånd. <a href="//ecsource.jove.com/files/ftp_upload/56803/56803fig4large.jpg" target="_blank">Klicka här för att se en större version av denna siffra.</a>
Mellan mänskliga avståndet var 10,9 px i genomsnitt inom 55,2 px i 95% av ramarna, och hade ett maxvärde på 81,6 px. Programvara-närmaste mänskliga avstånd var 8,0 px i genomsnitt inom 18,3 px i 95% av ramarna, och hade ett maxvärde på 49,0 px (se avstånd histogram i figur 4 doch figur 4 c). 5 px var ungefär bredden på en antenn. Sammantaget mellan mänskliga avståndet var liten för bildrutorna i början av uppgiften, och ökade under andra hälften av uppgiften. Vi misstänker att detta berodde på rater trötthet. Under tiden, programvara-närmaste mänskliga avstånd nivåer förblev konstant under hela aktiviteten.
Programvara hastighet och noggrannhet jämförelse med mänskliga bedömare:
Människor fått spets och Snabel Antennplatser med en medelhastighet av 0,52 bildrutor per sekund (fps). För att uppskatta mänsklig fps, var det totala antalet ramar som betygsatt av människor (425 varje) dividerat med den totala tid som de tillbringade på uppgiften (873 s och 761 s). Programvaran betygsatt bildrutorna på 65 fps i genomsnitt på en Dual-Core Windows 7 dator. Tillsammans med hög processorhastighet och noggrannhet liknande eller bättre än mänskliga bedömare, kan programvaran förväntas utföra arbete ca 125 mänskliga bedömare per tidsenhet.
Påvisande av antenn svar på lukter:
För att demonstrera att protokollet kan användas för att identifiera betydande beteendemässiga skillnader i insekt rörelse, utsätts vi två olika lukter 23 kvinnliga honungsbin. Pure heptanal och heptanol, 35 x mineralolja utspädningar av två lukter och ren luft som kontroll, presenterades varje för 4 s (fem villkor totalt). Videor, som beskrivs i protokollet ovan, bearbetades med SwarmSight programvara, och antenn vinklarna analyseras (figur 5).
<img alt="Figure 5" class="xfigimg" src="/files/ftp_upload/56803/56803fig5.jpg"> 
Figur 5: antenn vinkel medel och täthet värme kartor för fem lukt villkor. (A) värme kartor visar antenn vinkel densitet innan, under (mörkare mellersta regionen), och efter administrering av heptanol, luft och heptanal odoranter till kvinnliga honungsbin (n = 23). Svart kurvor är per-frame genomsnittliga antenn vinklar (båda antenner). Horisontella linjer är före lukt medelvärdet (baslinje) vinklar. Observera klustret av Rekommenderad Antennplatser (röda kluster i botten tomt) bort lukt för ren lukt villkor och motsvarande ändringar till den genomsnittliga antenn vinkeln.Observera också ”rebound” klustret efter lukt slutsats och dess uppenbara debut beroende av lukt koncentration (se kluster läge i de andra fyra tomterna). Densitet värme karta färgskala är godtyckliga men enhetligt över alla villkor. (B) Genomsnittlig vinkel förändring från före lukt medelvärde (felstaplarna S.E.M). Med undantag för luft, menar alla förändringar var betydande (t-test p &#60; 0,05). <a href="//ecsource.jove.com/files/ftp_upload/56803/56803fig5large.jpg" target="_blank">Klicka här för att se en större version av denna siffra.</a>
Videobildrutor från 9 s segment av videon som består av 3 s innan lukt, 3,6 s av lukt presentation, och 2,4 s efter lukt slutsats anpassades för alla individer och villkor (300 bildrutor/segment). Per-frame var båda antenn vinklar av alla personer som beräknats för varje villkor och kallas ”menar vinklar” (figur 5A, svart kurvor). Genomsnittlig antenn vinklarna för ramar innan lukt över individer för varje villkor var beräknas och kallas ”före lukt baslinjer” (figur 5A, tunna horisontella linjer).
I alla förhållanden, utom kontroll, ökade de genomsnittliga vinklarna från baslinjer, varje topp en gång 750-1,050 ms efter lukt debuten (figur 5A, svart kurvor i 0 - 3 600 ms region). De genomsnittliga förändringarna från baslinjer testades för signifikans (figur 5B) genom att jämföra två-antenn hjälpmedlet av individer vid peak lukt-presentation medelvärde vinkel tidpunkten för varje villkor att medelvärdet för baslinje med hjälp av en rad 1-sample t-test () Shapiro normalitet tester inte betydande under alla förhållanden). Den genomsnittliga vinkel förändringen från baslinjen var 26,9 ° för ren heptanal (medelvärde nådde 750 ms efter lukt debut), 21,1 ° för 0,2 M heptanal (på 990 ms), 19,6 ° för ren heptanol (på 1 050 ms), 19,3 ° för 0,2 M heptanol (på 780 ms) och 3,45 ° för air control (ingen topp). Under alla förhållanden, utom kontroll, den genomsnittliga vinkel förändringen från baslinjen var signifikant (Holm justerat p &#60; 0,05). Vi noterar att den genomsnittliga vinkeln tar längre tid att återgår till ursprungsnivån svar på rena doftämnen än till utspädda odoranter (låg-pass filtrerad medelvärdet återvände till baslinjen 3 690 ms efter lukt debut för ren och på 2 940 ms för utspädda heptanol; heptanal, återvändande gånger var 4 260 ms för ren och 3.000 ms för utspädda versioner).
Visualisering med Heat Maps:
Att visualisera den antenn svaren, antenn vinkel täthet värmekartor för varje villkor var genereras (figur 5A, blå-röd bakgrund). Antenn vinklar över de 10 s video segment för varje individ per tillstånd var convolved med en Gaussisk kärna (R-paketet samlas, kde2d funktion64). Blå områden visar låga tätheter av antenn vinklar, medan röda områden Visa höga tätheter av antenn vinklar. Stresskartan i botten handlingen i figur 5A för ren heptanal villkora illustrerar beteendet antenn.
Kartan visar att innan lukten presenteras (t &#60; 0), antenn vinkel tätheten är relativt jämnt fördelat över alla vinklar. Ca 1 s efter lukt debut (t ~ 1000 ms), ett par blå och röda kluster visas. I områden skuggade röda, antenner hittades mer ofta än i skuggade områden blå. Blå klustret anger att antenner tenderade att undvika mindre vinklar (lukt källa var beläget i riktning mot 0 grader), medan röda klustret anger att antenner föredragit större vinklar (bort från lukt källa). Röd klustret försvinner gradvis som lukt presentationen upprätthålls. En annan röd, om än mindre intensiv, kluster visas ca 1 s efter lukt slutsats. Vi nämna de andra röda kluster ”Rebound kluster”. Överensstämmer med de genomsnittliga vinkel återställningstider ovan, vi noterar att rebound kluster verkar finnas tidigare och är mindre intensiv för utspädda lukter än för ren lukter.

Watch this Scientific Journal Video about SwarmSight: Real-time Tracking of Insect Antenna Movements and Proboscis Extension Reflex Using a Common Preparation and Conventional Hardware at JoVE.com

SwarmSight: Real-time Tracking of Insect Antenna Movements and Proboscis Extension Reflex Using a Common Preparation and Conventional Hardware

Det här protokollet beskriver stegen för att använda den nya programvaran, SwarmSight, för bildruta-för-bildruta spårning av insekt antenn och Snabel positioner från konventionella web kamera videor med hjälp av konventionella datorer. Fri, öppen källkod programvaran bearbetar ramar ungefär 120 gånger snabbare än människor och utför på bättre än mänskliga noggrannhet.

SwarmSight: Realtidsspårning av insekt antenn rörelser och Snabel förlängning Reflex med hjälp av en gemensam beredning och konventionell hårdvara

Many scientifically and agriculturally important insects use antennae to detect the presence of volatile chemical compounds and extend their proboscis ...

Research

JoVE Journal

Neuroscience

Behavioural Pharmacology in Classical Conditioning of the Proboscis Extension Response in Honeybees (Apis mellifera)

Behavioural Pharmacology in Classical Conditioning of the Proboscis Extension Response in Honeybees Apis mellifera

Beteende farmakologi i klassiska Konditionering av SNABEL Extension Response på honungsbin ( Apis mellifera)

Honeybees (Apis mellifera) are well known for their communication and orientation skills and for their impressive learning capability1,2. Because the ...

Recording Human Electrocorticographic (ECoG) Signals for Neuroscientific Research and Real-time Functional Cortical Mapping

Recording Human Electrocorticographic ECoG Signals for Neuroscientific Research and Real-time Functional Cortical Mapping

Inspelning mänskliga Electrocorticographic (ECOG) signaler för neurovetenskaplig forskning och Real-time Funktionell Kortikal Mapping

Neuroimaging studies of human cognitive, sensory, and motor processes are usually based on noninvasive techniques such as electroencephalography (EEG), ...

A Proboscis Extension Response Protocol for Investigating Behavioral Plasticity in Insects: Application to Basic, Biomedical, and Agricultural Research

En SNABEL Extension Response protokoll för utredning Behavioral plasticitet i Insekter: Anmälan till Enkel, biomedicinsk och jordbruksforskning

Insects modify their responses to stimuli through experience of associating those stimuli with events important for survival (e.g., food, mates, threats). ...

Real-time Electrophysiology: Using Closed-loop Protocols to Probe Neuronal Dynamics and Beyond

Realtidselektro: Använda Closed-loop protokollen till Probe neurala Dynamics and Beyond

Experimental neuroscience is witnessing an increased interest in the development and application of novel and often complex, closed-loop protocols, where ...

Insect-controlled Robot: A Mobile Robot Platform to Evaluate the Odor-tracking Capability of an Insect

Insekt styrd robot: en mobil robot plattform att utvärdera Lukt-tracking förmågan hos en insekt

Robotic odor source localization has been a challenging area and one to which biological knowledge has been expected to contribute, as finding odor ...

Triggering Cell Stress and Death Using Conventional UV Laser Confocal Microscopy

Trigg Cell Stress och död med användning av konventionella UV-Laser Confocal Microscopy

Using a standard confocal setup, a UV ablation method can be utilized to selectively induce cellular injury and to visualize single-cell responses and ...

A Protocol for the Administration of Real-Time fMRI Neurofeedback Training

Ett protokoll för den Administration av Real-Time fMRI Neurofeedback träning

Neurologic disorders are characterized by abnormal cellular-, molecular-, and circuit-level functions in the brain. New methods to induce and control ...

Live-cell Measurement of Odorant Receptor Activation Using a Real-time cAMP Assay

Live-cell mätning av luktämnet Receptor aktiveringen med en realtid cAMP-analys

The enormous sizes of the mammalian odorant receptor (OR) families present difficulties to find their cognate ligands among numerous volatile chemicals. ...

Real-time In Vitro Monitoring of Odorant Receptor Activation by an Odorant in the Vapor Phase

Realtid i Vitro övervakning av luktreceptor aktivering av en Luktämnet i gasfasen

Olfactory perception begins with the interaction of odorants with odorant receptors (OR) expressed by olfactory sensory neurons (OSN). Odor recognition ...

Real-Time fMRI Brain Mapping in Animals

Realtids fMRI-hjärnkartläggning hos djur

Dynamic fMRI responses vary largely according to the physiological conditions of animals either under anesthesia or in awake states. We developed a ...