Name: a step-by-step implementation of deepbehavior, deep learning toolbox for automated behavior analysis
Uploaded: 2020-02-06T15:00:00
Description: Watch this Scientific Journal Video about A Step-by-Step Implementation of DeepBehavior, Deep Learning Toolbox for Automated Behavior Analysis at JoVE.com

Vi vill tacka Pingping Zhao och Peyman Golshani för att tillhandahålla rådata för två-mus social interaktion tester som används i det ursprungliga papperet2. Denna studie stöddes av NIH NS109315 och NVIDIA GPU bidrag (AA).

1. GPU och Python Setup
<ol><li>
GPU Programvara När datorn är första installationen för djupinlärningsprogram bör GPU-lämplig programvara och drivrutiner installeras som finns på GPU:s respektive webbplats. (se materialförteckningen för dem som används i denna studie).</li>
	<li>
Python 2.7 Installation Öppna en kommandoradstolk på datorn. Kommandorad: sudo apt-get installera python-pip python-dev python-virtualenv</li>
</ol><p class="jo...

<ol>
	<li>Krakauer, J. W., Ghazanfar, A. A., Gomez-Marin, A., MacIver, M. A., Poeppel, D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Neuroscience+Needs+Behavior:+Correcting+a+Reductionist+Bias.">Neuroscience Needs Behavior: Correcting a Reductionist Bias.</a> Neuron. 93 (3), 480-490 (2017).</li><li>Arac, A., Zhao, P., Dobkin, B. H., Carmichael, S. T., Golshani, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=DeepBehavior:+A+Deep+Learning+Toolbox+for+Automated+Analysis+of+Animal+and+Human+Behavior+Imaging+Data.">DeepBehavior: A Deep Learning Toolbox for Automated Analysis of Animal and Human Behavior Imaging Data.</a> Front Syst Neurosci. 13, 20 (2019).</li><li>Pereira, T. D., Aldarondo, D. E., Willmore, L., Kislin, M., Wang, S. S., Murthy, M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Fast+animal+pose+estimation+using+deep+neural+networks.">Fast animal pose estimation using deep neural networks.</a> Nat Methods. 16 (1), 117-125 (2019).</li><li>Mathis, A., Mamidanna, P., Cury, K. M., Abe, T., Murthy, V. N., Mathis, M. W., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=DeepLabCut:+markerless+pose+estimation+of+user-defined+body+parts+with+deep+learning.">DeepLabCut: markerless pose estimation of user-defined body parts with deep learning.</a> Nat Neurosci. 21 (9), 1281-1289 (2018).</li><li>Stern, U., He, R., Yang, C. H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Analyzing+animal+behavior+via+classifying+each+video+frame+using+convolutional+neural+networks.">Analyzing animal behavior via classifying each video frame using convolutional neural networks.</a> Sci Rep. 5, 14351 (2015).</li><li>Tinbergen, N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=On+aims+and+methods+of+ethology.">On aims and methods of ethology.</a> Zeitschrift fu&#776;r Tierpsychologie. 20, 410-433 (1963).</li><li>LeCun, Y., Bengio, Y., Hinton, G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Deep+Learning.">Deep Learning.</a> Nature. 521 (7553), 436-444 (2015).</li><li>Zhao, Z., Zheng, P., Xu, S., Wu, X. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Object+Detection+With+Deep+Learning:+A+Review.">Object Detection With Deep Learning: A Review.</a> IEEE Transactions on Neural Networks and Learning Systems. , 1-21 (2019).</li><li>He, K., Zhang, X., Ren, S., Deep Sun, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Residual+Learning+for+Image+Recognition.">Residual Learning for Image Recognition.</a> arXiv. , (2015).</li><li>Krizhevsky, A., Sutskever, I., Hinton, G. E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=ImageNet+classification+with+deep+convolutional+neural+networks.">ImageNet classification with deep convolutional neural networks.</a> Proceedings of the 25th International Conference on Neural Information Processing Systems. 1, 1097-1105 (2012).</li><li>Szegedy, C., Wei, L., Yangqing, J., Sermanet, P., Reed, S., Anguelov, D., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Going+deeper+with+convolutions.">Going deeper with convolutions.</a> 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). , 7-12 (2015).</li><li>Stewart, R., Andriluka, M., Ng, A. Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=End-to-End+People+Detection+in+Crowded+Scenes.">End-to-End People Detection in Crowded Scenes.</a> 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). , 27-30 (2016).</li><li>Redmon, J., Farhadi, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=YOLOv3:+An+Incremental+Improvement.">YOLOv3: An Incremental Improvement.</a> arXiv. , (2018).</li><li>Cao, Z., Simon, T., Wei, S. E., Sheikh, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Realtime+Multi-Person+2D+Pose+Estimation+using+Part+Affinity+Fields.">Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields.</a> arXiv. , (2017).</li><li>Simon, T., Joo, H., Matthews, I., Sheikh, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Hand+Keypoint+Detection+in+Single+Images+using+Multiview+Bootstrapping.">Hand Keypoint Detection in Single Images using Multiview Bootstrapping.</a> arXiv. , (2017).</li><li>Wei, S. E., Ramakrishna, V., Kanade, T., Sheikh, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Convolutional+Pose+Machines.">Convolutional Pose Machines.</a> arXiv. , (2016).</li></ol>

Här erbjuder vi en steg-för-steg guide för genomförandet av DeepBehavior, vår nyligen utvecklade djupinlärningsbaserade verktygslåda för djur- och mänskligt beteende imaging dataanalys2. Vi ger detaljerade förklaringar till varje steg för installation av ramverk för varje nätverksarkitektur och tillhandahåller länkar för installation av kraven på öppen källkod för att kunna köra dessa ramverk. Vi visar hur du installerar dem, hur du skapar träningsdata, hur du tränar nätver...

En detaljerad analys av beteende är nyckeln till att förstå hjärnan och beteende relationer. Det har varit många spännande framsteg i metoder för att registrera och manipulera neuronala populationer med hög tidsmässig upplösning, men beteendeanalysmetoder har inte utvecklats i samma takt och är begränsade till indirekta mätningar och en reduktionistisk strategi1. Nyligen har djupinlärningsbaserade metoder utvecklats för att utföra automatiserad och detaljerad beteendeanalys2,3,4,5. Det här protokollet innehåller en steg-för-steg-implementeringsguide för verktygslådan DeepBehavior.
Traditionella beteendeanalysmetoder inkluderar ofta manuellt märkning av data av flera utvärderare, vilket leder till varians i hur experimentörer definierar ett beteende6. Manuell märkning av data kräver tid och resurser som ökar oproportionerligt till mängden insamlade data. Dessutom minskar manuellt märkta data beteenderesultaten i kategoriska mätningar som inte fångar beteendets rikedom och blir mer subjektiva. Således kan de nuvarande traditionella metoderna begränsas för att fånga detaljerna i de naturliga beteendena.
DeepBehavior-verktygslådan presenterar en exakt, detaljerad, mycket tidsmässig och automatiserad lösning med djupinlärning för beteendeanalys. Djupinlärning har snabbt blivit tillgängligt för alla med verktyg och paket med öppen källkod. Invecklade neurala nätverk (CNNs) har visat sig vara mycket effektiva i objektigenkänning och spårningsuppgifter7,8. Med hjälp av moderna CNNs och högpresterande grafik-bearbetning-enheter (GPU: er), stor bild och video dataset kan bearbetas snabbt med hög precision7,9,10,11. I DeepBehavior finns det tre olika invecklade neurala nätarkitekturer, TensorBox, YOLOv3 och OpenPose2.
Den första ramen, Tensorbox, är en mångsidig ram som innehåller många olika CNN-arkitekturer för objektdetektering12. TensorBox är bäst lämpad för att upptäcka endast en objektklass per bild. De resulterande utgångarna är begränsningslådor av objektet av intresse(figur 1)och de kartesiska koordinaterna för markeringsramen.
Den andra CNN ram är YOLOv3, som står för "You Only Look Once"13. YOLOv3 är fördelaktigt när det finns flera objekt av intresse som måste spåras separat. Utdata från detta nätverk innehåller begränsningsrutan med den associerade objektetikettklassen samt markeringsramens cartesiankoordinater för objektet i videoramen (bild 2).
De två föregående ramarna är fördelaktiga för generaliserade beteendedata som samlats in från vanliga laboratorieexperiment hos djurförsökspersoner. Den sista CNN ramen är OpenPose14,15,16 som används för mänskliga gemensamma pose uppskattning. OpenPose upptäcker människokroppen, handen, ansikts- och fottangenterna på bilder. Resultaten av ramen är märkta bilder av det mänskliga ämnet samt koordinaterna för alla 25 viktiga punkter i kroppen och 21 viktiga punkter i varje hand (figur 3).
Denna detaljerade steg-för-steg guide för genomförandet av vår nyligen utvecklade öppen källkod DeepBehavior verktygslåda sysselsätter state-of-the-art faltningneurala nät för att spåra djurbeteende (t.ex. förflyttning av en tass) eller mänskligt beteende (t.ex. nå uppgifter). Genom att spåra beteendet kan användbara kinematik härledas från beteendet såsom position, hastighet och acceleration. Protokollet förklarar installationen av varje CNN-arkitektur, visar hur du skapar träningsdatauppsättningar, hur du tränar nätverken, hur man bearbetar nya videor på det utbildade nätverket, hur du extraherar data från nätverket på de nya videorna och hur man efterprocessen utdata för att göra det användbart för ytterligare analys.

<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td>CUDA v8.0.61</td>
			<td>NVIDIA</td>
			<td>n/a</td>
			<td>GPU Software</td>
		</tr>
		<tr>
			<td>MATLAB R2016b</td>
			<td>Mathworks</td>
			<td>n/a</td>
			<td>Matlab</td>
		</tr>
		<tr>
			<td>Python 2.7</td>
			<td>Python</td>
			<td>n/a</td>
			<td>Python Version</td>
		</tr>
		<tr>
			<td>Quadro P6000</td>
			<td>NVIDIA</td>
			<td>n/a</td>
			<td>GPU Processor</td>
		</tr>
		<tr>
			<td>Ubuntu v16.04</td>
			<td>Ubuntu</td>
			<td>n/a</td>
			<td>Operating System</td>
		</tr>
	</tbody>
</table>

a step-by-step implementation of deepbehavior, deep learning toolbox for automated behavior analysis

Förstå beteende är det första steget för att verkligen förstå neurala mekanismer i hjärnan som driver den. Traditionella beteendeanalysmetoder fångar ofta inte rikedomen inneboende till det naturliga beteendet. Här ger vi detaljerade steg-för-steg-instruktioner med visualiseringar av vår senaste metod, DeepBehavior. DeepBehavior-verktygslådan använder djupinlärningsramverk byggda med invecklade neurala nätverk för att snabbt bearbeta och analysera beteendevideor. Det här protokollet visar tre olika ramverk för identifiering av enstaka objekt, flera objektidentifiering och 3D-spårning av mänskliga gemensamma poser (3D). Dessa ramverk returnerar cartesiankoordinater för objektet av intresse för varje bildruta i beteendevideon. Data som samlas in från DeepBehavior-verktygslådan innehåller mycket mer detaljer än traditionella beteendeanalysmetoder och ger detaljerade insikter om beteendedynamiken. DeepBehavior kvantifierar beteendeuppgifter på ett robust, automatiserat och exakt sätt. Efter identifiering av beteende, efter bearbetning kod tillhandahålls för att extrahera information och visualiseringar från beteendemässiga videor.

När protokollet följs bör data för varje nätverksarkitektur liknaföljande. För TensorBox matas en markeringsram runt objektet av intresse. I vårt exempel använde vi videor från en matpellets som nådde uppgiften och kallade rätt tassar för att spåra deras rörelse. Som framgår av figur 1kan rätt tass detekteras i olika lägen i både frontvy- och sidokameror. Efter efterbehandling med kamerakalibrering kan 3D-banor för räckvidden erhållas<st...

Watch this Scientific Journal Video about A Step-by-Step Implementation of DeepBehavior, Deep Learning Toolbox for Automated Behavior Analysis at JoVE.com

A Step-by-Step Implementation of DeepBehavior, Deep Learning Toolbox for Automated Behavior Analysis

Syftet med detta protokoll är att använda förbyggda invecklade neurala nät för att automatisera beteendespårning och utföra detaljerad beteendeanalys. Beteendespårning kan tillämpas på videodata eller sekvenser av bilder och är allmänt användbart för att spåra alla användardefinierade objekt.

En steg-för-steg-implementering av DeepBehavior, Deep Learning Toolbox för automatiserad beteendeanalys

Understanding behavior is the first step to truly understanding neural mechanisms in the brain that drive it. Traditional behavioral analysis methods ...

Att utföra en detaljerad beteendeanalys är avgörande för att förstå hjärnans beteenderelation. Ett av de bästa sätten att utvärdera beteende är genom noggranna observationer. Kvantifiera dock det observerade beteendet är tidskrävande och utmanande.Klassiska metoder för beteende analys är inte lätt kvantifierbara och är till sin natur subjektiva. Den senaste utvecklingen inom djupinlärning, en gren av maskininlärning och artificiell intelligens fält, ger möjligheter till automatiserad och objektiv kvantifiering av bilder och videor. Här presenterar vi våra nyligen utvecklade metoder utnyttjar djupa neurala nätverk för att utföra detaljerade beteende analys i gnagare och människor.Den största fördelen med denna teknik är dess flexibilitet och tillämplighet på någon bildframställning data för beteende analys. DeepBehavior Toolbox stöder identifiering av ett enda objekt, identifiering av multiobjekt och spårning av mänskliga poser. Vi tillhandahåller även efterbearbetningskoden i MATLAB för mer djupgående kinematiska analysmetoder.Börja med att ställa in Tensor Box. Aktivera miljön, använd sedan GitHub för att klona Tensor Box och installera den på maskinen och på ytterligare beroenden. Därefter startar märkningen grafiskt användargränssnitt och etikett minst 600 bilder från en bred fördelning av beteende ramar.Om du vill märka en bild klickar du på det övre vänstra hörnet av objektet av intresse och sedan det nedre högra hörnet. Se sedan till att markeringsramen fångar hela objektet. Klicka på nästa för att gå till nästa bildruta.Om du vill länka träningsbilderna till en nätverkshyperparametrarfil öppnar du overfeat_rezoom. json i en textredigerare och ersätta filsökvägen under train_idl till labels.json. Lägg sedan till samma filsökväg under test-idl och spara ändringarna.Initiera utbildning script som kommer att börja utbildning för 600, 000 iterationer och generera den resulterande tränade vikter av convolutional neurala nätverk i utdatamappen. Utför sedan förutsägelse på nya bilder, och visa utgångarna i nätverket som märkta bilder och som begränsningsramens koordinater. Installera YOLOv3.Sedan märka träningsdata med Yolo_mark genom att placera bilderna i mappen Yolo_mark-data-obga och märka dem en efter en i det grafiska användargränssnittet. Märk cirka 200 bilder. Därefter ställer du in konfigurationsfilen.För att ändra konfigurationsfilen öppna YOLO-obj. cfg-mappen. Ändra raderna batch, underavdelning och klasser.Byt sedan filter för varje faltningsskikt före ett YOLO-lager. Ladda ner nätverket vikter och placera dem i darknet-build. x64-mappen.Kör träningsalgoritmen, och när den är komplett visa iterationerna. För att spåra flera kroppsdelar i ett mänskligt ämne, installera OpenPose sedan använda den för att bearbeta önskad video. Funktionerna i DeepBehavior Toolbox visades på videor av möss som utför en matpellet nå uppgift.Deras högra tassar var märkta och rörelse spårades med främre och sidovy kameror. Efter efterbearbetning med kamerakalibrering erhölls 3D-banor av räckvidden. Utgångarna för YOLOv3 är flera begränsningsrutor eftersom flera objekt kan spåras.De begränsningsramar är runt objekt av intresse som kan vara delar av kroppen. I OpenPose upptäckte nätverket de gemensamma positionerna och efter efterbearbetning med kamerakalibrering skapades en 3D-modell av motivet. Ett kritiskt steg som inte omfattas i det här protokollet är att säkerställa att din enhet har lämpliga Python-versioner och beroenden samt en GPU-konfigurerad enhet innan du börjar.Efter att framgångsrikt erhålla spåret beteende från nätverket ytterligare efterbearbetning kan göras för att ytterligare analysera kinematik och mönster av beteendet. Varför DeepBehavior Toolbox är tillämplig för diagnostiska tillvägagångssätt i sjukdomsmodeller av gnagare och försökspersoner är inte direkt terapeutisk nytta. Användning av dessa tekniker som ett diagnostiskt eller prognostiskt verktyg är under aktiv forskning inom vårt laboratorium.Denna teknik används för att undersöka de neurala mekanismerna för skickligt motoriskt beteende hos gnagare samt används i kliniska studier för att utvärdera motorisk återhämtning hos patienter med neurologiska sjukdomar.

Research

JoVE Journal

Behavior

Contextual and Cued Fear Conditioning Test Using a Video Analyzing System in Mice

Kontextuell och cued rädsla Conditioning Test Med hjälp av en videoanalyssystem hos möss

The contextual and cued fear conditioning test is one of the behavioral tests that assesses the ability of mice to learn and remember an association ...

Assessment of Social Cognition in Non-human Primates Using a Network of Computerized Automated Learning Device (ALDM) Test Systems

Assessment of Social Cognition in Non-human Primates Using a Network of Computerized Automated Learning Device ALDM Test Systems

Bedömning av social kognition i icke-mänskliga primater Använda ett nätverk av datoriserade Automatiserad Learning Device (ALDM) testsystem

Fagot &#38; Paleressompoulle1 and Fagot &#38; Bonte2 have published an automated learning device (ALDM) for the study of cognitive abilities of monkeys ...

Quantifying Learning in Young Infants: Tracking Leg Actions During a Discovery-learning Task

Kvantifiera Lärande i Young Spädbarn: Tracking Leg Åtgärder Under en Discovery-learning uppgift

Task-specific actions emerge from spontaneous movement during infancy. It has been proposed that task-specific actions emerge through a discovery-learning ...

A General Method for Evaluating Deep Brain Stimulation Effects on Intravenous Methamphetamine Self-Administration

En allmän metod för att utvärdera Deep Brain Stimulation Effekter på Intravenös Metamfetamin Själv Administration

Substance use disorders, particularly to methamphetamine, are devastating, relapsing diseases that disproportionally affect young people.  There is a need ...

Protocol for Data Collection and Analysis Applied to Automated Facial Expression Analysis Technology and Temporal Analysis for Sensory Evaluation

Protokoll för datainsamling och analys Applied till Automated Ansiktsuttryck analysteknik och Temporal Analys för sensorisk utvärdering

We demonstrate a method for capturing emotional response to beverages and liquefied foods in a sensory evaluation laboratory using automated facial ...

Using a Split-belt Treadmill to Evaluate Generalization of Human Locomotor Adaptation

Med en Split-belt löpband att utvärdera generalisering av mänskliga rörelseapparaten anpassning

Understanding the mechanisms underlying locomotor learning helps researchers and clinicians optimize gait retraining as part of motor rehabilitation. ...

Automated Analysis of a Nematode Population-based Chemosensory Preference Assay

Automated Analysis of a Nematode Population-Based Chemosensory Preference Assay

The nematode, Caenorhabditis elegans' compact nervous system of only 302 neurons underlies a diverse repertoire of behaviors. To facilitate the dissection ...

Stress-Enhanced Fear Learning, a Robust Rodent Model of Post-Traumatic Stress Disorder

Stress-förbättrade rädsla lärande, en Robust gnagare modell av posttraumatiskt stressyndrom

Fear behaviors are important for survival, but disproportionately high levels of fear can increase the vulnerability for developing psychiatric disorders ...

Paw-Print Analysis of Contrast-Enhanced Recordings (PrAnCER): A Low-Cost, Open-Access Automated Gait Analysis System for Assessing Motor Deficits

Paw-Print Analysis of Contrast-Enhanced Recordings PrAnCER: A Low-Cost, Open-Access Automated Gait Analysis System for Assessing Motor Deficits

Paw-Print analys av kontrast-Enhanced Recordings (PrAnCER): en låg kostnad, Open-Access automatiserad gånganalys system för bedömning av motoriska underskott

Gait analysis is used to quantify changes in motor function in many rodent models of disease. Despite the importance of assessing gait and motor function ...

A Methodology for Capturing Joint Visual Attention Using Mobile Eye-Trackers

En metod för att fånga gemensam visuell uppmärksamhet med hjälp av mobila Eye-trackers

With the advent of new technological advances, it is possible to study social interactions at a microlevel with unprecedented accuracy. High frequency ...