Name: a step-by-step implementation of deepbehavior, deep learning toolbox for automated behavior analysis
Uploaded: 2020-02-06T15:00:00
Description: Watch this Scientific Journal Video about A Step-by-Step Implementation of DeepBehavior, Deep Learning Toolbox for Automated Behavior Analysis at JoVE.com

Vi vil gerne takke Pingping Zhao og Peyman Golshani for at give de rå data for to-mus social interaktion test, der anvendes i det oprindelige papir2. Denne undersøgelse blev støttet af NIH NS109315 og NVIDIA GPU tilskud (AA).

1. GPU og Python Setup
<ol><li>
GPU-software Når computeren er først setup for deep learning applikationer, GPU-passende software og drivere bør installeres, som kan findes på GPU's respektive hjemmeside. (se materialetabellen for dem, der anvendes i denne undersøgelse).</li>
	<li>
Python 2.7 Installation Åbn en kommandolinjeprompt på computeren. Kommandolinje: sudo apt-get installere python-pip python-dev python-virtualenv</li>
</ol><p class="...

<ol>
	<li>Krakauer, J. W., Ghazanfar, A. A., Gomez-Marin, A., MacIver, M. A., Poeppel, D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Neuroscience+Needs+Behavior:+Correcting+a+Reductionist+Bias.">Neuroscience Needs Behavior: Correcting a Reductionist Bias.</a> Neuron. 93 (3), 480-490 (2017).</li><li>Arac, A., Zhao, P., Dobkin, B. H., Carmichael, S. T., Golshani, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=DeepBehavior:+A+Deep+Learning+Toolbox+for+Automated+Analysis+of+Animal+and+Human+Behavior+Imaging+Data.">DeepBehavior: A Deep Learning Toolbox for Automated Analysis of Animal and Human Behavior Imaging Data.</a> Front Syst Neurosci. 13, 20 (2019).</li><li>Pereira, T. D., Aldarondo, D. E., Willmore, L., Kislin, M., Wang, S. S., Murthy, M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Fast+animal+pose+estimation+using+deep+neural+networks.">Fast animal pose estimation using deep neural networks.</a> Nat Methods. 16 (1), 117-125 (2019).</li><li>Mathis, A., Mamidanna, P., Cury, K. M., Abe, T., Murthy, V. N., Mathis, M. W., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=DeepLabCut:+markerless+pose+estimation+of+user-defined+body+parts+with+deep+learning.">DeepLabCut: markerless pose estimation of user-defined body parts with deep learning.</a> Nat Neurosci. 21 (9), 1281-1289 (2018).</li><li>Stern, U., He, R., Yang, C. H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Analyzing+animal+behavior+via+classifying+each+video+frame+using+convolutional+neural+networks.">Analyzing animal behavior via classifying each video frame using convolutional neural networks.</a> Sci Rep. 5, 14351 (2015).</li><li>Tinbergen, N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=On+aims+and+methods+of+ethology.">On aims and methods of ethology.</a> Zeitschrift fu&#776;r Tierpsychologie. 20, 410-433 (1963).</li><li>LeCun, Y., Bengio, Y., Hinton, G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Deep+Learning.">Deep Learning.</a> Nature. 521 (7553), 436-444 (2015).</li><li>Zhao, Z., Zheng, P., Xu, S., Wu, X. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Object+Detection+With+Deep+Learning:+A+Review.">Object Detection With Deep Learning: A Review.</a> IEEE Transactions on Neural Networks and Learning Systems. , 1-21 (2019).</li><li>He, K., Zhang, X., Ren, S., Deep Sun, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Residual+Learning+for+Image+Recognition.">Residual Learning for Image Recognition.</a> arXiv. , (2015).</li><li>Krizhevsky, A., Sutskever, I., Hinton, G. E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=ImageNet+classification+with+deep+convolutional+neural+networks.">ImageNet classification with deep convolutional neural networks.</a> Proceedings of the 25th International Conference on Neural Information Processing Systems. 1, 1097-1105 (2012).</li><li>Szegedy, C., Wei, L., Yangqing, J., Sermanet, P., Reed, S., Anguelov, D., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Going+deeper+with+convolutions.">Going deeper with convolutions.</a> 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). , 7-12 (2015).</li><li>Stewart, R., Andriluka, M., Ng, A. Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=End-to-End+People+Detection+in+Crowded+Scenes.">End-to-End People Detection in Crowded Scenes.</a> 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). , 27-30 (2016).</li><li>Redmon, J., Farhadi, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=YOLOv3:+An+Incremental+Improvement.">YOLOv3: An Incremental Improvement.</a> arXiv. , (2018).</li><li>Cao, Z., Simon, T., Wei, S. E., Sheikh, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Realtime+Multi-Person+2D+Pose+Estimation+using+Part+Affinity+Fields.">Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields.</a> arXiv. , (2017).</li><li>Simon, T., Joo, H., Matthews, I., Sheikh, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Hand+Keypoint+Detection+in+Single+Images+using+Multiview+Bootstrapping.">Hand Keypoint Detection in Single Images using Multiview Bootstrapping.</a> arXiv. , (2017).</li><li>Wei, S. E., Ramakrishna, V., Kanade, T., Sheikh, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Convolutional+Pose+Machines.">Convolutional Pose Machines.</a> arXiv. , (2016).</li></ol>

Her giver vi en trinvis vejledning til implementering af DeepBehavior, vores nyligt udviklede deep learning baseret værktøjskasse til dyre-og menneskelig adfærd imaging data analyse2. Vi giver detaljerede forklaringer på hvert trin til installation af rammerne for hver netværksarkitektur og indeholder links til installation af open source-kravene for at kunne køre disse rammer. Vi demonstrerer, hvordan du installerer dem, hvordan du opretter træningsdata, hvordan netværket trænes, og hvor...

En detaljeret analyse af adfærd er nøglen til at forstå hjernen og adfærd relationer. Der har været mange spændende fremskridt i metoder til registrering og manipulation af neuronale populationer med høj tidsmæssig opløsning, men adfærdsanalysemetoder har ikke udviklet sig i samme tempo og er begrænset til indirekte målinger og en reduktionistisk tilgang1. For nylig, deep learning baseret metoder er blevet udviklet til at udføre automatiserede og detaljerede adfærd analyse2,3,4,5. Denne protokol indeholder en trinvis implementeringsvejledning til værktøjsboksen DeepBehavior.
Traditionelle adfærdsmæssige analysemetoder omfatter ofte manuelt mærkning af data af flere evaluatorer, hvilket fører til varians i, hvordan eksperimentatorer definerer en adfærd6. Manuel mærkning af dataene kræver tid og ressourcer, der øger uforholdsmæssigt meget i forhold til mængden af indsamlede data. Desuden manuelt mærkede data reducere adfærd resultater i kategoriske målinger, som ikke fange den rigdom af adfærd, og vil være mere subjektive. Således, de nuværende traditionelle metoder kan være begrænset til at fange detaljerne i den naturlige adfærd.
DeepBehavior-værktøjskassen præsenterer en præcis, detaljeret, meget tidsmæssig og automatiseret løsning ved hjælp af deep learning til adfærdsanalyse. Deep learning er hurtigt blevet tilgængelig for alle med open source-værktøjer og pakker. Convolutional neurale netværk (CNNs) har vist sig at være yderst effektiv i objektgenkendelse og sporing opgaver7,8. Ved hjælp af moderne CNN'er og højtydende grafikbehandlingsenheder (GPU'er) kan store billed- og videodatasæt behandles hurtigt med høj præcision7,9,10,11. I DeepBehavior, der er tre forskellige convolutional neurale net arkitekturer, TensorBox, YOLOv3, og OpenPose2.
Den første ramme, Tensorbox, er en alsidig ramme, der inkorporerer mange forskellige CNN arkitekturer til objekt afsløring12. TensorBox er bedst egnet til registrering af kun én objektklasse pr. billede. De resulterende udgange er afgrænsningskasser af det objekt af interesse (figur 1) og de kartesiske koordinater for afgrænsningsrammen.
Den anden CNN ramme er YOLOv3, som står for "You Only Look Once"13. YOLOv3 er fordelagtig, når der er flere objekter af interesse, der skal spores separat. Outputtet af dette netværk omfatter afgrænsningsrammen med den tilknyttede objektetiketklasse samt afgrænsningsrammens kartesiske koordinater for objektet i videorammen (Figur 2).
De to foregående rammer er fordelagtige for generaliserede adfærdsmæssige data indsamlet fra standard laboratorieforsøg hos dyreforsøg. Den sidste CNN ramme er OpenPose14,15,16, som bruges til menneskelige fælles udgør skøn. OpenPose registrerer menneskelige krop, hånd, ansigtsbehandling, og mund centrale punkter på billeder. Udgangene af rammen er mærket billeder af det menneskelige emne samt koordinaterne for alle de 25 centrale punkter i kroppen og 21 centrale punkter i hver hånd (Figur 3).
Denne detaljerede trin-for-trin guide til gennemførelse af vores nyligt udviklede open source DeepBehavior værktøjskasse beskæftiger state-of-the-art convolutional neurale net til at spore dyrs adfærd (f.eks bevægelse af en pote) eller menneskelig adfærd (f.eks nå opgaver). Ved at spore funktionsmåden kan nyttige kinematik udledes af adfærden, f.eks. Protokollen forklarer installationen af hver CNN-arkitektur, viser, hvordan du opretter træningsdatasæt, hvordan man træner netværkene, hvordan man behandler nye videoer på det uddannede netværk, hvordan data udtrækkes fra netværket på de nye videoer, og hvordan du kan efter behandling af outputdataene for at gøre dem nyttige til yderligere analyse.

<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td>CUDA v8.0.61</td>
			<td>NVIDIA</td>
			<td>n/a</td>
			<td>GPU Software</td>
		</tr>
		<tr>
			<td>MATLAB R2016b</td>
			<td>Mathworks</td>
			<td>n/a</td>
			<td>Matlab</td>
		</tr>
		<tr>
			<td>Python 2.7</td>
			<td>Python</td>
			<td>n/a</td>
			<td>Python Version</td>
		</tr>
		<tr>
			<td>Quadro P6000</td>
			<td>NVIDIA</td>
			<td>n/a</td>
			<td>GPU Processor</td>
		</tr>
		<tr>
			<td>Ubuntu v16.04</td>
			<td>Ubuntu</td>
			<td>n/a</td>
			<td>Operating System</td>
		</tr>
	</tbody>
</table>

a step-by-step implementation of deepbehavior, deep learning toolbox for automated behavior analysis

Forståelse adfærd er det første skridt til virkelig at forstå neurale mekanismer i hjernen, der driver det. Traditionelle adfærdsmæssige analysemetoder ofte ikke fange den rigdom iboende den naturlige adfærd. Her giver vi detaljerede trinvise instruktioner med visualiseringer af vores seneste metode, DeepBehavior. DeepBehavior værktøjskassen bruger deep learning rammer bygget med convolutional neurale netværk til hurtigt at behandle og analysere adfærdsmæssige videoer. Denne protokol viser tre forskellige rammer for registrering af enkelte objekter, registrering af flere objekter og tredimensionel (3D) humant sammenstillesporing. Disse rammer returnerer kartesiske koordinater for genstanden af interesse for hver ramme af adfærdsvideoen. Data indsamlet fra værktøjskassen DeepBehavior indeholder langt flere detaljer end traditionelle adfærdsanalysemetoder og giver detaljeret indsigt i adfærdsdynamikken. DeepBehavior kvantificerer adfærdsopgaver på en robust, automatiseret og præcis måde. Efter identifikation af adfærd, efterbehandling kode er fastsat for at udtrække oplysninger og visualiseringer fra adfærdsmæssige videoer.

Når protokollen følges, skal dataene for hver netværksarkitektur svare til følgende. For TensorBox udskriver den en afgrænsningsramme omkring det objekt, der er interessant. I vores eksempel brugte vi videoer fra en madpille, der nåede opgaven, og mærkede de rigtige poter til at spore deres bevægelser. Som det ses i figur 1,kan den rigtige pote detekteres i forskellige positioner i både frontvisning og sidevisning kameraer. Efter efterbehandling med ...

Watch this Scientific Journal Video about A Step-by-Step Implementation of DeepBehavior, Deep Learning Toolbox for Automated Behavior Analysis at JoVE.com

A Step-by-Step Implementation of DeepBehavior, Deep Learning Toolbox for Automated Behavior Analysis

Formålet med denne protokol er at udnytte præ-bygget convolutional neurale net til at automatisere adfærd sporing og udføre detaljerede adfærd analyse. Adfærdssporing kan anvendes på alle videodata eller sekvenser af billeder og kan generelt spores i ethvert brugerdefineret objekt.

En trinvis implementering af DeepBehavior, Deep Learning Toolbox til automatiseret adfærdsanalyse

Understanding behavior is the first step to truly understanding neural mechanisms in the brain that drive it. Traditional behavioral analysis methods ...

Udførelse af en detaljeret adfærdsanalyse er afgørende for at forstå hjernens adfærd forhold. En af de bedste måder at evaluere adfærd er gennem omhyggelige observationer. Men, kvantificere den observerede adfærd er tidskrævende og udfordrende.Klassiske metoder til adfærd analyse er ikke let kvantificerbare og er i sagens natur subjektive. Den seneste udvikling inden for deep learning, en gren af maskinlæring og kunstig intelligens, giver mulighed for automatiseret og objektiv kvantificering af billeder og videoer. Her præsenterer vi vores nyligt udviklede metoder udnytte dybe neurale netværk til at udføre detaljeret adfærdsanalyse hos gnavere og mennesker.Den største fordel ved denne teknik er dens fleksibilitet og anvendelighed til enhver billedbehandling data for adfærdsanalyse. DeepBehavior Toolbox understøtter identifikation af enkelt objekt, registrering af flere objekter og sporing af menneskelig positur. Vi leverer også postbehandlingskoden i MATLAB til mere dybdegående kinematiske analysemetoder.Begynd med at oprette Tensor Box. Aktiver miljøet, og brug derefter GitHub til at klone Tensor Box og installere det på maskinen og på yderligere afhængigheder. Start derefter den grafiske brugergrænseflade til mærkning og mærk mindst 600 billeder fra en bred distribution af funktionsrammer.Hvis du vil mærke et billede, skal du klikke på øverste venstre hjørne af det objekt, der er af interesse, og derefter i nederste højre hjørne. Sørg derefter for, at afgrænsningsboksen fanger hele objektet. Klik ud for at gå til den næste ramme.Hvis du vil sammenkæde træningsbillederne med en netværkshyperparametresfil, skal du overfeat_rezoom. json i en teksteditor og erstatte filstien under train_idl til labels.json. Tilføj derefter den samme filsti under test-idl, og gem ændringerne.Initier uddannelse script, som vil begynde uddannelse for 600, 000 iterationer og generere den deraf følgende uddannede vægte af convolutional neurale netværk i output mappe. Udfør derefter forudsigelse på nye billeder, og se netværkets udgange som markerede billeder og som afgrænsningsbokskoordinater. Installer YOLOv3.Mærk derefter træningsdataene med Yolo_mark ved at placere billederne i mappen Yolo_mark-data-obga og mærke dem en efter en i den grafiske brugergrænseflade. Mærl ca. 200 billeder. Derefter skal du konfigurere konfigurationsfilen.Hvis du vil ændre konfigurationsfilen, skal du åbne YOLO-obj. cfg mappe. Rediger linjerne batch, underinddeling og klasser.Skift derefter filteret for hvert sammenkaldslag før et YOLO-lag. Download netværksvægtene, og placer dem i darknet-buildet. x64 mappe.Kør træningsalgoritmen, og når den er færdig, skal du se gentagelserne. Hvis du vil spore flere kropsdele i et menneskeligt emne, skal du installere OpenPose og derefter bruge den til at behandle den ønskede video. DeepBehavior Toolbox's funktioner blev demonstreret på videoer af mus, der udførte en fødevarepille, der nåede opgaven.Deres højre poter var mærket og bevægelse blev sporet med front og side view kameraer. Efter efterbehandling med kamera kalibrering, 3D baner af rækkevidden blev opnået. Udgange af YOLOv3 er flere afgrænsningsbokse, fordi flere objekter kan spores.Afgrænsningskasserne er omkring de objekter af interesse, som kan være dele af kroppen. I OpenPose, netværket opdaget de fælles positioner og efter efterbehandling med kamera kalibrering, en 3D-model af emnet blev oprettet. Et vigtigt trin, der ikke er omfattet af denne protokol, er at sikre, at din enhed har de relevante Python-versioner og -afhængigheder samt en GPU-konfigureret enhed, før den påbegyndes.Efter en vellykket opnåelse af sporet adfærd fra netværket yderligere efterbehandling kan gøres for yderligere at analysere kinematik og mønstre af adfærd. Hvorfor DeepBehavior Toolbox er gældende for diagnostiske tilgange i sygdomsmodeller af gnavere og forsøgspersoner er ikke direkte terapeutisk fordel. Brug af disse teknikker som et diagnostisk eller prognostisk værktøj er under aktiv forskning i vores laboratorium.Denne teknik bliver brugt til at undersøge neurale mekanismer af dygtige motoriske adfærd hos gnavere samt bliver brugt i kliniske undersøgelser til at evaluere motor opsving hos patienter med neurologiske sygdomme.

Research

JoVE Journal

Behavior

Contextual and Cued Fear Conditioning Test Using a Video Analyzing System in Mice

Kontekstuelle og spolet frem Frygt Conditioning test med en Video Analyse System i mus

The contextual and cued fear conditioning test is one of the behavioral tests that assesses the ability of mice to learn and remember an association ...

Assessment of Social Cognition in Non-human Primates Using a Network of Computerized Automated Learning Device (ALDM) Test Systems

Assessment of Social Cognition in Non-human Primates Using a Network of Computerized Automated Learning Device ALDM Test Systems

Vurdering af Social Cognition i ikke-menneskelige primater Ved hjælp af en netværk af edb Automated Learning Device (ALDM) Test Systems

Fagot &#38; Paleressompoulle1 and Fagot &#38; Bonte2 have published an automated learning device (ALDM) for the study of cognitive abilities of monkeys ...

Quantifying Learning in Young Infants: Tracking Leg Actions During a Discovery-learning Task

Kvantificering Læring i Unge Spædbørn: Tracking Leg Handlinger Under en Discovery-learning Opgave

Task-specific actions emerge from spontaneous movement during infancy. It has been proposed that task-specific actions emerge through a discovery-learning ...

A General Method for Evaluating Deep Brain Stimulation Effects on Intravenous Methamphetamine Self-Administration

En generel metode til evaluering Deep Brain Stimulation Virkninger på intravenøs Metamfetamin selvadministration

Substance use disorders, particularly to methamphetamine, are devastating, relapsing diseases that disproportionally affect young people.  There is a need ...

Protocol for Data Collection and Analysis Applied to Automated Facial Expression Analysis Technology and Temporal Analysis for Sensory Evaluation

Protokol for Dataindsamling og analyse Anvendt til Automatiseret Facial Expression Analyse Teknologi og Temporal Analyse for Sanse Evaluering

We demonstrate a method for capturing emotional response to beverages and liquefied foods in a sensory evaluation laboratory using automated facial ...

Using a Split-belt Treadmill to Evaluate Generalization of Human Locomotor Adaptation

Ved hjælp af en Split-bælte løbebånd at evaluere generalisering af menneskelige bevægeapparatet tilpasning

Understanding the mechanisms underlying locomotor learning helps researchers and clinicians optimize gait retraining as part of motor rehabilitation. ...

Automated Analysis of a Nematode Population-based Chemosensory Preference Assay

Automatiseret analyse af en Nematode Befolkningsbaseret Chemosensory Preference Assay

The nematode, Caenorhabditis elegans' compact nervous system of only 302 neurons underlies a diverse repertoire of behaviors. To facilitate the dissection ...

Stress-Enhanced Fear Learning, a Robust Rodent Model of Post-Traumatic Stress Disorder

Stress-forstærket frygten læring, en Robust gnaver Model af post-traumatisk Stress Disorder

Fear behaviors are important for survival, but disproportionately high levels of fear can increase the vulnerability for developing psychiatric disorders ...

Paw-Print Analysis of Contrast-Enhanced Recordings (PrAnCER): A Low-Cost, Open-Access Automated Gait Analysis System for Assessing Motor Deficits

Paw-Print Analysis of Contrast-Enhanced Recordings PrAnCER: A Low-Cost, Open-Access Automated Gait Analysis System for Assessing Motor Deficits

Paw-print analyse af kontrast-forbedrede optagelser (PrAnCER): en billig, åben adgang automatiseret Gait analyse system til vurdering af motoriske underskud

Gait analysis is used to quantify changes in motor function in many rodent models of disease. Despite the importance of assessing gait and motor function ...

A Methodology for Capturing Joint Visual Attention Using Mobile Eye-Trackers

En metode til at opfange fælles visuel opmærksomhed ved hjælp af mobile Eye-trackers

With the advent of new technological advances, it is possible to study social interactions at a microlevel with unprecedented accuracy. High frequency ...