Name: a step-by-step implementation of deepbehavior, deep learning toolbox for automated behavior analysis
Uploaded: 2020-02-06T15:00:00
Description: Watch this Scientific Journal Video about A Step-by-Step Implementation of DeepBehavior, Deep Learning Toolbox for Automated Behavior Analysis at JoVE.com

Vi vil gjerne takke Pingping Zhao og Peyman Golshani for å gi rådataene for to-mus sosiale interaksjonstester som brukes i det opprinnelige papiret2. Denne studien ble støttet av NIH NS109315 og NVIDIA GPU-tilskudd (AA).

1. GPU- og Python-oppsett
<ol><li>
GPU-programvare Når datamaskinen først er satt opp for dype læringsprogrammer, bør GPU-passende programvare og drivere installeres som finnes på GPU's respektive nettsted. (se materialtabellen for de som brukes i denne studien).</li>
	<li>
Python 2.7 Installasjon Åpne en ledetekst på maskinen. Kommandolinje: sudo apt-get installere python-pip python-dev python-virtualenv</li>
</ol>2. TENS...

<ol>
	<li>Krakauer, J. W., Ghazanfar, A. A., Gomez-Marin, A., MacIver, M. A., Poeppel, D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Neuroscience+Needs+Behavior:+Correcting+a+Reductionist+Bias.">Neuroscience Needs Behavior: Correcting a Reductionist Bias.</a> Neuron. 93 (3), 480-490 (2017).</li><li>Arac, A., Zhao, P., Dobkin, B. H., Carmichael, S. T., Golshani, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=DeepBehavior:+A+Deep+Learning+Toolbox+for+Automated+Analysis+of+Animal+and+Human+Behavior+Imaging+Data.">DeepBehavior: A Deep Learning Toolbox for Automated Analysis of Animal and Human Behavior Imaging Data.</a> Front Syst Neurosci. 13, 20 (2019).</li><li>Pereira, T. D., Aldarondo, D. E., Willmore, L., Kislin, M., Wang, S. S., Murthy, M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Fast+animal+pose+estimation+using+deep+neural+networks.">Fast animal pose estimation using deep neural networks.</a> Nat Methods. 16 (1), 117-125 (2019).</li><li>Mathis, A., Mamidanna, P., Cury, K. M., Abe, T., Murthy, V. N., Mathis, M. W., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=DeepLabCut:+markerless+pose+estimation+of+user-defined+body+parts+with+deep+learning.">DeepLabCut: markerless pose estimation of user-defined body parts with deep learning.</a> Nat Neurosci. 21 (9), 1281-1289 (2018).</li><li>Stern, U., He, R., Yang, C. H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Analyzing+animal+behavior+via+classifying+each+video+frame+using+convolutional+neural+networks.">Analyzing animal behavior via classifying each video frame using convolutional neural networks.</a> Sci Rep. 5, 14351 (2015).</li><li>Tinbergen, N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=On+aims+and+methods+of+ethology.">On aims and methods of ethology.</a> Zeitschrift fu&#776;r Tierpsychologie. 20, 410-433 (1963).</li><li>LeCun, Y., Bengio, Y., Hinton, G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Deep+Learning.">Deep Learning.</a> Nature. 521 (7553), 436-444 (2015).</li><li>Zhao, Z., Zheng, P., Xu, S., Wu, X. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Object+Detection+With+Deep+Learning:+A+Review.">Object Detection With Deep Learning: A Review.</a> IEEE Transactions on Neural Networks and Learning Systems. , 1-21 (2019).</li><li>He, K., Zhang, X., Ren, S., Deep Sun, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Residual+Learning+for+Image+Recognition.">Residual Learning for Image Recognition.</a> arXiv. , (2015).</li><li>Krizhevsky, A., Sutskever, I., Hinton, G. E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=ImageNet+classification+with+deep+convolutional+neural+networks.">ImageNet classification with deep convolutional neural networks.</a> Proceedings of the 25th International Conference on Neural Information Processing Systems. 1, 1097-1105 (2012).</li><li>Szegedy, C., Wei, L., Yangqing, J., Sermanet, P., Reed, S., Anguelov, D., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Going+deeper+with+convolutions.">Going deeper with convolutions.</a> 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). , 7-12 (2015).</li><li>Stewart, R., Andriluka, M., Ng, A. Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=End-to-End+People+Detection+in+Crowded+Scenes.">End-to-End People Detection in Crowded Scenes.</a> 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). , 27-30 (2016).</li><li>Redmon, J., Farhadi, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=YOLOv3:+An+Incremental+Improvement.">YOLOv3: An Incremental Improvement.</a> arXiv. , (2018).</li><li>Cao, Z., Simon, T., Wei, S. E., Sheikh, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Realtime+Multi-Person+2D+Pose+Estimation+using+Part+Affinity+Fields.">Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields.</a> arXiv. , (2017).</li><li>Simon, T., Joo, H., Matthews, I., Sheikh, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Hand+Keypoint+Detection+in+Single+Images+using+Multiview+Bootstrapping.">Hand Keypoint Detection in Single Images using Multiview Bootstrapping.</a> arXiv. , (2017).</li><li>Wei, S. E., Ramakrishna, V., Kanade, T., Sheikh, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Convolutional+Pose+Machines.">Convolutional Pose Machines.</a> arXiv. , (2016).</li></ol>

Her gir vi en trinnvis veiledning for implementering av DeepBehavior, vår nylig utviklede dyplæringsbaserte verktøykasse for dataanalyse av data analyse av data for dyre- og menneskelig atferdbildebehandling 2. Vi gir detaljerte forklaringer for hvert trinn for installasjon av rammeverkene for hver nettverksarkitektur, og gir koblinger for installasjon av kravene til åpen kildekode for å kunne kjøre disse rammene. Vi viser hvordan du installerer dem, hvordan du oppretter opplæringsdata, hvo...

En detaljert analyse av atferd er nøkkelen til å forstå hjernen og atferdsrelasjoner. Det har vært mange spennende fremskritt i metoder for opptak og manipulering av nevronale populasjoner med høy timelig oppløsning, men atferdsanalysemetoder har ikke utviklet seg i samme hastighet og er begrenset til indirekte målinger og en reduksjonistisk tilnærming1. Nylig har dyp læring basert metoder blitt utviklet for å utføre automatisert og detaljert atferdsanalyse2,3,4,5. Denne protokollen inneholder en trinnvis implementeringsveiledning for DeepBehavior-verktøykassen.
Tradisjonelle atferdsanalysemetoder inkluderer ofte manuell merking av data ved flere evaluatorer, noe som fører til varians i hvordan eksperimenterere definerer en virkemåte6. Manuell merking av dataene krever tid og ressurser som øker uforholdsmessig til mengden data som samles inn. Videre reduserer manuelt merkede data atferdsresultatene til kategoriske målinger som ikke fanger opp atferdens rikdom, og vil være mer subjektive. Dermed kan dagens tradisjonelle metoder være begrenset i å fange detaljene i den naturlige atferden.
DeepBehavior-verktøykassen presenterer en presis, detaljert, svært tidsmessig og automatisert løsning ved hjelp av dyp læring for atferdsanalyse. Dyp læring har raskt blitt tilgjengelig for alle med åpen kildekode verktøy og pakker. Convolutional nevrale nettverk (CNNer) er bevist å være svært effektive i objektgjenkjenning og sporing oppgaver7,8. Ved hjelp av moderne CNNer og høyytelses grafikkbehandlingsenheter (GPU-er) kan store bilde- og videodatasett behandles raskt med høy presisjon7,9,10,11. I DeepBehavior er det tre forskjellige convolutional neural net architectures, TensorBox, YOLOv3 og OpenPose2.
Det første rammeverket, Tensorbox, er et allsidig rammeverk som inkorporerer mange forskjellige CNN-arkitekturer for objektdeteksjon12. TensorBox er best egnet for å oppdage bare én objektklasse per bilde. De resulterende utgangene er grenser bokser av objektet av interesse (Figur 1) og kartesiske koordinater av markeringsboksen.
Den andre CNN rammeverket er YOLOv3, som står for "You Only Look Once"13. YOLOv3 er fordelaktig når det er flere objekter av interesse som må spores separat. Utdataene for dette nettverket inkluderer markeringsboksen med den tilknyttede objektetikettklassen samt markeringsboksen kartesiske koordinater for objektet i videorammen (figur 2).
De to foregående rammeverkene er fordelaktige for generaliserte atferdsdata samlet inn fra standard laboratorieforsøk hos dyreforsøk. Det siste CNN-rammeverket er OpenPose14,15,16 som brukes til menneskelig felles positurestimering. OpenPose oppdager menneskelige kropp, hånd, ansikts- og fotnøkkelpunkter på bilder. Utdataene av rammeverket er merket bilder av det menneskelige motivet, samt koordinatene til alle de 25 nøkkelpunktene i kroppen og 21 nøkkelpunkter for hver hånd (figur 3).
Denne detaljerte trinnvise veiledningen for implementering av vår nylig utviklede open-source DeepBehavior verktøykasse bruker toppmoderne convolutional nevrale nett for å spore dyratferd (f.eks. bevegelse av en pote) eller menneskelig oppførsel (f.eks. nå oppgaver). Ved å spore virkemåten kan nyttige kinematikk utledes fra virkemåten som posisjon, hastighet og akselerasjon. Protokollen forklarer installasjonen av hver CNN-arkitektur, demonstrerer hvordan du oppretter opplæringsdatasett, hvordan du trener nettverkene, hvordan du behandler nye videoer på det trente nettverket, hvordan du pakker ut dataene fra nettverket på de nye videoene, og hvordan du utdata for å gjøre det nyttig for videre analyse.

<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td>CUDA v8.0.61</td>
			<td>NVIDIA</td>
			<td>n/a</td>
			<td>GPU Software</td>
		</tr>
		<tr>
			<td>MATLAB R2016b</td>
			<td>Mathworks</td>
			<td>n/a</td>
			<td>Matlab</td>
		</tr>
		<tr>
			<td>Python 2.7</td>
			<td>Python</td>
			<td>n/a</td>
			<td>Python Version</td>
		</tr>
		<tr>
			<td>Quadro P6000</td>
			<td>NVIDIA</td>
			<td>n/a</td>
			<td>GPU Processor</td>
		</tr>
		<tr>
			<td>Ubuntu v16.04</td>
			<td>Ubuntu</td>
			<td>n/a</td>
			<td>Operating System</td>
		</tr>
	</tbody>
</table>

a step-by-step implementation of deepbehavior, deep learning toolbox for automated behavior analysis

Forstå atferd er det første skrittet for å virkelig forstå nevrale mekanismer i hjernen som driver den. Tradisjonelle atferdsanalysemetoder fanger ofte ikke rikdommen som ligger i den naturlige oppførselen. Her gir vi detaljerte trinnvise instruksjoner med visualiseringer av vår nylige metodikk, DeepBehavior. DeepBehavior-verktøykassen bruker dype læringsrammer bygget med convolutional nevrale nettverk for raskt å behandle og analysere atferdsvideoer. Denne protokollen demonstrerer tre forskjellige rammeverk for registrering av enkeltobjekt, registrering av flere objekter og tredimensjonal (3D) menneskelig felles positursporing. Disse rammeverkene returnerer kartesiske koordinater til objektet av interesse for hver ramme av atferdsvideoen. Data som samles inn fra DeepBehavior-verktøykassen, inneholder mye mer detaljer enn tradisjonelle atferdsanalysemetoder og gir detaljert innsikt i atferdsdynamikken. DeepBehavior kvantifiserer atferdsoppgaver på en robust, automatisert og presis måte. Etter identifisering av virkemåte gis etterbehandlingskode for å trekke ut informasjon og visualiseringer fra atferdsvideoene.

Når protokollen følges, bør dataene for hver nettverksarkitektur være lik følgende. For TensorBox sender den ut en markeringsboks rundt objektet av interesse. I vårt eksempel brukte vi videoer fra en matpellet som nådde oppgaven, og merket de riktige potene for å spore bevegelsen. Som vist i figur 1, kan høyre pote oppdages i forskjellige posisjoner i både front- og sidevisning-kameraer. Etter etterbehandling med kamerakalibrering kan 3D-baner av re...

Watch this Scientific Journal Video about A Step-by-Step Implementation of DeepBehavior, Deep Learning Toolbox for Automated Behavior Analysis at JoVE.com

A Step-by-Step Implementation of DeepBehavior, Deep Learning Toolbox for Automated Behavior Analysis

Formålet med denne protokollen er å bruke forhåndsbygde konvolutionale nevrale nett for å automatisere atferdssporing og utføre detaljert atferdsanalyse. Atferdssporing kan brukes på alle videodata eller sekvenser av bilder og kan generaliseres for å spore et hvilket som helst brukerdefinert objekt.

En trinnvis implementering av DeepBehavior, Deep Learning Toolbox for automatisert atferdsanalyse

Understanding behavior is the first step to truly understanding neural mechanisms in the brain that drive it. Traditional behavioral analysis methods ...

Å utføre en detaljert atferdsanalyse er avgjørende for å forstå hjernens atferdsforhold. En av de beste måtene å evaluere atferd på er gjennom nøye observasjoner. Det er imidlertid tidkrevende og utfordrende å kvantifisere den observerte atferden.Klassiske metoder for atferdsanalyse er ikke lett kvantifiserbare og er iboende subjektive. Den siste utviklingen innen dyp læring, en gren av maskinlærings- og kunstig intelligens-felt, gir muligheter for automatisert og objektiv kvantifisering av bilder og videoer. Her presenterer vi våre nylig utviklede metoder ved hjelp av dype nevrale nettverk for å utføre detaljert atferdsanalyse hos gnagere og mennesker.Den største fordelen med denne teknikken er fleksibiliteten og anvendelsen for bildedata for atferdsanalyse. DeepBehavior Toolbox støtter identifikasjon av enkeltobjekter, multiobjektgjenkjenning og menneskelig positursporing. Vi tilbyr også etterbehandlingskoden i MATLAB for mer grundige kinematiske analysemetoder.Begynn med å sette opp Tensor Box. Aktiver miljøet, bruk deretter GitHub til å klone Tensor Box og installere den på maskinen og på flere avhengigheter. Deretter starter du det grafiske brukergrensesnittet for merking og merker minst 600 bilder fra en bred fordeling av atferdsrammer.Hvis du vil merke et bilde, klikker du øverst til venstre i objektet av interesse og deretter nederst til høyre. Kontroller deretter at markeringsboksen fanger opp hele objektet. Klikk ved siden av for å gå til neste ramme.Hvis du vil koble treningsbildene til en nettverkshyperparameterfil, åpner du overfeat_rezoom. json i et tekstredigeringsprogram og erstatte filbanen under train_idl til labels.json. Legg deretter til samme filbane under test-idl og lagre endringene.Initier treningsskriptet som vil begynne å trene for 600 000 iterasjoner og generere de resulterende trente vektene til det convolutionale nevrale nettverket i utdatamappen. Utfør deretter prediksjon på nye bilder, og vis utgangene på nettverket som merkede bilder og som markeringsbokskoordinater. Installere YOLOv3.Deretter merker du treningsdataene med Yolo_mark ved å plassere bildene i mappen Yolo_mark-data-obga og merke dem en etter en i det grafiske brukergrensesnittet. Merk ca. 200 bilder. Deretter konfigurerer du konfigurasjonsfilen.Hvis du vil endre konfigurasjonsfilen, åpner du YOLO-obj. cfg-mappen. Endre linjene for parti, underinndeling og klasser.Deretter endrer du filteret for hvert konveksjonslag før et YOLO-lag. Last ned nettverksvektene og plasser dem i darknet-build. x64-mappen.Kjør treningsalgoritmen, og når den er fullført, kan du vise iterasjonene. For å spore flere kroppsdeler i et menneskelig emne, installer OpenPose og bruk den til å behandle ønsket video. Egenskapene til DeepBehavior Toolbox ble demonstrert på videoer av mus som utfører en matpellet som nådde oppgaven.Deres høyre poter ble merket og bevegelse ble sporet med front- og sidevisningskameraer. Etter etterbehandling med kamerakalibrering ble 3D-baner av rekkevidde oppnådd. Utgangene på YOLOv3 er flere markeringsbokser fordi flere objekter kan spores.Markeringsboksene er rundt gjenstandene av interesse som kan være deler av kroppen. I OpenPose oppdaget nettverket fellesposisjonene, og etter etterbehandling med kamerakalibrering ble det opprettet en 3D-modell av motivet. Et kritisk trinn som ikke dekkes i denne protokollen, er å sikre at enheten har de riktige Python-versjonene og avhengighetene, samt en GPU-konfigurert enhet før du begynner.Etter vellykket å få sporvirkemåten fra nettverket ytterligere etterbehandling kan gjøres for å analysere kinematikk og mønstre av atferd. Hvorfor DeepBehavior Toolbox gjelder for diagnostiske tilnærminger i sykdomsmodeller av gnagere og mennesker, er ikke direkte terapeutisk fordel. Bruk av disse teknikkene som et diagnostisk eller prognostisk verktøy er under aktiv forskning i laboratoriet vårt.Denne teknikken brukes til å undersøke nevrale mekanismer for dyktig motorisk oppførsel hos gnagere, samt brukes i kliniske studier for å evaluere motorisk gjenoppretting hos pasienter med nevrologiske sykdommer.

Research

JoVE Journal

Behavior

Contextual and Cued Fear Conditioning Test Using a Video Analyzing System in Mice

Kontekstuell og spolt Fear Conditioning Test Bruke en video Analysere System i Mus

The contextual and cued fear conditioning test is one of the behavioral tests that assesses the ability of mice to learn and remember an association ...

Assessment of Social Cognition in Non-human Primates Using a Network of Computerized Automated Learning Device (ALDM) Test Systems

Assessment of Social Cognition in Non-human Primates Using a Network of Computerized Automated Learning Device ALDM Test Systems

Vurdering av Social Cognition i ikke-menneskelige primater Bruke et nettverk av datastyrt automatikk Learning Device (ALDM) Test Systems

Fagot &#38; Paleressompoulle1 and Fagot &#38; Bonte2 have published an automated learning device (ALDM) for the study of cognitive abilities of monkeys ...

Quantifying Learning in Young Infants: Tracking Leg Actions During a Discovery-learning Task

Kvantifisere læring i små spedbarn: Tracking Leg Handlinger Under en Discovery-læring Oppgave

Task-specific actions emerge from spontaneous movement during infancy. It has been proposed that task-specific actions emerge through a discovery-learning ...

A General Method for Evaluating Deep Brain Stimulation Effects on Intravenous Methamphetamine Self-Administration

En generell metode for å evaluere dyp hjernestimulering Påvirkning av Intravenøs Metamfetamin Self-Administration

Substance use disorders, particularly to methamphetamine, are devastating, relapsing diseases that disproportionally affect young people.  There is a need ...

Protocol for Data Collection and Analysis Applied to Automated Facial Expression Analysis Technology and Temporal Analysis for Sensory Evaluation

Protokoll for datainnsamling og analyse for automatiserte Facial Expression Analysis Teknologi og Temporal analyse for sensorisk evaluering

We demonstrate a method for capturing emotional response to beverages and liquefied foods in a sensory evaluation laboratory using automated facial ...

Using a Split-belt Treadmill to Evaluate Generalization of Human Locomotor Adaptation

Bruke en Split-beltet tredemølle evaluere generalisering av menneskelig Locomotor tilpasning

Understanding the mechanisms underlying locomotor learning helps researchers and clinicians optimize gait retraining as part of motor rehabilitation. ...

Automated Analysis of a Nematode Population-based Chemosensory Preference Assay

Automatisert analyse av en nematode-populasjonsbasert kjemosensorisk preferanseanalyse

The nematode, Caenorhabditis elegans' compact nervous system of only 302 neurons underlies a diverse repertoire of behaviors. To facilitate the dissection ...

Stress-Enhanced Fear Learning, a Robust Rodent Model of Post-Traumatic Stress Disorder

Stress-forbedret frykt læring, en Robust gnager modell av posttraumatisk stresslidelse

Fear behaviors are important for survival, but disproportionately high levels of fear can increase the vulnerability for developing psychiatric disorders ...

Paw-Print Analysis of Contrast-Enhanced Recordings (PrAnCER): A Low-Cost, Open-Access Automated Gait Analysis System for Assessing Motor Deficits

Paw-Print Analysis of Contrast-Enhanced Recordings PrAnCER: A Low-Cost, Open-Access Automated Gait Analysis System for Assessing Motor Deficits

Pote-avtrykk analyse av kontrasten-forsterket registreringene (narrestreker): en lav-bekostning, åpen-adgang automatisert gå analyse system for vurderingen motor underskudd

Gait analysis is used to quantify changes in motor function in many rodent models of disease. Despite the importance of assessing gait and motor function ...

A Methodology for Capturing Joint Visual Attention Using Mobile Eye-Trackers

En metode for å fange felles visuell oppmerksomhet ved hjelp av mobile Eye-trackere

With the advent of new technological advances, it is possible to study social interactions at a microlevel with unprecedented accuracy. High frequency ...