Name: a step-by-step implementation of deepbehavior, deep learning toolbox for automated behavior analysis
Uploaded: 2020-02-06T15:00:00
Description: Watch this Scientific Journal Video about A Step-by-Step Implementation of DeepBehavior, Deep Learning Toolbox for Automated Behavior Analysis at JoVE.com

我们要感谢赵平平和佩曼·戈尔沙尼为原始论文2中使用的双小鼠社会互动测试提供了原始数据。这项研究得到了NIH NS109315和NVIDIA GPU资助（AA）的支持。

1. GPU 和 Python 设置
<ol><li>
GPU 软件 首次为深度学习应用程序设置计算机时，应安装适合 GPU 的软件和驱动程序，可在 GPU 各自的网站上找到。（参见本研究中使用的材料表）。</li>
	<li>
Python 2.7 安装 在计算机上打开命令行提示符。 命令行： sudo apt-get 安装 python-pip python-dev python-virtualenv</li>
</ol>2. 张力盒
<ol><li>
张力框设?...

<ol>
	<li>Krakauer, J. W., Ghazanfar, A. A., Gomez-Marin, A., MacIver, M. A., Poeppel, D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Neuroscience+Needs+Behavior:+Correcting+a+Reductionist+Bias.">Neuroscience Needs Behavior: Correcting a Reductionist Bias.</a> Neuron. 93 (3), 480-490 (2017).</li><li>Arac, A., Zhao, P., Dobkin, B. H., Carmichael, S. T., Golshani, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=DeepBehavior:+A+Deep+Learning+Toolbox+for+Automated+Analysis+of+Animal+and+Human+Behavior+Imaging+Data.">DeepBehavior: A Deep Learning Toolbox for Automated Analysis of Animal and Human Behavior Imaging Data.</a> Front Syst Neurosci. 13, 20 (2019).</li><li>Pereira, T. D., Aldarondo, D. E., Willmore, L., Kislin, M., Wang, S. S., Murthy, M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Fast+animal+pose+estimation+using+deep+neural+networks.">Fast animal pose estimation using deep neural networks.</a> Nat Methods. 16 (1), 117-125 (2019).</li><li>Mathis, A., Mamidanna, P., Cury, K. M., Abe, T., Murthy, V. N., Mathis, M. W., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=DeepLabCut:+markerless+pose+estimation+of+user-defined+body+parts+with+deep+learning.">DeepLabCut: markerless pose estimation of user-defined body parts with deep learning.</a> Nat Neurosci. 21 (9), 1281-1289 (2018).</li><li>Stern, U., He, R., Yang, C. H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Analyzing+animal+behavior+via+classifying+each+video+frame+using+convolutional+neural+networks.">Analyzing animal behavior via classifying each video frame using convolutional neural networks.</a> Sci Rep. 5, 14351 (2015).</li><li>Tinbergen, N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=On+aims+and+methods+of+ethology.">On aims and methods of ethology.</a> Zeitschrift fu&#776;r Tierpsychologie. 20, 410-433 (1963).</li><li>LeCun, Y., Bengio, Y., Hinton, G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Deep+Learning.">Deep Learning.</a> Nature. 521 (7553), 436-444 (2015).</li><li>Zhao, Z., Zheng, P., Xu, S., Wu, X. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Object+Detection+With+Deep+Learning:+A+Review.">Object Detection With Deep Learning: A Review.</a> IEEE Transactions on Neural Networks and Learning Systems. , 1-21 (2019).</li><li>He, K., Zhang, X., Ren, S., Deep Sun, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Residual+Learning+for+Image+Recognition.">Residual Learning for Image Recognition.</a> arXiv. , (2015).</li><li>Krizhevsky, A., Sutskever, I., Hinton, G. E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=ImageNet+classification+with+deep+convolutional+neural+networks.">ImageNet classification with deep convolutional neural networks.</a> Proceedings of the 25th International Conference on Neural Information Processing Systems. 1, 1097-1105 (2012).</li><li>Szegedy, C., Wei, L., Yangqing, J., Sermanet, P., Reed, S., Anguelov, D., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Going+deeper+with+convolutions.">Going deeper with convolutions.</a> 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). , 7-12 (2015).</li><li>Stewart, R., Andriluka, M., Ng, A. Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=End-to-End+People+Detection+in+Crowded+Scenes.">End-to-End People Detection in Crowded Scenes.</a> 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). , 27-30 (2016).</li><li>Redmon, J., Farhadi, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=YOLOv3:+An+Incremental+Improvement.">YOLOv3: An Incremental Improvement.</a> arXiv. , (2018).</li><li>Cao, Z., Simon, T., Wei, S. E., Sheikh, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Realtime+Multi-Person+2D+Pose+Estimation+using+Part+Affinity+Fields.">Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields.</a> arXiv. , (2017).</li><li>Simon, T., Joo, H., Matthews, I., Sheikh, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Hand+Keypoint+Detection+in+Single+Images+using+Multiview+Bootstrapping.">Hand Keypoint Detection in Single Images using Multiview Bootstrapping.</a> arXiv. , (2017).</li><li>Wei, S. E., Ramakrishna, V., Kanade, T., Sheikh, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Convolutional+Pose+Machines.">Convolutional Pose Machines.</a> arXiv. , (2016).</li></ol>

在这里，我们为实施DeepBehavior提供分步指南，我们最近开发的基于深度学习的工具箱用于动物和人类行为成像数据分析2。我们为每个网络架构的框架安装的每个步骤提供详细说明，并提供用于安装开源要求的链接，以便能够运行这些框架。我们演示如何安装它们，如何创建训练数据，如何训练网络，以及如何在培训的网络上处理新的视频文件。我们还提供后处理代码，以提取进...

对行为的详细分析是理解大脑和行为关系的关键。在记录和操纵具有高时间分辨率的神经元群体的方法上有许多令人振奋的进展，然而，行为分析方法没有以相同的速度发展，并且仅限于间接测量和减少方法1。最近，已经开发出了基于深度学习的方法，以执行自动和详细的行为分析2，3，4，5。此协议为 DeepBehavior 工具箱提供了分步实现指南。
传统的行为分析方法通常包括由多个评估者手动标记数据，导致实验者定义行为6的方式存在差异。手动标记数据需要时间和资源，而时间和资源的增加与收集的数据量不成比例。此外，手动标记数据会将行为结果简化为分类测量，这些测量不能捕获行为的丰富性，并且会更加主观。因此，目前的传统方法在捕捉自然行为的细节时可能受到限制。
DeepBehavior 工具箱提供了一个精确、详细、高度时空和自动化的解决方案，使用深度学习进行行为分析。借助开源工具和软件包，所有人都能快速获得深度学习。卷积神经网络（CNN）被证明是非常有效的对象识别和跟踪任务7，8。使用现代CNN和高性能图形处理单元（GPU），大图像和视频数据集可以快速处理，高精度7，9，10，11。在深度行为中，有三种不同的卷积神经网络架构，TensorBox、YOLOv3 和 OpenPose2。
第一个框架，Tensorbox，是一个多功能的框架，它包含许多不同的CNN架构，用于对象检测12。TensorBox 最适合检测每个图像的一个对象类。生成的输出是目标对象的边界框（图 1）和边界框的点菜坐标。
第二个CNN框架是YOLOv3，它代表"你只看一次"13。当有多个感兴趣的对象必须单独跟踪时，YOLOv3 是有利的。此网络的输出包括带有关联对象标签类的边界框以及视频帧中对象的边界框点菜坐标（图 2）。
前两个框架有利于从动物受试者的标准实验室实验中收集的广义行为数据。最后的CNN框架是OpenPose14，15，16，它用于人类关节姿势估计。OpenPose 可检测图像上的人体、手部、面部和足部关键点。框架的输出标有人体主体的图像，以及身体中所有25个关键点的坐标和每只手的21个关键点（图3）。
这个详细的分步指南用于实施我们最近开发的开源 DeepBehavior 工具箱，它使用最先进的卷积神经网络来跟踪动物行为（例如爪子的运动）或人类行为（例如到达任务）。通过跟踪行为，可以从行为（如位置、速度和加速度）派生有用的运动学。该协议解释了每个 CNN 体系结构的安装，演示如何创建训练数据集、如何训练网络、如何在培训网络上处理新视频、如何从新视频上的网络中提取数据以及如何后处理输出数据，使其可用于进一步分析。

<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td>CUDA v8.0.61</td>
			<td>NVIDIA</td>
			<td>n/a</td>
			<td>GPU Software</td>
		</tr>
		<tr>
			<td>MATLAB R2016b</td>
			<td>Mathworks</td>
			<td>n/a</td>
			<td>Matlab</td>
		</tr>
		<tr>
			<td>Python 2.7</td>
			<td>Python</td>
			<td>n/a</td>
			<td>Python Version</td>
		</tr>
		<tr>
			<td>Quadro P6000</td>
			<td>NVIDIA</td>
			<td>n/a</td>
			<td>GPU Processor</td>
		</tr>
		<tr>
			<td>Ubuntu v16.04</td>
			<td>Ubuntu</td>
			<td>n/a</td>
			<td>Operating System</td>
		</tr>
	</tbody>
</table>

a step-by-step implementation of deepbehavior, deep learning toolbox for automated behavior analysis

理解行为是真正理解大脑中驱动行为的神经机制的第一步。传统的行为分析方法通常不能捕捉自然行为固有的丰富性。在这里，我们提供详细的分步说明，以及我们最近的方法"DeepBehavior"的可视化效果。DeepBehavior 工具箱使用使用卷积神经网络构建的深度学习框架来快速处理和分析行为视频。该协议演示了三种不同的单对象检测、多对象检测和三维（3D）人关节姿势跟踪框架。这些框架返回行为视频每一帧的感兴趣对象的点菜坐标。从 DeepBehavior 工具箱收集的数据包含比传统行为分析方法更多的详细信息，并提供了对行为动态的详细见解。深度行为以稳健、自动化和精确的方式量化行为任务。在识别行为之后，提供后处理代码，以便从行为视频中提取信息和可视化效果。

遵循协议时，每个网络体系结构的数据应类似于以下内容。对于 TensorBox，它输出一个边界框围绕感兴趣的对象。在我们的示例中，我们使用来自食物颗粒到达任务的视频，并标记正确的爪子来跟踪它们的运动。如图1所示，右爪可以在前视图和侧视图摄像机的不同位置被检测到。通过相机校准后进行后处理后，可以获得覆盖的3D轨迹（...

Watch this Scientific Journal Video about A Step-by-Step Implementation of DeepBehavior, Deep Learning Toolbox for Automated Behavior Analysis at JoVE.com

A Step-by-Step Implementation of DeepBehavior, Deep Learning Toolbox for Automated Behavior Analysis

该协议的目的是利用预构建的卷积神经网络来自动执行行为跟踪并执行详细的行为分析。行为跟踪可应用于任何视频数据或图像序列，并可通用跟踪任何用户定义的对象。

用于自动行为分析的深入行为、深度学习工具箱的分步实施

Understanding behavior is the first step to truly understanding neural mechanisms in the brain that drive it. Traditional behavioral analysis methods ...

执行详细的行为分析对于理解大脑行为关系至关重要。评估行为的最佳方法之一是通过仔细的观察。但是，量化观察到的行为既耗时又具有挑战性。经典的行为分析方法不容易量化，本质上是主观的。深度学习（机器学习和人工智能领域的一个分支）的最新发展为图像和视频的自动化和客观量化提供了机会。在这里，我们介绍我们最近开发的方法，利用深度神经网络在啮齿动物和人类中执行详细的行为分析。该技术的主要优点是它的灵活性和适用于任何成像数据的行为分析。DeepBeavior 工具箱支持单对象识别、多对象检测和人姿势跟踪。我们还在 MATLAB 中提供后处理代码，以进行更深入的运动分析方法。首先设置张力箱。激活环境，然后使用 GitHub 克隆 Tensor Box，然后将其安装在计算机和其他依赖项上。接下来，启动标记图形用户界面，从广泛的行为帧分布标记至少 600 张图像。要标记图像，请单击感兴趣对象的左上角，然后单击右下角。然后确保边界框捕获整个对象。单击下一步移动到下一帧。若要将训练映像链接到网络超参数文件，请overfeat_rezoom。json 在文本编辑器中，将文件路径train_idl标签. json。然后在 test-idl 下添加相同的文件路径并保存更改。启动训练脚本，开始训练 600，000 次迭代，并在输出文件夹中生成卷积神经网络的生成训练权重。然后对新图像执行预测，并查看网络的输出为标记图像和边界框坐标。安装 YOLOv3。然后，将图像Yolo_mark Yolo_mark数据 obga 文件夹中，并在图形用户界面中一个一个标记，然后使用图形标记训练数据。标记大约 200 张图像。接下来，设置配置文件。要修改配置文件，请打开 YOLO-obj。cfg 文件夹。修改批处理、细分和类行。然后在 YOLO 层之前更改每个卷积层的过滤器。下载网络权重，将它们放入暗网构建中。x64 文件夹。运行训练算法，一旦它完成查看迭代。要跟踪人体主体中的多个身体部位，请安装 OpenPose，然后使用它来处理所需的视频。在执行食物颗粒到达任务的小鼠视频上演示了深度行为工具箱的功能。他们的右爪被贴上标签，用前视和侧视摄像头跟踪运动。使用摄像机校准后处理后，可获得接触的 3D 轨迹。YOLOv3 的输出是多个边界框，因为可以跟踪多个对象。边界框围绕感兴趣的对象，这些对象可以是身体的一部分。在 OpenPose 中，网络检测到关节位置，在使用摄像机校准进行后处理后，创建了主体的 3D 模型。此协议未涵盖的一个关键步骤是确保您的设备在开始之前具有适当的 Python 版本和依赖项以及 GPU 配置的设备。成功从网络获取跟踪行为后，可以进行额外的后处理，以进一步分析行为的动量和模式。为什么深度行为工具箱适用于啮齿动物和人类受试者疾病模型的诊断方法，这并非直接的治疗益处。这些技术作为诊断或预后工具的使用正在我们的实验室内进行积极研究。该技术用于研究啮齿动物熟练运动行为的神经机制，并用于临床研究，以评估神经系统疾病患者的运动恢复。

Research

JoVE Journal

Behavior

Contextual and Cued Fear Conditioning Test Using a Video Analyzing System in Mice

背景和线索恐惧制约试验小鼠中使用视频分析系统

The contextual and cued fear conditioning test is one of the behavioral tests that assesses the ability of mice to learn and remember an association ...

科研

行为学

Assessment of Social Cognition in Non-human Primates Using a Network of Computerized Automated Learning Device (ALDM) Test Systems

Assessment of Social Cognition in Non-human Primates Using a Network of Computerized Automated Learning Device ALDM Test Systems

社会认知的非人类灵长类动物评估使用电脑自动学习设备（ALDM）测试系统的网络

Fagot &#38; Paleressompoulle1 and Fagot &#38; Bonte2 have published an automated learning device (ALDM) for the study of cognitive abilities of monkeys ...

Quantifying Learning in Young Infants: Tracking Leg Actions During a Discovery-learning Task

量化学习婴幼儿：跟踪腿操作期间发现，学习任务

Task-specific actions emerge from spontaneous movement during infancy. It has been proposed that task-specific actions emerge through a discovery-learning ...

A General Method for Evaluating Deep Brain Stimulation Effects on Intravenous Methamphetamine Self-Administration

一般方法评估对静脉注射甲基苯丙胺的自我管理深部脑刺激的影响

Substance use disorders, particularly to methamphetamine, are devastating, relapsing diseases that disproportionally affect young people.  There is a need ...

Protocol for Data Collection and Analysis Applied to Automated Facial Expression Analysis Technology and Temporal Analysis for Sensory Evaluation

协议进行数据采集和分析应用到自动人脸表情分析技术和时序分析感官评价

We demonstrate a method for capturing emotional response to beverages and liquefied foods in a sensory evaluation laboratory using automated facial ...

Using a Split-belt Treadmill to Evaluate Generalization of Human Locomotor Adaptation

用分体式跑步机评价人类运动适应的泛化

Understanding the mechanisms underlying locomotor learning helps researchers and clinicians optimize gait retraining as part of motor rehabilitation. ...

Automated Analysis of a Nematode Population-based Chemosensory Preference Assay

基于线虫人群的化学感应优选测定的自动分析

The nematode, Caenorhabditis elegans' compact nervous system of only 302 neurons underlies a diverse repertoire of behaviors. To facilitate the dissection ...

Stress-Enhanced Fear Learning, a Robust Rodent Model of Post-Traumatic Stress Disorder

压力增强恐惧学习--创伤后应激障碍的健壮啮齿动物模型

Fear behaviors are important for survival, but disproportionately high levels of fear can increase the vulnerability for developing psychiatric disorders ...

Paw-Print Analysis of Contrast-Enhanced Recordings (PrAnCER): A Low-Cost, Open-Access Automated Gait Analysis System for Assessing Motor Deficits

Paw-Print Analysis of Contrast-Enhanced Recordings PrAnCER: A Low-Cost, Open-Access Automated Gait Analysis System for Assessing Motor Deficits

对比度增强记录 (PrAnCER) 的爪打印分析:用于评估电机缺陷的低成本、开放访问自动步态分析系统

Gait analysis is used to quantify changes in motor function in many rodent models of disease. Despite the importance of assessing gait and motor function ...

A Methodology for Capturing Joint Visual Attention Using Mobile Eye-Trackers

使用移动眼动追踪器捕捉联合视觉注意力的方法

With the advent of new technological advances, it is possible to study social interactions at a microlevel with unprecedented accuracy. High frequency ...