执行详细的行为分析对于理解大脑行为关系至关重要。评估行为的最佳方法之一是通过仔细的观察。但是,量化观察到的行为既耗时又具有挑战性。
经典的行为分析方法不容易量化,本质上是主观的。深度学习(机器学习和人工智能领域的一个分支)的最新发展为图像和视频的自动化和客观量化提供了机会。在这里,我们介绍我们最近开发的方法,利用深度神经网络在啮齿动物和人类中执行详细的行为分析。
该技术的主要优点是它的灵活性和适用于任何成像数据的行为分析。DeepBeavior 工具箱支持单对象识别、多对象检测和人姿势跟踪。我们还在 MATLAB 中提供后处理代码,以进行更深入的运动分析方法。
首先设置张力箱。激活环境,然后使用 GitHub 克隆 Tensor Box,然后将其安装在计算机和其他依赖项上。接下来,启动标记图形用户界面,从广泛的行为帧分布标记至少 600 张图像。
要标记图像,请单击感兴趣对象的左上角,然后单击右下角。然后确保边界框捕获整个对象。单击下一步移动到下一帧。
若要将训练映像链接到网络超参数文件,请overfeat_rezoom。json 在文本编辑器中,将文件路径train_idl标签. json。然后在 test-idl 下添加相同的文件路径并保存更改。
启动训练脚本,开始训练 600,000 次迭代,并在输出文件夹中生成卷积神经网络的生成训练权重。然后对新图像执行预测,并查看网络的输出为标记图像和边界框坐标。安装 YOLOv3。
然后,将图像Yolo_mark Yolo_mark数据 obga 文件夹中,并在图形用户界面中一个一个标记,然后使用图形标记训练数据。标记大约 200 张图像。接下来,设置配置文件。
要修改配置文件,请打开 YOLO-obj。cfg 文件夹。修改批处理、细分和类行。
然后在 YOLO 层之前更改每个卷积层的过滤器。下载网络权重,将它们放入暗网构建中。x64 文件夹。
运行训练算法,一旦它完成查看迭代。要跟踪人体主体中的多个身体部位,请安装 OpenPose,然后使用它来处理所需的视频。在执行食物颗粒到达任务的小鼠视频上演示了深度行为工具箱的功能。
他们的右爪被贴上标签,用前视和侧视摄像头跟踪运动。使用摄像机校准后处理后,可获得接触的 3D 轨迹。YOLOv3 的输出是多个边界框,因为可以跟踪多个对象。
边界框围绕感兴趣的对象,这些对象可以是身体的一部分。在 OpenPose 中,网络检测到关节位置,在使用摄像机校准进行后处理后,创建了主体的 3D 模型。此协议未涵盖的一个关键步骤是确保您的设备在开始之前具有适当的 Python 版本和依赖项以及 GPU 配置的设备。
成功从网络获取跟踪行为后,可以进行额外的后处理,以进一步分析行为的动量和模式。为什么深度行为工具箱适用于啮齿动物和人类受试者疾病模型的诊断方法,这并非直接的治疗益处。这些技术作为诊断或预后工具的使用正在我们的实验室内进行积极研究。
该技术用于研究啮齿动物熟练运动行为的神经机制,并用于临床研究,以评估神经系统疾病患者的运动恢复。