使用多功能自制摄像机和 DeepLabCut 跟踪操作调节室中的大鼠

摘要

该协议描述了如何构建小型多功能摄像机，以及如何使用从中获得的视频来训练神经网络来跟踪动物在操作调节室中的位置。这是对从操作调理测试中获得的数据日志的标准分析的宝贵补充。

摘要

操作调理室用于在神经科学领域进行广泛的行为测试。记录的数据通常基于腔室内存在的杠杆和鼻戳传感器的触发。虽然这提供了动物执行某些响应的时和方式的详细视图，但它不能用于评估不触发任何传感器的行为。因此，评估动物如何定位自己和在室内移动是很难的。为了获得这些信息，研究人员通常必须录制和分析视频。操作调节室的制造商通常可以为客户提供高质量的摄像机设置。但是，这些可能非常昂贵，不一定适合来自其他制造商或其他行为测试设置的腔室。当前协议描述了如何使用爱好电子元件构建廉价且多功能的摄像机。它进一步描述了如何使用图像分析软件包 DeepLabCut 跟踪强光信号的状态，以及大鼠的位置，在从操作调节室收集的视频中。前者在涵盖整个测试会话的视频中选择感兴趣的短段时有很大的帮助，后者能够分析无法从操作室生成的数据日志中获得的参数。

引言

在行为神经科学领域，研究人员通常使用操作调节室来评估啮齿动物中各种不同的认知和精神特征。虽然有一些不同的制造商的这种系统，他们通常共享某些属性，并具有几乎标准化的设计^{1,1，2，3。,3}房间一般为方形或长方形，其中一面墙可以打开，将动物放在里面，其余一面或两面墙内有一个或两个墙，里面装着诸如杠杆、鼻戳开口、奖励托盘、响应轮和各种^{1、2、32灯等部件}。¹腔室中的灯和传感器用于控制测试规程和^,跟踪动物的行为^{1，2，3，4，5。2,34,51}典型的操作调节系统允许非常详细的分析动物如何与不同操作和开口在房间中相互作用。通常，任何触发传感器的场合都可以由系统记录，用户可以在此数据中获取详细的日志文件，描述动物在测试^{4、 5的特定}步骤^{中做了什么}。虽然这提供了动物性能的广泛表示，但它只能用于描述直接触发一个或多个传感器^{4，5,的行为}。因此，与动物在测试的不同阶段如何定位和在室内移动有关的方面，并没有很好地描述^{6、7、8、9、10。,8,9,106,}这是不幸的，因为这些信息对于充分了解动物的行为是有价值的。例如，它可以用来澄清为什么某些动物在给定的测试^6上表现不佳，来描述动物可能发展的策略^,，以^处理困难的任务6，7，8，9，10，或欣赏所谓的^8,9,10简单行为^{,711，12,的真正复杂性}。为了获得如此清晰的信息，研究人员通常转向^,对^,,视频6、7、8、9、10、11^{,7,8的手动分析}。⁹¹⁰

当从操作调节室录制视频时，相机的选择至关重要。房间通常位于隔离的隔间，协议经常利用步骤，没有可见光闪耀^{3，6，7，8，9。6,7,8,93}因此，有必要将红外 （IR） 照明与红外感应摄像机结合使用，因为它即使在完全黑暗中也允许能见度。此外，在隔离隔间内放置摄像机的空间通常非常有限，这意味着使用具有宽视场（例如鱼眼镜片）的小型摄像机对⁹有强烈好处。虽然操作式调理系统的制造商通常可以为客户提供高质量的摄像机设置，但这些系统可能非常昂贵，不一定适合其他制造商的机室或其他行为测试的装置。然而，与使用独立摄像机的一个显著好处是，这些设置通常可以直接与操作调理系统^{13，14接口}。^13,通过此，可以设置它们仅记录特定事件，而不是完整的测试会话，这极大地有助于以下分析。

当前协议描述了如何使用爱好电子元件构建廉价且多功能的摄像机。该摄像机使用鱼眼镜头，对红外照明敏感，并连接到一组红外发光二极管 （IR LED）。此外，它是为了有一个平坦和苗条的轮廓。这些方面共同使得它非常适合从大多数市售的可操作的调理室以及其他行为测试设置录制视频。该协议进一步描述了如何处理使用相机获得的视频，以及如何使用软件包 DeepLabCut^15，16来帮助提取感兴趣的视频序列以及跟踪动物在其中的运动。^15,这在一定程度上避免了使用独立摄像机对调理系统操作制造商提供的集成解决方案的回拉，并为手动行为评分提供了补充。

已作出努力，以一般格式编写协议，以强调整个过程可以适应不同操作调理测试的视频。为了说明某些关键概念，使用执行 5 选择串行反应时间测试 （5CSRTT）¹⁷ 的大鼠视频作为示例。

研究方案

所有包括动物处理的程序都已经获得马尔默-隆德动物研究伦理委员会的批准。

1. 构建摄像机

注:材料表中提供了构建摄像机所需的组件列表。也请参阅图1，图 2，图 3，图 4，图 5。

1. 将磁性金属环（与鱼眼镜头包一起）连接到摄像机支架的开口周围（图 2A）。这将允许鱼眼镜头被放置在相机前面。
2. 将相机模块连接到摄像机支架（图2B）。这将给摄像机模块带来一些稳定性，并给电子电路提供一些保护。
3. 通过轻轻拉动其塑料夹的边缘（图2C），打开相机模块和微型计算机上的摄像机端口（图1）。
4. 将带状电缆放在摄像机端口中，使银色连接器朝向电路板（图2C）。通过推入摄像机端口的塑料夹，将电缆锁定到位。
5. 将微型计算机放在塑料盒中，然后插入列出的微型 SD 卡（图 2D）。
   注:微型SD卡将用作微机的硬盘，并包含一个完整的操作系统。列出的微型 SD 卡附带预安装管理器（新的开箱即用软件 （NOOBS）。作为替代方案，您可以将最新版本的微型计算机操作系统（Raspbian 或 Rasberry Pi OS）的图像写入通用微型 SD 卡。有关此帮助，请参阅官方网站资源¹⁸。最好使用具有 32 Gb 存储空间的 10 级微型 SD 卡。较大的 SD 卡可能无法与列出的微计算机完全兼容。
6. 将显示器、键盘和鼠标连接到微型计算机，然后连接其电源。
7. 按照安装指南提示的步骤执行微机操作系统（Raspbian 或 Rasberry Pi OS）的完整安装。当微型计算机启动后，请确保通过以太网电缆或 Wi-Fi 连接到互联网。
8. 按照下面概述的步骤更新微机预装的软件包。
   1. 打开终端窗口（图 3A）。
   2. 键入"sudo apt-get 更新"（不包括引号），然后按 Enter 键（图 3B）。等待进程完成。
   3. 键入"sudo apt 完全升级"（不包括引号）并按 enter。在提示时进行按钮响应，并等待进程完成。
9. 在"开始"菜单下，选择"首选项"和"树莓派配置"（图 3C）。在打开的窗口中，转到"接口"选项卡，然后单击"启用相机"和"I2C"。这是微型计算机使用摄像机和红外 LED 模块时需要的。
10. 将 补充文件 1 重命名为"Pi_video_camera_Clemensson_2019.py"。将其复制到 USB 记忆棒上，然后复制到微机的 /home/pi 文件夹中（图 3D）。此文件是 Python 脚本，它允许使用步骤 1.13 中附加的按钮开关进行视频录制。
11. 按照下面概述的步骤编辑微机的 rc.local 文件。这使计算机启动步骤 1.10 中复制的脚本，并在启动步骤 1.13 时启动步骤 1.13 中附加的红外 LED。
    注意:此自动启动功能不能可靠地与列出的型号以外的微型计算机板一起使用。
    1. 打开终端窗口，键入"sudo nano /etc/rc.local"（不包括引号）并按 enter。这将打开一个文本文件（图 4A）。
    2. 使用键盘的箭头键将光标向下移动到"fi"和"退出 0"之间的空格（图 4A）。
    3. 添加以下文本，如图 4B 所示，将每个文本字符串写入新行:
       sudo i2cset -y 1 0x70 0x00 0xa5 &
       sudo i2cset -y 1 0x70 0x09 0x0f &
       sudo i2cset -y 1 0x70 0x01 0x32 &
       sudo i2cset -y 1 0x70 0x03 0x32 &
       sudo i2cset -y 1 0x70 0x06 0x32 &
       sudo i2cset -y 1 0x70 0x08 0x32 &
       苏多巨蛇 /家/皮/Pi_video_camera_Clemensson_2019.py &
    4. 通过按Ctrl = x，后跟y 和 Enter 保存更改。
12. 焊接在一起的必要组件，如图 5A所示，如下所述。
    1. 对于两个彩色 LED，将电阻器和母跳线电缆连接到一条腿，将母跳线电缆连接到另一条腿（图 5A）。尽量保持电缆短。请注意，哪个 LED 电极是负极（通常是短电极），因为这需要连接到微机通用输入/输出 （GPIO） 引脚上的接地。
    2. 对于两个按钮开关，将母跳线电缆连接到每条腿（图5A）。使电缆长于其中一个开关，而为另一个开关做短电缆。
    3. 要组装红外 LED 模块，请按照其官方网络资源^{19 上的说明进行}操作。
    4. 用收缩管盖住焊接接头，以限制元件短路的风险。
13. 关闭微型计算机，将开关和 LED 连接到其 GPIO 引脚，如图 5B所示，如下所述。
    注意:当摄像机打开时，将组件连接到错误的 GPIO 引脚可能会损坏它们和/或微型计算机。
    1. 连接一个 LED，以便其负端连接到#14，其正端连接到#12。当微型计算机启动且相机已准备就绪时，此 LED 指示灯将发光。
    2. 用长线连接按钮开关，使一根电缆连接到固定#9另一根电缆连接到#11。此按钮用于启动和停止视频录制。
       注意:控制摄像机的脚本已写入，因此此按钮在开始或停止视频录制后几秒钟无响应。
    3. 连接一个 LED，以便其负端连接到#20，其正端连接到#13。当摄像机录制视频时，此 LED 指示灯将发光。
    4. 将按钮开关与短电缆连接，使一根电缆连接到#37另一根电缆固定#39。此开关用于关闭摄像机。
    5. 连接红外LED模块，如其官方网络资源^19中所述。

2. 设计感兴趣的操作调节方案

注意:要使用 DeepLabCut 跟踪从操作室录制的视频中的协议进度，行为协议需要以特定的方式进行构建，如下所述。

1. 将协议设置为使用腔室的室内灯或其他强光信号作为协议中特定步骤的指示器（如单个试验的开始或测试会话）（图 6A）。此信号将在此协议的其余部分中称为"协议步骤指示器"。此信号的存在将允许跟踪录制视频中的协议进度。
2. 设置协议以记录与协议步骤指示器何时处于活动状态相关的各个时间戳的所有感兴趣响应。

3. 录制动物进行兴趣行为测试的视频

1. 将摄像机放在操作室的顶部，以便记录内部区域的顶部视图（图 7）。
   注:这特别适合捕捉动物在室内的一般姿势和姿势。避免将摄像机的指示灯和红外 LED 模块放在摄像机镜头附近。
2. 通过电源电缆将其连接到电源插座，启动摄像机。
   注:在第一次使用之前，使用相机模块附带的小工具设置摄像机对焦是有益的。
3. 使用步骤 1.13.2 中连接的按钮开始和停止视频录制。
4. 按照以下步骤关闭摄像机。
   1. 按住步骤 1.13.4 中连接的按钮，直到步骤 1.13.1 中连接的 LED 关闭。这将启动摄像机的关闭过程。
   2. 等到微型计算机顶部可见的绿色 LED （图1） 停止闪烁。
   3. 卸下摄像机的电源。
      注意:在微机仍在运行时拔下电源可能会导致微 SD 卡上的数据损坏。
5. 将相机连接到显示器、键盘、鼠标和 USB 存储设备，然后从桌面检索视频文件。
   注:文件根据开始视频录制的日期和时间进行命名。但是，微型计算机没有内部时钟，并且仅在连接到互联网时更新其时间设置。
6. 将录制的视频从 .h264 转换为 。MP4，因为后者与 DeepLabCut 和大多数媒体播放器工作得很好。
   注意:有多种方法可以实现此目的。其中一个在 补充文件2中描述。

4. 使用 DeepLabCut 分析视频

注:DeepLabCut 是一个软件包，允许用户定义一组视频帧中的任何感兴趣对象，然后使用这些对象来训练神经网络，以跟踪在全长视频^15，16中的对象^的位置。本节大致概述如何使用 DeepLabCut 跟踪协议步骤指示器的状态和大鼠头部的位置。DeepLabCut 的安装和使用在其他已发布的协议^{15、16中描述得很好}。每个步骤都可以通过特定的 Python 命令或 DeepLabCut 的图形用户界面完成，如^{15、16,的其他地方所述}。

1. 按照¹⁶中概述的步骤创建和配置新的 DeepLabCut 项目。
2. 使用 DeepLabCut 的帧抓取功能，从第 3 节录制的一个或多个视频中提取 700+u2012900 视频帧。
   注:如果动物在毛皮色素沉着或其他视觉特征上差异很大，建议将 700+u2012900 提取的视频帧跨不同动物的视频进行拆分。通过此，可以使用一个经过培训的网络来跟踪不同的个人。
   1. 确保包括同时显示协议步骤指示器的活动（图8A）和非活动（图8B）状态的视频帧。
   2. 确保包括视频帧，这些视频帧涵盖大鼠在测试期间可能显示的不同姿势、姿势和头部动作的范围。这应包括大鼠在腔室的不同区域静止不动的视频帧，其头部指向不同的方向，以及大鼠积极移动、进入鼻子戳开口和进入颗粒槽的视频帧。
3. 使用 DeepLabCut 的标签工具箱手动标记在步骤 4.2 中提取的每个视频帧中大鼠头部的位置。使用鼠标光标将"头"标签放在大鼠耳朵之间的中心位置（图8A，B）。此外，标记室的室内灯（或其他协议步进指示器）的位置，在每个视频帧中，它正积极闪耀（图8A）。将房子的灯留在框架中，在框架中不标记它处于非活动状态（图 8B）。
4. 使用 DeepLabCut 的"创建训练数据集"和"训练网络"功能，从步骤 4.3 中标记的视频帧创建训练数据集，并开始神经网络训练。确保为所选网络类型resnet_101""网络"。
5. 当训练损失稳定在0.01以下时，停止网络训练。这可能需要多达 500，000 次训练迭代。
   注意:当使用内存约为 8 GB 的 GPU 计算机和大约 900 个视频帧（分辨率:1640 x 1232 像素）的训练集时，已发现训练过程大约需要 72 小时。
6. 使用 DeepLabCut 的视频分析功能，使用步骤 4.4 中训练的神经网络分析步骤 3 中收集的视频。这将提供一个 .csv 文件，列出被分析视频的每个视频帧中大鼠头部的跟踪位置和协议步骤指示器。此外，它将创建标记的视频文件，其中跟踪的位置显示视觉 （视频 1-8）.
7. 按照下面列出的步骤评估跟踪的准确性。
   1. 使用 DeepLabCut 的内置评估功能获得网络跟踪准确性的自动评估。这基于在步骤 4.3 中标记的视频帧，并描述了网络跟踪的位置与手动放置的标签的平均位置有多远。
   2. 在步骤 4.6 中获得的标记视频中选择一个或多个简短的视频序列（每个视频帧约 100+u201200）。浏览视频序列、一帧一帧，并记下标签正确指示大鼠头部、尾部等位置的帧数，以及标签放置在错误位置或未显示的帧数。
      1. 如果身体部位或物体的标签经常丢失或放置在错误的位置，请识别跟踪失败的情况。通过重复步骤 4.2 提取和添加这些场合的标记帧。和 4.3.然后重新训练网络，然后通过重复步骤 4.4-4.7 重新分析视频。最终，应实现 >90% 精度的跟踪精度。

5. 获取操作室中感兴趣点的坐标

1. 使用步骤 4.3 中描述的 DeepLabCut 在单个视频帧中手动标记操作室中的兴趣点（如鼻戳开口、杠杆等）（图 8C）。这些是根据研究特定兴趣手动选择的，尽管应始终包括协议步骤指标的位置。
2. 从 .csv 文件中检索标记的兴趣点的坐标，DeepLabCut 在项目文件夹中的"标记数据"下自动存储该文件。

6. 识别协议步骤指示器处于活动状态的视频段

1. 将步骤 4.6 中从 DeepLabCut 视频分析中获得的 .csv 文件加载到首选的数据管理软件中。
   注:由于从 DeepLabCut 和操作调节系统获得的数据的数量和复杂性，最好通过自动分析脚本进行数据管理。要开始这一点，请参阅其他地方的入门级指南^{20，21，22。,21,22}
2. 注意，其中视频分段协议步骤指示器在第 5 节获得的位置的 60 像素范围内进行跟踪。这些周期将是协议步骤指标处于活动状态的期间（图6B）。
   注意:在协议步骤指示器未发光的视频片段中，标记的视频可能似乎表示 DeepLabCut 没有跟踪到任何位置。但是，这种情况很少发生，而是通常跟踪到多个分散的位置。
3. 提取协议步骤指示器处于活动状态的每个期间的确切起点（图6C: 1）。

7. 确定感兴趣的视频段

1. 考虑协议步骤指示器变为活动点的点（图6C: 1）和操作室记录的响应时间戳（第 2 节，图 6C: 2）。
2. 使用此信息确定哪些视频片段涵盖特定有趣的事件，如审判间间隔、响应、奖励检索等（图 6C:3， 图 6D）。
   注意:为此，请记住，此处描述的摄像机以 30 fps 录制视频。
3. 请注意涵盖这些事件的特定视频帧。
4. （可选）编辑完整测试会话的视频文件，以仅包含感兴趣的特定段。
   注意:有多种方法可以实现此目的。其中一个在 补充文件2和3中描述。这在存储大量视频时大有帮助，还可以使查看和呈现结果更加方便。

8. 分析特定视频片段中动物的位置和运动

1. 将步骤 4.6 中从 DeepLabCut 获得的头部位置的完整跟踪数据进行，以仅包括第 7 节所述的视频段。
2. 计算动物头部相对于第5节（图8C）选择的一个或多个参考点的位置。这样可以比较不同视频的跟踪和位置。
3. 对动物的位置和运动进行相关的深入分析。
   注:执行的具体分析将强烈特定于研究。下面提供了一些可以分析的参数示例。
   1. 通过绘制一个图形中选定期间内检测到的所有坐标来可视化路径跟踪。
   2. 使用以下公式分析与给定兴趣点的接近性:
      
   3. 通过计算连续帧中跟踪坐标之间的距离，并除以摄像机的 1/fps 来分析移动过程中速度的变化。

结果

摄像机性能

代表性的结果是在28.5厘米×25.5厘米、高度为28.5厘米的老鼠的可操作调理室中收集的。连接鱼眼镜头后，当摄像机放置在房间上方时，摄像机可捕捉整个地板面积和周围墙壁的很大部分（图 7A）。因此，即使摄像机位于摄像机顶部的中心位置，也可以获得良好的视图。这对于类似的操作室应该如此。红外 LED 能够照亮整个腔室（?...

讨论

该协议描述了如何构建一个廉价而灵活的摄像机，可用于录制来自操作调节室和其他行为测试设置的视频。它进一步演示了如何使用 DeepLabCut 跟踪这些视频中的强光信号，以及如何用于帮助识别涵盖完整测试会话的视频文件中感兴趣的简短视频片段。最后，介绍了如何使用对老鼠头部的跟踪来补充操作调节测试期间行为分析。

该协议为可售的可操作调理室视频录制解决方案?...

材料

Name	Company	Catalog Number	Comments
32 Gb micro SD card with New Our Of Box Software (NOOBS) preinstalled	The Pi hut (https://thpihut.com)	32GB
330-Ohm resistor	The Pi hut (https://thpihut.com)	100287	This article is for a package with mixed resistors, where 330-ohm resistors are included.
Camera module (Raspberry Pi NoIR camera v.2)	The Pi hut (https://thpihut.com)	100004
Camera ribbon cable (Raspberry Pi Zero camera cable stub)	The Pi hut (https://thpihut.com)	MMP-1294	This is only needed if a Raspberry Pi zero is used. If another Raspberry Pi board is used, a suitable camera ribbon cable accompanies the camera component
Colored LEDs	The Pi hut (https://thpihut.com)	ADA4203	This article is for a package with mixed colors of LEDs. Any color can be used.
Female-Female jumper cables	The Pi hut (https://thpihut.com)	ADA266
IR LED module (Bright Pi)	Pi Supply (https://uk.pi-supply.com)	PIS-0027
microcomputer motherboard (Raspberry Pi Zero board with presoldered headers)	The Pi hut (https://thpihut.com)	102373	Other Raspberry Pi boards can also be used, although the method for automatically starting the Python script only works with Raspberry Pi zero. If using other models, the python script needs to be started manually.
Push button switch	The Pi hut (https://thpihut.com)	ADA367
Raspberry Pi power supply cable	The Pi hut (https://thpihut.com)	102032
Raspberry Pi Zero case	The Pi hut (https://thpihut.com)	102118
Raspberry Pi, Mod my pi, camera stand with magnetic fish eye lens and magnetic metal ring attachment	The Pi hut (https://thpihut.com)	MMP-0310-KIT