利用运动结构摄影测量法监测底栖生态系统的野外入门书

摘要

我们提供了一个详细的协议，用于进行水下结构从运动摄影测量测量，以生成3D模型和正射镶嵌。

摘要

运动结构 （SfM） 摄影测量是一种用于从一系列二维 （2D） 图像生成三维 （3D） 重建的技术。SfM方法作为监测许多系统的非侵入性方法变得越来越流行，包括人为和自然景观，地质结构以及陆地和水生生态系统。本文提供了用于收集SfM图像以生成底栖栖息地3D模型的详细协议。此外，还比较了使用数码单反（DSLR）相机与较便宜的运动相机的成本、时间效率和输出质量。观察到计算时间和分辨率之间的权衡，数码单反相机生产的模型分辨率是其两倍以上，但制作时间大约是运动相机的1.4倍。本入门书旨在为那些不熟悉该技术的人以及已经使用类似方法的人提供在底栖生境收集SfM数据所需步骤的全面描述。

引言

生态系统过程是自然动态的，可能难以量化。在过去的十年中，从单个生态系统特征的三维激光扫描到^大面积的卫星遥感，捕获生态系统及其动态的新技术激增1，^2，3。在底栖生境中，结构与生态系统功能⁸密切相关，这使得同时允许监测几何形状和群落结构的工具对于理解生态动态特别有价值。然而，由于水的物理性质（例如，折射，变形，浊度），许多现代方法不能用于水生系统。诸如LiDAR（光探测和测距）和一些航空测量方法等技术可能适用于大空间尺度，但无法获得评估底栖生境精细尺度变化所需的分辨率。运动结构 （SfM） 摄影测量方法最近已被调整为生成水下栖息地的大比例、高分辨率正射马赛克和 3D 表面模型⁴、⁵、^6、7。

SfM摄影测量是一种成本相对低、简单、非侵入性和可重复的方法，可以生成水生生态系统中底栖环境的大规模高分辨率^记录9。SfM 使用一系列 2D 图像来生成 3D 模型重建。SfM生成的模型可用于收集底栖生态系统的结构复杂性（例如，粗糙度，维度）⁴，^5，10，11，12和群落结构（例如，物种组成，种群人口统计）¹³，^14，15的数据。此外，由于这种方法相对便宜，快速且可重复，科学家和非科学家都可以使用它来收集有关这些生态系统的有价值的客观信息。因此，这种方法是一种可行的技术，可用于公民科学项目，其中抽样工作的标准化、偏见的最小化、参与者的参与和易于培训对于数据质量和整体成功至关重要^16，17。

本文提供了进行水下SfM调查的详细协议。同时，将数码单反相机的使用与更具成本效益的"运动相机"进行了比较，并概述了每种相机的相对优缺点。总体目标是通过提供一种简单、常用的协议，使科学家和非科学家尽快熟悉底栖SfM调查方法，从而促进这种方法的更广泛使用。 有关应用这种方法的变体来研究水下生态群落的研究示例，请参阅 Burns 等人 （2015）⁴、Storlazzi 等人 （2016）18、文图拉等人 （2016 和 2018）19，20、爱德华兹等人 （2017）14、George 等人 （2018）²¹、Anelli 等人 （2019）22 和 Torres-Pulliza 等人 （²⁰²⁰）¹⁰。

这里描述的方法需要两人浮潜或水肺团队。选择测量地点后，在地点的中心放置线轴（图1A），校准瓦片（图1B）分布在距离中心~2 m的地方。一个人（游泳者）用相机游泳并捕获现场的图像，而第二个人（助手）则在图的中心照顾线轴（图1C）。首先，游泳者通过线将相机连接到线轴，然后开始连续拍摄底栖动物的照片，同时面朝下和向前游泳，将线从线轴上解开。游泳者应始终保持基质上方~1 m的垂直距离，在游泳时调整其位置以匹配地形。重要的是，连接线轴和相机的线应始终保持拉紧，以便在游泳者调查地块时在螺旋中创造均匀的间距。助手将线轴保持在稳定、直立的位置，并确保线轴不会旋转，并且线不会缠结。

一旦线完全解开，游泳者就会停下来、转弯并朝相反的方向游泳，以将线绕线轴反冲。当游泳者切换方向时，助手转动线轴将线卷入，正好 180°，以防止传出路径的精确重叠。一旦游泳者尽可能靠近中心，相机就会从线上分离，助手拿起线轴和线，游离场地的中心部分。然后，游泳者通过在中心上方以小螺旋状移动相机来完成对绘图中心的成像。虽然有几种方法可以有效地对区域进行成像，但此处描述的线轴方法即使在非理想的环境条件下也是稳健的，在这些环境中，波涛汹涌的地表水、膨胀或低能见度可能会阻碍数据收集。在这些情况下，这种方法使浮潜者/潜水员保持连接，并通过使游泳者保持在受控路径上来确保图像的高度重叠。

研究方案

1. 材料

1. 照相机
   1. 确保耐用性和防水性的最低规格（或防水外壳）以及 2 帧/秒 （fps） 的最低帧速率。
      注意:此示例中使用的最小帧速率为 ~4 fps。
   2. 数码单反（DSLR）相机
      1. 将照相机设置为以 2 fps 到 5 fps 之间的照片拍摄速率连续拍摄。
      2. 要重现此示例中描述的协议，请在水下外壳（参见 材料表）中使用具有以下设置的相机: 手动模式 （M）; f10，18 毫米; 快门速度 = 1/320; 曝光补偿 = -1/3; 图像质量 = 最高，无 RAW; 驱动模式 = 连续; 自动对焦 = AI 伺服;ISO = 自动，最大 3200;文件编号 = 自动重置;图像自动旋转=关闭;时间/日期 = UTC。
   3. 运动相机
      1. 以尽可能高的分辨率和帧速率设置为视频模式或连拍模式。
         注意:运动相机也可以在连续模式下使用，只要帧速率为每秒 2 张图像或更高。
      2. 要重现此示例中的协议（请参阅 材料表），请使用具有以下设置的防水运动相机:视频分辨率 = 4K（4:3 纵横比）;帧速率 = 30 帧/秒。
         注意:对于运动相机，将线轴连接到游泳者而不是相机可能更容易。在此示例中，该线通过一条小挂绳连接到游泳者的手腕上。
2. 线轴钻机（图1A）
   1. 确保线轴的大小适合固定测量地点半径所需的线长度。
      注意: 线轴的周长控制螺旋游泳线的间距，线的长度决定了样品区域。在此示例中，直径为 ~8 英寸（~20 厘米）的线轴用于 ~50 英寸（~1.3 米）的泳线间距。详 ^见9 。
   2. 选择具有法兰边缘（用于平稳引导线进出线轴）以及手柄和杆的连接点（用于控制与基板的高度）的线轴钻机。确保线轴钻机固有负浮力或通过增加砝码制成。
      注意:在本例中，使用聚氯乙烯（PVC）管作为手柄和杆子，线轴是用聚乳酸塑料3D打印的。但是，线轴可以像大型PVC管或任何其他具有所需直径的圆形物体一样简单。
      1. 对于频繁使用和/或具有挑战性的现场条件，请选择由更耐用的材料（如铝）制成的线轴。
      2. 确保线轴在使用时不会在极上旋转或旋转。
   3. 将线固定在一端的线轴上，另一端固定到可拆卸夹子上，以连接到相机。
      注意: 线的长度定义站点的半径。在这里，6 m的线用于直径为12 m的站点。
3. 校准磁贴
   1. 虽然不需要专门的校准图块，但请确保在比例模型中包括已知大小的负浮力、可识别物体。考虑浪涌和电流条件，以确保使用合适的材料，以便在照片收集期间瓷砖保持静止。
      注意:在这里，作为某些软件程序的一部分提供的比例标记模板打印在防水纸上，该纸附在 1 英寸厚的 PVC 瓷砖上。
   2. 潜水员需要一种方法来测量瓷砖的深度。在我们的示例中，我们使用电子深度计（参见 材料表）。
4. 色彩校正
   1. 将相机上的白平衡设置为自定义。在每次SfM调查开始之前，在水下拍摄18%的灰色卡片或白色潜水板的照片。每次启动新站点时执行此操作。
      注意:照片将允许色彩校正，并且在同一天进行多次调查时，还有助于将来自不同站点的下载图像分开。

2. 详细方法

1. 选址
   1. 选择具有足够空间游动整个螺旋模式的站点（在本例中为 ~113 m² ）。除了被调查的区域外，还要合并一个小的缓冲区，以确保整个调查区域都有足够的照片，以产生高质量的数据。
   2. 考虑一下两人团队的能力和装备。浅层地点（<~2米）可以用呼吸管进行测量，而较深的地点可能需要水肺潜水。
2. 如果计划定期重复勘察现场，请用标签或永久性结构（例如钢筋或煤渣块）标记将放置线轴钻机的中心点。至少，采用全球定位系统坐标，以便在正射镶嵌打印输出的帮助下重新定位站点。
   注意:永久性水下结构通常需要许可证。
3. 准备网站。
   1. 将线轴设置在站点中间。
   2. 设置校准块并记录其深度。将校准磁贴正面朝上放置，距离中心~2 m。
      注意:在本例中，3 个校准磁贴放置在站点中心周围的三角形中。校准磁贴应适当加权和定位，以确保在收集照片期间最小的移动。
4. 指示游泳者用相机游泳，而助手则照顾线轴。
   1. 助手将杆和连接的线轴直立在所选场地的中心，并将线轴钻机直立和静止。
   2. 确保游泳者将相机最靠近线轴的一侧连接到线，并将相机朝下垂直朝下距离底栖动物~1 m。
      注意:如果游泳者必须倾斜相机，请尝试确保相机稍微向前倾斜而不是向后倾斜，以避免在游泳者的阴影中收集图像。将相机稍微向前倾斜，无论是向外螺旋还是返回螺旋，也可以捕捉到底栖生物的更好角度并产生更好的模型，尤其是在有悬垂和孔洞时。
   3. 一旦相机正确定位，游泳者就开始拍摄底栖动物的连续图像，同时向前游泳并保持在线上的张力。
   4. 确保游泳者在拍照时继续以一致的速度以螺旋游动，直到线从线轴上完全松开。
      注意:游泳者应尽量在底栖生物上方保持~1米的恒定距离，并以适度的速度游动螺旋，以确保图像之间有足够的重叠。如有疑问，越慢越好。
   5. 在高度粗糙的环境中（例如，珊瑚礁），包括第三名工人（第二助手），他可以通过悬停在线中心上方并轻轻地将其抬过障碍物来防止线缠绕。
   6. 当线完全解开线轴时，游泳者反转方向，必要时重新连接相机，并在相反方向游动相机，开始在拍照时将线重新缠绕回线轴上。注意:游泳反向螺旋不是绝对必要的，但通常会产生更好的模型。
   7. 如果需要单一螺旋方法以节省时间，那么游泳者会将线从相机上拆下并跳到步骤 2.4.12，同时助手缠绕线并从现场移除线轴钻机。
   8. 一旦游泳者开始向相反方向游泳，助手就会旋转线轴，以 1/2 圈（180°）绕线，逆新的游泳方向旋转。这 1/2 圈可确保游泳者的返回路径偏离原始路径，以产生更大的场地照片覆盖率。
   9. 确保游泳者继续拍照并游动反向螺旋，直到线几乎完全绕在线轴上。
   10. 当游泳者和助手的间距阻止进一步的进展时，游泳者将停止拍照以将相机从线上分离，并允许助手从场地中心移除线轴装置。
   11. 将线轴从场地上移开后，游泳者通过将相机朝下并按照小螺旋模式在场地中心上移动相机来拍摄场地中心的图像。

3. 清理网站。

1. 在离开现场之前拿起校准瓷砖和任何其他设备。
   注意:切勿将垃圾或设备留在现场。始终让网站比您发现它更干净。

结果

在此示例中，对位于夏威夷瓦胡岛卡内奥赫湾 Patch Reef 13 上的礁址 2_7 进行了成像，并使用来自数码单反相机的 3，125 张 JPEG 照片和来自运动相机视频（表 1）的 3，125 张 JPEG 帧捕获作为输入来创建正射镶嵌和 3D 模型。 一般工作流程包括 5 个阶段:1） 对齐照片以生成稀疏点云，2） 缩放稀疏点云并优化相机，3） 构建密集点云（在此阶段还生成深度图），4） 构建数字高程模型 （DEM） 和正射镶嵌，以及 5） 生成 3D 模型和纹理。请注意，阶段 4 和 5 不一定需要按该顺序完成，但必须在处理密集点云和深度图后执行。应在生成正射镶嵌和 DEM 之前对模型进行地理配准。用于这些阶段的设置和加工细节分别在 表 2 和 材料表中列出。

有关如何生成 3D 模型和正射镶嵌的更详细方法，请参阅 补充材料和 Suka 等人 ²³。运动相机派生模型每一步的处理时间更短，包括稀疏点云生成、密集点云生成、网格模型渲染和纹理模型渲染。这使得运动相机型号（6小时39分钟）的整体处理时间明显快于数码单反相机型号（9小时14分钟）。模型处理的确切时间因计算能力和特定硬件配置而异。

使用来自数码单反相机的图像生成的模型包含2，848，358个稀疏云点和787，450，347个密集云点，而从运动相机图像生成的模型仅包含2，630，543个稀疏云点和225，835，648个密集云点。这导致数码单反相机型号的分辨率是数码单反相机和运动相机衍生型号的正射镶嵌分辨率分别为0.442和0.208 mm/像素的运动相机型号的2倍以上（表1）。尽管数码单反相机模型相对于运动相机模型的分辨率更好，但当~113 m 2礁石区域表示为20 cm 2数字高程模型（图²顶部面板）或2D正射镶嵌投影（图2中间面板）时，这两种方法都能够生成高质量的模型，视觉表现几乎没有差异。

图 1:动态结构摄影测量。 （A） 用于控制游泳者距离的线轴装置示例，带有用于精确定位和处理的手柄和杆子。（b） 校准块。（C）游泳路径示意图，其中有游泳者（绿色）和助手（橙色）的相对位置。 请点击此处查看此图的大图。

图 2:数字高程模型和正射镶嵌的视觉比较。 由数码单反相机（左）和运动相机（右）图像构建的数字高程模型（顶部）和正射镶嵌（中）。底部面板是正射镶嵌中白色框中区域的缩放。顶部面板中的热图刻度表示与水面的距离，单位为米 （m）。 请点击此处查看此图的大图。

	佳能EOS Rebel SL3	GoPro Hero 7
成本
照相机	~$600.00	~$220.00
水下外壳	~$1，700.00	那
总成本	~$2，300.00	~$220.00
照片
照片文件格式	.jpeg	.jpeg
照片分辨率	24 百万像素	12 百万像素（来自 4K 视频）
对齐照片/总照片	3125 / 3125	3125 / 3125
摄影测量指标
稀疏云点	2,848,358	2,630,543
密集的云点	787,450,347	225,835,648
人脸（3D模型）	11,919,451	3,834,651
数字高程模型 （DEM） 分辨率	0.831毫米/像素	1.77 毫米/像素
正射镶嵌分辨率	0.208 毫米/像素	0.442毫米/像素
处理时间
稀疏云生成	1小时 23分钟	1小时 27分钟
密集云生成	4小时	3小时 11分钟
网格模型渲染	3小时 32分钟	1小时 49分钟
纹理渲染	19 分	12 分
计算机处理总时间	9小时 14分钟	6小时 39分钟

表 1:有关设置成本、用于构建模型的照片、摄影测量指标和处理时间的详细信息。两种型号的处理使用相同的设置完成。请注意，处理时间不包括各种步骤的时间，例如照片编辑、从视频中提取图像、重新对齐照片以及编辑和缩放模型。

	佳能EOS Rebel SL3	GoPro Hero 7
图像
平均文件大小	~ 8.3 MB	~ 4.7 MB
照片采集	连续模式	从 4K 视频中提取
色彩校正	手动	手动
镜头校正	不	是的
摄影测量过程设置
稀疏云生成	精度:高	精度:高
	关键点:40，000	关键点:40，000
	连接点:4，000	连接点:4，000
	通用预选:是	通用预选:是
密集云生成	中等质量	中等质量
3D 网格模型生成
源数据:	深度图	深度图
质量:	中等	中等
人脸计数:	低	低
插值:	启用	启用
计算顶点颜色:	是的	是的
3D 纹理生成
纹理类型:	漫反射贴图	漫反射贴图
源数据:	图像	图像
映射模式:	通用	通用
混合模式:	马赛克	马赛克
纹理大小/数量:	4096 / 1	4096 / 1
数字高程模型 （DEM）	从密集的云	来自茂密的云层
正射镶嵌	从 DEM	从 DEM

表 2:有关收集的图像和摄影测量处理的详细信息。 两种型号的处理使用相同的设置完成。

补充材料。  请点击这里下载此文件。

讨论

这项研究表明，数码单反相机和运动相机在标准台式计算机上的处理时间不到10小时即可生成分辨率优于0.5 mm /像素的模型。除了成本之外，数码单反相机和运动相机之间的主要权衡是分辨率更高，处理时间更快。但是，报告的处理时间仅包括计算处理。因此，尽管运动相机的计算时间较短，但从视频中提取图像投入了大量时间（10-20分钟），而数码单反相机不需要这些时间。另一种方法是在连拍模式下使用运动相机以避免图像提取。本样张中没有使用连拍模式，因为运动相机只能以2 fps的速度拍摄，这需要明显较慢的游泳速度来收集足够的图像来构建完整的模型。在这方面，使用连拍模式在野外的较长时间与使用视频模式时在计算机上提取图像的时间较长之间存在权衡。

运动相机的优点包括经济实惠，易于在水下运输和操作。数码单反相机的主要优点是它可以产生更高分辨率的图像;因此，当前者成本不高时，建议使用数码单反相机而不是运动相机。研究试图解决的问题类型对于确定所使用的方法也很重要。例如，在相对同质的环境中（例如，海草床，死珊瑚/瓦砾栖息地），或者在大空间尺度上仅评估广泛的群落指标（例如丰度，多样性）的环境中，运动相机可能更可取。但是，在跟踪单个生物体或基质的精细变化是感兴趣的情况下，可能会部署数码单反相机。

由于这是一种野外方法，模型输出将取决于各种环境因素，例如照明、水的透明度、表面条件、浪涌量以及鱼类或非静止底栖结构（例如海草）的移动。虽然没有绝对阈值来说明何时适合使用这种方法，但略带阴天、水透明度高、表面条件平静且浪涌小，通常会产生最佳模型。此外，这些方法所需的最小深度存在限制。这些方法在水深小于0.5 m的条件下效果不佳，因为照片之间的重叠度低，每张照片的区别特征较少。然而，这确实突出了运动相机的另一个优点，即它们更小，因此更容易在较浅的深度使用。此外，更小直径的线轴和更高的帧速率（或更广角的镜头）可以在非常浅的条件下改善图像重叠⁹。

许多其他数据类型可以与此方法集成。例如，正镶嵌已被用于使用开源软件"ili"²⁶显示珊瑚²⁴和人类²⁵上的分子数据（例如基因和代谢物）的空间密度。同一平台还可用于绘制环境中动物、微生物、病毒和/或化学物质的空间密度。其他例子使用SfM通过地理信息系统软件¹⁰在空间上注释正射镶嵌上的底栖物种。此外，SfM生成的3D模型可用于估计栖息地特征，例如粗糙度和分形维数。事实上，这里概述的方法最近被用来推导出栖息地表面的新几何理论¹⁰。最后，正射镶嵌被用作空间显式计算模型的输入表面，允许将动态模拟叠加在模型的 3D 表面上。能够轻松生成底栖生境的大图像和3D表示，使海洋科学家能够解决迄今为止无法想象的问题³。

总体而言，以下是使用数码单反相机或更具成本效益的运动相机进行水下SfM摄影测量的详细协议。这些方法可以被科学家用于广泛的目的，从提取有关底栖生态系统的数据到开发用于 计算机模拟的 3D输入表面。然而，这些协议也可以被非科学家用作公民科学工作的一部分，以收集有关生物多样性模式、栖息地复杂性、群落结构和其他生态指标的宝贵信息。

材料

Name	Company	Catalog Number	Comments
Action camera (GoPro Hero7 Black)	GoPro		Could be any waterproof action camera
Adobe Lightroom	Adobe		Color correction
Calibration tiles ( flat PVC board cut to size for Agisoft targets. Attach a dive weight underneath if expecting waves)			Any negatively buoyant object of known size and color. We recommend using the scale marker templates available from Agisoft Metashape software (v.1.6.0).
DSLR camera (Canon EOS Rebel SL3 )	Canon	3453C002AA	Could be any DSLR camera in a underwater housing
Line (plastic clothes line filament)			Any negatively buoyant line that is strong enough to withstand field use
Micro SDXC memory card (for GoPro)
Oceanic Veo 2.0	Oceanic		Digital depth gauge
SDXC memory card (for DSLR)			Any SDXC memory card should work, so long as there is enough space to hold all the pictures necessary to build the model
Spool (2 inch-long section of 8 inch diameter PVC pipe which was attached to a 3 feet section of 1 inch PVC pipe to form the stem			Any negatively buoyant, round object of the desired diameter
Underwater camera housing for DSLR (Ikelite 200DLM/C Underwater TTL Housing)	Ikelite	6970.09	Should be the specific water housing for the DSLR make and model
Windows 10 desktop computer with an Intel i9-9900K 8-core CPU, two Nvidia GeForceRTX 2070 SUPER GPUs, and 128 GB of RAM.			Processing