Method Article
Мы предоставляем подробный протокол проведения фотограмметрии подводных структур по движению для создания 3D-моделей и ортофотопланов.
Фотограмметрия структуры из движения (SfM) — это метод, используемый для создания трехмерных (3D) реконструкций из последовательности двумерных (2D) изображений. Методы SfM становятся все более популярными в качестве неинвазивного способа мониторинга многих систем, включая антропогенные и природные ландшафты, геологические структуры, а также наземные и водные экосистемы. Здесь представлен подробный протокол сбора изображений SfM для создания 3D-моделей бентических местообитаний. Кроме того, были сопоставлены стоимость, эффективность использования цифровой зеркальной камеры с одним объективом (DSLR) по сравнению с менее дорогой экшн-камерой. Наблюдался компромисс между вычислительным временем и разрешением: цифровая зеркальная камера производила модели с более чем вдвое большим разрешением, но занимала примерно в 1,4 раза больше времени, чем экшн-камера. Цель настоящего учебного пособия состоит в том, чтобы дать подробное описание шагов, необходимых для сбора данных о SfM в бентических местообитаниях, для тех, кто не знаком с этим методом, а также для тех, кто уже использует аналогичные методы.
Экосистемные процессы по своей природе динамичны и могут быть трудно поддаются количественной оценке. В последнее десятилетие наблюдается всплеск новых технологий захвата экосистем и их динамики в различных масштабах от лазерного 3D-сканирования отдельных объектов экосистем до спутникового дистанционного зондирования больших территорий 1,2,3. В бентических местообитаниях структура тесно связана с функциейэкосистемы 8, что делает инструменты, которые одновременно позволяют отслеживать геометрию и структуру сообщества, особенно ценными для понимания экологической динамики. Однако многие современные подходы не могут быть использованы в водных системах из-за физических свойств воды (например, преломление, искажение, мутность). Такие методы, как LiDAR (обнаружение света и определение дальности) и некоторые методы аэрофотосъемки, могут быть пригодны для работы в больших пространственных масштабах, но не могут получить разрешение, необходимое для оценки мелкомасштабных изменений в бентических местообитаниях. Методы фотограмметрии «структура из движения» (SfM) недавно были адаптированы для создания крупномасштабных ортофотопланов с высоким разрешением и 3D-моделей поверхности подводных средобитания 4,5,6,7.
Фотограмметрия SfM является относительно недорогим, простым, неинвазивным и воспроизводимым методом, который позволяет получать крупномасштабные записи бентической среды в водных экосистемах с высоким разрешением9. SfM использует последовательность 2D-изображений для создания реконструкций 3D-моделей. Модели, полученные на основе SfM, могут быть использованы для сбора данных о структурной сложности (например, грубость, размерность)4,5,10,11,12 и структуре сообществ (например, видовом составе, демографии населения)13,14,15 бентосных экосистем. Кроме того, поскольку этот метод является относительно недорогим, быстрым и воспроизводимым, он может использоваться как учеными, так и неучеными для сбора ценной, объективной информации об этих экосистемах. Таким образом, этот метод является жизнеспособным методом для использования в проектах гражданской науки, где стандартизация усилий по выборке, минимизация предвзятости, вовлечение участников и простота обучения имеют жизненно важное значение для качества данных и общего успеха16,17.
В данной статье приведен подробный протокол проведения подводных съемок СФМ. В то же время использование цифровой зеркальной камеры сравнивается с использованием более экономичной «экшн-камеры», и описываются относительные преимущества и недостатки каждой из них. Общая цель состоит в том, чтобы как можно скорее ознакомить ученых и неученых с методами бентосной съемки SfM путем предоставления простого, широко используемого протокола, что, в свою очередь, будет способствовать более широкому использованию этого метода. Примеры исследований, в которых применялись вариации этого метода для изучения подводных экологических сообществ, см. в Burns et al. (2015)4, Storlazzi et al. (2016)18, Ventura et al (2016 и 2018)19,20, Edwards et al. (2017)14, George et al. (2018)21, Anelli et al. (2019)22 и Torres-Pulliza et al. (2020)10.
Метод, описанный здесь, требует команды подводного плавания или подводного плавания из двух человек. После того, как место съемки выбрано, в центре площадки размещается катушка с линией (рис. 1А), а калибровочные плитки (рис. 1Б) распределяются на расстоянии ~2 м от центра. Один человек (пловец) плавает с камерой и делает снимки участка, в то время как второй человек (помощник) ухаживает за катушкой в центре участка (рис. 1C). Сначала пловец подключает камеру к катушке через леску, а затем начинает делать непрерывные снимки бентоса, плавая лицом вниз и вперед, чтобы размотать леску с катушки. Пловец должен постоянно поддерживать вертикальное расстояние ~ 1 м над субстратом, регулируя свое положение в соответствии с топографией во время плавания. Важно отметить, что леска, соединяющая катушку и камеру, должна всегда оставаться натянутой, чтобы создать равномерное расстояние в спирали, когда пловец осматривает участок. Помощник поддерживает катушку в устойчивом вертикальном положении и следит за тем, чтобы катушка не вращалась и чтобы леска не запутывалась.
Как только леска полностью размотана, пловец останавливается, поворачивается и плывет в противоположном направлении, чтобы откатить леску вокруг катушки. Когда пловец меняет направление, помощник поворачивает катушку, чтобы намотать леску, ровно на 180°, чтобы предотвратить точное перекрытие исходящей траектории. Как только пловец оказывается как можно ближе к центру, камера отсоединяется от лески, а ассистент берет катушку и леску и уплывает от центральной части площадки. Затем пловец заканчивает съемку центра сюжета, перемещая камеру по небольшой спирали над центром. Несмотря на то, что существует несколько способов эффективного изображения местности, описанный здесь метод «катушка и леска» надежен даже в неидеальных условиях окружающей среды, где неспокойные поверхностные воды, зыбь или плохая видимость могут в противном случае препятствовать сбору данных. В этих сценариях этот метод удерживает подводников / дайверов и обеспечивает сильное перекрытие изображений, удерживая пловца на контролируемой траектории.
1. Материалы
2. Подробные методы
3. Наведите порядок на сайте.
В этом примере был сфотографирован участок рифа 2_7, расположенный на рифе Патч 13 в заливе Канеохе, Оаху, Гавайи, и 3 125 фотографий в формате JPEG с цифровой зеркальной камеры и 3 125 кадров в формате JPEG из видео с экшн-камеры (таблица 1) были использованы в качестве входных данных для создания ортофотопланов и 3D-моделей. Общий рабочий процесс состоял из 5 этапов: 1) выравнивание фотографий для генерации разреженного облака точек, 2) масштабирование разреженного облака точек и оптимизация камер, 3) построение плотного облака точек (на этом этапе также были сформированы карты глубины), 4) построение цифровой модели рельефа (ЦМР) и ортофотоплана и 5) создание 3D-модели и текстуры. Обратите внимание, что этапы 4 и 5 не обязательно должны выполняться в таком порядке, но они должны быть выполнены после обработки плотного облака точек и карт глубины. Географическая привязка моделей должна происходить до создания ортофотоплана и ЦМР. Настройки, используемые для этих этапов, и детали обработки изложены в таблице 2 и таблице материалов соответственно.
Для получения более подробной информации о методах создания 3D-моделей и ортофотопланов см. Дополнительный материал и Suka et al.23. Время обработки было короче для модели, полученной из экшн-камеры, для каждого шага, включая генерацию разреженного облака точек, генерацию плотного облака точек, рендеринг модели сетки и рендеринг текстурированной модели. Это привело к значительному сокращению общего времени обработки модели экшн-камеры (6 ч 39 мин), чем модели DSLR (9 ч 14 мин). Точное время обработки модели зависит от вычислительной мощности и конкретных конфигураций оборудования.
Модель, сгенерированная с использованием изображений с цифровой зеркальной камеры, содержала 2 848 358 точек разреженной облачности и 787 450 347 точек плотной облачности, в то время как модель, созданная на основе изображений с камеры действия, содержала только 2 630 543 точки разреженных облаков и 225 835 648 точек плотной облачности. Это привело к тому, что модели DSLR имели более чем в 2 раза большее разрешение, чем модели экшн-камер с разрешением ортофотопланов 0,442 и 0,208 мм/пиксель для моделей, производных от DSLR и экшн-камер, соответственно (таблица 1). Несмотря на лучшее разрешение модели DSLR по сравнению с моделью экшн-камеры, оба метода смогли создать высококачественные модели с небольшой разницей в визуальном представлении, когда площадь рифа ~ 113 м 2 была представлена в виде цифровой модели рельефа 20 см 2 (рис. 2 верхние панели) или 2D-ортофотопланная проекция (рис. 2 средние панели).
Рисунок 1: Фотограмметрия структуры из движения. (А) Пример катушки для контроля расстояния пловца с прикрепленной рукояткой и шестом для точного позиционирования и обработки. (B) Калибровочные плитки. (C) Схема плавательной траектории с взаимным расположением пловца (зеленый) и помощника (оранжевый). Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.
Рисунок 2: Визуальное сравнение цифровых моделей рельефа и ортофотопланов. Цифровые модели рельефа (вверху) и ортофотопланы (посередине), построенные из изображений зеркальных фотокамер (слева) и экшн-камер (справа). Нижняя панель представляет собой масштабирование областей в белых прямоугольниках на ортофотопланах. Шкалы тепловой карты на верхней панели представляют расстояние от поверхности воды в метрах (м). Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.
Canon EOS Rebel SL3 | GoPro Hero 7 | |
Стоить | ||
Фотоаппарат | ~$600.00 | ~$220.00 |
Подводное жилье | ~$1,700.00 | Н.А. |
Общая стоимость | ~$2,300.00 | ~$220.00 |
Фотографии | ||
Формат файла фотографии | .jpeg | .jpeg |
Разрешение фото | 24 мегапикселя | 12 мегапикселей (из видео 4K) |
Выровненные фотографии / всего фотографий | 3125 / 3125 | 3125 / 3125 |
Метрики фотограмметрии | ||
Разреженные облачные точки | 2,848,358 | 2,630,543 |
Плотные облачные точки | 787,450,347 | 225,835,648 |
Лица (3D-модель) | 11,919,451 | 3,834,651 |
Разрешение цифровой модели рельефа (ЦМР) | 0,831 мм/пиксель | 1,77 мм/пиксель |
Разрешение ортофотоплана | 0.208 мм/пиксель | 0.442 мм/пиксель |
Время обработки | ||
Генерация разреженных облаков | 1 ч 23 мин | 1 ч 27 мин |
Генерация плотных облаков | 4 ч. | 3 ч 11 мин |
Рендеринг модели сетки | 3 ч 32 мин | 1 ч 49 мин |
Рендеринг текстур | 19 мин | 12 мин |
Общее время компьютерной обработки | 9 ч 14 мин | 6 ч 39 мин |
Таблица 1: Подробная информация о стоимости установки, фотографиях, использованных для построения моделей, метриках фотограмметрии и времени обработки. Обработка производилась с использованием одинаковых настроек для обеих моделей. Обратите внимание, что время обработки не включает время на различные этапы, такие как редактирование фотографий, извлечение изображений из видео, повторное выравнивание фотографий, а также редактирование и масштабирование моделей.
Canon EOS Rebel SL3 | GoPro Hero 7 | |
Изображения | ||
Средний размер файла | ~ 8.3 МБ | ~ 4.7 МБ |
Фотосъемка | Непрерывный режим | Извлечено из видео 4K |
Цветокоррекция | Вручную | Вручную |
Коррекция объектива | Нет | Да |
Настройки процесса фотограмметрии | ||
Генерация разреженных облаков | Точность: высокая | Точность: высокая |
Ключевая точка: 40,000 | Ключевая точка: 40,000 | |
Ничья: 4,000 | Ничья: 4,000 | |
Общий предварительный отбор: Да | Общий предварительный отбор: Да | |
Генерация плотных облаков | Среднее качество | Среднее качество |
Генерация 3D-модели сетки | ||
Исходные данные: | Карты глубины | Карты глубины |
Качество: | Терпимая | Терпимая |
Количество лиц: | Низкий | Низкий |
Интерполяция: | Включен | Включен |
Вычислите цвета вершин: | Да | Да |
Генерация 3D-текстур | ||
Тип текстуры: | Диффузная карта | Диффузная карта |
Исходные данные: | Изображения | Изображения |
Режим картографирования: | Родовой | Родовой |
Режим наложения: | Мозаика | Мозаика |
Размер/количество текстур: | 4096 / 1 | 4096 / 1 |
Цифровая модель рельефа (ЦМР) | Из плотного облака | Из плотного облака |
Ортофотоплан | Из DEM | Из DEM |
Таблица 2: Подробная информация о собранных изображениях и фотограмметрической обработке. Обработка производилась с использованием одинаковых настроек для обеих моделей.
Дополнительный материал. Пожалуйста, нажмите здесь, чтобы загрузить этот файл.
Это исследование показывает, что как цифровая зеркальная камера, так и экшн-камера позволяют создавать модели с разрешением более 0,5 мм/пиксель менее чем за 10 часов обработки на стандартном настольном компьютере. Основным компромиссом между цифровой зеркальной камерой и экшн-камерой, помимо стоимости, является более высокое разрешение по сравнению с более быстрым временем обработки, соответственно. Однако заявленное время обработки включает только вычислительную обработку. Таким образом, несмотря на то, что вычислительное время для экшн-камеры меньше, на извлечение изображения из видео тратится значительное количество времени (10-20 минут), которое не требуется с DSLR. Альтернативой является использование экшн-камеры в режиме непрерывной съемки, чтобы избежать извлечения изображения. Режим непрерывной съемки в этом примере не использовался, так как экшн-камера может снимать только со скоростью 2 кадра в секунду, что требует значительно меньшей скорости плавания для сбора достаточного количества изображений для создания полной модели. В связи с этим существует компромисс между более длительным временем в полевых условиях в режиме непрерывной съемки и более длительным временем на компьютере, извлечением изображений при использовании режима видео.
К преимуществам экшн-камеры можно отнести доступность и простоту транспортировки и эксплуатации под водой. Основное преимущество зеркальной камеры заключается в том, что она производит изображения с более высоким разрешением; следовательно, зеркальные камеры рекомендуются по сравнению с экшн-камерами, когда первые не являются непомерно дорогими. Вопросы, на которые направлено исследование, также будут важны при определении используемого метода. Например, экшн-камера может быть предпочтительнее в относительно однородных средах (например, заросли морских водорослей, мертвые места обитания кораллов / щебня) или там, где только широкие показатели сообщества (такие как численность, разнообразие) оцениваются в больших пространственных масштабах. Тем не менее, цифровая зеркальная камера может быть развернута в тех случаях, когда представляет интерес отслеживание мелкомасштабных изменений в отдельных организмах или субстратах.
Поскольку это полевой метод, результаты моделирования будут зависеть от различных факторов окружающей среды, таких как освещение, прозрачность воды, состояние поверхности, величина нагона и движение рыбы или нестационарных бентических структур (например, морской травы). Несмотря на то, что не существует абсолютных порогов того, когда целесообразно использовать этот метод, слегка пасмурные дни с высокой прозрачностью воды, спокойными поверхностными условиями и небольшим нагоном обычно дают лучшие модели. Более того, существует ограничение на минимальную глубину, необходимую для этих методов. Эти методы плохо работают в условиях, когда на расстоянии менее 0,5 м воды из-за небольшого перекрытия между фотографиями и меньшего количества отличительных признаков на фотографии. Тем не менее, это подчеркивает еще одно преимущество экшн-камеры, а именно то, что они меньше и, следовательно, их легче использовать на меньших глубинах. Кроме того, катушка меньшего диаметра и более высокая частота кадров (или более широкоугольный объектив) могут улучшить перекрытие изображения в очень мелких условиях9.
С помощью этого подхода можно интегрировать многие другие типы данных. Например, ортофотопланы были использованы для отображения пространственной плотности молекулярных данных (например, генов и метаболитов) на кораллах 24 и людях 25 с использованием программного обеспечения с открытым исходным кодом «ili'26». Эта же платформа может быть использована для картирования пространственной плотности животных, микроорганизмов, вирусов и/или химических веществ в окружающей среде. В других примерах SfM использовался для пространственного аннотирования бентических видов на ортофотопланах с использованием программного обеспечения10 географической информационной системы. Кроме того, 3D-модели, созданные SfM, могут быть использованы для оценки характеристик среды обитания, таких как рубцовость и фрактальная размерность. Действительно, методы, изложенные здесь, были недавно использованы для получения новой геометрической теории для поверхностей среды обитания10. Наконец, ортофотопланы используются в качестве входных поверхностей для пространственно явных вычислительных моделей, что позволяет накладывать динамическое моделирование на 3D-поверхность модели. Возможность легко создавать большие изображения и 3D-представления бентических местообитаний позволила ученым-океанологам решить доселе невообразимые вопросы3.
В целом, вот подробный протокол проведения подводной фотограмметрии SfM с помощью цифровых зеркальных камер или более экономичных экшн-камер. Эти методы могут быть использованы учеными для широкого круга целей, от извлечения данных о бентических экосистемах до разработки 3D-входных поверхностей для моделирования in silico . Тем не менее, эти протоколы также могут использоваться неучеными в рамках усилий гражданской науки по сбору ценной информации о закономерностях биоразнообразия, сложности среды обитания, структуре сообщества и других экологических показателях.
У авторов нет конкурирующих финансовых интересов или других конфликтов интересов.
Мы благодарим Фонд семьи Пола Г. Аллена за финансирование этого исследования и благодарны Рут Гейтс за вдохновение использовать технологии для сохранения рифов. Мы также благодарим NOAA и других сотрудников за вдумчивое обсуждение этих методов. Наконец, мы благодарим Кэти Фоли и Патрика Николса за предоставление беспилотного и подводного видео этих методов.
Мы признаем Национальный фонд рыбы и дикой природы в качестве партнера по финансированию этой работы.
Name | Company | Catalog Number | Comments |
Action camera (GoPro Hero7 Black) | GoPro | Could be any waterproof action camera | |
Adobe Lightroom | Adobe | Color correction | |
Calibration tiles ( flat PVC board cut to size for Agisoft targets. Attach a dive weight underneath if expecting waves) | Any negatively buoyant object of known size and color. We recommend using the scale marker templates available from Agisoft Metashape software (v.1.6.0). | ||
DSLR camera (Canon EOS Rebel SL3 ) | Canon | 3453C002AA | Could be any DSLR camera in a underwater housing |
Line (plastic clothes line filament) | Any negatively buoyant line that is strong enough to withstand field use | ||
Micro SDXC memory card (for GoPro) | |||
Oceanic Veo 2.0 | Oceanic | Digital depth gauge | |
SDXC memory card (for DSLR) | Any SDXC memory card should work, so long as there is enough space to hold all the pictures necessary to build the model | ||
Spool (2 inch-long section of 8 inch diameter PVC pipe which was attached to a 3 feet section of 1 inch PVC pipe to form the stem | Any negatively buoyant, round object of the desired diameter | ||
Underwater camera housing for DSLR (Ikelite 200DLM/C Underwater TTL Housing) | Ikelite | 6970.09 | Should be the specific water housing for the DSLR make and model |
Windows 10 desktop computer with an Intel i9-9900K 8-core CPU, two Nvidia GeForceRTX 2070 SUPER GPUs, and 128 GB of RAM. | Processing |
Запросить разрешение на использование текста или рисунков этого JoVE статьи
Запросить разрешениеThis article has been published
Video Coming Soon
Авторские права © 2025 MyJoVE Corporation. Все права защищены