Оценка биомассы инвазивных растений на основе компьютерного зрения

Резюме

Мы подробно описываем процедуры для метода оценки биомассы инвазивных растений, который использует данные, полученные с помощью дистанционного зондирования беспилотных летательных аппаратов (БПЛА) для оценки биомассы и захвата пространственного распределения инвазивных видов. Этот подход оказывается очень полезным для проведения оценки опасности и раннего предупреждения об инвазивных растениях.

Аннотация

Мы подробно рассказываем о шагах метода оценки биомассы инвазивных растений на основе дистанционного зондирования с помощью БПЛА и компьютерного зрения. Для сбора образцов из исследуемой области мы подготовили квадратную выборку для рандомизации точек выборки. Была создана система беспилотных аэрофотоаппаратов с использованием дрона и камеры для получения непрерывных RGB-изображений исследуемой территории с помощью автоматизированной навигации. После завершения съемки была собрана надземная биомасса в образце кадра, а все корреспонденции были промаркированы и упакованы. Образцы данных были обработаны, и аэрофотоснимки были сегментированы на небольшие изображения размером 280 x 280 пикселей для создания набора данных изображений. С помощью глубокой сверточной нейронной сети было составлено картографирование распространения Mikania micrantha на исследуемой территории, и получен ее вегетационный индекс. Собранные организмы были высушены, а сухой вес был зарегистрирован как наземная биомасса. Регрессионная модель инвазивной биомассы растений была построена с использованием регрессии K-ближайшего соседа (KNNR) путем извлечения вегетационного индекса из образцовых изображений в качестве независимой переменной и его интеграции с наземной биомассой в качестве зависимой переменной. Результаты показали, что можно точно предсказать биомассу инвазивных растений. Точная карта пространственного распределения биомассы инвазивных растений была создана путем обхода изображений, что позволило точно идентифицировать районы высокого риска, пораженные инвазивными растениями. Таким образом, это исследование демонстрирует потенциал сочетания дистанционного зондирования беспилотных летательных аппаратов с методами машинного обучения для оценки инвазивной биомассы растений. Она вносит значительный вклад в исследование новых технологий и методов мониторинга инвазивных растений в режиме реального времени и обеспечивает техническую поддержку интеллектуального мониторинга и оценки опасностей в региональном масштабе.

Введение

В данном протоколе предложенный метод оценки инвазивной биомассы на основе дистанционного зондирования БПЛА и компьютерного зрения может отражать распределение инвазивных организмов и прогнозировать степень инвазивной биологической опасности. Оценки распределения и биомассы инвазивных организмов имеют решающее значение для профилактики и борьбы с этими организмами. Как только инвазивные растения вторгаются, они могут нанести ущерб экосистеме и нанести огромный экономический ущерб. Быстрая и точная идентификация инвазивных растений и оценка ключевой биомассы инвазивных растений являются основными проблемами в мониторинге и контроле инвазивных растений. В этом протоколе мы берем Mikania micrantha в качестве примера для изучения метода оценки биомассы инвазивных растений, основанного на беспилотном воздушном дистанционном зондировании и компьютерном зрении, который обеспечивает новый подход и метод для экологического исследования инвазивных растений и способствует экологическим исследованиям и управлению инвазивными растениями.

В настоящее время измерение биомассы Mikania micrantha в основном осуществляется путем ручного отбора проб¹. Традиционные методы измерения биомассы требуют большого количества рабочей силы и материальных ресурсов, которые неэффективны и ограничены рельефом местности; трудно удовлетворить потребности региональной оценки биомассы Mikania micrantha. Основное преимущество использования этого протокола заключается в том, что он обеспечивает метод количественной оценки биомассы инвазивных растений региона и пространственного распределения инвазивных растений таким образом, чтобы не принимать во внимание ограничения выборки на территории и устраняет необходимость в ручных обследованиях.

Технология дистанционного зондирования с помощью БПЛА достигла определенных результатов в оценке биомассы растений и широко используется в сельском хозяйстве 2,3,4,5,6,7, лесном хозяйстве ^8,9,10,11 и пастбищах 12,13,14. Технология дистанционного зондирования БПЛА обладает такими преимуществами, как низкая стоимость, высокая эффективность, высокая точность и гибкость эксплуатации^15,16, что позволяет эффективно получать данные изображений дистанционного зондирования Земли в исследуемой области; Затем извлекаются текстурные характеристики и вегетационный индекс изображения дистанционного зондирования, чтобы обеспечить информационную поддержку для оценки биомассы растений на большой площади. Современные методы оценки биомассы растений в основном подразделяются на параметрические и непараметрические модели¹⁷. С развитием алгоритмов машинного обучения непараметрические модели машинного обучения с более высокой точностью стали широко использоваться для оценки биомассы растений с помощью дистанционного зондирования. Chen et ^al.18 использовали смешанную логистическую регрессию (MLR), KNNR и случайную лесную регрессию (RFR) для оценки надземной биомассы лесов в провинции Юньнань. Они пришли к выводу, что модели машинного обучения, в частности KNNR и RFR, привели к лучшим результатам по сравнению с MLR. Yan et ^al.19 использовали модели RFR и экстремального градиентного бустинга (XGBR) для оценки точности оценки биомассы субтропических лесов с использованием различных наборов переменных. Tian et ^al.20 использовали одиннадцать моделей машинного обучения для оценки надземной биомассы различных видов мангровых лесов в заливе Бейбуван. Исследователи обнаружили, что метод XGBR более эффективен в определении надземной биомассы мангровых лесов. Оценка биомассы растений с помощью человеко-машинного дистанционного зондирования является хорошо зарекомендовавшей себя практикой, однако использование БПЛА для оценки биомассы инвазивного растения Mikania micrantha еще не было зарегистрировано как внутри страны, так и за рубежом. Этот подход принципиально отличается от всех предыдущих методов оценки биомассы инвазивных растений, особенно Mikania micrantha.

Подводя итог, можно сказать, что дистанционное зондирование БПЛА обладает такими преимуществами, как высокое разрешение, высокая эффективность и низкая стоимость. При извлечении переменных объектов изображений дистанционного зондирования текстурные объекты в сочетании с индексами растительности могут обеспечить лучшую производительность регрессионного прогнозирования. Непараметрические модели позволяют получить более точные регрессионные модели, чем параметрические, при оценке биомассы растений. Таким образом, чтобы точно рассчитать нулевое распределение инвазивных растений и их биомассу, мы предлагаем следующие очерченные процедуры для эксперимента с инвазивной биомассой растений, который основан на дистанционном зондировании с использованием беспилотных летательных аппаратов и компьютерного зрения.

протокол

1. Подготовка наборов данных

1. Выбор объекта исследования
   1. Отбирайте тестовые образцы исходя из направленности экспериментального исследования, рассматривая такие варианты, как Mikania micrantha или другие инвазивные растения.
2. Сбор изображений с БПЛА
   1. Подготовьте квадратные пластиковые рамы размером 0,5 м*0,5 м и количеством 25-50, в зависимости от размера изучаемой площади.
   2. Используйте метод случайной выборки для определения мест отбора проб почвы на исследуемой территории с использованием достаточного количества проб биомассы. Расположите раму для образца горизонтально над растительностью, полностью охватывая растения с минимальным расстоянием между растениями 2 м.
   3. Используйте дрон и камеру для формирования системы съемки с помощью дистанционного зондирования БПЛА, как показано на рисунке 1.
   4. Используйте БПЛА для прокладки маршрута в пределах указанной изучаемой территории. Настройка планирования маршрута показана на рисунке 2.
      1. Установите коэффициент перекрытия направления и боковых сторон на уровне 70%, делайте снимки с равномерными интервалами времени в 2 с, поддерживайте угол наклона камеры перпендикулярно земле на 90° и расположите камеру на высоте 30 м. В результате были получены непрерывные видимые данные изображения исследуемой территории с разрешением одного изображения размером 8256 x 5504 пикселей, как показано на рисунке 3.
   5. Храните аэрофотоснимки для последующей обработки с помощью программного обеспечения Python для оценки биомассы.
3. Сбор надземной биомассы
   1. Соберите надземную биомассу Mikania micrantha вручную на каждом участке отбора проб после завершения сбора данных с помощью дронов. Упакуйте их в пакеты и наклейте соответствующую маркировку на каждый пакет.
      1. При сборе Mikania micrantha не допускайте перемещения пробных участков. Во-первых, разрежьте Mikania micrantha по внутреннему краю образца участка.
      2. Затем срежьте корневище Mikania micrantha снизу. Удалите грязь, камни и другие растения, которые были смешаны. Наконец, упакуйте и промаркируйте образцы.
   2. Принесите собранные образцы инвазивных растений из шага 1.3.1 в лабораторию. Высушите на воздухе все собранные образцы, чтобы испарить большую часть влаги.
   3. Для дальнейшего удаления влаги из высушенных на воздухе образцов используйте духовой шкаф. Установите температуру на 55 °C. Высушите образцы в течение 72 часов, затем взвесьте каждый образец на электронных весах и запишите данные о биомассе в граммах (г).
      1. Поместите электронные весы в безопасное место, взвесьте, откалибруйте и продолжайте взвешивание. Поставьте пакетики с Mikania micrantha на электронные весы, дождитесь стабилизации показаний и запишите показания.
      2. Взвешивайте Mikania micrantha каждый час до тех пор, пока масса не перестанет изменяться, и записывайте показания за вычетом веса мешка как измеренную массу этого образца. Рассчитайте надземную биомассу инвазивного растения по следующей формуле:
         
         где B – биомасса Mikania micrantha в граммах на квадратный метр (г/^м2), M – масса измеренной Mikania micrantha, измеренная в граммах (г), S соответствует площади пробного участка в квадратных метрах (^м2).
4. Создание набора данных
   1. Извлеките изображение RGB, соответствующее образцу изображения, из исходного изображения с БПЛА. Разделите его на сетку размером от 280 × 280 пикселей с помощью программирования на Python (Дополнительный рисунок 1).
   2. Сегментируйте необработанные данные изображений на более мелкие изображения того же размера, что и образцы изображений, с помощью программирования Python. Используйте метод скользящего окна для сегментации, установив горизонтальный и вертикальный шаги на 280 пикселей.
   3. Из небольших изображений, сегментированных на шаге 1.4.2, случайным образом выберите 880 изображений инвазивных растений и 1500 изображений фона для создания набора данных. Затем разделите этот набор данных на обучающий, проверочный и тестовый наборы в соотношении 6:2:2 (рис. 2).

2. Идентификация Mikania micrantha

1. Подготовка программного обеспечения
   1. Перейдите на официальный сайт Anaconda (https://www.anaconda.com/), загрузите и установите Anaconda. Затем перейдите на веб-сайт PyCharm (https://www.jetbrains.com/pycharm/) и загрузите PyCharm IDE.
2. Создание среды Conda.
   1. Откройте командную строку Anaconda Prompt после установки Anaconda, затем введите conda create -n pytorch python==3.8 , чтобы создать новую среду Conda. После создания окружения введите conda info --envs , чтобы подтвердить, что окружение pytorch существует.
   2. Откройте приглашение Anaconda и активируйте среду pytorch , введя conda activate pytorch. Проверьте текущую версию CUDA (Compute Unified Device Architecture), набрав nvidia-smi. Затем установите PyTorch версии 1.8.1, выполнив команду conda install pytorch==1.8.1 torchvision==0.9.1 torchaudio==0.8.1 cudatoolkit=11.0 -c pytorch.
3. Прогоны для распознавания моделей
   ПРИМЕЧАНИЕ: Используйте PyTorch для создания Mikania micrantha Модель распознавания, использованная в данной работе. Используемая модель сети — ResNet101²¹, который по своей архитектуре остается совместимым с оригинальной статьей. В выходной раздел сети вносятся изменения в соответствии с требованиями к распознаванию ромашки.
   1. Выполните предварительную обработку изображений, чтобы подготовить их к вводу в модель. Измените размер изображений с 280 x 280 пикселей до 224 x 224 пикселей и нормализуйте их, чтобы они соответствовали требованиям модели к размеру, используя следующий код:
      transform = преобразует. Составить([
      Преобразует. Resize((224, 224)),
      Преобразует. ToTensor(),
      Преобразует. Нормализация([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])])
   2. Выполняйте извлечение признаков изображения и уменьшайте размерность с помощью сверточной нейронной сети.
      1. Во-первых, инициализируйте сверточный слой для первоначального извлечения признаков с помощью self.conv1. С помощью этого сверточного слоя исходное изображение сворачивается в карту признаков с self.in_channel каналами для извлечения исходных признаков (дополнительный рисунок 3A).
         ПРИМЕЧАНИЕ: Расширенные функции извлекаются в ходе операции свертки на остаточных проходах. Эти слои создаются путем вызова функции _make_layer , которая состоит из последовательности остаточных блоков. Каждый остаточный блок состоит из функций свертки, пакетной нормализации и активации для постепенного извлечения сложных признаков (дополнительный рисунок 3B).
      2. Используйте функцию слоя для изменения номера канала для уменьшения размерности с помощью свертки 1x1. Эта операция снижает вычислительную нагрузку, сохраняя при этом значимые особенности (дополнительный рисунок 3C).
         ПРИМЕЧАНИЕ: В целом, ResNet101 выполняет извлечение признаков с использованием различных сверточных слоев, а уменьшение размерности достигается за счет сверточных слоев 1x1 в остаточном блоке. Такой подход позволяет сети более глубоко изучать признаки и избегать проблемы исчезновения градиента, тем самым обеспечивая более эффективное обучение и представление признаков изображения для сложных задач.
      3. После сверток и операций объединения введите высококачественные объекты в полностью связный слой.
         ПРИМЕЧАНИЕ: В архитектуре ResNet извлечение признаков происходит на сверточном уровне. Эти признаки затем отправляются на полносвязный (FC) уровень для классификации (дополнительный рисунок 4). Операция self.avgpool(x) выполняет адаптивное объединение средних для изменения формы тензора до фиксированного размера. Операция torch.flatten(x, 1) распределяет тензор в одномерный вектор, а self.fc(x) применяет полностью связанный слой к сплющенному вектору, в конечном итоге служа последним шагом для классификации. Этот процесс эффективно пропускает извлеченные признаки через сверточный слой, преобразуя их в формат, пригодный для классификации через полносвязный слой.
      4. Используйте функцию Softmax для получения конечного результата на основе трех требований классификации.
   3. Обучите многоклассовую модель распознавания с помощью набора данных из шага 1.4. Установите количество итераций равным 200 и начальную скорость обучения 0,0001. Сокращайте скорость обучения на треть каждые 10 итераций с размером пакета 64. Сохраняйте оптимальные параметры модели автоматически после каждой итерации (дополнительный рисунок 5).
   4. Используйте тщательно обученную модель распознавания и систематически проходите по исходному изображению, полученному на шаге 1.2.2, в целях идентификации.
      1. Настройте горизонтальные и вертикальные шаги с точностью до 280 пикселей, что приведет к созданию комплексной карты распределения, подчеркивающей присутствие инвазивной флоры в границах исследуемой территории. Представьте выбранные результаты визуально, как показано на рисунке 4.
         ПРИМЕЧАНИЕ: Исходное изображение предварительно обрабатывается путем его сегментации на более мелкие части, классификации каждого фрагмента с помощью обученной модели глубокого обучения и объединения результатов в выходное изображение. Если участок классифицируется как инвазивное растение, соответствующее местоположение на выходном изображении устанавливается равным 255. Полученное выходное изображение сохраняется в виде файла изображения в оттенках серого. Конкретный код реализации показан на дополнительном рисунке 6.

3. Оценка инвазивной биомассы растений

1. Выполните простое дополнение данных с помощью функций RandomResizedCrop и RandomHorizontalFlip (дополнительный рисунок 7), чтобы расширить набор изображений, созданный на шаге 1.2, и извлечь шесть вегетационных индексов, обычно используемых для оценки биомассы: RBRI, GBRI, GRRI, RGRI, NGBDI и NGRDI. Формулы расчета этих индексов приведены в таблице 1 .
2. Создание модели K-ближайшего соседа (KNNR)²² с использованием выходных данных модели для обеспечения точной оценки биомассы инвазивных растений. Используйте извлеченные вегетационные индексы в качестве входных данных для модели оценки.
3. Используйте коэффициент детерминации R² и среднеквадратичную ошибку (RMSE)²³ для оценки точности модели, которая рассчитывается следующим образом:
   
   
   ПРИМЕЧАНИЕ: Алгоритм K-Nearest Neighbor Regression (KNNR) — это непараметрический метод машинного обучения, используемый для решения задач регрессии. Его фундаментальная концепция заключается в прогнозировании результатов путем определения ближайших K соседей в пространстве признаков на основе входных расстояний выборки. К основным преимуществам использования KNNR относятся его простота и легкость для понимания, а также отсутствие необходимости в обучении. Кроме того, KNNR не делает чрезмерных предположений о распределении данных. KNNR может быть применен в вопросах регрессии для прогнозирования непрерывных целевых переменных и точной оценки биомассы инвазивных растений.
4. Используйте модель оценки надземной биомассы, выбранную на шаге 3.2, и просканируйте карту распространения инвазивных растений из шага 2.3.4 с горизонтальными и вертикальными шагами в 280 пикселей.

Результаты

Мы демонстрируем репрезентативные результаты метода оценки инвазивных растений на основе компьютерного зрения, который реализуется программным способом на компьютере. В этом эксперименте мы оценили пространственное распределение и оценили биомассу инвазивных растений в их естеств...

Обсуждение

Мы подробно представляем этапы эксперимента по оценке биомассы инвазивных растений с помощью дистанционного зондирования с помощью БПЛА и компьютерного зрения. Основной процесс и этапы этого соглашения показаны на рисунке 7. Надлежащее качество образцов является одн?...

Материалы

Name	Company	Catalog Number	Comments
DSLR camera	Nikon	D850	Sensor type: CMOS; Maximum number of pixels: 46.89 million; Effective number of pixels: 45.75 million; Maximum resolution 8256 x 5504.
GPU - Graphics Processing Unit	NVIDIA	RTX3090
Hexacopter	DJI	M600PRO	Horizontal flight: 65 km/h (no wind environment); Maximum flight load: 6000 g
PyCharm	Python IDE	2023.1
Python	Python	3.8.0
Pytorch	Pytorch	1.8.1