Estimativa de biomassa baseada em visão computacional para plantas invasoras

Resumo

Relatamos procedimentos detalhados para um método de estimativa de biomassa de plantas invasoras que utiliza dados obtidos de sensoriamento remoto de veículos aéreos não tripulados (UAV) para avaliar a biomassa e capturar a distribuição espacial de espécies invasoras. Essa abordagem é altamente benéfica para a realização de avaliação de perigos e alerta precoce de plantas invasoras.

Resumo

Relatamos as etapas detalhadas de um método para estimar a biomassa de plantas invasoras com base em sensoriamento remoto UAV e visão computacional. Para a coleta de amostras da área de estudo, foi elaborado um quadrado amostral para randomizar os pontos amostrais. Um sistema de câmera aérea não tripulada foi construído usando um drone e uma câmera para adquirir imagens RGB contínuas da área de estudo por meio de navegação automatizada. Após a conclusão da filmagem, a biomassa acima do solo no quadro de amostra foi coletada e todas as correspondências foram rotuladas e embaladas. Os dados da amostra foram processados e as imagens aéreas foram segmentadas em pequenas imagens de 280 x 280 pixels para criar um conjunto de dados de imagens. Uma rede neural convolucional profunda foi utilizada para mapear a distribuição de Mikania micrantha na área de estudo, e seu índice de vegetação foi obtido. Os organismos coletados foram secos e o peso seco foi registrado como a biomassa da verdade fundamental. O modelo de regressão de biomassa de plantas invasoras foi construído usando a regressão K-vizinho mais próximo (KNNR), extraindo o índice de vegetação das imagens da amostra como uma variável independente e integrando-o com a biomassa de verdade do solo como uma variável dependente. Os resultados mostraram que foi possível prever com precisão a biomassa de plantas invasoras. Um mapa preciso de distribuição espacial da biomassa de plantas invasoras foi gerado por passagem de imagens, permitindo a identificação precisa de áreas de alto risco afetadas por plantas invasoras. Em resumo, este estudo demonstra o potencial de combinar sensoriamento remoto de veículos aéreos não tripulados com técnicas de aprendizado de máquina para estimar a biomassa de plantas invasoras. Contribui significativamente para a pesquisa de novas tecnologias e métodos para monitoramento em tempo real de plantas invasoras e fornece suporte técnico para monitoramento inteligente e avaliação de perigos em escala regional.

Introdução

Neste protocolo, o método proposto de estimativa de biomassa invasiva baseado em sensoriamento remoto de UAV e visão computacional pode refletir a distribuição de organismos invasores e prever o grau de risco biológico invasivo. As estimativas da distribuição e biomassa de organismos invasores são críticas para a prevenção e controle desses organismos. Uma vez que as plantas invasoras invadem, elas podem danificar o ecossistema e causar enormes perdas econômicas. Identificar com rapidez e precisão as plantas invasoras e estimar a biomassa das principais plantas invasoras são os principais desafios no monitoramento e controle de plantas invasoras. Neste protocolo, tomamos Mikania micrantha como exemplo para explorar um método de estimativa de biomassa de plantas invasoras baseado em sensoriamento remoto aéreo não tripulado e visão computacional, que fornece uma nova abordagem e método para a pesquisa ecológica de plantas invasoras e promove a pesquisa ecológica e o manejo de plantas invasoras.

Atualmente, a medição da biomassa de Mikania micrantha é feita principalmente por amostragem manual¹. Os métodos tradicionais de medição de biomassa precisam de muita força de trabalho e recursos materiais, que são ineficientes e limitados pelo terreno; é difícil atender às necessidades de estimativa regional de biomassa de Mikania micrantha. A principal vantagem de usar este protocolo é que ele fornece um método para quantificar a biomassa de plantas invasoras regionais e a distribuição espacial de plantas invasoras de uma forma que não leva em consideração as limitações de amostragem da área e elimina a necessidade de levantamentos manuais.

A tecnologia de sensoriamento remoto UAV alcançou certos resultados na estimativa de biomassa vegetal e tem sido amplamente utilizada na agricultura 2,3,4,5,6,7, silvicultura ^8,9,10,11 e pastagens 12,13,14. A tecnologia de sensoriamento remoto UAV tem as vantagens de baixo custo, alta eficiência, alta precisão e operação flexível^15,16, que pode obter com eficiência dados de imagens de sensoriamento remoto na área de estudo; Em seguida, a característica de textura e o índice de vegetação da imagem de sensoriamento remoto são extraídos para fornecer suporte de dados para a estimativa da biomassa vegetal em grande área. Os métodos atuais de estimativa de biomassa vegetal são categorizados principalmente em modelos paramétricos e não paramétricos¹⁷. Com o desenvolvimento de algoritmos de aprendizado de máquina, modelos não paramétricos de aprendizado de máquina com maior precisão têm sido amplamente utilizados na estimativa de sensoriamento remoto da biomassa vegetal. Chen et ^al.18 utilizaram regressão logística mista (MLR), KNNR e regressão florestal aleatória (RFR) para estimar a biomassa aérea das florestas na província de Yunnan. Eles concluíram que os modelos de aprendizado de máquina, especificamente KNNR e RFR, resultaram em resultados superiores em comparação com o MLR. Yan et ^al.19 empregaram modelos de regressão RFR e extreme gradient boosting (XGBR) para avaliar a precisão da estimativa da biomassa da floresta subtropical usando vários conjuntos de variáveis. Tian et ^al.20 utilizaram onze modelos de aprendizado de máquina para estimar a biomassa acima do solo de várias espécies de florestas de mangue na Baía de Beibuwan. Os pesquisadores descobriram que o método XGBR foi mais eficaz na determinação da biomassa aérea das florestas de mangue. A estimativa da biomassa vegetal usando sensoriamento remoto homem-máquina é uma prática bem estabelecida, no entanto, o uso de UAV para estimativa de biomassa da planta invasora Mikania micrantha ainda não foi relatado nacional e internacionalmente. Essa abordagem é fundamentalmente diferente de todos os métodos anteriores de estimativa de biomassa para plantas invasoras, especialmente Mikania micrantha.

Resumindo, o sensoriamento remoto UAV tem as vantagens de alta resolução, alta eficiência e baixo custo. Na extração de variáveis de características de imagens de sensoriamento remoto, características de textura combinadas com índices de vegetação podem obter melhor desempenho de previsão de regressão. Modelos não paramétricos podem obter modelos de regressão mais precisos do que os paramétricos na estimativa de biomassa vegetal. Portanto, para calcular a distribuição nula de plantas invasoras e sua biomassa com precisão, sugerimos os seguintes procedimentos descritos para o experimento de biomassa de plantas invasoras que se baseia em sensoriamento remoto usando UAVs e visão computacional.

Protocolo

1. Preparação de conjuntos de dados

1. Seleção do objeto de pesquisa
   1. Selecione amostras de teste com base no foco do estudo experimental, considerando opções como Mikania micrantha ou outras plantas invasoras.
2. Coletando imagens de UAV
   1. Prepare molduras de plástico quadradas de tamanho 0,5 m * 0,5 m e quantidade 25-50, dependendo do tamanho da área estudada.
   2. Empregue uma abordagem de amostragem aleatória para determinar os locais de amostragem de solo na área de estudo usando um número suficiente de amostras de biomassa. Posicione a estrutura de amostra horizontalmente sobre a vegetação, abrangendo totalmente as plantas com uma distância mínima de separação de 2 m entre cada planta.
   3. Use um drone e uma câmera para formar um sistema de filmagem de sensoriamento remoto UAV, conforme mostrado na Figura 1.
   4. Use o UAV para traçar a rota dentro da área de estudo especificada. A configuração do planejamento de rotas é mostrada na Figura 2.
      1. Estabeleça uma taxa de sobreposição de rumo e lado de 70%, capture fotos em intervalos de tempo uniformes de 2 s, mantenha o ângulo da câmera perpendicular ao solo em 90° e posicione a altitude da câmera em 30 m. Isso resultou em dados de imagem visíveis contínuos da área de estudo com uma resolução de imagem única medindo 8256 x 5504 pixels, conforme ilustrado na Figura 3.
   5. Armazene imagens aéreas para processamento subsequente com o software Python para estimativa de biomassa.
3. Coletando a biomassa acima do solo
   1. Colete a biomassa aérea de Mikania micrantha manualmente dentro de cada parcela de amostra após concluir a coleta de dados do drone. Embale-os e rotule cada saco de acordo.
      1. Ao coletar Mikania micrantha, evite que as parcelas de amostra se movam. Primeiro, corte a Mikania micrantha ao longo da borda interna da parcela de amostra.
      2. Em seguida, corte o rizoma da Mikania micrantha do fundo. Remova qualquer sujeira, pedras ou outras plantas que estejam misturadas. Por fim, embale e rotule as amostras.
   2. Traga as amostras coletadas de plantas invasoras da etapa 1.3.1 para o laboratório. Seque ao ar todas as amostras coletadas para evaporar a maior parte da umidade.
   3. Para remover ainda mais a umidade das amostras secas ao ar, use um forno. Ajuste a temperatura para 55 °C. Secar as amostras durante 72 h, pesar cada amostra numa balança electrónica e registar os dados relativos à biomassa em gramas (g).
      1. Coloque a balança eletrônica em um ambiente não perturbado, pese, calibre e continue pesando. Coloque sacos de Mikania micrantha na balança eletrônica, aguarde as leituras se estabilizarem e registre as leituras.
      2. Pesar a Mikania micrantha de hora em hora até que a massa deixe de se alterar e registar a leitura menos o peso do saco como a massa medida dessa amostra. Calcule a biomassa aérea da planta invasora usando a fórmula abaixo:
         
         em que B representa a biomassa de Mikania micrantha em gramas por metro quadrado (g/m²), M é o peso da Mikania micrantha medida, medido em gramas (g), S corresponde à área da parcela amostral em metros quadrados (m²).
4. Criando um conjunto de dados
   1. Extraia a imagem RGB correspondente à imagem de amostra da imagem original do UAV. Divida-o em uma grade de 280 × 280 pixels usando a programação Python (Supplementray Figura 1).
   2. Segmente os dados brutos da imagem em imagens menores do mesmo tamanho que as imagens de amostra usando a programação Python. Use o método de janela deslizante para segmentação, definindo as etapas horizontais e verticais para 280 pixels.
   3. A partir das pequenas imagens segmentadas na etapa 1.4.2, selecione aleatoriamente 880 imagens de plantas invasoras e 1500 imagens de fundo para criar um conjunto de dados. Em seguida, divida esse conjunto de dados em conjuntos de treinamento, validação e teste em uma proporção de 6:2:2 (Supplementray Figura 2).

2. Identificação de Mikania micrantha

1. Preparando o software
   1. Acesse o site oficial do Anaconda (https://www.anaconda.com/) e baixe e instale o Anaconda. Em seguida, acesse o site do PyCharm (https://www.jetbrains.com/pycharm/) e baixe o PyCharm IDE.
2. Criando um ambiente Conda.
   1. Abra a linha de comando do Anaconda Prompt após instalar o Anaconda e digite conda create -n pytorch python==3.8 para criar um novo ambiente Conda. Depois que o ambiente for criado, insira conda info --envs para confirmar que o ambiente pytorch existe.
   2. Abra o prompt do Anaconda e ative o ambiente pytorch digitando conda activate pytorch. Verifique a versão atual do CUDA (Compute Unified Device Architecture) digitando nvidia-smi. Em seguida, instale o PyTorch versão 1.8.1 executando o comando conda install pytorch==1.8.1 torchvision==0.9.1 torchaudio==0.8.1 cudatoolkit=11.0 -c pytorch.
3. Execuções para reconhecimento de modelo
   NOTA: Use o PyTorch para criar o Mikania micrantha modelo de reconhecimento usado neste artigo. O modelo de rede empregado é o ResNet101²¹, que permanece consistente com o artigo original em sua arquitetura. Modificações são feitas na seção de saída da rede para atender aos requisitos de reconhecimento de camomila.
   1. Pré-processe as imagens para prepará-las para a entrada do modelo. Redimensione as imagens de 280 x 280 pixels para 224 x 224 pixels e normalize-as para garantir que atendam aos requisitos de tamanho do modelo usando o seguinte código:
      transform = transforma. Compor([
      Transforma. Redimensionar((224, 224)),
      Transforma. ToTensor(),
      Transforma. Normalizar([0,485, 0,456, 0,406], [0,229, 0,224, 0,225])])
   2. Execute a extração de recursos de imagem e reduza a dimensionalidade usando uma rede neural convolucional.
      1. Primeiro, inicialize a camada convolucional para a extração inicial de feições por meio de self.conv1. Com esta camada convolucional, a imagem original é convoluída em um mapa de recursos com self.in_channel canais para extrair recursos iniciais (Figura Suplementar 3A).
         NOTA: Os recursos avançados são extraídos em uma operação de convolução nas passagens residuais. Essas camadas são produzidas invocando a função _make_layer , que compreende uma sequência de blocos residuais. Cada bloco residual consiste em funções de convolução, normalização em lote e ativação para extrair gradualmente recursos sofisticados (Figura 3B suplementar).
      2. Use a função da camada para modificar o número do canal para redução de dimensionalidade por meio da convolução 1x1. Esta operação diminui a carga computacional, preservando características significativas (Figura Suplementar 3C).
         NOTA: No geral, o ResNet101 executa a extração de recursos usando várias camadas convolucionais e a redução da dimensionalidade é obtida por meio de camadas convolucionais 1x1 dentro do bloco residual. Essa abordagem permite que a rede aprenda recursos mais profundamente e evite o problema do desaparecimento do gradiente, permitindo assim um aprendizado e representação mais eficientes dos recursos da imagem para tarefas complexas.
      3. Após as operações de convolução e agrupamento, insira os recursos de alta qualidade em uma camada totalmente conectada.
         NOTA: Na arquitetura ResNet, a extração de recursos ocorre na camada convolucional. Esses recursos são posteriormente enviados para a camada totalmente conectada (FC) para classificação (Figura Suplementar 4). A operação self.avgpool(x) executa o pool de média adaptável para remodelar o tensor para um tamanho fixo. A operação torch.flatten(x, 1) espalha o tensor em um vetor unidimensional, e self.fc(x) aplica a camada totalmente conectada ao vetor achatado, servindo como a etapa final para a classificação. Este processo passa efetivamente as feições extraídas através da camada convolucional, transformando-as em um formato adequado para classificação através da camada totalmente conectada.
      4. Use a função Softmax para obter a saída final com base nos três requisitos de classificação.
   3. Treine um modelo de reconhecimento multiclasse com o conjunto de dados da etapa 1.4. Defina o número de iterações como 200 e uma taxa de aprendizado inicial de 0,0001. Reduza a taxa de aprendizado em um terço a cada 10 iterações com um tamanho de lote de 64. Salve os parâmetros ideais do modelo automaticamente após cada iteração (Figura Suplementar 5).
   4. Empregue um modelo de reconhecimento meticulosamente treinado e percorra sistematicamente a imagem original da etapa 1.2.2 para fins de identificação.
      1. Configure etapas horizontais e verticais com precisão em 280 pixels, resultando na geração de um mapa de distribuição abrangente destacando a presença de flora invasora dentro dos limites da área de estudo. Apresente os resultados selecionados visualmente, conforme mostrado na Figura 4.
         NOTA: A imagem inicial é pré-processada segmentando-a em partes menores, classificando cada parte usando um modelo de aprendizado profundo treinado e combinando os resultados em uma imagem de saída. Se um pedaço for classificado como uma planta invasora, o local correspondente na imagem de saída será definido como 255. A imagem de saída resultante é salva como um arquivo de imagem em tons de cinza. O código de implementação específico é mostrado na Figura Suplementar 6.

3. Estimativa da biomassa vegetal invasora

1. Execute o aumento de dados simples com as funções RandomResizedCrop e RandomHorizontalFlip (Figura Suplementar 7) para estender o conjunto de imagens criado na etapa 1.2 e extrair os seis índices de vegetação comumente usados para estimar a biomassa, que são RBRI, GBRI, GRRI, RGRI, NGBDI e NGRDI. Consulte a Tabela 1 para obter as fórmulas de cálculo para esses índices.
2. Crie um modelo de regressão do vizinho mais próximo (KNNR)²² usando a saída do modelo para garantir uma estimativa precisa da biomassa de plantas invasoras. Use os índices de vegetação extraídos como entradas para o modelo de estimativa.
3. Utilizar o coeficiente de determinação R² e a raiz do erro quadrático médio (RMSE)²³ para avaliar a acurácia do modelo, que é calculada da seguinte forma:
   
   
   NOTA: O algoritmo K-Nearest Neighbor Regression (KNNR) é uma técnica de aprendizado de máquina não paramétrica usada para resolver problemas de regressão. Seu conceito fundamental é prever resultados determinando os K vizinhos mais próximos no espaço de recursos com base nas distâncias da amostra de entrada. Os principais benefícios do uso do KNNR incluem sua simplicidade e facilidade de compreensão, e não requer nenhuma fase de treinamento. Além disso, o KNNR não faz suposições excessivas sobre a distribuição dos dados. O KNNR pode ser aplicado em questões de regressão para antecipar variáveis objetivas contínuas e avaliar com precisão a biomassa de plantas invasoras.
4. Empregue o modelo de estimativa de biomassa acima do solo escolhido na etapa 3.2 e examine o mapa de distribuição de plantas invasoras da etapa 2.3.4 com passos horizontais e verticais de 280 pixels.

Resultados

Mostramos resultados representativos de um método baseado em visão computacional para a estimativa de plantas invasoras, que é implementado de forma programática em um computador. Neste experimento, avaliamos a distribuição espacial e estimamos a biomassa de plantas invasoras em seus habitats naturais, utilizando Mikania micrantha como objeto de pesquisa. Utilizamos um sistema de câmera drone para adquirir imagens do local de pesquisa, uma parte das quais é exibida na Figura 3

Discussão

Apresentamos as etapas detalhadas de um experimento sobre estimativa da biomassa de plantas invasoras usando sensoriamento remoto UAV e visão computacional. O principal processo e as etapas desse acordo são mostrados na Figura 7. A qualidade adequada da amostra é um dos aspectos mais cruciais e desafiadores do programa. Essa importância vale para todas as plantas invasoras, bem como para quaisquer outros experimentos de estimativa de biomassa vegetal²⁴.

Materiais

Name	Company	Catalog Number	Comments
DSLR camera	Nikon	D850	Sensor type: CMOS; Maximum number of pixels: 46.89 million; Effective number of pixels: 45.75 million; Maximum resolution 8256 x 5504.
GPU - Graphics Processing Unit	NVIDIA	RTX3090
Hexacopter	DJI	M600PRO	Horizontal flight: 65 km/h (no wind environment); Maximum flight load: 6000 g
PyCharm	Python IDE	2023.1
Python	Python	3.8.0
Pytorch	Pytorch	1.8.1