Computer Vision-basierte Biomasseschätzung für invasive Pflanzen

Zusammenfassung

Wir berichten über detaillierte Verfahren für eine Methode zur Schätzung der invasiven Pflanzenbiomasse, die Daten aus der Fernerkundung von unbemannten Luftfahrzeugen (UAV) verwendet, um die Biomasse zu bewerten und die räumliche Verteilung invasiver Arten zu erfassen. Dieser Ansatz erweist sich als äußerst nützlich für die Durchführung von Gefahrenbewertungen und die Frühwarnung vor invasiven Pflanzen.

Zusammenfassung

Wir berichten über die detaillierten Schritte einer Methode zur Abschätzung der Biomasse invasiver Pflanzen auf Basis von UAV-Fernerkundung und Computer Vision. Um Proben aus dem Untersuchungsgebiet zu sammeln, haben wir eine quadratische Stichprobenanordnung vorbereitet, um die Probenahmepunkte zu randomisieren. Es wurde ein unbemanntes Luftbildkamerasystem mit einer Drohne und einer Kamera konstruiert, um durch automatisierte Navigation kontinuierliche RGB-Bilder des Untersuchungsgebiets zu erfassen. Nach Abschluss der Dreharbeiten wurde die oberirdische Biomasse im Probenrahmen gesammelt, und alle Korrespondenzen wurden beschriftet und verpackt. Die Beispieldaten wurden verarbeitet und die Luftbilder wurden in kleine Bilder von 280 x 280 Pixeln segmentiert, um einen Bilddatensatz zu erstellen. Ein tiefes neuronales Faltungsnetz wurde verwendet, um die Verbreitung von Mikania micrantha im Untersuchungsgebiet zu kartieren, und es wurde ihr Vegetationsindex erhalten. Die gesammelten Organismen wurden getrocknet und das Trockengewicht als Ground-Truth-Biomasse erfasst. Das Regressionsmodell für invasive pflanzliche Biomasse wurde unter Verwendung der K-Nearest-Neighbor-Regression (KNNR) konstruiert, indem der Vegetationsindex aus den Beispielbildern als unabhängige Variable extrahiert und mit der Ground-Truth-Biomasse als abhängige Variable integriert wurde. Die Ergebnisse zeigten, dass es möglich war, die Biomasse invasiver Pflanzen genau vorherzusagen. Durch Bildtraversierung wurde eine genaue räumliche Verteilungskarte der invasiven Pflanzenbiomasse erstellt, die eine genaue Identifizierung von Hochrisikogebieten ermöglicht, die von invasiven Pflanzen betroffen sind. Zusammenfassend zeigt diese Studie das Potenzial der Kombination von unbemannter Fernerkundung von Luftfahrzeugen mit Techniken des maschinellen Lernens zur Abschätzung invasiver pflanzlicher Biomasse. Es leistet einen wichtigen Beitrag zur Erforschung neuer Technologien und Methoden für das Echtzeit-Monitoring invasiver Pflanzen und bietet technische Unterstützung für ein intelligentes Monitoring und eine Gefährdungsbeurteilung auf regionaler Ebene.

Einleitung

In diesem Protokoll kann die vorgeschlagene Methode zur Schätzung der invasiven Biomasse auf der Grundlage von UAV-Fernerkundung und Computer Vision die Verteilung invasiver Organismen widerspiegeln und den Grad der invasiven Biogefährdung vorhersagen. Schätzungen der Verbreitung und Biomasse invasiver Organismen sind entscheidend für die Prävention und Bekämpfung dieser Organismen. Sobald invasive Pflanzen eindringen, können sie das Ökosystem schädigen und enorme wirtschaftliche Verluste verursachen. Die schnelle und genaue Identifizierung invasiver Pflanzen und die Schätzung der wichtigsten invasiven Pflanzenbiomasse sind große Herausforderungen bei der Überwachung und Bekämpfung invasiver Pflanzen. In diesem Protokoll nehmen wir Mikania micrantha als Beispiel, um eine Methode zur Schätzung der Biomasse invasiver Pflanzen zu erforschen, die auf unbemannter Luftfernerkundung und Computer Vision basiert und einen neuen Ansatz und eine neue Methode für die ökologische Erforschung invasiver Pflanzen bietet und die ökologische Forschung und das Management invasiver Pflanzen fördert.

Derzeit erfolgt die Biomassemessung von Mikania micrantha hauptsächlich durch manuelle Probenahme¹. Die traditionellen Methoden der Biomassemessung erfordern viel Personal und materielle Ressourcen, die ineffizient und durch das Gelände begrenzt sind. Es ist schwierig, die Anforderungen der regionalen Biomasseschätzung von Mikania micrantha zu erfüllen.Der große Vorteil der Verwendung dieses Protokolls besteht darin, dass es eine Methode zur Quantifizierung der regionalen invasiven Pflanzenbiomasse und der räumlichen Verteilung invasiver Pflanzen bietet, ohne die Einschränkungen der Probenahme des Gebiets zu berücksichtigen und manuelle Erhebungen überflüssig zu machen.

Die UAV-Fernerkundungstechnologie hat bestimmte Ergebnisse bei der Schätzung der pflanzlichen Biomasse erzielt und ist in der Landwirtschaft^{weit verbreitet} 2,3,4,5,6,7, Forstwirtschaft 8,9,10,11 und Grünland 12,13,14 . Die UAV-Fernerkundungstechnologie hat die Vorteile niedriger Kosten, hoher Effizienz, hoher Präzision und flexibler Betrieb^15,16, wodurch Fernerkundungsbilddaten im Untersuchungsgebiet effizient erhalten werden können; Anschließend werden das Texturmerkmal und der Vegetationsindex des Fernerkundungsbildes extrahiert, um die Schätzung der pflanzlichen Biomasse in großen Gebieten zu unterstützen. Die derzeitigen Methoden zur Schätzung der pflanzlichen Biomasse werden hauptsächlich in parametrische und nichtparametrische Modelle eingeteilt¹⁷. Mit der Entwicklung von Algorithmen für maschinelles Lernen wurden nichtparametrische Modelle des maschinellen Lernens mit höherer Genauigkeit in großem Umfang bei der Fernerkundung der Schätzung von pflanzlicher Biomasse eingesetzt. Chen et ^al.18 nutzten gemischte logistische Regression (MLR), KNNR und Random Forest Regression (RFR), um die oberirdische Biomasse von Wäldern in der Provinz Yunnan zu schätzen. Sie kamen zu dem Schluss, dass die Modelle des maschinellen Lernens, insbesondere KNNR und RFR, im Vergleich zu MLR zu besseren Ergebnissen führten. Yan et ^al.19 verwendeten RFR- und Extremgradienten-Boosting-Regressionsmodelle (XGBR), um die Genauigkeit der Schätzung der subtropischen Waldbiomasse anhand verschiedener Variablensätze zu bewerten. Tian et ^al.20 verwendeten elf Modelle des maschinellen Lernens, um die oberirdische Biomasse verschiedener Mangrovenwaldarten in der Beibuwan Bay abzuschätzen. Die Forscher fanden heraus, dass die XGBR-Methode bei der Bestimmung der oberirdischen Biomasse von Mangrovenwäldern effektiver ist. Die Schätzung der pflanzlichen Biomasse mittels Mensch-Maschine-Fernerkundung ist eine etablierte Praxis, jedoch wurde der Einsatz von UAV zur Biomasseschätzung der invasiven Pflanze Mikania micrantha sowohl im In- als auch im Ausland noch nicht berichtet. Dieser Ansatz unterscheidet sich grundlegend von allen bisherigen Methoden der Biomasseschätzung für invasive Pflanzen, insbesondere Mikania micrantha.

Zusammenfassend lässt sich sagen, dass die UAV-Fernerkundung die Vorteile einer hohen Auflösung, eines hohen Wirkungsgrads und niedriger Kosten bietet. Bei der Extraktion von Merkmalsvariablen aus Fernerkundungsbildern können Textur-Features in Kombination mit Vegetationsindizes eine bessere Leistung bei der Regressionsvorhersage erzielen. Nichtparametrische Modelle können bei der Schätzung der Pflanzenbiomasse genauere Regressionsmodelle erhalten als parametrische. Um die Nullverteilung invasiver Pflanzen und ihrer Biomasse genau zu berechnen, schlagen wir daher die folgenden skizzierten Verfahren für das Experiment zur invasiven Pflanzenbiomasse vor, das auf Fernerkundung mit UAVs und Computer Vision basiert.

Protokoll

1. Aufbereitung der Datensätze

1. Auswahl des Forschungsgegenstandes
   1. Wählen Sie Testproben basierend auf dem Schwerpunkt der experimentellen Studie aus und berücksichtigen Sie Optionen wie Mikania micrantha oder andere invasive Pflanzen.
2. Sammeln von UAV-Bildern
   1. Bereiten Sie quadratische Kunststoffrahmen mit einer Größe von 0,5 m * 0,5 m und einer Menge von 25-50 vor, abhängig von der Größe der untersuchten Fläche.
   2. Anwendung eines Zufallsstichprobenansatzes zur Bestimmung der Bodenprobenahmeorte im Untersuchungsgebiet unter Verwendung einer ausreichenden Anzahl von Biomasseproben. Positionieren Sie den Probenrahmen horizontal über der Vegetation und umfassen Sie die Pflanzen vollständig mit einem Mindestabstand von 2 m zwischen den einzelnen Pflanzen.
   3. Verwenden Sie eine Drohne und eine Kamera, um ein UAV-Fernerkundungsfilmsystem zu bilden, wie in Abbildung 1 gezeigt.
   4. Verwenden Sie das UAV, um die Route innerhalb des angegebenen Untersuchungsgebiets darzustellen. Die Einrichtung der Routenplanung ist in Abbildung 2 dargestellt.
      1. Legen Sie eine Überlappungsrate von 70 % für Kurs und Seite fest, nehmen Sie Fotos in einheitlichen Zeitintervallen von 2 s auf, halten Sie den Kamerawinkel senkrecht zum Boden bei 90° und positionieren Sie die Kamerahöhe auf 30 m. Dies führte zu kontinuierlichen sichtbaren Bilddaten des Untersuchungsgebiets mit einer Einzelbildauflösung von 8256 x 5504 Pixeln, wie in Abbildung 3 dargestellt.
   5. Speichern Sie Luftbilder für die spätere Verarbeitung mit der Python-Software zur Schätzung der Biomasse.
3. Sammeln der oberirdischen Biomasse
   1. Erfassen Sie die oberirdische Biomasse von Mikania micrantha manuell innerhalb jeder Probefläche, nachdem Sie die Drohnendatenerfassung abgeschlossen haben. Verpacken Sie sie und beschriften Sie jeden Beutel entsprechend.
      1. Verhindern Sie beim Sammeln von Mikania micrantha, dass sich die Probeflächen bewegen. Schneiden Sie zuerst die Mikania micrantha entlang der Innenkante der Beispielparzelle ein.
      2. Schneide dann das Rhizom der Mikania micrantha von unten ab. Entfernen Sie Schmutz, Steine oder andere Pflanzen, die sich vermischt haben. Zum Schluss verpacken und beschriften Sie die Proben.
   2. Bringen Sie die gesammelten Proben invasiver Pflanzen aus Schritt 1.3.1 ins Labor. Trocknen Sie alle gesammelten Proben an der Luft, um den größten Teil der Feuchtigkeit zu verdunsten.
   3. Um die Feuchtigkeit aus luftgetrockneten Proben weiter zu entfernen, verwenden Sie einen Ofen. Stellen Sie die Temperatur auf 55 °C ein. Die Proben werden 72 Stunden lang getrocknet, dann jede Probe auf einer elektronischen Waage gewogen und die Biomassedaten in Gramm (g) aufgezeichnet.
      1. Stellen Sie die elektronische Waage in eine ungestörte Umgebung, wiegen, kalibrieren und wiegen Sie weiter. Legen Sie Beutel mit Mikania micrantha auf die elektronische Waage, warten Sie, bis sich die Messwerte stabilisiert haben, und zeichnen Sie die Messwerte auf.
      2. Wiegen Sie das Mikania micrantha stündlich, bis sich die Masse nicht mehr ändert, und notieren Sie den Messwert abzüglich des Gewichts des Beutels als gemessene Masse dieser Probe. Berechnen Sie die oberirdische Biomasse der invasiven Pflanze mit der folgenden Formel:
         
         wobei B die Biomasse von Mikania micrantha in Gramm pro Quadratmeter (g/m²) darstellt, M das Gewicht der gemessenen Mikania micrantha, gemessen in Gramm (g), S der Fläche der Probefläche in Quadratmetern (m²) entspricht.
4. Erstellen eines Datensatzes
   1. Extrahieren Sie das RGB-Bild, das dem Beispielbild entspricht, aus dem ursprünglichen UAV-Bild. Teilen Sie es mit Python-Programmierung in ein Raster von 280 × 280 Pixeln auf (Supplementray Abbildung 1).
   2. Segmentieren Sie die Rohbilddaten mithilfe der Python-Programmierung in kleinere Bilder mit der gleichen Größe wie die Beispielbilder. Verwenden Sie die Methode des gleitenden Fensters für die Segmentierung, indem Sie die horizontalen und vertikalen Schritte auf 280 Pixel festlegen.
   3. Wählen Sie aus den kleinen Bildern, die in Schritt 1.4.2 segmentiert wurden, nach dem Zufallsprinzip 880 invasive Pflanzenbilder und 1500 Hintergrundbilder aus, um einen Datensatz zu erstellen. Teilen Sie dann dieses Dataset in Trainings-, Validierungs- und Testsätze im Verhältnis 6:2:2 auf (Supplementray Abbildung 2).

2. Identifizierung von Mikania micrantha

1. Vorbereiten der Software
   1. Gehen Sie auf die offizielle Website von Anaconda (https://www.anaconda.com/), laden Sie Anaconda herunter und installieren Sie es. Gehen Sie dann auf die Website von PyCharm (https://www.jetbrains.com/pycharm/) und laden Sie die PyCharm IDE herunter.
2. Erstellen einer Conda-Umgebung.
   1. Öffnen Sie nach der Installation von Anaconda die Befehlszeile der Anaconda-Eingabeaufforderung und geben Sie dann conda create -n pytorch python==3.8 ein, um eine neue Conda-Umgebung zu erstellen. Nachdem die Umgebung erstellt wurde, geben Sie conda info --envs ein, um zu bestätigen, dass die pytorch-Umgebung vorhanden ist.
   2. Öffnen Sie die Anaconda-Eingabeaufforderung und aktivieren Sie die pytorch-Umgebung , indem Sie conda activate pytorch eingeben. Überprüfen Sie die aktuelle (Compute Unified Device Architecture)CUDA-Version, indem Sie nvidia-smi eingeben. Installieren Sie dann die PyTorch-Version 1.8.1, indem Sie den Befehl ausführen conda install pytorch==1.8.1 torchvision==0.9.1 torchaudio==0.8.1 cudatoolkit=11.0 -c pytorch.
3. Läufe für die Modellerkennung
   HINWEIS: Verwenden Sie PyTorch, um die Mikania micrantha Erkennungsmodell, das in diesem Artikel verwendet wird. Das verwendete Netzwerkmodell ist ResNet101²¹, die in ihrer Architektur mit dem Originalpapier konsistent bleibt. Es werden Änderungen an der Ausgabesektion des Netzwerks vorgenommen, um die Anforderungen für die Kamillenerkennung zu erfüllen.
   1. Verarbeiten Sie die Bilder vor, um sie für die Modelleingabe vorzubereiten. Ändern Sie die Größe der Bilder von 280 x 280 Pixel auf 224 x 224 Pixel, und normalisieren Sie sie, um sicherzustellen, dass sie die Größenanforderungen des Modells erfüllen, indem Sie den folgenden Code verwenden:
      transformieren = transformiert. Komponieren([
      Verwandelt. Größe ändern((224, 224)),
      Verwandelt. ToTensor(),
      Verwandelt. Normalize([0.485, 0.456; 0.406], [0.229, 0.224, 0.225])])
   2. Führen Sie die Extraktion von Bildmerkmalen durch und reduzieren Sie die Dimensionalität mit einem Convolutional Neural Network.
      1. Initialisieren Sie zunächst die Faltungsschicht für die anfängliche Merkmalsextraktion über self.conv1. Mit dieser Faltungsschicht wird das Originalbild zu einer Feature-Map mit self.in_channel Kanälen für die Extraktion der ersten Features gefaltet (Ergänzende Abbildung 3A).
         HINWEIS: Erweiterte Funktionen werden in einer Faltungsoperation auf den Restbahnen extrahiert. Diese Schichten werden durch Aufrufen der Funktion _make_layer erzeugt, die eine Folge von Restblöcken umfasst. Jeder Restblock besteht aus Faltungs-, Batch-Normalisierungs- und Aktivierungsfunktionen, um nach und nach ausgefeilte Merkmale zu extrahieren (Ergänzende Abbildung 3B).
      2. Verwenden Sie die Funktion der Schicht, um die Kanalnummer für die Dimensionalitätsreduzierung über die 1x1-Faltung zu ändern. Dieser Vorgang verringert die Rechenlast bei gleichzeitiger Beibehaltung wichtiger Merkmale (Ergänzende Abbildung 3C).
         HINWEIS: Insgesamt führt ResNet101 die Merkmalsextraktion unter Verwendung verschiedener Faltungsschichten durch, und die Dimensionalitätsreduktion wird durch 1x1-Faltungsschichten innerhalb des Restblocks erreicht. Dieser Ansatz ermöglicht es dem Netzwerk, Merkmale tiefer zu lernen und das Problem des Verschwindens von Gradienten zu vermeiden, wodurch ein effizienteres Lernen und Repräsentieren von Bildmerkmalen für komplexe Aufgaben ermöglicht wird.
      3. Geben Sie nach Faltungs- und Pooling-Vorgängen die hochwertigen Features in einen vollständig verbundenen Layer ein.
         HINWEIS: In der ResNet-Architektur findet die Merkmalsextraktion in der Faltungsschicht statt. Diese Features werden anschließend zur Klassifizierung an die vollständig verbundene Schicht (FC) gesendet (Ergänzende Abbildung 4). Die Operation self.avgpool(x) führt adaptives durchschnittliches Pooling durch, um den Tensor auf eine feste Größe umzuformen. Die Operation torch.flatten(x, 1) spreizt den Tensor in einen eindimensionalen Vektor, und self.fc(x) wendet die vollständig verbundene Schicht auf den abgeflachten Vektor an, was letztendlich als letzter Schritt für die Klassifizierung dient. Dieser Prozess leitet die extrahierten Merkmale effektiv durch die Faltungsschicht und wandelt sie in ein Format um, das für die Klassifizierung über die vollständig verbundene Schicht geeignet ist.
      4. Verwenden Sie die Softmax-Funktion , um die endgültige Ausgabe basierend auf den drei Klassifizierungsanforderungen zu erhalten.
   3. Trainieren Sie ein Mehrklassen-Erkennungsmodell mit dem Datensatz aus Schritt 1.4. Legen Sie die Anzahl der Iterationen auf 200 und eine anfängliche Lernrate von 0,0001 fest. Reduzieren Sie die Lernrate alle 10 Iterationen um ein Drittel mit einer Batchgröße von 64. Speichern Sie die optimalen Modellparameter automatisch nach jeder Iteration (Ergänzende Abbildung 5).
   4. Verwenden Sie ein akribisch trainiertes Erkennungsmodell und durchlaufen Sie systematisch das Originalbild aus Schritt 1.2.2 zu Identifikationszwecken.
      1. Konfigurieren Sie horizontale und vertikale Schritte präzise bei 280 Pixeln, was zur Erstellung einer umfassenden Verbreitungskarte führt, die das Vorhandensein invasiver Flora innerhalb der Grenzen des Untersuchungsgebiets hervorhebt. Präsentieren Sie die ausgewählten Ergebnisse visuell, wie in Abbildung 4 dargestellt.
         HINWEIS: Das ursprüngliche Bild wird vorverarbeitet, indem es in kleinere Blöcke segmentiert, jeder Block mithilfe eines trainierten Deep-Learning-Modells klassifiziert und die Ergebnisse in einem Ausgabebild kombiniert werden. Wenn ein Block als invasive Pflanze klassifiziert wird, wird die entsprechende Position auf dem Ausgabebild auf 255 festgelegt. Das resultierende Ausgabebild wird als Graustufen-Bilddatei gespeichert. Der spezifische Implementierungscode ist in der ergänzenden Abbildung 6 dargestellt.

3. Schätzung der invasiven pflanzlichen Biomasse

1. Führen Sie eine einfache Datenerweiterung mit den Funktionen RandomResizedCrop und RandomHorizontalFlip durch (Ergänzende Abbildung 7), um den in Schritt 1.2 erstellten Bildsatz zu erweitern und die sechs Vegetationsindizes zu extrahieren, die üblicherweise für die Schätzung der Biomasse verwendet werden, nämlich RBRI, GBRI, GRRI, RGRI, NGBDI und NGRDI. In Tabelle 1 finden Sie die Berechnungsformeln für diese Indizes.
2. Erstellen Sie ein K-Nearest-Neighbor-Regression (KNNR)^22-Modell unter Verwendung der Ausgabe des Modells, um eine genaue Schätzung der Biomasse invasiver Pflanzen zu gewährleisten. Verwenden Sie die extrahierten Vegetationsindizes als Eingaben für das Schätzmodell.
3. Verwenden Sie den Bestimmtheitskoeffizienten R² und den Root Mean Square Error (RMSE)²³ , um die Genauigkeit des Modells zu bewerten, die wie folgt berechnet wird:
   
   
   HINWEIS: Der K-Nearest-Neighbor-Regression (KNNR)-Algorithmus ist eine nichtparametrische Technik des maschinellen Lernens, die zur Lösung von Regressionsproblemen verwendet wird. Sein grundlegendes Konzept besteht darin, Ergebnisse vorherzusagen, indem die nächsten K Nachbarn im Merkmalsraum auf der Grundlage von Eingabeabtastabständen bestimmt werden. Zu den Hauptvorteilen der Verwendung von KNNR gehören die Einfachheit und Leichtigkeit des Verständnisses sowie die Tatsache, dass keine Schulungsphase erforderlich ist. Darüber hinaus macht KNNR keine übermäßigen Annahmen über die Verteilung der Daten. KNNR kann in Regressionsfragen eingesetzt werden, um kontinuierliche objektive Variablen zu antizipieren und die Biomasse invasiver Pflanzen genau zu bewerten.
4. Verwenden Sie das in Schritt 3.2 gewählte Modell zur Schätzung der oberirdischen Biomasse und scannen Sie die Verbreitungskarte invasiver Pflanzen aus Schritt 2.3.4 mit horizontalen und vertikalen Schritten von 280 Pixeln.

Ergebnisse

Wir zeigen repräsentative Ergebnisse einer Computer Vision basierten Methode zur Schätzung invasiver Pflanzen, die programmatisch am Computer implementiert wird. In diesem Experiment haben wir die räumliche Verteilung ausgewertet und die Biomasse invasiver Pflanzen in ihren natürlichen Lebensräumen abgeschätzt, wobei Mikania micrantha als Forschungsobjekt verwendet wurde. Wir haben ein Drohnenkamerasystem verwendet, um Bilder des Forschungsstandorts aufzunehmen, von denen ein Teil in A...

Diskussion

Wir stellen die detaillierten Schritte eines Experiments zur Schätzung der Biomasse invasiver Pflanzen mit Hilfe von UAV-Fernerkundung und Computer Vision vor. Der Hauptprozess und die Schritte dieser Vereinbarung sind in Abbildung 7 dargestellt. Die richtige Probenqualität ist einer der wichtigsten und herausforderndsten Aspekte des Programms. Diese Bedeutung gilt sowohl für alle invasiven Pflanzen als auch für alle anderen Experimente zur Schätzung der Pflanzenbiomasse

Materialien

Name	Company	Catalog Number	Comments
DSLR camera	Nikon	D850	Sensor type: CMOS; Maximum number of pixels: 46.89 million; Effective number of pixels: 45.75 million; Maximum resolution 8256 x 5504.
GPU - Graphics Processing Unit	NVIDIA	RTX3090
Hexacopter	DJI	M600PRO	Horizontal flight: 65 km/h (no wind environment); Maximum flight load: 6000 g
PyCharm	Python IDE	2023.1
Python	Python	3.8.0
Pytorch	Pytorch	1.8.1