Ein Swin Transformer-basiertes Modell zur Detektion von Schilddrüsenknoten in Ultraschallbildern

Dieses Programm implementiert eine automatische und effiziente Maßnahme zur Erkennung von Schilddrüsenknoten, die in Zukunft die Arbeitsbelastung von Ärzten verringern kann. Bei dieser Technik wird ein Swin-Transformator auf ein Knotenerkennungsnetzwerk angewendet. Swin Transformer sind effektiv bei der Erfassung von Inhaltsinformationen über große Entfernungen, was sehr hilfreich ist, um die Empfindlichkeit der Knotenfixierung zu verbessern.

Öffnen Sie zunächst ein Terminal auf dem Computer und installieren Sie Python 3.8, indem Sie sudo apt-get install python3.8 in die Befehlszeile eingeben. Um PyTorch 1.7 zu installieren, gehen Sie auf die offizielle Website von Miniconda und installieren Sie es. Erstellen Sie dann eine Conda-Umgebung, indem Sie den auf dem Bildschirm angezeigten Befehl in der Befehlszeile eingeben, und aktivieren Sie sie, indem Sie conda activate SwinFasterRCNN eingeben.

Installieren Sie PyTorch, indem Sie den angezeigten Befehl in die Befehlszeile schreiben. Klonen Sie für die Installation der MM-Erkennung aus dem offiziellen GitHub-Repository, und installieren Sie dann MM Detection, indem Sie den Befehl pip install v e in die Befehlszeile schreiben. Öffnen Sie die schedule_1x.

py-Datei im Vim-Texteditor und bearbeiten Sie die Datei, um die standardmäßigen trainingsbezogenen Parameter festzulegen, einschließlich Optimierer, Lernrate und Epic. Beginnen Sie das Training, indem Sie den auf dem Bildschirm angezeigten Befehl eingeben. Warten Sie, bis das Netzwerk mit dem Training für 48 Epics begonnen hat und die resultierenden trainierten Gewichtungen des SwinFasterRCNN-Netzwerks im Ausgabeordner generiert wurden.

Speichern Sie die Modellgewichte mit der höchsten Genauigkeit im Validierungssatz. Wählen Sie nach dem Training das Modell mit der besten Leistung im Validierungsset für die Erkennung von Schilddrüsenknoten in den neuen Bildern aus. Führen Sie das Testskript aus, um die Größe des Bildes auf 512 x 512 Pixel zu ändern und es zu normalisieren.

Warten Sie, bis das Skript die vortrainierten Modellparameter automatisch in den SwinFasterRCNN geladen hat, und geben Sie das vorverarbeitete Bild zur Inferenz in den SwinFasterRCNN ein. Warten Sie, bis SwinFasterRCNN das Vorhersagefeld für jedes Bild ausgegeben hat. Lassen Sie schließlich das Skript automatisch eine NMS-Nachbearbeitung für jedes Bild durchführen, um die Duplikaterkennungsfelder zu entfernen.

Die Erkennungsergebnisse für dasselbe Bild werden in einer bestimmten Zeile angezeigt. Die Spalten sind die Erkennungsergebnisse für SwinFasterRCNN, FasterRCNN, YOLOv3, SSD, RetinaNet und DETR. Die Ground Truths der Regionen sind mit grünen rechteckigen Kästchen markiert.

Die Detektionsergebnisse werden von den roten rechteckigen Kästchen eingerahmt. Es ist sehr wichtig, den geeigneten Hyperparameter auszuwählen, um sicherzustellen, dass diese konvergieren, was durch viele Experimente bestimmt werden muss.