Objektivierung der Zungendiagnostik in der traditionellen Medizin, Datenanalyse und Studienanwendung

Zusammenfassung

In der vorliegenden Studie wurden U-Net und andere Deep-Learning-Algorithmen verwendet, um ein Zungenbild zu segmentieren, und die Segmentierungsergebnisse verglichen, um die Objektivierung der Zungendiagnose zu untersuchen.

Zusammenfassung

Die Zungendiagnose ist eine wesentliche Technik der Diagnostik der Traditionellen Chinesischen Medizin (TCM), und der Bedarf an der Objektivierung von Zungenbildern durch Bildverarbeitungstechnologie wächst. Die vorliegende Studie gibt einen Überblick über die Fortschritte bei der Objektivierung der Zunge in den letzten zehn Jahren und vergleicht Segmentierungsmodelle. Es werden verschiedene Deep-Learning-Modelle konstruiert, um Algorithmen anhand von echten Zungenbildsätzen zu verifizieren und zu vergleichen. Die Stärken und Schwächen jedes Modells werden analysiert. Die Ergebnisse deuten darauf hin, dass der U-Net-Algorithmus andere Modelle in Bezug auf die Metriken "Precision Accuracy" (PA), "Recall" und "Mean Intersection over Union" (MIoU) übertrifft. Trotz der erheblichen Fortschritte bei der Aufnahme und Verarbeitung von Zungenbildern muss sich jedoch noch ein einheitlicher Standard für die objektivierende Zungendiagnose etablieren. Um die breite Anwendung von Zungenbildern, die mit mobilen Geräten aufgenommen wurden, bei der Objektivierung der Zungendiagnose zu erleichtern, könnte sich die weitere Forschung mit den Herausforderungen befassen, die sich aus Zungenbildern ergeben, die in komplexen Umgebungen aufgenommen werden.

Einleitung

Die Zungenbeobachtung ist eine weit verbreitete Technik in der traditionellen chinesischen ethnischen Medizin (TCM). Die Farbe und Form der Zunge kann den körperlichen Zustand und verschiedene Krankheitseigenschaften, Schweregrade und Prognosen widerspiegeln. In der traditionellen Hmong-Medizin wird beispielsweise die Farbe der Zunge verwendet, um die Körpertemperatur zu bestimmen, z. B. weist eine rote oder violette Zunge auf pathologische Faktoren im Zusammenhang mit Hitze hin. In der tibetischen Medizin wird ein Zustand beurteilt, indem die Zunge eines Patienten beobachtet wird, wobei auf die Farbe, Form und Feuchtigkeit des Schleims geachtet wird. Zum Beispiel werden die Zungen von Patienten mit Morbus Heyi rot und rau oder schwarz und trocken¹; Patienten mit Morbus Xieri² haben gelbe und trockene Zungen; Patienten mit Badakan-Krankheit³ haben eine weiße, feuchte und weiche Zunge⁴. Diese Beobachtungen zeigen den engen Zusammenhang zwischen den Merkmalen der Zunge und der Physiologie und Pathologie. Insgesamt spielt der Zustand der Zunge eine wichtige Rolle bei der Diagnose, der Identifizierung von Krankheiten und der Bewertung des Behandlungseffekts.

Gleichzeitig sind aufgrund der unterschiedlichen Lebensbedingungen und Ernährungspraktiken der verschiedenen ethnischen Gruppen Unterschiede in den Zungenbildern offensichtlich. Das Lab-Modell, das auf der Grundlage eines internationalen Standards für die Bestimmung der Farbe festgelegt wurde, wurde 1931 von der Commission International Eclairage (CIE) formuliert. 1976 wurde ein Farbmuster modifiziert und benannt. Das Lab-Farbmodell setzt sich aus drei Elementen zusammen: L entspricht der Helligkeit, während a und b zwei Farbkanäle sind. a umfasst Farben von Dunkelgrün (niedriger Helligkeitswert) über Grau (mittlerer Helligkeitswert) bis hin zu hellem Pink (hoher Helligkeitswert); b wechselt von hellblau (niedriger Helligkeitswert) über Grau (mittlerer Helligkeitswert) bis gelb (hoher Helligkeitswert). Durch den Vergleich der L x a x b-Werte der Zungenfarbe von fünf ethnischen Gruppen stellten Yang et ^al.5 fest, dass sich die Merkmale der Zungenbilder der Hmong-, Hui-, Zhuang-, Han- und mongolischen Gruppen signifikant voneinander unterschieden. Zum Beispiel haben die Mongolen dunkle Zungen mit einem gelben Zungenbelag, während die Hmong helle Zungen mit einem weißen Zungenbelag haben, was darauf hindeutet, dass Zungenmerkmale als diagnostischer Indikator zur Beurteilung des Gesundheitszustands einer Bevölkerung verwendet werden können. Darüber hinaus können Zungenbilder als Bewertungsindex für evidenzbasierte Medizin in der klinischen Forschung der ethnischen Medizin fungieren. Er et ^al.6 nutzten Zungenbilder als Grundlage für die TCM-Diagnose und bewerteten systematisch die Sicherheit und Wirksamkeit von Chou-Ling-Dan-Pellets (CLD-Granulat zur Behandlung von entzündlichen und fieberhaften Erkrankungen, einschließlich der saisonalen Influenza in der TCM) in Kombination mit chinesischer und westlicher Medizin. Die Ergebnisse belegen die wissenschaftliche Validität von Zungenbildern als Bewertungsindex für klinische Studien. Nichtsdestotrotz verlassen sich traditionelle Mediziner im Allgemeinen auf Subjektivität, um die Eigenschaften der Zunge zu beobachten und den physiologischen und pathologischen Zustand der Patienten zu beurteilen, was genauere Indikatoren erfordert.

Das Aufkommen des Internets und der Technologie der künstlichen Intelligenz hat den Weg für die Digitalisierung und Objektivierung der Zungendiagnose geebnet. Dieser Prozess beinhaltet die Verwendung mathematischer Modelle, um eine qualitative und objektive Beschreibung von Zungenbildern⁷ zu liefern, die den Inhalt des Zungenbildes widerspiegelt. Der Prozess umfasst mehrere Schritte: Bildaufnahme, optische Kompensation, Farbkorrektur und geometrische Transformation. Die vorverarbeiteten Bilder werden dann in ein algorithmisches Modell zur Bildpositionierung und -segmentierung, Merkmalsextraktion, Mustererkennung usw. eingespeist. Das Ergebnis dieses Prozesses ist eine hocheffiziente und präzise Diagnose von Zungenbilddaten, wodurch das Ziel der Objektivierung, Quantifizierung und Informatisierung der Zungendiagnose^{erreicht wird 8}. Damit wird das Ziel einer hocheffizienten und hochpräzisen Verarbeitung von Zungendiagnosedaten erreicht. Basierend auf dem Wissen über die Zungendiagnose und der Deep-Learning-Technologie wurden in dieser Studie mithilfe eines Computeralgorithmus automatisch der Zungenkörper und der Zungenbelag von den Zungenbildern getrennt, um die quantitativen Merkmale der Zungen für Ärzte zu extrahieren, die Zuverlässigkeit und Konsistenz der Diagnose zu verbessern und Methoden für die anschließende Forschung zur Objektivierung der Zungendiagnose bereitzustellen⁹.

Protokoll

Diese Studie wurde von der National Natural Science Foundation of China genehmigt, das Projekt "Constructing Dynamic Change rules of TCM Facial image Based on Association Analysis". Die Ethikgenehmigungsnummer lautet 2021KL-027, und die Ethikkommission hat die klinische Studie genehmigt, die in Übereinstimmung mit den genehmigten Dokumenten durchgeführt werden soll, die das klinische Forschungsprotokoll (2021.04.12, V2.0), die Einwilligungserklärung (2021.04.12, V2.0), Materialien zur Rekrutierung von Probanden (2021.04.12, V2.0), Studienfälle und/oder Fallberichte, Tagebuchkarten und andere Fragebögen (2021.04.12, V2.0), eine Liste der Teilnehmer an der klinischen Studie, Bewilligung von Forschungsprojekten usw. Die an der Studie teilnehmenden Patienten wurden eingeholt. Der primäre experimentelle Ansatz dieser Studie besteht darin, reale Zungenbilder zu verwenden, um die Segmentierungseffekte des Modells zu validieren und zu vergleichen. Abbildung 1 zeigt die Komponenten der Objektivierung der Zungendiagnose.

1. Bildaufnahme

1. Verwenden Sie das selbst entwickelte tragbare linguale Gesichtsdiagnoseinstrument, um linguale Gesichtsbilder von Patienten zu sammeln.
2. Geben Sie den Namen, das Geschlecht, das Alter und die Krankheit des Patienten auf der Computerseite ein. Die hier gezeigten Bilder stammen von Patienten, die in die Klinik kamen und sich bereit erklärten, fotografiert zu werden, nachdem sie über den Zweck und den Inhalt der Studie informiert wurden. Vergewissern Sie sich, dass der Patient aufrecht sitzt, legen Sie das ganze Gesicht in das Bilderfassungsgerät und weisen Sie den Patienten an, seine Zunge so weit wie möglich aus dem Mund zu strecken.
3. Halten Sie das Bildeinzugsgerät an einen Computer angeschlossen und überprüfen Sie anhand der Bilder auf dem Computerbildschirm, ob sich der Patient in der richtigen Position befindet und ob die Zunge und das Gesicht vollständig freiliegen.
4. Drücken Sie die Aufnahmetaste auf dem Computerbildschirm dreimal, um drei Bilder aufzunehmen.
   HINWEIS: Das Bilderfassungsgerät befindet sich derzeit nur in der Patentanmeldephase und ist nicht für die kommerzielle Nutzung bestimmt, daher wird es nicht zum Verkauf angeboten.
5. Wählen Sie die gesammelten Zungen- und Gesichtsbilder manuell aus und filtern Sie sie. Filtern und schließen Sie Bilder aus, die eine unvollständige Zungen- und Gesichtsbelichtung aufweisen, sowie Bilder, die aufgrund unzureichenden Lichts zu dunkel sind. Abbildung 2 zeigt die Bilderfassungsseite der Software.
6. Sammeln Sie in der Versuchsplanung als Alternative drei Bilder von jedem Patienten gleichzeitig und wählen Sie ein relativ standardmäßiges, vollständig belichtetes, gut ausgeleuchtetes und klares Bild als Stichprobe für das anschließende Algorithmustraining und die Tests aus.
7. Sammeln Sie Daten nach der Aufnahme, exportieren Sie die Daten für die manuelle Überprüfung und löschen Sie die nicht standardmäßigen Bilder, die mit bloßem Auge sichtbar sind. Verwenden Sie die folgenden Filter- und Ausschlusskriterien: unvollständige Zungen- und Gesichtsbelichtung und Bilder, die aufgrund von unzureichendem Licht zu dunkel sind. Ein Beispiel für ein unterbeleuchtetes, ein unvollständiges und ein Standardbild ist in Abbildung 3 dargestellt.
   HINWEIS: Unzureichendes Licht wird in der Regel dadurch verursacht, dass der Patient das Gesicht nicht vollständig in das Instrument legt. Eine vollständige Belichtung wird in der Regel nur durch korrektes Fotografieren des Patienten erreicht.

2. Segmentierung der Zunge

1. Führen Sie die Segmentierung von Zungenbildern mit einem Online-Anmerkungstool durch, wie unten beschrieben.
   1. Installieren Sie Labelme, klicken Sie auf die Schaltfläche Öffnen in der oberen linken Ecke der Etikettenoberfläche, wählen Sie den Ordner aus, in dem sich das Bild befindet, und öffnen Sie die Fotos.
   2. Klicken Sie auf Polygon erstellen , um Tracking-Punkte zu starten, verfolgen Sie die Zungen- und Zungenformen, benennen Sie sie entsprechend den ausgewählten Bereichen (z. B. Zunge und Zungenoberfläche) und speichern Sie sie.
   3. Wenn alle Markierungen vollständig sind, klicken Sie auf Speichern , um das Bild im Datenordner zu speichern. In Abbildung 4 finden Sie ein detailliertes Flussdiagramm.
      HINWEIS: Da die Bilder Pixelunterschiede aufweisen können, können die Bilder nicht direkt für das Training und Testen von Algorithmen verwendet werden.
2. Vereinheitlichen Sie die Bilder auf die gleiche Größe, indem Sie die Bilder mit der langen Seite des Bildes als Zielfülllänge füllen und die Bilder mit weißen Kanten füllen, um die Bilder zu einem Quadrat zu füllen, wobei die lange Seite des Bildes die Kantenlänge ist. Die vom Gerät erfasste Bildgröße beträgt 1080 x 1920 Pixel und die Größe des gefüllten Bildes 1920 x 1920 Pixel. Siehe Abbildung 5.
3. Wenden Sie bei Bedarf Bildverbesserungen an. In dieser Studie wurde keine Verbesserung vorgenommen, da die verwendeten Bilder in einer festen Szene aufgenommen wurden und weniger von der Umgebung, der Beleuchtung und anderen Faktoren beeinflusst wurden.
4. Da während des Aufnahmeprozesses für jeden Patienten drei Bilder aufgenommen wurden, um unkontrollierbare Faktoren wie das Blinzeln des Motivs und das Blockieren des Objektivs zu berücksichtigen, sollten Sie die Bilder jedes Patienten manuell überprüfen, um ein Bild pro Patient zu erhalten.
5. Sammeln Sie zum Trainieren des Modells Daten von 200 Personen oder 600 Bildern. Behalten Sie nach der Vorführung etwa 200 brauchbare Bilder.
6. Teilen Sie je nach Bildnummer alle Zungenbilder nach dem Zufallsprinzip auf und platzieren Sie 70 % davon in den Trainingssatz und 30 % in den Testsatz in einer Tabelle.

3. Klassifizierung der Zunge

1. Gehen Sie auf die offiziellen Websites und laden Sie Anaconda, Python und Labelme herunter und installieren Sie sie. Aktivieren Sie die Umgebung und schließen Sie die Installation und Anpassung der Gesamtumgebung ab. In Abbildung 6 finden Sie ein Flussdiagramm, das die Installation und Einrichtung der Software beschreibt.
2. Erstellen Sie das Deep-Learning-Algorithmusmodell in der installierten Umgebung, optimieren Sie die Parameter, und schließen Sie das Modelltraining mit dem Trainingssatz ab. Führen Sie die Modellauswahl und -optimierung wie in den folgenden Schritten beschrieben durch.
   1. Modellauswahl: Wählen Sie das geeignete Modell basierend auf dem Zweck der Recherche aus. Nach einer Überprüfung der Forschung zur Bildverarbeitung von Zungen in den letzten 5 Jahren wurden vier Algorithmen, U-Net, Seg-Net, DeeplabV3 und PSPNet, für die Validierung in dieser Studie ausgewählt (siehe Supplementary Coding File 1, Supplementary Coding File 2, Supplementary Coding File 3 und Supplementary Coding File 4 für Modellcodes).
   2. Datensatzkonstruktion: Nach Abschluss der Modellauswahl konstruieren Sie den benötigten Datensatz in Verbindung mit den Forschungsinhalten, hauptsächlich unter Verwendung der Labelme-Annotation und der oben beschriebenen Methoden der einheitlichen Bildgröße.
3. Führen Sie das Modelltraining wie unten beschrieben durch. Abbildung 7 zeigt Details des Algorithmus-Trainingsvorgangs.
   1. Geben Sie die Daten zur Vorwärtsausbreitung in das neuronale Netzwerk ein, wobei jedes Neuron zuerst eine gewichtete Ansammlung von Werten eingibt und dann eine Aktivierungsfunktion als Ausgabewert dieses Neurons eingibt, um das Ergebnis zu erhalten.
   2. Geben Sie das Ergebnis in die Fehlerfunktion ein und vergleichen Sie es mit dem erwarteten Wert, um den Fehler zu erhalten und den Grad der fehlerhaften Erkennung zu beurteilen. Je kleiner die Verlustfunktion ist, desto besser ist das Modell.
   3. Reduzieren Sie den Fehler durch Backpropagation und bestimmen Sie den Gradientenvektor. Passen Sie die Gewichtungen anhand des Verlaufsvektors an den Trend zu den Ergebnissen an, sodass der Fehler gegen Null tendiert oder schrumpft.
   4. Wiederholen Sie diesen Trainingsvorgang, bis der Satz abgeschlossen ist oder der Fehlerwert nicht mehr abnimmt, woraufhin das Modelltraining abgeschlossen ist. In Abbildung 8 finden Sie ein Flussdiagramm des Algorithmusmodells beim Trainieren und Testen.
4. Testen Sie die vier Modelle mit denselben Testdaten für die Segmentierung, und beurteilen Sie die Modellleistung anhand des Segmentierungseffekts. Die vier Metriken Precision, Recall, Mean Pixel Accuracy (MPA) und MIoU ermöglichen eine umfassendere Bewertung der Modellleistung.
5. Nachdem die Ergebnisse der vier Modelle generiert wurden, vergleichen Sie ihre Werte horizontal. Je höher der Wert ist, desto höher ist die Segmentierungsgenauigkeit und desto besser ist die Leistung des Modells. Siehe Abbildung 9, Abbildung 10 und Abbildung 11.

Ergebnisse

Die Vergleichsergebnisse finden Sie in Abbildung 12, Abbildung 13 und Tabelle 1, in denen in der in dieser Studie erstellten Umgebung dieselben Stichproben zum Trainieren und Testen des Algorithmusmodells verwendet werden. MIoU-Indikator: U-Net > Seg-Net > PSPNet > DeeplabV3; MPA-Indikator: U-Net > Seg-Net > PSPNet > DeeplabV3; Präzisionsanzeige: U-Net > Seg-Net > DeeplabV3 > PSPNet; Rückruf: U-Net > Seg-Net > PSPNet > DeeplabV3. Je größer ...

Diskussion

Anhand der oben dargestellten Vergleichsergebnisse wird deutlich, dass die Charakteristika der vier betrachteten Algorithmen unterschiedlich sind und ihre unterschiedlichen Vor- und Nachteile im Folgenden beschrieben werden. Die U-Net-Struktur, die auf der Modifikation und Erweiterung eines vollständigen Faltungsnetzwerks basiert, kann Kontextinformationen und eine präzise Positionierung durch einen kontrahierenden Pfad und einen symmetrischen Expansionspfad erhalten. Durch die Klassifizierung jedes Pixelpunkts erreich...

Materialien

Name	Company	Catalog Number	Comments
CPU	Intel(R) Core(TM) i7-9700K
GPU	NVIDIA GeForce RTX 3070 Ti (8192MB)
Operating systems	Microsoft Windows 10 Professional Edition (64-bit)
Programming language	Python
RAM	16G