Oggettivazione della diagnosi della lingua nella medicina tradizionale, analisi dei dati e applicazione dello studio

Riepilogo

Il presente studio ha utilizzato U-Net e altri algoritmi di deep learning per segmentare un'immagine della lingua e ha confrontato i risultati della segmentazione per studiare l'oggettivazione della diagnosi della lingua.

Abstract

La diagnosi della lingua è una tecnica essenziale della diagnosi della medicina tradizionale cinese (MTC) e la necessità di oggettivare le immagini della lingua attraverso la tecnologia di elaborazione delle immagini è in crescita. Il presente studio fornisce una panoramica dei progressi compiuti nell'oggettivazione della lingua negli ultimi dieci anni e confronta i modelli di segmentazione. Vari modelli di deep learning sono costruiti per verificare e confrontare gli algoritmi utilizzando set di immagini in lingua reale. Vengono analizzati i punti di forza e di debolezza di ciascun modello. I risultati indicano che l'algoritmo U-Net supera altri modelli per quanto riguarda l'accuratezza di precisione (PA), il richiamo e le metriche di intersezione media su unione (MIoU). Tuttavia, nonostante i significativi progressi nell'acquisizione e nell'elaborazione delle immagini della lingua, non è ancora stato stabilito uno standard uniforme per oggettivare la diagnosi della lingua. Per facilitare l'applicazione diffusa delle immagini della lingua catturate utilizzando dispositivi mobili nell'oggettivazione della diagnosi della lingua, ulteriori ricerche potrebbero affrontare le sfide poste dalle immagini della lingua catturate in ambienti complessi.

Introduzione

L'osservazione della lingua è una tecnica ampiamente utilizzata nella medicina etnica tradizionale cinese (MTC). Il colore e la forma della lingua possono riflettere la condizione fisica e varie proprietà, gravità e prognosi della malattia. Ad esempio, nella medicina tradizionale Hmong, il colore della lingua viene utilizzato per identificare la temperatura corporea, ad esempio, una lingua rossa o viola indica fattori patologici legati al calore. Nella medicina tibetana, una condizione viene giudicata osservando la lingua di un paziente, prestando attenzione al colore, alla forma e all'umidità del muco. Ad esempio, le lingue dei pazienti con malattia di Heyi diventano rosse e ruvide o nere e secche¹; i pazienti con malattia di Xieri² hanno la lingua gialla e secca; nel frattempo, i pazienti con malattia di Badakan³ hanno una lingua bianca, umida e morbida⁴. Queste osservazioni rivelano la stretta relazione tra le caratteristiche della lingua e la fisiologia e la patologia. Nel complesso, lo stato della lingua svolge un ruolo vitale nella diagnosi, nell'identificazione della malattia e nella valutazione dell'effetto del trattamento.

Allo stesso tempo, a causa delle diverse condizioni di vita e pratiche alimentari tra i diversi gruppi etnici, sono evidenti variazioni nelle immagini della lingua. Il modello Lab, stabilito sulla base di uno standard internazionale per la determinazione del colore, è stato formulato dalla Commission International Eclairage (CIE) nel 1931. Nel 1976, un modello di colore è stato modificato e nominato. Il modello di colore Lab è composto da tre elementi: L corrisponde alla luminosità, mentre a e b sono due canali di colore. A include colori dal verde scuro (valore di luminosità basso) al grigio (valore di luminosità medio) al rosa brillante (valore di luminosità elevato); B va dal blu brillante (valore di luminosità basso) al grigio (valore di luminosità medio) al giallo (valore di luminosità alto). Confrontando i valori L x a x b del colore della lingua di cinque gruppi etnici, Yang et ^al.5 hanno scoperto che le caratteristiche delle immagini della lingua dei gruppi Hmong, Hui, Zhuang, Han e mongoli erano significativamente distinte l'una dall'altra. Ad esempio, i mongoli hanno lingue scure con un rivestimento di lingua gialla, mentre gli Hmong hanno lingue chiare con un rivestimento di lingua bianca, suggerendo che le caratteristiche della lingua possono essere utilizzate come indicatore diagnostico per valutare lo stato di salute di una popolazione. Inoltre, le immagini della lingua possono funzionare come indice di valutazione per la medicina basata sull'evidenza nella ricerca clinica della medicina etnica. He et ^al.6 hanno utilizzato le immagini della lingua come base per la diagnosi di MTC e hanno valutato sistematicamente la sicurezza e l'efficacia dei pellet Chou-Ling-Dan (granuli CLD usati per trattare malattie infiammatorie e febbrili, compresa l'influenza stagionale in MTC) combinati con la medicina cinese e occidentale. I risultati hanno stabilito la validità scientifica delle immagini della lingua come indice di valutazione per gli studi clinici. Tuttavia, i medici tradizionali generalmente si affidano alla soggettività per osservare le caratteristiche della lingua e valutare le condizioni fisiologiche e patologiche dei pazienti, richiedendo indicatori più precisi.

L'emergere di Internet e della tecnologia dell'intelligenza artificiale ha spianato la strada alla digitalizzazione e all'oggettivazione della diagnosi della lingua. Questo processo comporta l'utilizzo di modelli matematici per fornire una descrizione qualitativa e oggettiva delle immagini della lingua⁷, che rifletta il contenuto dell'immagine della lingua. Il processo include diverse fasi: acquisizione dell'immagine, compensazione ottica, correzione del colore e trasformazione geometrica. Le immagini pre-elaborate vengono quindi inserite in un modello algoritmico per il posizionamento e la segmentazione delle immagini, l'estrazione delle caratteristiche, il riconoscimento dei modelli, ecc. Il risultato di questo processo è una diagnosi altamente efficiente e precisa dei dati dell'immagine della lingua, raggiungendo così l'obiettivo di oggettivazione, quantificazione e informatizzazione della diagnosi della lingua⁸. Pertanto, viene raggiunto lo scopo di un'elaborazione ad alta efficienza e alta precisione dei dati di diagnosi della lingua. Basato sulla conoscenza della diagnosi della lingua e sulla tecnologia di apprendimento profondo, questo studio ha separato automaticamente il corpo della lingua e il rivestimento della lingua dalle immagini della lingua utilizzando un algoritmo informatico, al fine di estrarre le caratteristiche quantitative delle lingue per i medici, migliorare l'affidabilità e la coerenza della diagnosi e fornire metodi per la successiva ricerca sull'oggettivazione della diagnosi della lingua⁹.

Protocollo

Questo studio è stato approvato dal progetto della National Natural Science Foundation of China, Constructing Dynamic Change rules of TCM Facial image Based on Association Analysis. Il numero di approvazione etica è 2021KL-027 e il comitato etico ha approvato lo studio clinico da eseguire in conformità con i documenti approvati che includono protocollo di ricerca clinica (2021.04.12, V2.0), consenso informato (2021.04.12, V2.0), materiali di reclutamento dei soggetti (2021.04.12, V2.0), casi di studio e / o case report, schede di diario dei soggetti e altri questionari (2021.04.12, V2.0), un elenco dei partecipanti alla sperimentazione clinica, approvazione di progetti di ricerca, ecc. È stato ottenuto il consenso informato dei pazienti che hanno partecipato allo studio. Il principale approccio sperimentale di questo studio è quello di utilizzare immagini in lingua reale per convalidare e confrontare gli effetti di segmentazione del modello. La Figura 1 presenta le componenti dell'oggettivazione della diagnosi della lingua.

1. Acquisizione di immagini

1. Utilizzare lo strumento diagnostico facciale linguale portatile sviluppato autonomamente per raccogliere immagini facciali linguali dei pazienti.
2. Inserisci il nome, il sesso, l'età e la malattia del paziente nella pagina del computer. Le immagini qui incluse provengono da pazienti che sono venuti in clinica e hanno accettato di essere fotografati dopo essere stati informati dello scopo e del contenuto dello studio. Confermare che il paziente è seduto in posizione verticale, posizionare l'intero viso nello strumento di acquisizione delle immagini e istruire il paziente ad estendere la lingua fuori dalla bocca nella massima misura.
3. Tenere il dispositivo di acquisizione delle immagini collegato a un computer e verificare attraverso le immagini sullo schermo del computer che il paziente sia nella posizione corretta e che la lingua e il viso siano completamente esposti.
4. Premere tre volte il pulsante Scatta sullo schermo del computer per scattare tre foto.
   NOTA: Lo strumento di acquisizione delle immagini è attualmente solo in fase di domanda di brevetto e non è per uso commerciale, quindi non è in vendita.
5. Seleziona e filtra manualmente le immagini della lingua e del viso raccolte. Filtra ed escludi le immagini con esposizione incompleta della lingua e del viso, nonché le immagini troppo scure a causa della luce insufficiente. La Figura 2 mostra la pagina di acquisizione delle immagini del software.
6. Nel progetto sperimentale, raccogliere tre immagini da ciascun paziente alla volta come alternative e selezionare un'immagine relativamente standard, completamente esposta, ben illuminata e chiara come campione per il successivo addestramento e test dell'algoritmo.
7. Raccogli i dati dopo le riprese, esporta i dati per lo screening manuale ed elimina le immagini non standard visibili ad occhio nudo. Utilizza i seguenti criteri di filtro ed esclusione: esposizione incompleta della lingua e del viso e immagini troppo scure a causa di luce insufficiente. Un esempio di un'immagine sottoilluminata, incompleta e standard è illustrato nella Figura 3.
   NOTA: La luce insufficiente è generalmente causata dal mancato posizionamento del viso da parte del paziente nello strumento. L'esposizione completa di solito si ottiene solo fotografando correttamente il paziente.

2. Segmentazione della lingua

1. Eseguire la segmentazione dell'immagine della lingua utilizzando uno strumento di annotazione online, come descritto di seguito.
   1. Installa Labelme, fai clic sul pulsante Apri nell'angolo in alto a sinistra dell'interfaccia dell'etichetta, seleziona la cartella in cui si trova l'immagine e apri le foto.
   2. Fai clic su crea poligono per avviare i punti di tracciamento, tracciare la lingua e le forme linguali, nominarli in base alle aree selezionate (ad esempio, lingua e superficie linguale) e salvarli.
   3. Quando tutti i contrassegni sono completi, fare clic su Salva per salvare l'immagine nella cartella dati. Vedere la Figura 4 per un diagramma di flusso dettagliato.
      NOTA: poiché le immagini possono presentare differenze di pixel, le immagini non possono essere utilizzate direttamente per l'addestramento e il test degli algoritmi.
2. Unifica le immagini con le stesse dimensioni riempiendo i bordi delle immagini, con il lato lungo dell'immagine come lunghezza di riempimento di destinazione ed eseguendo il riempimento del bordo bianco per riempire le immagini in un quadrato, con il lato lungo dell'immagine come lunghezza del bordo. La dimensione dell'immagine acquisita dal dispositivo è 1080 x 1920 pixel e la dimensione dell'immagine riempita è 1920 x 1920 pixel. Vedere la Figura 5.
3. Se necessario, applica il miglioramento dell'immagine. Nessun miglioramento è stato applicato in questo studio, poiché le immagini utilizzate sono state scattate in una scena fissa e sono state meno influenzate dall'ambiente, dall'illuminazione e da altri fattori.
4. Poiché sono state raccolte tre immagini per ciascun paziente durante il processo di ripresa per tenere conto di fattori incontrollabili, come il battito delle palpebre del soggetto e il blocco dell'obiettivo, schermare manualmente le immagini di ciascun paziente per conservare un'immagine per paziente.
5. Ai fini del training del modello, raccogliere dati da 200 persone o 600 immagini. Dopo la proiezione, conserva circa 200 immagini utilizzabili.
6. In base al numero dell'immagine, dividi casualmente tutte le immagini della lingua, posizionando il 70% di esse nel set di allenamento e il 30% nel set di test in un foglio di calcolo.

3. Classificazione della lingua

1. Vai ai siti Web ufficiali e scarica e installa Anaconda, Python ed Labelme. Attivare l'ambiente e completare l'installazione e la regolazione dell'ambiente generale. Vedere la Figura 6 per un diagramma di flusso che descrive l'installazione e la configurazione del software.
2. Crea il modello dell'algoritmo di deep learning nell'ambiente installato, ottimizza i parametri e completa il training del modello usando il set di training. Eseguire la selezione e l'ottimizzazione del modello come descritto nei passaggi seguenti.
   1. Selezione del modello: scegliere il modello appropriato in base allo scopo della ricerca. Dopo aver esaminato la ricerca sull'elaborazione delle immagini della lingua negli ultimi 5 anni, quattro algoritmi, U-Net, Seg-Net, DeeplabV3 e PSPNet, sono stati selezionati per la convalida in questo studio (vedere Supplementary Coding File 1, Supplementary Coding File 2, Supplementary Coding File 3 e Supplementary Coding File 4 per i codici modello).
   2. Costruzione del set di dati: dopo aver completato la selezione del modello, costruire il set di dati richiesto insieme al contenuto della ricerca, utilizzando principalmente l'annotazione Labelme e i metodi di dimensione uniforme dell'immagine, come descritto sopra.
3. Eseguire il training del modello come descritto di seguito. Nella Figura 7 vengono illustrati i dettagli dell'operazione di addestramento dell'algoritmo.
   1. Immettere i dati nella rete neurale per la propagazione in avanti, con ogni neurone che prima inserisce un accumulo ponderato di valori e quindi inserisce una funzione di attivazione come valore di output di quel neurone per ottenere il risultato.
   2. Inserisci il risultato nella funzione di errore e confrontalo con il valore previsto per ottenere l'errore e giudicare il grado di riconoscimento per errore. Più piccola è la funzione di perdita, migliore sarà il modello.
   3. Ridurre l'errore mediante la propagazione di ritorno e determinare il vettore gradiente. Regolate i pesi dal vettore sfumatura in base alla tendenza verso i risultati in modo che l'errore tenda a zero o si riduca.
   4. Ripetere questo processo di training fino al completamento del set o fino a quando il valore di errore non diminuisce più, a quel punto il training del modello è completo. Vedere la Figura 8 per un diagramma di flusso del modello di algoritmo durante il training e il test.
4. Testare i quattro modelli utilizzando gli stessi dati di test per la segmentazione e giudicare le prestazioni del modello in base all'effetto di segmentazione. Le quattro metriche di precisione, richiamo, accuratezza media dei pixel (MPA) e MIoU forniscono una valutazione più completa delle prestazioni del modello.
5. Dopo aver generato i risultati dei quattro modelli, confrontare i loro valori orizzontalmente; Maggiore è il valore, maggiore è la precisione della segmentazione e migliori sono le prestazioni del modello. Vedere la Figura 9, la Figura 10 e la Figura 11.

Risultati

Per i risultati del confronto, vedere la Figura 12, la Figura 13 e la Tabella 1, in cui l'ambiente costruito da questo studio utilizza gli stessi campioni per addestrare e testare il modello di algoritmo. Indicatore MIoU: U-Net > Seg-Net > PSPNet > DeeplabV3; Indicatore MPA: U-Net > Seg-Net > PSPNet > DeeplabV3; indicatore di precisione: U-Net > Seg-Net > DeeplabV3 > PSPNet; Ricordiamo: U-Net > Seg-Net > PSPNet > DeeplabV3. Maggiore è il valor...

Discussione

Sulla base dei risultati del confronto presentati sopra, è evidente che le caratteristiche dei quattro algoritmi in esame sono varie e i loro distinti vantaggi e svantaggi sono descritti di seguito. La struttura U-Net, basata sulla modifica e l'espansione di una rete di convoluzione completa, può ottenere informazioni contestuali e posizionamento preciso attraverso un percorso di contrazione e un percorso di espansione simmetrico. Classificando ogni punto pixel, questo algoritmo raggiunge una maggiore precisione di seg...

Materiali

Name	Company	Catalog Number	Comments
CPU	Intel(R) Core(TM) i7-9700K
GPU	NVIDIA GeForce RTX 3070 Ti (8192MB)
Operating systems	Microsoft Windows 10 Professional Edition (64-bit)
Programming language	Python
RAM	16G