Objetivación del diagnóstico de la lengua en medicina tradicional, análisis de datos y aplicación de estudios

Resumen

El presente estudio empleó U-Net y otros algoritmos de aprendizaje profundo para segmentar una imagen de lengua y comparó los resultados de segmentación para investigar la objetivación del diagnóstico de lengua.

Resumen

El diagnóstico de la lengua es una técnica esencial del diagnóstico de la medicina tradicional china (MTC), y la necesidad de objetivar las imágenes de la lengua a través de la tecnología de procesamiento de imágenes está creciendo. El presente estudio proporciona una visión general del progreso realizado en la objetivación de la lengua durante la última década y compara los modelos de segmentación. Se construyen varios modelos de aprendizaje profundo para verificar y comparar algoritmos utilizando conjuntos de imágenes de lengua reales. Se analizan las fortalezas y debilidades de cada modelo. Los hallazgos indican que el algoritmo U-Net supera a otros modelos con respecto a la precisión de precisión (PA), el recuerdo y la intersección media sobre las métricas de unión (MIoU). Sin embargo, a pesar del progreso significativo en la adquisición y procesamiento de imágenes de la lengua, aún no se ha establecido un estándar uniforme para objetivar el diagnóstico de la lengua. Para facilitar la aplicación generalizada de imágenes de lengua capturadas utilizando dispositivos móviles en la objetivación del diagnóstico de lengua, la investigación adicional podría abordar los desafíos planteados por las imágenes de lengua capturadas en entornos complejos.

Introducción

La observación de la lengua es una técnica ampliamente utilizada en la medicina étnica tradicional china (MTC). El color y la forma de la lengua pueden reflejar la condición física y diversas propiedades de la enfermedad, severidades y pronósticos. Por ejemplo, en la medicina tradicional hmong, el color de la lengua se utiliza para identificar la temperatura corporal, por ejemplo, una lengua roja o púrpura indica factores patológicos relacionados con el calor. En la medicina tibetana, una condición se juzga observando la lengua de un paciente, prestando atención al color, la forma y la humedad del moco. Por ejemplo, las lenguas de los pacientes con enfermedad de Heyi se vuelven rojas y ásperas o negras y secas¹; los pacientes con enfermedad de Xieri² tienen la lengua amarilla y seca; mientras tanto, los pacientes con enfermedad de Badakan³ tienen una lengua blanca, húmeda y suave⁴. Estas observaciones revelan la estrecha relación entre las características de la lengua y la fisiología y la patología. En general, el estado de la lengua juega un papel vital en el diagnóstico, la identificación de la enfermedad y la evaluación del efecto del tratamiento.

Al mismo tiempo, debido a las diversas condiciones de vida y prácticas dietéticas entre los diferentes grupos étnicos, las variaciones en las imágenes de la lengua son evidentes. El modelo Lab, establecido sobre la base de un estándar internacional para la determinación del color, fue formulado por la Commission International Eclairage (CIE) en 1931. En 1976, un patrón de color fue modificado y nombrado. El modelo de color Lab se compone de tres elementos: L corresponde al brillo, mientras que a y b son dos canales de color. a incluye colores de verde oscuro (valor de brillo bajo) a gris (valor de brillo medio) a rosa brillante (valor de brillo alto); b va de azul brillante (valor de brillo bajo) a gris (valor de brillo medio) a amarillo (valor de brillo alto). Al comparar los valores L x a x b del color de la lengua de cinco grupos étnicos, Yang et ^al.5 encontraron que las características de las imágenes de la lengua de los grupos Hmong, Hui, Zhuang, Han y Mongol eran significativamente distintas entre sí. Por ejemplo, los mongoles tienen lenguas oscuras con una capa de lengua amarilla, mientras que los hmong tienen lenguas claras con una capa de lengua blanca, lo que sugiere que las características de la lengua pueden usarse como un indicador de diagnóstico para evaluar el estado de salud de una población. Además, las imágenes de la lengua pueden funcionar como un índice de evaluación para la medicina basada en la evidencia en la investigación clínica de la medicina étnica. He et ^al.6 emplearon imágenes de la lengua como base para el diagnóstico de la MTC y evaluaron sistemáticamente la seguridad y eficacia de los gránulos de Chou-Ling-Dan (gránulos de EPC utilizados para tratar enfermedades inflamatorias y febriles, incluida la gripe estacional en la MTC) combinados con la medicina china y occidental. Los resultados establecieron la validez científica de las imágenes de la lengua como índice de evaluación para estudios clínicos. Sin embargo, los médicos tradicionales generalmente confían en la subjetividad para observar las características de la lengua y evaluar las condiciones fisiológicas y patológicas de los pacientes, lo que requiere indicadores más precisos.

La aparición de Internet y la tecnología de inteligencia artificial ha allanado el camino para digitalizar y objetivar el diagnóstico de la lengua. Este proceso implica el uso de modelos matemáticos para proporcionar una descripción cualitativa y objetiva de las imágenes de la lengua⁷, reflejando el contenido de la imagen de la lengua. El proceso incluye varios pasos: adquisición de imágenes, compensación óptica, corrección de color y transformación geométrica. Las imágenes preprocesadas se introducen en un modelo algorítmico para el posicionamiento y segmentación de imágenes, extracción de características, reconocimiento de patrones, etc. El resultado de este proceso es un diagnóstico altamente eficiente y preciso de los datos de imágenes de la lengua, logrando así el objetivo de objetivación, cuantificación e informatización del diagnóstico de la lengua⁸. Por lo tanto, se logra el propósito de una alta eficiencia y un procesamiento de alta precisión de los datos de diagnóstico de la lengua. Basado en el conocimiento del diagnóstico de la lengua y la tecnología de aprendizaje profundo, este estudio separó automáticamente el cuerpo de la lengua y el recubrimiento de la lengua de las imágenes de la lengua utilizando un algoritmo informático, con el fin de extraer las características cuantitativas de las lenguas para los médicos, mejorar la confiabilidad y consistencia del diagnóstico y proporcionar métodos para la posterior investigación de objetivación del diagnóstico de la lengua⁹.

Protocolo

Este estudio ha sido aprobado por el proyecto de la Fundación Nacional de Ciencias Naturales de China, Constructing Dynamic Change rules of TCM Facial image Based on Association Analysis. El número de aprobación ética es 2021KL-027, y el comité de ética ha aprobado que el estudio clínico se lleve a cabo de acuerdo con los documentos aprobados que incluyen el protocolo de investigación clínica (2021.04.12, V2.0), consentimiento informado (2021.04.12, V2.0), materiales de reclutamiento de sujetos (2021.04.12, V2.0), casos de estudio y / o informes de casos, tarjetas del diario de sujetos y otros cuestionarios (2021.04.12, V2.0), una lista de participantes en el ensayo clínico, aprobación de proyectos de investigación, etc. Se obtuvo el consentimiento informado de los pacientes participantes en el estudio. El principal enfoque experimental de este estudio es utilizar imágenes de lengua real para validar y comparar los efectos de segmentación del modelo. La Figura 1 presenta los componentes de la objetivación del diagnóstico de la lengua.

1. Adquisición de imágenes

1. Utilice el instrumento de diagnóstico facial lingual de mano de desarrollo propio para recopilar imágenes faciales linguales de los pacientes.
2. Complete el nombre, el sexo, la edad y la enfermedad del paciente en la página de la computadora. Las imágenes incluidas aquí son de pacientes que vinieron a la clínica y aceptaron ser fotografiados después de ser informados del propósito y el contenido del estudio. Confirme que el paciente está sentado erguido, coloque toda la cara en el instrumento de adquisición de imágenes e indique al paciente que extienda la lengua fuera de la boca en la mayor medida posible.
3. Sostenga el dispositivo de adquisición de imágenes conectado a una computadora y verifique a través de las imágenes en la pantalla de la computadora que el paciente está en la posición correcta y que la lengua y la cara están completamente expuestas.
4. Presione el botón Disparar en la pantalla de la computadora tres veces para tomar tres fotos.
   NOTA: El instrumento de adquisición de imágenes se encuentra actualmente solo en la etapa de solicitud de patente y no es para uso comercial, por lo que no está a la venta.
5. Seleccione y filtre manualmente las imágenes de lengua y cara recogidas. Filtre y excluya imágenes que tengan una exposición incompleta de la lengua y la cara, así como imágenes que sean demasiado oscuras debido a la falta de luz. La figura 2 muestra la página de adquisición de imágenes del software.
6. En el diseño experimental, recopile tres imágenes de cada paciente a la vez como alternativas y seleccione una imagen relativamente estándar, totalmente expuesta, bien iluminada y clara como muestra para el entrenamiento y la prueba posteriores del algoritmo.
7. Recopile datos después del disparo, exporte los datos para la detección manual y elimine las imágenes no estándar visibles a simple vista. Utilice los siguientes criterios de filtrado y exclusión: exposición incompleta de la lengua y la cara, e imágenes demasiado oscuras como resultado de la falta de luz. En la figura 3 se muestra un ejemplo de una imagen subiluminada, una imagen incompleta y una imagen estándar.
   NOTA: La luz insuficiente generalmente es causada por el hecho de que el paciente no coloca la cara completamente en el instrumento. La exposición completa generalmente solo se obtiene fotografiando correctamente al paciente.

2. Segmentación de la lengua

1. Realice la segmentación de imágenes de lengua utilizando una herramienta de anotación en línea, como se describe a continuación.
   1. Instale Labelme, haga clic en el botón Abrir en la esquina superior izquierda de la interfaz de etiqueta, seleccione la carpeta donde se encuentra la imagen y abra las fotos.
   2. Haga clic en crear polígono para iniciar los puntos de seguimiento, rastrear la lengua y las formas linguales, nombrarlos de acuerdo con las áreas seleccionadas (por ejemplo, lengua y superficie lingual) y guardarlos.
   3. Cuando se hayan completado todas las marcas, haga clic en Guardar para guardar la imagen en la carpeta de datos. Consulte la Figura 4 para obtener un diagrama de flujo detallado.
      NOTA: Como las imágenes pueden tener diferencias de píxeles, las imágenes no se pueden utilizar directamente para el entrenamiento y la prueba de algoritmos.
2. Unifique las imágenes al mismo tamaño rellenando las imágenes con bordes, con el lado largo de la imagen como longitud de relleno de destino y realizando un relleno de bordes blancos para rellenar las imágenes en un cuadrado, con el lado largo de la imagen como longitud de borde. El tamaño de la imagen capturada por el dispositivo es de 1080 x 1920 píxeles y el tamaño de la imagen rellena es de 1920 x 1920 píxeles. Consulte la figura 5.
3. Aplique mejoras de imagen si es necesario. No se aplicó ninguna mejora en este estudio, ya que las imágenes utilizadas se tomaron en una escena fija y se vieron menos afectadas por el entorno, la iluminación y otros factores.
4. Debido a que se recopilaron tres imágenes para cada paciente durante el proceso de disparo para tener en cuenta factores incontrolables, como el parpadeo del sujeto y el bloqueo de la lente, filtre manualmente las imágenes de cada paciente para retener una imagen por paciente.
5. Con el fin de entrenar el modelo, recopile datos de 200 personas o 600 imágenes. Después de la proyección, conserve alrededor de 200 imágenes utilizables.
6. De acuerdo con el número de imagen, divida aleatoriamente todas las imágenes de la lengua, colocando el 70% de ellas en el conjunto de entrenamiento y el 30% en el conjunto de prueba en una hoja de cálculo.

3. Clasificación de la lengua

1. Vaya a los sitios web oficiales y descargue e instale Anaconda, Python y Labelme. Active el entorno y complete la instalación y el ajuste del entorno general. Consulte la figura 6 para ver un diagrama de flujo que describe la instalación y configuración del software.
2. Cree el modelo de algoritmo de aprendizaje profundo en el entorno instalado, ajuste los parámetros y complete el entrenamiento del modelo con el conjunto de entrenamiento. Realice la selección y el ajuste del modelo como se describe en los pasos siguientes.
   1. Selección del modelo: Elija el modelo apropiado según el propósito de la investigación. Después de revisar la investigación sobre el procesamiento de imágenes de lengua en los últimos 5 años, cuatro algoritmos, U-Net, Seg-Net, DeeplabV3 y PSPNet, fueron seleccionados para su validación en este estudio (ver Archivo de codificación suplementaria 1, Archivo de codificación suplementaria 2, Archivo de codificación suplementaria 3 y Archivo de codificación suplementaria 4 para códigos de modelo).
   2. Construcción del conjunto de datos: Después de completar la selección del modelo, construya el conjunto de datos requerido junto con el contenido de la investigación, principalmente utilizando la anotación Labelme y los métodos de tamaño de imagen uniforme, como se describió anteriormente.
3. Realice el entrenamiento del modelo como se describe a continuación. La figura 7 muestra detalles de la operación de entrenamiento del algoritmo.
   1. Ingrese los datos en la red neuronal para la propagación hacia adelante, con cada neurona primero ingresando una acumulación ponderada de valores y luego ingresando una función de activación como el valor de salida de esa neurona para obtener el resultado.
   2. Ingrese el resultado en la función de error y compárelo con el valor esperado para obtener el error y juzgar el grado de reconocimiento por error. Cuanto menor sea la función de pérdida, mejor será el modelo.
   3. Reduzca el error mediante la propagación hacia atrás y determine el vector de degradado. Ajuste los pesos por el vector de degradado a la tendencia hacia los resultados para que el error tienda a cero o se contraiga.
   4. Repita este proceso de entrenamiento hasta que se complete el conjunto o el valor de error ya no disminuya, momento en el que se completa el entrenamiento del modelo. Consulte la figura 8 para obtener un diagrama de flujo del modelo de algoritmo en entrenamiento y pruebas.
4. Pruebe los cuatro modelos utilizando los mismos datos de prueba para la segmentación y juzgue el rendimiento del modelo de acuerdo con el efecto de segmentación. Las cuatro métricas de precisión, recuperación, precisión media de píxeles (MPA) y MIoU proporcionan una evaluación más completa del rendimiento del modelo.
5. Después de generar los resultados de los cuatro modelos, compare sus valores horizontalmente; Cuanto mayor sea el valor, mayor será la precisión de segmentación y mejor será el rendimiento del modelo. Consulte la figura 9, la figura 10 y la figura 11.

Resultados

Para obtener los resultados de la comparación, consulte la Figura 12, la Figura 13 y la Tabla 1, donde el entorno construido por este estudio utiliza las mismas muestras para entrenar y probar el modelo de algoritmo. Indicador MIoU: U-Net > Seg-Net > PSPNet > DeeplabV3; Indicador MPA: U-Net > Seg-Net > PSPNet > DeeplabV3; indicador de precisión: U-Net > Seg-Net > DeeplabV3 > PSPNet; Recordemos: U-Net > Seg-Net > PSPNet > DeeplabV3. Cuanto may...

Discusión

Sobre la base de los resultados de comparación presentados anteriormente, es evidente que las características de los cuatro algoritmos considerados son variadas, y sus distintas ventajas y desventajas se describen a continuación. La estructura U-Net, basada en la modificación y expansión de una red de convolución completa, puede obtener información contextual y posicionamiento preciso a través de una ruta de contratación y una ruta de expansión simétrica. Al clasificar cada punto de píxel, este algoritmo logr...

Materiales

Name	Company	Catalog Number	Comments
CPU	Intel(R) Core(TM) i7-9700K
GPU	NVIDIA GeForce RTX 3070 Ti (8192MB)
Operating systems	Microsoft Windows 10 Professional Edition (64-bit)
Programming language	Python
RAM	16G