Объективизация диагностики языка в традиционной медицине, анализ данных и применение в исследованиях

Резюме

В настоящем исследовании использовались U-Net и другие алгоритмы глубокого обучения для сегментации изображения языка и сравнения результатов сегментации для изучения объективации диагностики языка.

Аннотация

Диагностика языка является важным методом диагностики традиционной китайской медицины (ТКМ), и потребность в объективации изображений языка с помощью технологии обработки изображений растет. В настоящем исследовании представлен обзор прогресса, достигнутого в области объективации языка за последнее десятилетие, и сравниваются модели сегментации. Различные модели глубокого обучения построены для проверки и сравнения алгоритмов с использованием реальных наборов изображений языка. Проанализированы сильные и слабые стороны каждой модели. Полученные данные показывают, что алгоритм U-Net превосходит другие модели в отношении точности точности (PA), отзыва и среднего пересечения по сравнению с метриками объединения (MIoU). Однако, несмотря на значительный прогресс в получении и обработке изображений языка, единый стандарт для объективной диагностики языка еще не установлен. Чтобы облегчить широкое применение изображений языка, снятых с помощью мобильных устройств, для объективации диагностики языка, дальнейшие исследования могли бы решить проблемы, связанные с изображениями языка, снятыми в сложных условиях.

Введение

Наблюдение за языком является широко используемым методом в традиционной китайской этнической медицине (ТКМ). Цвет и форма языка могут отражать физическое состояние и различные свойства, тяжесть и прогнозы заболевания. Например, в традиционной медицине хмонгов цвет языка используется для определения температуры тела, например, красный или фиолетовый язык указывает на патологические факторы, связанные с теплом. В тибетской медицине о состоянии судят, наблюдая за языком пациента, обращая внимание на цвет, форму и влажность слизи. Например, языки пациентов с болезнью Хейи становятся красными и шероховатыми или черными и сухими¹; пациенты с болезнью Сиери² имеют желтые и сухие языки; между тем, пациенты с болезнью Бадакан³ имеют белый, влажный и мягкий язык⁴. Эти наблюдения показывают тесную связь между особенностями языка и физиологией и патологией. В целом, состояние языка играет жизненно важную роль в диагностике, выявлении заболеваний и оценке эффекта лечения.

В то же время, из-за различных условий жизни и практики питания среди различных этнических групп, различия в изображениях языка очевидны. Лабораторная модель, созданная на основе международного стандарта определения цвета, была сформулирована Международной комиссией по эклерированию (CIE) в 1931 году. В 1976 году цветовой узор был изменен и назван. Цветовая модель Lab состоит из трех элементов: L соответствует яркости, а a и b — двум цветовым каналам. a включает цвета от темно-зеленого (значение низкой яркости) до серого (среднее значение яркости) и ярко-розового (значение высокой яркости); b переходит от ярко-синего (низкое значение яркости) к серому (среднее значение яркости) и желтому (высокое значение яркости). Сравнивая значения L x a x b цвета языка пяти этнических групп, Yang et ^al.5 обнаружили, что характеристики языковых изображений групп хмонгов, хуэй, чжуанов, хань и монголов значительно отличались друг от друга. Например, у монголов темные языки с желтым языковым покрытием, в то время как у хмонгов светлые языки с белым языковым покрытием, что позволяет предположить, что особенности языка можно использовать в качестве диагностического индикатора для оценки состояния здоровья населения. Кроме того, изображения языка могут функционировать в качестве оценочного показателя доказательной медицины в клинических исследованиях этнической медицины. Он и ^др.6 использовали изображения языка в качестве основы для диагностики ТКМ и систематически оценивали безопасность и эффективность гранул Чжоу-Лин-Дань (гранулы CLD, используемые для лечения воспалительных и лихорадочных заболеваний, включая сезонный грипп в ТКМ) в сочетании с китайской и западной медициной. Результаты установили научную достоверность изображений языка в качестве оценочного показателя для клинических исследований. Тем не менее, традиционные врачи, как правило, полагаются на субъективность для наблюдения за характеристиками языка и оценки физиологических и патологических состояний пациентов, требующих более точных показателей.

Появление Интернета и технологий искусственного интеллекта проложило путь к оцифровке и объективизации диагностики языка. Этот процесс включает в себя использование математических моделей для обеспечения качественного и объективного описания изображений языка⁷, отражающего содержание изображения языка. Процесс включает в себя несколько этапов: получение изображения, оптическая компенсация, цветокоррекция и геометрическое преобразование. Предварительно обработанные изображения затем вводятся в алгоритмическую модель для позиционирования и сегментации изображений, извлечения признаков, распознавания образов и т. д. Результатом этого процесса является высокоэффективная и точная диагностика данных изображения языка, что позволяет достичь цели объективации, количественной оценки и информатизации диагностики языка⁸. Таким образом, достигается цель высокой эффективности и высокой точности обработки данных диагностики языка. Основываясь на знаниях о диагностике языка и технологии глубокого обучения, это исследование автоматически отделило тело языка и покрытие языка от изображений языка с помощью компьютерного алгоритма, чтобы извлечь количественные характеристики языков для врачей, повысить надежность и последовательность диагноза и предоставить методы для последующих исследований объективации диагностики^{языка 9}.

протокол

Это исследование было одобрено проектом Национального фонда естественных наук Китая «Построение правил динамического изменения изображения лица ТКМ на основе ассоциативного анализа». Номер одобрения этики - 2021KL-027, и комитет по этике одобрил клиническое исследование, которое будет проводиться в соответствии с утвержденными документами, которые включают протокол клинического исследования (2021.04.12, V2.0), информированное согласие (2021.04.12, V2.0), материалы для набора субъектов (2021.04.12, V2.0), случаи исследования и/или отчеты о случаях, дневниковые карточки субъектов и другие анкеты (2021.04.12, V2.0), список участников клинического исследования, утверждение исследовательского проекта и т.д. Было получено информированное согласие пациентов, участвовавших в исследовании. Основной экспериментальный подход этого исследования заключается в использовании реальных изображений языка для проверки и сравнения эффектов сегментации модели. На рисунке 1 представлены компоненты объективизации диагностики языка.

1. Получение изображения

1. Используйте самостоятельно разработанный ручной лингвальный диагностический прибор для лица для сбора языковых изображений лиц пациентов.
2. Введите имя пациента, пол, возраст и заболевание на странице компьютера. Изображения, включенные здесь, принадлежат пациентам, которые пришли в клинику и согласились сфотографироваться после того, как были проинформированы о цели и содержании исследования. Убедитесь, что пациент сидит прямо, поместите все лицо в прибор для получения изображения и попросите пациента максимально вытянуть язык изо рта.
3. Держите устройство для получения изображений, подключенное к компьютеру, и убедитесь по изображениям на экране компьютера, что пациент находится в правильном положении и что язык и лицо полностью открыты.
4. Нажмите кнопку «Съемка » на экране компьютера три раза, чтобы сделать три снимка.
   ПРИМЕЧАНИЕ: Инструмент для получения изображений в настоящее время находится только на стадии подачи заявки на патент и не предназначен для коммерческого использования, поэтому он не продается.
5. Вручную выберите и отфильтруйте собранные изображения языка и лица. Фильтруйте и исключайте изображения с неполной экспозицией языка и лица, а также изображения, которые слишком темные из-за недостаточного освещения. На рисунке 2 показана страница получения изображения программного обеспечения.
6. В экспериментальном дизайне соберите три изображения от каждого пациента одновременно в качестве альтернативы и выберите относительно стандартное, полностью экспонированное, хорошо освещенное и четкое изображение в качестве образца для последующего обучения и тестирования алгоритма.
7. Собирайте данные после съемки, экспортируйте данные для ручного скрининга и удаляйте нестандартные изображения, видимые невооруженным глазом. Используйте следующие критерии фильтрации и исключения: неполная экспозиция языка и лица, а также слишком темные изображения из-за недостаточного освещения. Пример недостаточно освещенного, неполного и стандартного изображения показан на рисунке 3.
   ПРИМЕЧАНИЕ: Недостаточное освещение обычно вызвано тем, что пациент не помещает лицо полностью в инструмент. Полная экспозиция обычно получается только при правильном фотографировании пациента.

2. Сегментация языка

1. Выполните сегментацию изображений языка с помощью онлайн-инструмента аннотации, как описано ниже.
   1. Установите Labelme, нажмите кнопку « Открыть » в верхнем левом углу интерфейса этикетки, выберите папку, в которой находится изображение, и откройте фотографии.
   2. Нажмите « Создать многоугольник », чтобы начать отслеживать точки, отслеживать формы языка и языка, называть их в соответствии с выбранными областями (например, языком и язычной поверхностью) и сохранять их.
   3. Когда все отметки будут завершены, нажмите кнопку Сохранить , чтобы сохранить изображение в папке с данными. Подробную блок-схему см. на рисунке 4 .
      ПРИМЕЧАНИЕ: Поскольку изображения могут иметь различия в пикселях, изображения не могут быть напрямую использованы для обучения и тестирования алгоритмов.
2. Объедините изображения до одинакового размера, заполнив изображения краями, указав длинную сторону изображения в качестве целевой длины заливки и выполнив белую заливку краев, чтобы заполнить изображения до квадрата, а длинная сторона изображения стала длиной края. Размер изображения, захваченного устройством, составляет 1080 x 1920 пикселей, а размер заполненного изображения — 1920 x 1920 пикселей. Смотрите рисунок 5.
3. При необходимости примените улучшение изображения. В этом исследовании не было применено никаких улучшений, так как используемые изображения были сделаны в фиксированной сцене и были менее подвержены влиянию окружающей среды, освещения и других факторов.
4. Поскольку в процессе съемки для каждого пациента было собрано три изображения, чтобы учесть неконтролируемые факторы, такие как моргание объекта и блокировка объектива, вручную просматривайте изображения каждого пациента, чтобы сохранить одно изображение для каждого пациента.
5. С целью обучения модели соберите данные от 200 человек, или 600 изображений. После скрининга сохраните около 200 пригодных для использования изображений.
6. В соответствии с номером изображения случайным образом разделите все изображения языка, поместив 70% из них в обучающий набор и 30% в тестовый набор в электронной таблице.

3. Классификация языка

1. Перейдите на официальные сайты, скачайте и установите Anaconda, Python и Labelme. Активируйте среду и завершите установку и настройку всей среды. На рисунке 6 показана блок-схема, описывающая установку и настройку программного обеспечения.
2. Постройте модель алгоритма глубокого обучения в установленной среде, настройте параметры и завершите обучение модели с помощью обучающего набора. Выполните выбор и настройку модели, как описано в следующих шагах.
   1. Выбор модели: Выберите подходящую модель в зависимости от цели исследования. После рассмотрения исследований по обработке изображений языка за последние 5 лет для проверки в этом исследовании были выбраны четыре алгоритма: U-Net, Seg-Net, DeeplabV3 и PSPNet (см. Файл дополнительного кодирования 1, Файл дополнительного кодирования 2, Файл дополнительного кодирования 3 и Файл дополнительного кодирования 4 для кодов моделей).
   2. Построение набора данных: После завершения выбора модели сконструируйте необходимый набор данных в сочетании с содержанием исследования, в основном используя аннотацию Labelme и методы равномерного размера изображения, как описано выше.
3. Выполните обучение модели, как описано ниже. На рисунке 7 показана подробная информация об операции обучения алгоритма.
   1. Введите данные в нейронную сеть для прямого распространения, при этом каждый нейрон сначала вводит взвешенное накопление значений, а затем вводит функцию активации в качестве выходного значения этого нейрона для получения результата.
   2. Введите результат в функцию ошибки и сравните его с ожидаемым значением, чтобы получить ошибку и судить о степени распознавания по ошибке. Чем меньше функция потерь, тем лучше будет модель.
   3. Уменьшите погрешность за счет обратного распространения и определите вектор градиента. Отрегулируйте веса по вектору градиента в соответствии с тенденцией к результатам, чтобы погрешность стремилась к нулю или уменьшалась.
   4. Повторяйте этот процесс обучения до тех пор, пока набор не будет завершен или значение ошибки больше не уменьшится, после чего обучение модели будет завершено. На рисунке 8 показана блок-схема модели алгоритма при обучении и тестировании.
4. Протестируйте четыре модели, используя одни и те же тестовые данные для сегментации, и оцените производительность модели в соответствии с эффектом сегментации. Четыре показателя точности, запоминания, средней точности пикселей (MPA) и MIoU обеспечивают более полную оценку производительности модели.
5. После того, как результаты четырех моделей сгенерированы, сравните их значения по горизонтали; Чем выше значение, тем выше точность сегментации и тем выше производительность модели. Смотрите Рисунок 9, Рисунок 10 и Рисунок 11.

Результаты

Результаты сравнения см. на рисунке 12, рисунке 13 и в таблице 1, где среда, построенная в этом исследовании, использует одни и те же образцы для обучения и тестирования модели алгоритма. Индикатор MIoU: U-Net > Seg-Net > PSPNet > DeeplabV3; Индикатор MPA: U-Net > Seg-Net > PSPNet >...

Обсуждение

Исходя из результатов сравнения, представленных выше, видно, что характеристики четырех рассматриваемых алгоритмов разнообразны, а их явные преимущества и недостатки описаны ниже. Структура U-Net, основанная на модификации и расширении полной сверточной сети, может получать контекстну?...

Материалы

Name	Company	Catalog Number	Comments
CPU	Intel(R) Core(TM) i7-9700K
GPU	NVIDIA GeForce RTX 3070 Ti (8192MB)
Operating systems	Microsoft Windows 10 Professional Edition (64-bit)
Programming language	Python
RAM	16G