전통의학에서 혀 진단의 객관화, 데이터 분석, 연구 적용

요약

본 연구는 U-Net 및 기타 딥러닝 알고리즘을 사용하여 혀 이미지를 분할하고 분할 결과를 비교하여 혀 진단의 객관화를 조사했습니다.

초록

혀 진단은 한의학(TCM) 진단의 필수 기술이며, 영상처리 기술을 통한 혀 영상의 대상화에 대한 필요성이 커지고 있습니다. 본 연구는 지난 10년 동안 혀 객관화의 진행 상황에 대한 개요를 제공하고 세분화 모델을 비교합니다. 실제 혀 이미지 세트를 사용하여 알고리즘을 검증하고 비교하기 위해 다양한 딥 러닝 모델이 구축됩니다. 각 모델의 강점과 약점을 분석합니다. 연구 결과에 따르면 U-Net 알고리즘은 정밀 정확도(PA), 재현율 및 MIoU(Mean Intersection over Union) 메트릭과 관련하여 다른 모델보다 성능이 우수합니다. 그러나 혀 이미지 획득 및 처리가 크게 발전했음에도 불구하고 혀 진단을 객관화하기 위한 통일된 표준은 아직 확립되지 않았습니다. 혀 진단 객관화에서 모바일 장치를 사용하여 캡처한 혀 이미지의 광범위한 적용을 용이하게 하기 위해 추가 연구는 복잡한 환경에서 캡처된 혀 이미지로 인해 발생하는 문제를 해결할 수 있습니다.

서문

혀 관찰은 중국 전통 의학(TCM)에서 널리 사용되는 기술입니다. 혀의 색과 모양은 신체 상태와 다양한 질병 특성, 중증도 및 예후를 반영할 수 있습니다. 예를 들어, 전통 몽족 의학에서 혀의 색은 체온을 식별하는 데 사용됩니다 (예 : 빨간색 또는 보라색 혀는 열과 관련된 병리학 적 요인을 나타냅니다). 티베트 의학에서는 환자의 혀를 관찰하고 점액의 색, 모양 및 수분에주의를 기울여 상태를 판단합니다. 예를 들어, 헤이이병 환자의 혀가 붉어지고 거칠어지거나 검고 건조해집니다¹; Xieri 질병² 환자는 혀가 노랗고 건조합니다. 한편, 바다칸병³ 환자는 하얗고 습하며 부드러운 혀4를 가지고^있다. 이러한 관찰은 혀의 특징과 생리학 및 병리학 사이의 밀접한 관계를 보여줍니다. 전반적으로 혀의 상태는 진단, 질병 식별 및 치료 효과 평가에 중요한 역할을 합니다.

동시에, 다양한 인종 그룹 간의 다양한 생활 조건과 식습관으로 인해 혀 이미지의 차이가 분명합니다. 색상 결정을위한 국제 표준을 기반으로 설립 된 Lab 모델은 1931 년 CIE (Commission International Eclairage)에 의해 공식화되었습니다. 1976 년에 색상 패턴이 수정되고 명명되었습니다. Lab 색상 모델은 세 가지 요소로 구성됩니다 : L은 밝기에 해당하고 a와 b는 두 개의 색상 채널입니다. A는 짙은 녹색 (낮은 밝기 값)에서 회색 (중간 밝기 값)에서 밝은 분홍색 (높은 밝기 값)까지의 색상을 포함합니다. b는 밝은 파란색(낮은 밝기 값)에서 회색(중간 밝기 값), 노란색(높은 밝기 값)으로 바뀝니다. Yang 등⁵ 은 5개 종족 그룹의 혀 색깔에 대한 L x a x b 값을 비교함으로써 몽족, 후이족, 좡족, 한족 및 몽골족의 혀 이미지 특성이 서로 유의하게 다르다는 것을 발견했습니다. 예를 들어, 몽골인은 노란색 혀 코팅이 된 어두운 혀를 가지고 있는 반면 몽족은 흰색 혀 코팅이 된 밝은 혀를 가지고 있어 혀 특징이 인구의 건강 상태를 평가하기 위한 진단 지표로 사용될 수 있음을 시사합니다. 또한 혀 이미지는 민족 의학의 임상 연구에서 증거 기반 의학에 대한 평가 지표로 기능할 수 있습니다. He et ^al.6 은 한의학 진단의 기초로 혀 이미지를 사용하고 중국 및 서양 의학과 결합된 Chou-Ling-Dan 펠릿(한의학의 계절성 인플루엔자를 포함한 염증 및 열성 질환 치료에 사용되는 CLD 과립)의 안전성과 효능을 체계적으로 평가했습니다. 그 결과 임상 연구의 평가 지표로서 혀 이미지의 과학적 타당성이 확립되었습니다. 그럼에도 불구하고 전통적인 의료 종사자는 일반적으로 혀의 특성을 관찰하고 환자의 생리적, 병리학적 상태를 평가하기 위해 주관성에 의존하므로 보다 정확한 지표가 필요합니다.

인터넷과 인공 지능 기술의 출현은 혀 진단을 디지털화하고 객관화하는 길을 열었습니다. 이 과정은 수학적 모델을 사용하여 혀 이미지의 내용을 반영하는 혀 이미지⁷에 대한 질적이고 객관적인 설명을 제공하는 것을 포함한다. 이 프로세스에는 이미지 획득, 광학 보정, 색상 보정 및 기하학적 변환과 같은 여러 단계가 포함됩니다. 그런 다음 전처리된 이미지는 이미지 포지셔닝 및 분할, 특징 추출, 패턴 인식 등을 위한 알고리즘 모델에 공급됩니다. 이 과정의 결과는 혀 이미지 데이터의 매우 효율적이고 정확한 진단이며, 이에 따라 혀 진단의 객관화, 정량화 및 정보화의 목표를 달성한다⁸. 따라서, 혀 진단 데이터의 고효율 및 고정밀 처리의 목적이 달성된다. 본 연구는 혀 진단 지식과 딥러닝 기술을 바탕으로 컴퓨터 알고리즘을 이용하여 혀 영상에서 혀 몸체와 혀 코팅을 자동으로 분리하여 의사를 위한 혀의 정량적 특징을 추출하고 진단의 신뢰성과 일관성을 향상시키며 후속 혀 진단 객관화 연구^{방법을 제공한다 9}.

프로토콜

이 연구는 중국 국립 자연 과학 재단(National Natural Science Foundation of China) 프로젝트인 연관 분석을 기반으로 한 TCM 얼굴 이미지의 동적 변화 규칙 구성의 승인을 받았습니다. 윤리 승인 번호는 2021KL-027이며, 윤리위원회는 임상 연구 프로토콜(2021.04.12, V2.0), 정보에 입각한 동의(2021.04.12, V2.0), 피험자 모집 자료(2021.04.12, V2.0), 연구 사례 및/또는 사례 보고서, 피험자 일지 카드 및 기타 설문지(2021.04.12, V2.0), 임상시험 참가자 목록, 연구과제 승인 등 연구에 참여한 환자들로부터 정보에 입각한 동의를 얻었습니다. 이 연구의 주요 실험적 접근 방식은 실제 혀 이미지를 사용하여 모델 분할 효과를 검증하고 비교하는 것입니다. 그림 1 은 혀 진단 객관화의 구성 요소를 보여줍니다.

1. 이미지 획득

1. 자체 개발한 휴대용 설면 진단 기기를 사용하여 환자의 설측 얼굴 이미지를 수집합니다.
2. 컴퓨터 페이지에서 환자의 이름, 성별, 나이 및 질병을 입력합니다. 여기에 포함된 이미지는 클리닉에 와서 연구의 목적과 내용을 통보받은 후 사진 촬영에 동의한 환자의 이미지입니다. 환자가 똑바로 앉아 있는지 확인하고 얼굴 전체를 영상 획득 기구에 넣고 환자에게 혀를 입 밖으로 최대한 내밀도록 지시합니다.
3. 컴퓨터에 연결된 영상 획득 장치를 잡고 컴퓨터 화면의 영상을 통해 환자가 올바른 위치에 있는지, 혀와 얼굴이 완전히 노출되어 있는지 확인합니다.
4. 컴퓨터 화면의 촬영 버튼을 세 번 눌러 세 장의 사진을 촬영 합니다.
   참고: 이미지 획득 기기는 현재 특허 출원 단계에 있으며 상업적 용도가 아니므로 판매용이 아닙니다.
5. 수집된 혀 및 얼굴 이미지를 수동으로 선택하고 필터링합니다. 혀와 얼굴의 노출이 불완전한 이미지와 빛이 부족하여 너무 어두운 이미지를 필터링하고 제외합니다. 그림 2 는 소프트웨어의 이미지 획득 페이지를 보여줍니다.
6. 실험 설계에서는 대안으로 각 환자로부터 한 번에 3개의 이미지를 수집하고 후속 알고리즘 훈련 및 테스트를 위한 샘플로 비교적 표준적이고 완전히 노출되고 조명이 잘 되는 선명한 이미지를 선택합니다.
7. 촬영 후 데이터를 수집하고, 수동 스크리닝을 위해 데이터를 내보내고, 육안으로 볼 수 있는 비표준 이미지를 삭제합니다. 다음 필터링 및 제외 기준을 사용합니다: 불완전한 혀 및 얼굴 노출, 불충분한 빛으로 인해 너무 어두운 이미지. 조명 부족, 불완전 및 표준 이미지의 예가 그림 3에 나와 있습니다.
   알림: 불충분한 빛은 일반적으로 환자가 얼굴을 기구에 완전히 넣지 못하여 발생합니다. 완전한 노출은 일반적으로 환자를 올바르게 촬영해야만 얻을 수 있습니다.

2. 혀 분할

1. 아래 설명된 대로 온라인 주석 도구를 사용하여 혀 이미지 분할을 수행합니다.
   1. Labelme를 설치하고 레이블 인터페이스의 왼쪽 상단 모서리에 있는 열기 버튼을 클릭하고 이미지가 있는 폴더를 선택한 다음 사진을 엽니다.
   2. 다각형 만들기를 클릭하여 추적 지점을 시작하고, 혀 및 설 모양을 추적하고, 선택한 영역(예: 혀 및 설측 표면)에 따라 이름을 지정하고 저장합니다.
   3. 모든 표시가 완료되면 저장을 클릭하여 이미지를 데이터 폴더에 저장합니다. 자세한 순서도는 그림 4 를 참조하십시오.
      참고: 이미지에 픽셀 차이가 있을 수 있으므로 알고리즘을 학습하고 테스트하는 데 직접 사용할 수 없습니다.
2. 이미지의 긴 면을 대상 채우기 길이로 하여 이미지의 가장자리를 채우고 흰색 가장자리 채우기를 수행하여 이미지의 긴 면을 가장자리 길이로 하여 이미지를 정사각형으로 채우는 방식으로 이미지를 동일한 크기로 통합합니다. 장치에서 캡처한 이미지 크기는 1080 x 1920 픽셀이고 채워진 이미지의 크기는 1920 x 1920 픽셀입니다. 그림 5를 참조하십시오.
3. 필요한 경우 이미지 향상을 적용합니다. 사용된 이미지가 고정된 장면에서 촬영되고 환경, 조명 및 기타 요인의 영향을 덜 받았기 때문에 이 연구에서는 향상이 적용되지 않았습니다.
4. 피사체 깜박임 및 렌즈 차단과 같은 제어할 수 없는 요인을 설명하기 위해 촬영 과정에서 각 환자에 대해 3개의 이미지가 수집되었기 때문에 각 환자의 이미지를 수동으로 스크리닝하여 환자당 하나의 이미지를 유지합니다.
5. 모델을 학습하기 위해 200명 또는 600개의 이미지에서 데이터를 수집합니다. 스크리닝 후 약 200 개의 사용 가능한 이미지를 보관하십시오.
6. 이미지 번호에 따라 모든 혀 이미지를 무작위로 나누어 스프레드시트의 70%를 훈련 세트에, 30%를 테스트 세트에 배치합니다.

3. 혀 분류

1. 공식 웹사이트로 이동하여 Anaconda, Python 및 Labelme를 다운로드하여 설치합니다. 환경을 활성화하고 전체 환경의 설치 및 조정을 완료하십시오. 그림 6 에서 소프트웨어 설치 및 설정을 설명하는 순서도를 참조하십시오.
2. 설치된 환경에서 딥러닝 알고리즘 모델을 구축하고, 파라미터를 조정하고, 학습 세트를 사용하여 모델 학습을 완료합니다. 다음 단계에 설명된 대로 모델 선택 및 조정을 수행합니다.
   1. 모형 선택: 연구 목적에 따라 적절한 모형을 선택합니다. 지난 5년 동안 혀 이미지 처리에 대한 연구를 검토한 후 이 연구에서 검증을 위해 U-Net, Seg-Net, DeeplabV3 및 PSPNet의 4가지 알고리즘을 선택했습니다(모델 코드는 보충 코딩 파일 1, 보충 코딩 파일 2, 보충 코딩 파일 3 및 보충 코딩 파일 4 참조).
   2. 데이터 세트 구성: 모델 선택을 완료한 후 위에서 설명한 대로 주로 Labelme 주석 및 균일한 이미지 크기 방법을 사용하여 연구 콘텐츠와 함께 필요한 데이터 세트를 구성합니다.
3. 아래에 설명된 대로 모델 학습을 수행합니다. 그림 7 은 알고리즘 학습 작업의 세부 정보를 보여줍니다.
   1. 순방향 전파를 위해 신경망에 데이터를 입력하고, 각 뉴런은 먼저 가중 누적된 값을 입력한 다음 해당 뉴런의 출력 값으로 활성화 함수를 입력하여 결과를 얻습니다.
   2. 그 결과를 에러 함수에 입력하고 이를 예상값과 비교하여 에러를 구하고 실수로 인식도를 판단합니다. 손실 함수가 작을수록 모형이 더 좋아집니다.
   3. 역전파를 통해 오차를 줄이고 기울기 벡터를 결정합니다. 기울기 벡터를 기준으로 가중치를 결과 추세에 맞게 조정하여 오차가 0이 되거나 축소되도록 합니다.
   4. 세트가 완료되거나 오류 값이 더 이상 감소하지 않을 때까지 이 학습 프로세스를 반복하여 모델 학습이 완료됩니다. 그림 8 에서 학습 및 테스트의 알고리즘 모델 순서도를 볼 수 있습니다.
4. 분할을 위해 동일한 테스트 데이터를 사용하여 4개의 모델을 테스트하고 분할 효과에 따라 모델 성능을 판단합니다. 정밀도, 재현율, 평균 픽셀 정확도(MPA) 및 MIoU의 네 가지 메트릭은 보다 포괄적인 모델 성능 평가를 제공합니다.
5. 네 가지 모델의 결과가 생성된 후 해당 값을 수평으로 비교합니다. 값이 높을수록 분할 정확도가 높아지고 모델의 성능이 향상됩니다. 그림 9, 그림 10 및 그림 11을 참조하십시오.

결과

비교 결과는 그림 12, 그림 13 및 표 1을 참조하십시오.이 연구에서 구성한 환경은 동일한 샘플을 사용하여 알고리즘 모델을 학습하고 테스트합니다. MIoU 표시기: U-Net > Seg-Net > PSPNet > DeeplabV3; MPA 표시기: U-Net > Seg-Net > PSPNet > DeeplabV3; 정밀 표시기 : U-Net > Seg-Net > DeeplabV3 > PSPNet; 리콜 : U-Net > Seg-Net > PSPNet > DeeplabV3. 인덱스 값이 클수록 세그멘테이...

토론

위에 제시된 비교 결과를 바탕으로, 고려중인 4 가지 알고리즘의 특성이 다양하다는 것이 분명하며, 그 뚜렷한 장점과 단점이 아래에 설명되어 있습니다. 전체 컨볼루션 네트워크의 수정 및 확장을 기반으로 하는 U-Net 구조는 수축 경로와 대칭 확장 경로를 통해 상황 정보와 정확한 위치 지정을 얻을 수 있습니다. 이 알고리즘은 각 픽셀 포인트를 분류하여 더 높은 분할 정확도를 달성하고 학습된 ?...

자료

Name	Company	Catalog Number	Comments
CPU	Intel(R) Core(TM) i7-9700K
GPU	NVIDIA GeForce RTX 3070 Ti (8192MB)
Operating systems	Microsoft Windows 10 Professional Edition (64-bit)
Programming language	Python
RAM	16G