伝統医学における舌診断の客観化、データ解析、研究応用

要約

本研究では,U-Netなどの深層学習アルゴリズムを用いて舌画像をセグメント化し,セグメンテーション結果を比較して舌診断の客観化を検討した。

要約

舌診断は中医学(TCM)診断に不可欠な技術であり、画像処理技術による舌画像の客観化の必要性が高まっています。本研究では、過去10年間の舌客観化の進歩を概観し、セグメンテーションモデルを比較します。実際の舌画像セットを用いてアルゴリズムを検証・比較するために、様々な深層学習モデルを構築します。各モデルの長所と短所が分析されます。この知見は、U-Netアルゴリズムが、精度精度(PA)、再現率、および平均交差オーバーユニオン(MIoU)メトリックに関して他のモデルよりも優れていることを示している。しかし、舌画像の取得と処理は大きく進歩しているにもかかわらず、舌診断を客観化するための統一された基準は確立されていません。モバイルデバイスを使用してキャプチャされた舌画像を舌診断の客観化に広く適用することを促進するために、さらなる研究により、複雑な環境でキャプチャされた舌画像によってもたらされる課題に対処できます。

概要

舌観察は、伝統的な中国民族医学(TCM)で広く利用されている技術です。舌の色と形は、体調やさまざまな病気の性質、重症度、予後を反映することができます。たとえば、伝統的なモン族の医学では、舌の色は体温を識別するために使用されます(たとえば、赤または紫の舌は熱に関連する病理学的要因を示します)。チベット医学では、粘液の色、形、水分に注意を払いながら、患者の舌を観察することによって状態を判断します。たとえば、Heyi病患者の舌は赤くて荒れたり、黒くて乾いた^{りします1}。Xieri病² の患者は黄色で乾燥した舌を持っています。一方、バダカン病³ の患者は、白く、湿気があり、柔らかい舌^{を持っています4。}これらの観察は、舌の特徴と生理学および病理学との間の密接な関係を明らかにします。全体として、舌の状態は、診断、疾患の特定、および治療効果の評価において重要な役割を果たします。

同時に、異なる民族グループ間の多様な生活条件と食習慣のために、舌のイメージのばらつきは明らかです。色を決定するための国際標準に基づいて確立されたラボモデルは、1931年に国際エクレアージュ委員会(CIE)によって策定されました。1976年に、カラーパターンが変更され、名前が付けられました。Lab カラー モデルは、L は明るさに対応し、a と b は 2 つのカラー チャネルの 3 つの要素で構成されます。aには、濃い緑(低輝度値)から灰色(中程度の明るさの値)、明るいピンク(高輝度値)までの色が含まれます。Bは、明るい青(低輝度値)から灰色(中程度の明るさ値)、黄色(高輝度値)になります。Yangらは、5つの民族グループの舌色のL x a x b値を比較することにより、モン族、回族、チワン族、漢族、モンゴル族の舌像の特徴が互いに有意に^{異なることを発見} しました。たとえば、モンゴル人は黄色の舌のコーティングが施された暗い舌を持っていますが、モン族は白い舌のコーティングが施された明るい舌を持っており、舌の特徴が集団の健康状態を評価するための診断指標として使用できることを示唆しています。また、舌画像は、民族医学の臨床研究におけるエビデンスに基づく医療の評価指標として機能することができます。He et ^al.6 は、TCM診断の基礎として舌画像を使用し、Chou-Ling-Danペレット(CLD顆粒-TCMの季節性インフルエンザを含む炎症性疾患および熱性疾患の治療に使用される)と中医学および西洋医学を組み合わせた安全性と有効性を体系的に評価しました。その結果、臨床研究の評価指標としての舌画像の科学的妥当性が確立されました。それにもかかわらず、従来の開業医は一般に主観性に依存して舌の特徴を観察し、患者の生理学的および病理学的状態を評価し、より正確な指標を必要とします。

インターネットと人工知能技術の出現は、舌診断のデジタル化と客観化への道を開きました。このプロセスは、舌画像の内容を反映して、舌画像⁷の定性的および客観的な記述を提供するために数学的モデルを使用することを含む。このプロセスには、画像取得、光学補正、色補正、幾何学的変換など、いくつかのステップが含まれます。次に、前処理された画像は、画像の位置決めとセグメンテーション、特徴抽出、パターン認識などのアルゴリズムモデルに供給されます。このプロセスの出力は、舌画像データの高効率かつ正確な診断であり、それによって^舌診断の客観化、定量化、および情報化の目標を達成します8。これにより、舌診断データの高効率・高精度処理の目的が達成される。本研究では、舌診断の知識と深層学習技術に基づき、コンピュータアルゴリズムを用いて舌の画像から舌の体と舌のコーティングを自動的に分離し、医師の舌の定量的特徴を抽出し、診断の信頼性と一貫性を向上させ、その後の舌診断客観^化研究の方法を提供する9。

プロトコル

この研究は、中国国家自然科学財団プロジェクト「関連分析に基づくTCM顔画像の動的変化ルールの構築」によって承認されています。倫理承認番号は2021KL-027であり、倫理委員会は、臨床研究プロトコル(2021.04.12、V2.0)、インフォームドコンセント(2021.04.12、V2.0)、被験者募集資料(2021.04.12、V2.0)、研究症例および/または症例報告、被験者日記カードおよびその他の質問票(2021.04.12、V2.0)、臨床試験の参加者のリストを含む承認された文書に従って実施される臨床試験を承認しました。 研究プロジェクトの承認等研究に参加した患者からインフォームドコンセントが得られました。この研究の主な実験的アプローチは、実際の舌画像を使用して、モデルのセグメンテーション効果を検証および比較することです。 図1 は、舌診断客観化の構成要素を示しています。

1. 画像取得

1. 自社開発のハンドヘルド舌側顔診断装置を使用して、患者の舌側顔画像を収集します。
2. 患者の氏名、性別、年齢、疾患をパソコンのページに記入してください。ここに掲載されている画像は、クリニックに来て、研究の目的と内容を知らされた上で撮影に同意した患者のものです。患者が直立していることを確認し、画像取得機器に顔全体を置き、患者に舌を口から最大限に伸ばすように指示します。
3. コンピューターに接続された画像取得デバイスを保持し、コンピューター画面の画像を通じて、患者が正しい位置にあり、舌と顔が完全に露出していることを確認します。
4. コンピューター画面の 撮影 ボタンを3回押して、3枚の写真を撮ります。
   注:画像取得機器は現在特許出願段階にあり、商用利用ではないため、販売されていません。
5. 収集した舌と顔の画像を手動で選択してフィルタリングします。舌や顔の露出が不完全な画像や、光が不十分なために暗すぎる画像をフィルタリングして除外します。 図2 は、ソフトウェアの画像取得ページを示しています。
6. 実験計画では、代替案として各患者から一度に3つの画像を収集し、その後のアルゴリズムトレーニングとテストのサンプルとして、比較的標準的で、完全に露出し、十分に照らされた、鮮明な画像を選択します。
7. 撮影後にデータを収集し、手動スクリーニングのためにデータをエクスポートし、肉眼で見える非標準画像を削除します。次のフィルタリングおよび除外条件を使用します:不完全な舌と顔の露出、および不十分な光の結果として暗すぎる画像。照明不足、不完全、および標準画像の例を 図3に示します。
   注意: 不十分な光は、通常、患者が顔を完全に器具に入れなかったことによって引き起こされます。完全な露出は通常、患者を正しく撮影することによってのみ得られます。

2.舌のセグメンテーション

1. 以下に説明するように、オンライン注釈ツールを使用して舌画像のセグメンテーションを実行します。
   1. Labelmeをインストールし、ラベルインターフェイスの左上隅にある[ 開く ]ボタンをクリックし、画像が配置されているフォルダーを選択して、写真を開きます。
   2. [ポリゴンの作成]をクリックしてポイントの追跡を開始し、舌と舌の形状を追跡し、選択した領域(舌と舌の表面など)に従って名前を付けて保存します。
   3. すべてのマークが完成したら、[ 保存 ] をクリックして画像をデータ フォルダーに保存します。詳細なフローチャートについては、 図 4 を参照してください。
      注:画像にはピクセルの違いがあるため、アルゴリズムのトレーニングやテストに直接使用することはできません。
2. 画像の長辺をターゲットの塗りつぶし長として画像をエッジ塗りつぶしし、画像の長辺を辺の長さとして、白いエッジ塗りつぶしを実行して画像を正方形に塗りつぶすことで、画像を同じサイズに統一します。デバイスによってキャプチャされた画像サイズは1080 x 1920ピクセルで、塗りつぶされた画像のサイズは1920 x 1920ピクセルです。 図5を参照してください。
3. 必要に応じて画像補正を適用します。この研究では、使用された画像は固定されたシーンで撮影され、環境、照明、その他の要因の影響を受けにくいため、強調は適用されませんでした。
4. 被写体のまばたきやレンズの遮断などの制御不能な要因を考慮して、撮影プロセス中に患者ごとに3つの画像が収集されたため、各患者からの画像を手動でスクリーニングして、患者ごとに1つの画像を保持します。
5. モデルをトレーニングする目的で、200 人または 600 枚の画像からデータを収集します。上映後、使用可能な画像は約200枚保持します。
6. 画像番号に従って、すべての舌画像をランダムに分割し、そのうちの70%をトレーニングセットに、30%をスプレッドシートのテストセットに配置します。

3.舌の分類

1. 公式ウェブサイトにアクセスし、アナコンダ、パイソン、ラベルメをダウンロードしてインストールします。環境をアクティブ化し、環境全体のインストールと調整を完了します。ソフトウェアのインストールとセットアップを説明するフローチャートについては、 図 6 を参照してください。
2. インストール済みの環境でディープ ラーニング アルゴリズム モデルを構築し、パラメーターを調整して、トレーニング セットを使用してモデル トレーニングを完了します。次の手順で説明するように、モデルの選択とチューニングを実行します。
   1. モデルの選択:研究の目的に基づいて適切なモデルを選択します。過去5年間の舌画像処理に関する研究をレビューした後、本研究では、U-Net、Seg-Net、DeeplabV3、およびPSPNetの4つのアルゴリズムが検証対象として選択されました(モデルコードについては、補足コーディングファイル1、補足コーディングファイル2、補足コーディングファイル3、および補足コーディングファイル4を参照)。
   2. データセットの構築:モデルの選択が完了したら、上記のように、主にLabelmeアノテーションと均一な画像サイズの方法を使用して、研究内容と併せて必要なデータセットを構築します。
3. 以下で説明するようにモデルトレーニングを実行します。 図 7 に、アルゴリズムのトレーニング操作の詳細を示します。
   1. 前方伝搬のためにニューラルネットワークにデータを入力し、各ニューロンは最初に値の重み付けされた累積を入力し、次にそのニューロンの出力値として活性化関数を入力して結果を取得します。
   2. その結果を誤差関数に入力し、期待値と比較することで誤差を求め、誤認識の度合いを判断します。損失関数が小さいほど、モデルは良くなります。
   3. バックプロパゲーションにより誤差を減らし、勾配ベクトルを決定します。勾配ベクトルによる重みを結果への傾向に合わせて調整し、誤差がゼロまたは縮小する傾向があるようにします。
   4. セットが完了するまで、またはエラー値が低下しなくなるまで、このトレーニング プロセスを繰り返し、その時点でモデルのトレーニングが完了します。トレーニングとテストにおけるアルゴリズムモデルのフローチャートについては、 図8 を参照してください。
4. セグメンテーションに同じテストデータを使用して4つのモデルをテストし、セグメンテーション効果に従ってモデルのパフォーマンスを判断します。精度、再現率、平均ピクセル精度 (MPA)、MIoU の 4 つのメトリックは、より包括的なモデル パフォーマンス評価を提供します。
5. 4 つのモデルの結果が生成されたら、それらの値を水平方向に比較します。値が大きいほど、セグメンテーションの精度が高くなり、モデルのパフォーマンスが向上します。図 9、図 10、および 図 11 を参照してください。

結果

比較結果については、図 12、図 13、および表 1 を参照し、この調査で構築された環境では、同じサンプルを使用してアルゴリズム モデルをトレーニングおよびテストします。 MIoUインジケーター: Uネット>セグネット>PSPNet > DeeplabV3;MPAインジケーター: Uネット>セグネット>PSPNet > DeeplabV3;精密インジケータ:Uネット>セグネット>ディープラ?...

ディスカッション

上記の比較結果に基づいて、検討中の4つのアルゴリズムの特性が異なることは明らかであり、それらの明確な長所と短所を以下に説明します。U-Net構造は、完全な畳み込みネットワークの変更と拡張に基づいており、収縮経路と対称的な拡張経路を介してコンテキスト情報と正確な位置決めを取得できます。このアルゴリズムは、各ピクセルポイントを分類することにより、より高いセグメ?...

資料

Name	Company	Catalog Number	Comments
CPU	Intel(R) Core(TM) i7-9700K
GPU	NVIDIA GeForce RTX 3070 Ti (8192MB)
Operating systems	Microsoft Windows 10 Professional Edition (64-bit)
Programming language	Python
RAM	16G