JoVE Logo
著者
お問い合わせ

サインイン

このコンテンツを視聴するには、JoVE 購読が必要です。 サインイン又は無料トライアルを申し込む。

この記事について

  • 要約
  • 要約
  • 概要
  • プロトコル
  • 結果
  • ディスカッション
  • 開示事項
  • 謝辞
  • 資料
  • 参考文献
  • 転載および許可

要約

ここでは、超音波画像における甲状腺結節検出のための新しいモデルが提案されており、Swin Transformerをバックボーンとして使用して長距離コンテキストモデリングを実行します。実験は、それが感度と精度の点でうまく機能することを証明しています。

要約

近年、甲状腺がんの発生率は増加しています。甲状腺結節の検出は、甲状腺がんの検出と治療の両方にとって重要です。畳み込みニューラルネットワーク(CNN)は、甲状腺超音波画像分析タスクで良好な結果を達成しています。しかし、畳み込み層の有効な受容野が限られているため、CNNは、超音波画像で甲状腺結節を特定するために重要な長距離の文脈依存性を捉えることができません。トランスフォーマーネットワークは、長距離コンテキスト情報をキャプチャするのに効果的です。これに触発されて、Swin TransformerバックボーンとFaster R-CNNを組み合わせた新しい甲状腺結節検出法を提案します。具体的には、超音波画像は最初に埋め込みの1Dシーケンスに投影され、次に階層的なSwinトランスフォーマーに供給されます。

Swin Transformerバックボーンは、自己注意の計算にシフトされたウィンドウを利用することにより、5つの異なるスケールで特徴を抽出します。その後、フィーチャ ピラミッド ネットワーク (FPN) を使用して、異なる縮尺のフィーチャを融合します。最後に、検出ヘッドを使用して、境界ボックスと対応する信頼度スコアを予測します。2,680人の患者から収集されたデータを使用して実験を実施し、結果は、この方法が44.8%の最高のmAPスコアを達成し、CNNベースのベースラインを上回ったことを示しました。また、競合他社よりも感度が高く(90.5%)向上しました。これは、このモデルのコンテキストモデリングが甲状腺結節の検出に有効であることを示しています。

概要

甲状腺がんの発生率は、特に中年女性の間で、1970年以降急速に増加しています1。甲状腺結節は甲状腺がんの出現を予測する可能性があり、ほとんどの甲状腺結節は無症候性です2。甲状腺結節の早期発見は、甲状腺がんの治療に非常に役立ちます。したがって、現在の診療ガイドラインによれば、身体検査で結節性甲状腺腫が疑われる、または異常な画像所見のあるすべての患者は、さらなる検査を受ける必要があります3,4。

甲状腺超音波(US)は、甲状腺病変を検出および特徴付けるために使用される一般的な方法です5,6。米国は便利で、安価で、放射線のない技術です。しかしながら、USのアプリケーションは、オペレータ7,8によって容易に影響を受ける。甲状腺結節の形状、サイズ、エコー源性、質感などの特徴は、米国の画像で簡単に区別できます。石灰化、エコー源性、不規則な境界などの特定の米国の特徴は、甲状腺結節を特定するための基準と見なされることがよくありますが、観察者間の変動性の存在は避けられません8,9。異なるレベルの経験を持つ放射線科医の診断結果は異なります。経験の浅い放射線科医は、経験豊富な放射線科医よりも誤診する可能性が高くなります。反射、影、エコーなどの米国の一部の特性は、画質を低下させる可能性があります。米国の画像の性質によって引き起こされるこの画質の低下は、経験豊富な医師でさえ結節を正確に見つけることを困難にします。

甲状腺結節のコンピューター支援診断(CAD)は近年急速に発展しており、さまざまな医師によって引き起こされるエラーを効果的に減らし、放射線科医が結節を迅速かつ正確に診断するのに役立ちます10,11。米国甲状腺結節分析のために、セグメンテーション12,13、検出14,15、分類16,17など、さまざまなCNNベースのCADシステムが提案されています。CNNは多層の教師あり学習モデル18であり、CNNのコアモジュールは畳み込み層とプーリング層です。畳み込み層は特徴抽出に使用され、プーリング層はダウンサンプリングに使用されます。シャドウ畳み込みレイヤーはテクスチャ、エッジ、輪郭などの主要な特徴を抽出でき、深い畳み込みレイヤーは高レベルのセマンティック特徴を学習します。

CNNは、コンピュータービジョン19、20、21で大きな成功を収めています。ただし、CNNは、畳み込み層の有効な受容フィールドが限られているため、長距離のコンテキスト依存性をキャプチャできません。これまで、画像分類のバックボーン アーキテクチャでは、主に CNN が使用されていました。ビジョントランスフォーマー(ViT)22,23の出現により、この傾向は変化し、現在では多くの最先端モデルがトランスフォーマーをバックボーンとして使用しています。重なり合わない画像パッチに基づいて、ViTは、標準のトランスエンコーダ25を使用して、空間的関係をグローバルにモデル化する。Swin Transformer24は、機能を学習するためのシフトウィンドウをさらに導入しています。シフトウィンドウは、効率を高めるだけでなく、セルフアテンションがウィンドウで計算されるため、シーケンスの長さを大幅に短縮します。同時に、2つの隣接するウィンドウ間の相互作用は、シフト(移動)の操作によって行うことができます。コンピュータビジョンにおけるSwin Transformerの応用の成功は、超音波画像解析のためのトランスベースのアーキテクチャの調査につながった26。

最近、Liらは、Faster R-CNN27 に触発された甲状腺乳頭がん検出のための深層学習アプローチ28を提案した。より高速なR-CNNは、古典的なCNNベースのオブジェクト検出アーキテクチャです。オリジナルのFaster R-CNNには、CNNバックボーン、地域提案ネットワーク(RPN)、ROIプーリングレイヤー、検出ヘッドの4つのモジュールがあります。CNN バックボーンは、一連の基本的な conv+bn+relu+プーリング レイヤーを使用して、入力画像から特徴マップを抽出します。次に、機能マップがRPNとROIプーリングレイヤーに供給されます。RPNネットワークの役割は、地域提案を生成することです。このモジュールでは、softmax を使用してアンカーが正であるかどうかを判断し、バウンディング ボックス回帰によって正確なアンカーを生成します。ROIプーリングレイヤーは、入力特徴マップと提案を収集して提案特徴マップを抽出し、提案特徴マップを後続の検出ヘッドにフィードします。検出ヘッドは、提案機能マップを使用してオブジェクトを分類し、バウンディングボックス回帰によって検出ボックスの正確な位置を取得します。

本稿では、Faster R-CNNのCNNバックボーンをSwin Transformerに置き換えることで形成された新しい甲状腺結節検出ネットワークであるSwin Faster R-CNNを紹介し、超音波画像から結節検出のための特徴をより適切に抽出します。さらに、特徴ピラミッドネットワーク(FPN)29 は、異なるスケールの特徴を集約することにより、異なるサイズの結節に対するモデルの検出性能を向上させるために使用される。

プロトコル

この後ろ向き研究は、中国四川省四川大学西中国病院の施設内審査委員会によって承認され、インフォームドコンセントを取得する要件は免除されました。

1. 環境設定

  1. グラフィックプロセッシングユニット(GPU)ソフトウェア
    1. ディープラーニングアプリケーションを実装するには、まずGPU関連の環境を構成します。GPU の Web サイトから GPU に適したソフトウェアとドライバーをダウンロードしてインストールします。
      注:この研究で使用されたものについては、 材料の表 を参照してください。
  2. Python3.8 のインストール
    1. マシンのターミナルを開きます。次のように入力します。
      コマンドライン: sudo apt-get install python3.8 python-dev python-virtualenv
  3. Pytorch1.7 のインストール
    1. 公式ウェブサイトの手順に従って、Minicondaをダウンロードしてインストールします。
    2. conda 環境を作成してアクティブ化します。
      コマンドライン: conda create --name SwinFasterRCNN python=3.8 -y
      コマンドライン: conda activate SwinFasterRCNN
    3. Pytorch をインストールします。
      コマンドライン: conda install pytorch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2
  4. MMDetection のインストール
    1. 公式のGithubリポジトリからクローンを作成します。
      コマンドライン: git クローン https://github.com/open-mmlab/mmdetection.git
    2. MMDetection をインストールします。
      コマンド ライン: cd mm検出
      コマンドライン: pip install -v -e .

2. データの準備

  1. データ収集
    1. 超音波画像を収集しました(ここでは、グレードAの三次病院からの3,000例)。各ケースに診断記録、治療計画、米国のレポート、および対応する米国の画像があることを確認します。
    2. すべての米国の画像を「images」という名前のフォルダーに配置します。
      注:この研究で使用されたデータには、3,000例からの3,853の米国の画像が含まれていました。
  2. データクリーニング
    1. リンパ画像などの非甲状腺領域の画像について、データセットを手動で確認します。
    2. カラードップラーフローを含む画像のデータセットを手動で確認します。
    3. 前の 2 つの手順で選択したイメージを削除します。
      注:データクリーニング後、2,680ケースから3,000枚の画像が残されました。
  3. データ注釈
    1. 上級医師に米国の画像で結節領域を見つけてもらい、結節境界の輪郭を描きます。
      注: 注釈ソフトウェアとプロセスは、 補足ファイル 1 にあります。
    2. 別の上級医師に注釈の結果を確認して修正してもらいます。
    3. 注釈付きデータを「注釈」という別のフォルダに配置します。
  4. データ分割
    1. pythonスクリプトを実行し、手順2.1.2で画像のパスを設定し、手順2.3.3で注釈のパスを設定します。すべての画像と対応するラベル付きファイルを、8:2の比率でトレーニングセットと検証セットにランダムに分割します。トレーニングセットデータを「Train」フォルダに、検証セットデータを「Val」フォルダに保存します。
      注: Python スクリプトは 補足ファイル 2 で提供されています。
  5. CoCo データセット形式への変換
    注: MMDetection を使用するには、注釈情報を保持する json ファイルと米国の画像を含む画像フォルダーを含む CoCo データセット形式にデータを処理します。
    1. Pythonスクリプトを実行し、注釈フォルダーパスを入力して(ステップ2.3.3)、医師によって輪郭を描かれた結節領域を抽出し、それらをマスクに変換します。すべてのマスクを「マスク」フォルダに保存します。
      注: Python スクリプトは 、補足ファイル 3 で提供されています。
    2. Python スクリプトを実行し、手順 2.5.1 で masks フォルダーのパスを設定して、データを CoCo 形式のデータセットにし、米国の画像を含む json ファイルを生成します。
      注: Python スクリプトは 補足ファイル 4 で提供されています。

3.より高速なRCNN構成をスウィンします

  1. Swin Transformer モデル ファイル (https://github.com/microsoft/Swin-Transformer/blob/main/models/swin_transformer.py) をダウンロードして変更し、"mmdetection/mmdet/models/backbones/" フォルダに配置します。vimテキストエディタで「swin_transformer.py」ファイルを開き、補足ファイル5で提供されているSwin Transformerモデルファイルとして変更します。
    コマンドライン: vim swin_transformer.py
  2. より高速な R-CNN 構成ファイルのコピーを作成し、バックボーンを Swin トランスフォーマーに変更して、FPN パラメーターを設定します。
    コマンドライン: cd mm検出/設定/faster_rcnn
    コマンドライン: cp faster_rcnn_r50_fpn_1x_coco.py swin_faster_rcnn_swin.py
    注: Swin Faster R-CNN 構成ファイル (swin_faster_rcnn_swin.py) は、 補足ファイル 6 に記載されています。Swin Faster R-CNN ネットワーク構造を 図 1 に示します。
  3. 構成ファイルでデータセット パスを CoCo 形式のデータセット パスに設定します (手順 2.5.2)。vimテキストエディタで「coco_detection.py」ファイルを開き、次の行を変更します。
    data_root = "データセットパス(ステップ2.5.2)"
    コマンドライン:vim mm検出/構成/_ベース_/データセット/coco_detection.py

4.スウィンをより速くトレーニングするR-CNN

  1. mmdetection/configs/_base_/schedules/schedule_1x.pyを編集し、学習率、オプティマイザ、エポックなどのデフォルトのトレーニング関連パラメータを設定します。vimテキストエディタで「schedule_1x.py」ファイルを開き、次の行を変更します。
    オプティマイザ = dict(type="AdamW", lr=0.001, momentum=0.9, weight_decay=0.0001)
    runner = dict(type='EpochBasedRunner', max_epochs=48)
    コマンドライン:vim mm検出/設定/_ベース_/スケジュール/schedule_1x.py
    注:このホワイトペーパーのこのプロトコルでは、学習率を0.001に設定し、AdamWオプティマイザを使用し、最大トレーニングエポックを48に設定し、バッチサイズを16に設定しました。
  2. 次のコマンドを入力してトレーニングを開始します。ネットワークが 48 エポックのトレーニングを開始し、結果として得られる Swin Faster R-CNN ネットワークのトレーニング済み重みが出力フォルダーに生成されるのを待ちます。検証セットに最も高い精度でモデルの重みを保存します。
    コマンド ライン: cd mm検出
    コマンドライン: python tools/train.py congfigs/faster_rcnn/swin_faster_rcnn_swin.py --work-dir ./work_dirs
    注: このモデルは、"NVIDIA GeForce RTX3090 24G" GPU でトレーニングされています。使用された中央処理装置は「AMD Epyc 7742 64コアプロセッサ×128」であり、オペレーティングシステムはUbuntu 18.06でした。全体のトレーニング時間は~2時間でした。

5.新しい画像で甲状腺結節の検出を実行する

  1. トレーニング後、新しい画像で甲状腺結節を検出するための検証セットで最高のパフォーマンスを持つモデルを選択します。
    1. まず、画像のサイズを 512 ピクセル x 512 ピクセルに変更し、正規化します。これらの操作は、テスト スクリプトの実行時に自動的に実行されます。
      コマンドライン: python tools/test.py congfigs/faster_rcnn/swin_faster_rcnn_swin.py --out ./output
    2. スクリプトが事前トレーニング済みモデル パラメーターを Swin Faster R-CNN に自動的に読み込むのを待ち、推論のために前処理された画像を Swin Faster R-CNN にフィードします。Swin Faster R-CNN が各画像の予測ボックスを出力するのを待ちます。
    3. 最後に、スクリプトが各画像に対して NMS 後処理を自動的に実行して、重複データ検出ボックスを削除できるようにします。
      注: 検出結果は、パックされたファイル内の検出ボックスと境界ボックスの座標を含む画像を含む指定されたフォルダーに出力されます。

結果

甲状腺の米国画像は、2008年9月から2018年2月にかけて中国の2つの病院から収集されました。この研究に米国の画像を含めるための適格基準は、生検および外科的治療前の従来の米国の検査、生検または術後の病理を伴う診断、および18歳≥でした。除外基準は甲状腺組織を含まない画像とした。

3,000の超音波画像には、1,384の悪性結節と1,616の良性結節が含まれていました?...

ディスカッション

このホワイトペーパーでは、環境のセットアップ、データ準備、モデル構成、およびネットワークトレーニングの実行方法について詳しく説明します。環境のセットアップ段階では、依存ライブラリに互換性があり、一致していることを確認するように注意する必要があります。データ処理は非常に重要なステップです。注釈の正確性を確保するために時間と労力を費やす必要があります。?...

開示事項

著者は利益相反を宣言しません。

謝辞

この研究は、中国国家自然科学基金会(助成金番号32101188)および中国の四川省科学技術局一般プロジェクト(助成金番号2021YFS0102)の支援を受けました。

資料

NameCompanyCatalog NumberComments
GPU RTX3090Nvidia124G GPU
mmdetection2.11.0SenseTime4https://github.com/open-mmlab/mmdetection.git
python3.8—2https://www.python.org
pytorch1.7.1Facebook3https://pytorch.org

参考文献

  1. Grant, E. G., et al. Thyroid ultrasound reporting lexicon: White paper of the ACR Thyroid Imaging, Reporting and Data System (TIRADS) committee. Journal of the American College of Radiology. 12 (12 Pt A), 1272-1279 (2015).
  2. Zhao, J., Zheng, W., Zhang, L., Tian, H. Segmentation of ultrasound images of thyroid nodule for assisting fine needle aspiration cytology. Health Information Science and Systems. 1, 5 (2013).
  3. Haugen, B. R. American Thyroid Association management guidelines for adult patients with thyroid nodules and differentiated thyroid cancer: What is new and what has changed. Cancer. 123 (3), 372-381 (2017).
  4. Shin, J. H., et al. Ultrasonography diagnosis and imaging-based management of thyroid nodules: Revised Korean Society of Thyroid Radiology consensus statement and recommendations. Korean Journal of Radiology. 17 (3), 370-395 (2016).
  5. Horvath, E., et al. An ultrasonogram reporting system for thyroid nodules stratifying cancer risk for clinical management. The Journal of Clinical Endocrinology & Metabolism. 94 (5), 1748-1751 (2009).
  6. Park, J. -. Y., et al. A proposal for a thyroid imaging reporting and data system for ultrasound features of thyroid carcinoma. Thyroid. 19 (11), 1257-1264 (2009).
  7. Moon, W. -. J., et al. Benign and malignant thyroid nodules: US differentiation-Multicenter retrospective study. Radiology. 247 (3), 762-770 (2008).
  8. Park, C. S., et al. Observer variability in the sonographic evaluation of thyroid nodules. Journal of Clinical Ultrasound. 38 (6), 287-293 (2010).
  9. Kim, S. H., et al. Observer variability and the performance between faculties and residents: US criteria for benign and malignant thyroid nodules. Korean Journal of Radiology. 11 (2), 149-155 (2010).
  10. Choi, Y. J., et al. A computer-aided diagnosis system using artificial intelligence for the diagnosis and characterization of thyroid nodules on ultrasound: initial clinical assessment. Thyroid. 27 (4), 546-552 (2017).
  11. Chang, T. -. C. The role of computer-aided detection and diagnosis system in the differential diagnosis of thyroid lesions in ultrasonography. Journal of Medical Ultrasound. 23 (4), 177-184 (2015).
  12. Li, X. Fully convolutional networks for ultrasound image segmentation of thyroid nodules. , 886-890 (2018).
  13. Nguyen, D. T., Choi, J., Park, K. R. Thyroid nodule segmentation in ultrasound image based on information fusion of suggestion and enhancement networks. Mathematics. 10 (19), 3484 (2022).
  14. Ma, J., Wu, F., Jiang, T. A., Zhu, J., Kong, D. Cascade convolutional neural networks for automatic detection of thyroid nodules in ultrasound images. Medical Physics. 44 (5), 1678-1691 (2017).
  15. Song, W., et al. Multitask cascade convolution neural networks for automatic thyroid nodule detection and recognition. IEEE Journal of Biomedical and Health Informatics. 23 (3), 1215-1224 (2018).
  16. Wang, J., et al. Learning from weakly-labeled clinical data for automatic thyroid nodule classification in ultrasound images. , 3114-3118 (2018).
  17. Wang, L., et al. A multi-scale densely connected convolutional neural network for automated thyroid nodule classification. Frontiers in Neuroscience. 16, 878718 (2022).
  18. Krizhevsky, A., Sutskever, I., Hinton, G. E. Imagenet classification with deep convolutional neural networks. Communications of the ACM. 60 (6), 84-90 (2017).
  19. He, K., Zhang, X., Ren, S., Sun, J. Deep residual learning for image recognition. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 770-778 (2016).
  20. Hu, H., Gu, J., Zhang, Z., Dai, J., Wei, Y. Relation networks for object detection. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 3588-3597 (2018).
  21. Szegedy, C., et al. Going deeper with convolutions. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 1-9 (2015).
  22. Dosovitskiy, A., et al. An image is worth 16x16 words: Transformers for image recognition at scale. arXiv preprint arXiv:2010.11929. , (2020).
  23. Touvron, H., et al. Training data-efficient image transformers & distillation through attention. arXiv:2012.12877. , (2021).
  24. Liu, Z., et al. Swin Transformer: Hierarchical vision transformer using shifted windows. 2021 IEEE/CVF International Conference on Computer Vision (ICCV). , 9992-10002 (2021).
  25. Vaswani, A., et al. Attention is all you need. Advances in Neural Information Processing Systems. 30, (2017).
  26. Chen, J., et al. TransUNet: Transformers make strong encoders for medical image segmentation. arXiv. arXiv:2102.04306. , (2021).
  27. Ren, S., He, K., Girshick, R., Sun, J. Faster r-cnn: Towards real-time object detection with region proposal networks. Advances in Neural Information Processing Systems. 28, 91-99 (2015).
  28. Li, H., et al. An improved deep learning approach for detection of thyroid papillary cancer in ultrasound images. Scientific Reports. 8, 6600 (2018).
  29. Lin, T. -. Y., et al. Feature pyramid networks for object detection. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 2117-2125 (2017).
  30. Ouahabi, A. A review of wavelet denoising in medical imaging. 2013 8th International Workshop on Systems, Signal Processing and their Applications. , 19-26 (2013).
  31. Mahdaoui, A. E., Ouahabi, A., Moulay, M. S. Image denoising using a compressive sensing approach based on regularization constraints. Sensors. 22 (6), 2199 (2022).
  32. Castleman, K. R. . Digital Image Processing. , (1996).
  33. Liu, W., et al. Ssd: Single shot multibox detector. European Conference on Computer Vision. , 21-37 (2016).
  34. Redmon, J., Farhadi, A. Yolov3: An incremental improvement. arXiv. arXiv:1804.02767. , (2018).
  35. Lin, T. -. Y., Goyal, P., Girshick, R., He, K., Dollár, P. Focalloss for dense object detection. arXiv. arXiv:1708.02002. , (2017).
  36. Carion, N., et al. End-to-end object detection with transformers. Computer Vision-ECCV 2020: 16th European Conference. , 23-28 (2020).

転載および許可

このJoVE論文のテキスト又は図を再利用するための許可を申請します

許可を申請

さらに記事を探す

194

This article has been published

Video Coming Soon

JoVE Logo

個人情報保護方針

利用規約

一般データ保護規則

お問い合わせ

図書館への推薦

JoVE ニュースレター

研究

教育

著者

図書館員

JoVEについて

Copyright © 2023 MyJoVE Corporation. All rights reserved