Name: a swin transformer-based model for thyroid nodule detection in ultrasound images
Uploaded: 2023-04-21T14:15:00
Description: Watch this Scientific Journal Video about A Swin Transformer-Based Model for Thyroid Nodule Detection in Ultrasound Images at JoVE.com

この研究は、中国国家自然科学基金会(助成金番号32101188)および中国の四川省科学技術局一般プロジェクト(助成金番号2021YFS0102)の支援を受けました。

この後ろ向き研究は、中国四川省四川大学西中国病院の施設内審査委員会によって承認され、インフォームドコンセントを取得する要件は免除されました。
1. 環境設定
<ol><li>グラフィックプロセッシングユニット(GPU)ソフトウェア<ol><li>ディープラーニングアプリケーションを実装するには、まずGPU関連の環境を構成します。GPU の Web サイトから GPU に適し?...

<ol>
	<li>Grant, E. G., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Thyroid+ultrasound+reporting+lexicon:+White+paper+of+the+ACR+Thyroid+Imaging,+Reporting+and+Data+System+(TIRADS)+committee.">Thyroid ultrasound reporting lexicon: White paper of the ACR Thyroid Imaging, Reporting and Data System (TIRADS) committee.</a> Journal of the American College of Radiology. 12 (12 Pt A), 1272-1279 (2015).</li><li>Zhao, J., Zheng, W., Zhang, L., Tian, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Segmentation+of+ultrasound+images+of+thyroid+nodule+for+assisting+fine+needle+aspiration+cytology.">Segmentation of ultrasound images of thyroid nodule for assisting fine needle aspiration cytology.</a> Health Information Science and Systems. 1, 5 (2013).</li><li>Haugen, B. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=American+Thyroid+Association+management+guidelines+for+adult+patients+with+thyroid+nodules+and+differentiated+thyroid+cancer:+What+is+new+and+what+has+changed.">American Thyroid Association management guidelines for adult patients with thyroid nodules and differentiated thyroid cancer: What is new and what has changed.</a> Cancer. 123 (3), 372-381 (2017).</li><li>Shin, J. H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Ultrasonography+diagnosis+and+imaging-based+management+of+thyroid+nodules:+Revised+Korean+Society+of+Thyroid+Radiology+consensus+statement+and+recommendations.">Ultrasonography diagnosis and imaging-based management of thyroid nodules: Revised Korean Society of Thyroid Radiology consensus statement and recommendations.</a> Korean Journal of Radiology. 17 (3), 370-395 (2016).</li><li>Horvath, E., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=An+ultrasonogram+reporting+system+for+thyroid+nodules+stratifying+cancer+risk+for+clinical+management.">An ultrasonogram reporting system for thyroid nodules stratifying cancer risk for clinical management.</a> The Journal of Clinical Endocrinology &amp; Metabolism. 94 (5), 1748-1751 (2009).</li><li>Park, J. -. Y., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+proposal+for+a+thyroid+imaging+reporting+and+data+system+for+ultrasound+features+of+thyroid+carcinoma.">A proposal for a thyroid imaging reporting and data system for ultrasound features of thyroid carcinoma.</a> Thyroid. 19 (11), 1257-1264 (2009).</li><li>Moon, W. -. J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Benign+and+malignant+thyroid+nodules:+US+differentiation-Multicenter+retrospective+study.">Benign and malignant thyroid nodules: US differentiation-Multicenter retrospective study.</a> Radiology. 247 (3), 762-770 (2008).</li><li>Park, C. S., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Observer+variability+in+the+sonographic+evaluation+of+thyroid+nodules.">Observer variability in the sonographic evaluation of thyroid nodules.</a> Journal of Clinical Ultrasound. 38 (6), 287-293 (2010).</li><li>Kim, S. H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Observer+variability+and+the+performance+between+faculties+and+residents:+US+criteria+for+benign+and+malignant+thyroid+nodules.">Observer variability and the performance between faculties and residents: US criteria for benign and malignant thyroid nodules.</a> Korean Journal of Radiology. 11 (2), 149-155 (2010).</li><li>Choi, Y. J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+computer-aided+diagnosis+system+using+artificial+intelligence+for+the+diagnosis+and+characterization+of+thyroid+nodules+on+ultrasound:+initial+clinical+assessment.">A computer-aided diagnosis system using artificial intelligence for the diagnosis and characterization of thyroid nodules on ultrasound: initial clinical assessment.</a> Thyroid. 27 (4), 546-552 (2017).</li><li>Chang, T. -. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=The+role+of+computer-aided+detection+and+diagnosis+system+in+the+differential+diagnosis+of+thyroid+lesions+in+ultrasonography.">The role of computer-aided detection and diagnosis system in the differential diagnosis of thyroid lesions in ultrasonography.</a> Journal of Medical Ultrasound. 23 (4), 177-184 (2015).</li><li>Li, X. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Fully+convolutional+networks+for+ultrasound+image+segmentation+of+thyroid+nodules.">Fully convolutional networks for ultrasound image segmentation of thyroid nodules.</a> , 886-890 (2018).</li><li>Nguyen, D. T., Choi, J., Park, K. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Thyroid+nodule+segmentation+in+ultrasound+image+based+on+information+fusion+of+suggestion+and+enhancement+networks.">Thyroid nodule segmentation in ultrasound image based on information fusion of suggestion and enhancement networks.</a> Mathematics. 10 (19), 3484 (2022).</li><li>Ma, J., Wu, F., Jiang, T. A., Zhu, J., Kong, D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Cascade+convolutional+neural+networks+for+automatic+detection+of+thyroid+nodules+in+ultrasound+images.">Cascade convolutional neural networks for automatic detection of thyroid nodules in ultrasound images.</a> Medical Physics. 44 (5), 1678-1691 (2017).</li><li>Song, W., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Multitask+cascade+convolution+neural+networks+for+automatic+thyroid+nodule+detection+and+recognition.">Multitask cascade convolution neural networks for automatic thyroid nodule detection and recognition.</a> IEEE Journal of Biomedical and Health Informatics. 23 (3), 1215-1224 (2018).</li><li>Wang, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Learning+from+weakly-labeled+clinical+data+for+automatic+thyroid+nodule+classification+in+ultrasound+images.">Learning from weakly-labeled clinical data for automatic thyroid nodule classification in ultrasound images.</a> , 3114-3118 (2018).</li><li>Wang, L., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+multi-scale+densely+connected+convolutional+neural+network+for+automated+thyroid+nodule+classification.">A multi-scale densely connected convolutional neural network for automated thyroid nodule classification.</a> Frontiers in Neuroscience. 16, 878718 (2022).</li><li>Krizhevsky, A., Sutskever, I., Hinton, G. E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Imagenet+classification+with+deep+convolutional+neural+networks.">Imagenet classification with deep convolutional neural networks.</a> Communications of the ACM. 60 (6), 84-90 (2017).</li><li>He, K., Zhang, X., Ren, S., Sun, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Deep+residual+learning+for+image+recognition.">Deep residual learning for image recognition.</a> Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 770-778 (2016).</li><li>Hu, H., Gu, J., Zhang, Z., Dai, J., Wei, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Relation+networks+for+object+detection.">Relation networks for object detection.</a> Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 3588-3597 (2018).</li><li>Szegedy, C., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Going+deeper+with+convolutions.">Going deeper with convolutions.</a> Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 1-9 (2015).</li><li>Dosovitskiy, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=An+image+is+worth+16x16+words:+Transformers+for+image+recognition+at+scale.">An image is worth 16x16 words: Transformers for image recognition at scale.</a> arXiv preprint arXiv:2010.11929. , (2020).</li><li>Touvron, H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Training+data-efficient+image+transformers+&amp;+distillation+through+attention.">Training data-efficient image transformers &amp; distillation through attention.</a> arXiv:2012.12877. , (2021).</li><li>Liu, Z., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Swin+Transformer:+Hierarchical+vision+transformer+using+shifted+windows.">Swin Transformer: Hierarchical vision transformer using shifted windows.</a> 2021 IEEE/CVF International Conference on Computer Vision (ICCV). , 9992-10002 (2021).</li><li>Vaswani, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Attention+is+all+you+need.">Attention is all you need.</a> Advances in Neural Information Processing Systems. 30, (2017).</li><li>Chen, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=TransUNet:+Transformers+make+strong+encoders+for+medical+image+segmentation.+arXiv.">TransUNet: Transformers make strong encoders for medical image segmentation. arXiv.</a> arXiv:2102.04306. , (2021).</li><li>Ren, S., He, K., Girshick, R., Sun, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Faster+r-cnn:+Towards+real-time+object+detection+with+region+proposal+networks.">Faster r-cnn: Towards real-time object detection with region proposal networks.</a> Advances in Neural Information Processing Systems. 28, 91-99 (2015).</li><li>Li, H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=An+improved+deep+learning+approach+for+detection+of+thyroid+papillary+cancer+in+ultrasound+images.">An improved deep learning approach for detection of thyroid papillary cancer in ultrasound images.</a> Scientific Reports. 8, 6600 (2018).</li><li>Lin, T. -. Y., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Feature+pyramid+networks+for+object+detection.">Feature pyramid networks for object detection.</a> Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 2117-2125 (2017).</li><li>Ouahabi, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+review+of+wavelet+denoising+in+medical+imaging.">A review of wavelet denoising in medical imaging.</a> 2013 8th International Workshop on Systems, Signal Processing and their Applications. , 19-26 (2013).</li><li>Mahdaoui, A. E., Ouahabi, A., Moulay, M. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Image+denoising+using+a+compressive+sensing+approach+based+on+regularization+constraints.">Image denoising using a compressive sensing approach based on regularization constraints.</a> Sensors. 22 (6), 2199 (2022).</li><li>Castleman, K. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=.">.</a> Digital Image Processing. , (1996).</li><li>Liu, W., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Ssd:+Single+shot+multibox+detector.">Ssd: Single shot multibox detector.</a> European Conference on Computer Vision. , 21-37 (2016).</li><li>Redmon, J., Farhadi, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Yolov3:+An+incremental+improvement.">Yolov3: An incremental improvement.</a> arXiv. arXiv:1804.02767. , (2018).</li><li>Lin, T. -. Y., Goyal, P., Girshick, R., He, K., Doll&#225;r, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Focalloss+for+dense+object+detection.">Focalloss for dense object detection.</a> arXiv. arXiv:1708.02002. , (2017).</li><li>Carion, N., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=End-to-end+object+detection+with+transformers.">End-to-end object detection with transformers.</a> Computer Vision-ECCV 2020: 16th European Conference. , 23-28 (2020).</li></ol>

このホワイトペーパーでは、環境のセットアップ、データ準備、モデル構成、およびネットワークトレーニングの実行方法について詳しく説明します。環境のセットアップ段階では、依存ライブラリに互換性があり、一致していることを確認するように注意する必要があります。データ処理は非常に重要なステップです。注釈の正確性を確保するために時間と労力を費やす必要があります。?...

甲状腺がんの発生率は、特に中年女性の間で、1970年以降急速に増加しています1。甲状腺結節は甲状腺がんの出現を予測する可能性があり、ほとんどの甲状腺結節は無症候性です2。甲状腺結節の早期発見は、甲状腺がんの治療に非常に役立ちます。したがって、現在の診療ガイドラインによれば、身体検査で結節性甲状腺腫が疑われる、または異常な画像所見のあるすべての患者は、さらなる検査を受ける必要があります3,4。
甲状腺超音波(US)は、甲状腺病変を検出および特徴付けるために使用される一般的な方法です5,6。米国は便利で、安価で、放射線のない技術です。しかしながら、USのアプリケーションは、オペレータ7,8によって容易に影響を受ける。甲状腺結節の形状、サイズ、エコー源性、質感などの特徴は、米国の画像で簡単に区別できます。石灰化、エコー源性、不規則な境界などの特定の米国の特徴は、甲状腺結節を特定するための基準と見なされることがよくありますが、観察者間の変動性の存在は避けられません8,9。異なるレベルの経験を持つ放射線科医の診断結果は異なります。経験の浅い放射線科医は、経験豊富な放射線科医よりも誤診する可能性が高くなります。反射、影、エコーなどの米国の一部の特性は、画質を低下させる可能性があります。米国の画像の性質によって引き起こされるこの画質の低下は、経験豊富な医師でさえ結節を正確に見つけることを困難にします。
甲状腺結節のコンピューター支援診断(CAD)は近年急速に発展しており、さまざまな医師によって引き起こされるエラーを効果的に減らし、放射線科医が結節を迅速かつ正確に診断するのに役立ちます10,11。米国甲状腺結節分析のために、セグメンテーション12,13、検出14,15、分類16,17など、さまざまなCNNベースのCADシステムが提案されています。CNNは多層の教師あり学習モデル18であり、CNNのコアモジュールは畳み込み層とプーリング層です。畳み込み層は特徴抽出に使用され、プーリング層はダウンサンプリングに使用されます。シャドウ畳み込みレイヤーはテクスチャ、エッジ、輪郭などの主要な特徴を抽出でき、深い畳み込みレイヤーは高レベルのセマンティック特徴を学習します。
CNNは、コンピュータービジョン19、20、21で大きな成功を収めています。ただし、CNNは、畳み込み層の有効な受容フィールドが限られているため、長距離のコンテキスト依存性をキャプチャできません。これまで、画像分類のバックボーン アーキテクチャでは、主に CNN が使用されていました。ビジョントランスフォーマー(ViT)22,23の出現により、この傾向は変化し、現在では多くの最先端モデルがトランスフォーマーをバックボーンとして使用しています。重なり合わない画像パッチに基づいて、ViTは、標準のトランスエンコーダ25を使用して、空間的関係をグローバルにモデル化する。Swin Transformer24は、機能を学習するためのシフトウィンドウをさらに導入しています。シフトウィンドウは、効率を高めるだけでなく、セルフアテンションがウィンドウで計算されるため、シーケンスの長さを大幅に短縮します。同時に、2つの隣接するウィンドウ間の相互作用は、シフト(移動)の操作によって行うことができます。コンピュータビジョンにおけるSwin Transformerの応用の成功は、超音波画像解析のためのトランスベースのアーキテクチャの調査につながった26。
最近、Liらは、Faster R-CNN27 に触発された甲状腺乳頭がん検出のための深層学習アプローチ28を提案した。より高速なR-CNNは、古典的なCNNベースのオブジェクト検出アーキテクチャです。オリジナルのFaster R-CNNには、CNNバックボーン、地域提案ネットワーク(RPN)、ROIプーリングレイヤー、検出ヘッドの4つのモジュールがあります。CNN バックボーンは、一連の基本的な conv+bn+relu+プーリング レイヤーを使用して、入力画像から特徴マップを抽出します。次に、機能マップがRPNとROIプーリングレイヤーに供給されます。RPNネットワークの役割は、地域提案を生成することです。このモジュールでは、softmax を使用してアンカーが正であるかどうかを判断し、バウンディング ボックス回帰によって正確なアンカーを生成します。ROIプーリングレイヤーは、入力特徴マップと提案を収集して提案特徴マップを抽出し、提案特徴マップを後続の検出ヘッドにフィードします。検出ヘッドは、提案機能マップを使用してオブジェクトを分類し、バウンディングボックス回帰によって検出ボックスの正確な位置を取得します。
本稿では、Faster R-CNNのCNNバックボーンをSwin Transformerに置き換えることで形成された新しい甲状腺結節検出ネットワークであるSwin Faster R-CNNを紹介し、超音波画像から結節検出のための特徴をより適切に抽出します。さらに、特徴ピラミッドネットワーク(FPN)29 は、異なるスケールの特徴を集約することにより、異なるサイズの結節に対するモデルの検出性能を向上させるために使用される。

<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td>GPU RTX3090</td>
			<td>Nvidia</td>
			<td>1</td>
			<td>24G GPU</td>
		</tr>
		<tr>
			<td>mmdetection2.11.0</td>
			<td>SenseTime</td>
			<td>4</td>
			<td>https://github.com/open-mmlab/mmdetection.git</td>
		</tr>
		<tr>
			<td>python3.8</td>
			<td>&#8212;</td>
			<td>2</td>
			<td>https://www.python.org</td>
		</tr>
		<tr>
			<td>pytorch1.7.1</td>
			<td>Facebook</td>
			<td>3</td>
			<td>https://pytorch.org</td>
		</tr>
	</tbody>
</table>

a swin transformer-based model for thyroid nodule detection in ultrasound images

近年、甲状腺がんの発生率は増加しています。甲状腺結節の検出は、甲状腺がんの検出と治療の両方にとって重要です。畳み込みニューラルネットワーク(CNN)は、甲状腺超音波画像分析タスクで良好な結果を達成しています。しかし、畳み込み層の有効な受容野が限られているため、CNNは、超音波画像で甲状腺結節を特定するために重要な長距離の文脈依存性を捉えることができません。トランスフォーマーネットワークは、長距離コンテキスト情報をキャプチャするのに効果的です。これに触発されて、Swin TransformerバックボーンとFaster R-CNNを組み合わせた新しい甲状腺結節検出法を提案します。具体的には、超音波画像は最初に埋め込みの1Dシーケンスに投影され、次に階層的なSwinトランスフォーマーに供給されます。 
Swin Transformerバックボーンは、自己注意の計算にシフトされたウィンドウを利用することにより、5つの異なるスケールで特徴を抽出します。その後、フィーチャ ピラミッド ネットワーク (FPN) を使用して、異なる縮尺のフィーチャを融合します。最後に、検出ヘッドを使用して、境界ボックスと対応する信頼度スコアを予測します。2,680人の患者から収集されたデータを使用して実験を実施し、結果は、この方法が44.8%の最高のmAPスコアを達成し、CNNベースのベースラインを上回ったことを示しました。また、競合他社よりも感度が高く(90.5%)向上しました。これは、このモデルのコンテキストモデリングが甲状腺結節の検出に有効であることを示しています。

甲状腺の米国画像は、2008年9月から2018年2月にかけて中国の2つの病院から収集されました。この研究に米国の画像を含めるための適格基準は、生検および外科的治療前の従来の米国の検査、生検または術後の病理を伴う診断、および18歳≥でした。除外基準は甲状腺組織を含まない画像とした。
3,000の超音波画像には、1,384の悪性結節と1,616の良性結節が含まれていました?...

Watch this Scientific Journal Video about A Swin Transformer-Based Model for Thyroid Nodule Detection in Ultrasound Images at JoVE.com

A Swin Transformer-Based Model for Thyroid Nodule Detection in Ultrasound Images

ここでは、超音波画像における甲状腺結節検出のための新しいモデルが提案されており、Swin Transformerをバックボーンとして使用して長距離コンテキストモデリングを実行します。実験は、それが感度と精度の点でうまく機能することを証明しています。

超音波画像における甲状腺結節検出のためのSwinトランスベースのモデル

In recent years, the incidence of thyroid cancer has been increasing. Thyroid nodule detection is critical for both the detection and treatment of thyroid ...

このプログラムは、甲状腺結節を検出するための自動的かつ効率的な手段を実装しており、将来的に医師の作業負荷を軽減する可能性があります。この手法は、Swin トランスを結節検出ネットワークに適用します。Swin Transformersは、長距離コンテンツ情報のキャプチャに効果的であり、結節留の感度を向上させるのに非常に役立ちます。まず、マシンでターミナルを開き、コマンドラインにsudo apt-get install python3.8と入力してPython 3.8をインストールします。PyTorch 1.7をインストールするには、Minicondaの公式Webサイトにアクセスしてインストールします。次に、画面に表示されるコマンドをコマンドラインに入力してコンマ環境を作成し、「コンダアクティベートSwinFasterRCNN」と入力してアクティブ化します。PyTorch をインストールするには、コマンド ラインに示されているコマンドを記述します。MM 検出のインストールの場合は、公式の GitHub リポジトリから複製し、コマンド ラインにコマンド pip install v e を記述して MM 検出をインストールします。schedule_1xを開きます。Py ファイルを Vim テキストエディタで実行し、ファイルを編集して、オプティマイザー、学習率、エピックなどのデフォルトのトレーニング関連パラメータを設定します。画面に表示されるコマンドを入力してトレーニングを開始します。ネットワークが 48 エピックのトレーニングを開始し、SwinFasterRCNN ネットワークのトレーニング済みの重みが出力フォルダーに生成されるのを待ちます。検証セットに最も高い精度でモデルの重みを保存します。トレーニング後、新しい画像で甲状腺結節を検出するための検証セットで最高のパフォーマンスを持つモデルを選択します。テスト スクリプトを実行して、画像のサイズを 512 x 512 ピクセルに変更し、正規化します。スクリプトが事前トレーニング済みのモデル パラメーターを SwinFasterRCNN に自動的に読み込むのを待ち、推論のために前処理された画像を SwinFasterRCNN にフィードします。SwinFasterRCNN が各画像の予測ボックスを出力するのを待ちます。最後に、スクリプトが各画像に対して NMS 後処理を自動的に実行して、重複データ検出ボックスを削除できるようにします。同じ画像の検出結果が特定の行に表示されます。列は、SwinFasterRCNN、FasterRCNN、YOLOv3、SSD、RetinaNet、および DETR の検出結果です。地域のグラウンドトゥルースは、緑色の長方形のボックスでマークされています。検出結果は、赤い長方形のボックスで囲まれています。多くの実験で決定する必要がある収束を確実にするために、適切なハイパーパラメータを選択することが非常に重要です。

Research

JoVE Journal

Medicine

Multi-modal Imaging of Angiogenesis in a Nude Rat Model of Breast Cancer Bone Metastasis Using Magnetic Resonance Imaging, Volumetric Computed Tomography and Ultrasound

磁気共鳴イメージング、体積CT画像と超音波を用いた乳がんの骨転移のヌードラットモデルにおける血管新生のマルチモーダルイメージング

Angiogenesis is an essential feature of cancer growth and metastasis formation. In bone metastasis, angiogenic factors are pivotal for tumor cell ...

Cerenkov Luminescence Imaging (CLI) for Cancer Therapy Monitoring

Cerenkov Luminescence Imaging CLI for Cancer Therapy Monitoring

がん治療のモニタリングのためのチェレンコフ発光イメージング（CLI）

In  molecular imaging, positron emission tomography (PET) and optical imaging (OI)  are two of the most important and thus most widely used modalities1-3. ...

An Orthotopic Mouse Model of Anaplastic Thyroid Carcinoma

甲状腺未分化癌の同所性マウスモデル

Several types of animal models of human thyroid carcinomas have been established, including subcutaneous xenograft and orthotopic implantation of cancer ...

Substernal Thyroid Biopsy Using Endobronchial Ultrasound-guided Transbronchial Needle Aspiration

気管支超音波ガイド下経気管支穿刺吸引を使用して、胸骨下甲状腺生検

Substernal thyroid goiter (STG) represents about 5.8% of all mediastinal lesions1. There is a wide variation in the published incidence rates due to the ...

Intra-Operative Neural Monitoring of Thyroid Surgery in a Porcine Model

ブタモデルにおける甲状腺手術の術中神経モニタリング

Intraoperative injury to the recurrent laryngeal nerve (RLN) can cause vocal cord paralysis, which interferes with speech and can potentially interfere ...

Isometric Contractility Measurement of the Mouse Mesenteric Artery Using Wire Myography

ワイヤー図法を使用してマウスの腸間膜動脈の等尺性収縮力測定

The wire myograph technique is used to assess the contractility of vascular smooth muscles in response to depolarization, GPCR agonists/inhibitors and ...

Electromagnetic Navigation Transthoracic Nodule Localization for Minimally Invasive Thoracic Surgery

低侵襲胸部手術のための電磁航法経胸結節局在

The increased use of chest computed tomography (CT) has led to an increased detection of pulmonary nodules requiring diagnostic evaluation and/or ...

A Pleural Effusion Model in Rats by Intratracheal Instillation of Polyacrylate/Nanosilica

ポリアクリル酸/ナノシリカの気管内投与によるラットの胸水貯留モデル

Pleural effusion is a prevalent clinical finding of many pulmonary diseases. Having a useful animal pleural effusion model is very important to study ...

A Personalized 3D-Printed Model for Preoperative Evaluation in Thyroid Surgery

甲状腺手術における術前評価のためのパーソナライズされた3Dプリントモデル

The anatomic structure of the surgical area of thyroid cancer is complex. It is very important to comprehensively and carefully evaluate the tumor ...

Point-of-Care Ultrasound: A Review of Ultrasound Parameters for Predicting Difficult Airways

ポイントオブケア超音波:困難な気道を予測するための超音波パラメータのレビュー

Airway management remains a crucial part of perioperative care. The conventional approach to assessing potentially difficult airways emphasizes the LEMON ...