基于Swin变压器的超声图像甲状腺结节检测模型

摘要

该文提出一种超声图像甲状腺结节检测新模型，以Swin变压器为骨干进行远程上下文建模。实验证明，它在灵敏度和准确性方面表现良好。

摘要

近年来，甲状腺癌的发病率一直在上升。甲状腺结节检测对于甲状腺癌的检测和治疗至关重要。卷积神经网络（CNN）在甲状腺超声图像分析任务中取得了良好的效果。然而，由于卷积层的有效感受野有限，CNN无法捕获长程上下文依赖性，这对于识别超声图像中的甲状腺结节非常重要。变压器网络在捕获远程上下文信息方面非常有效。受此启发，我们提出了一种新的甲状腺结节检测方法，该方法结合了Swin变压器骨架和更快的R-CNN。具体来说，超声图像首先被投影到一维嵌入序列中，然后将其馈送到分层的Swin变压器中。

Swin变压器主干网通过利用偏移窗口计算自我注意来提取五种不同尺度的特征。随后，使用特征金字塔网络（FPN）对不同尺度的特征进行融合。最后，使用检测头来预测边界框和相应的置信度分数。从2，680名患者收集的数据用于进行实验，结果表明该方法获得了44.8%的最佳mAP评分，优于基于CNN的基线。此外，我们获得了比竞争对手更好的灵敏度（90.5%）。这表明该模型中的上下文建模对甲状腺结节检测有效。

引言

自1970年以来，甲状腺癌的发病率迅速增加，特别是在中^年妇女中1。甲状腺结节可能预示甲状腺癌的出现，大多数甲状腺结节无症状².早期发现甲状腺结节对治愈甲状腺癌很有帮助。因此，根据现行实践指南，所有体格检查疑似结节性甲状腺肿或影像学检查结果异常的患者均应进一步检查^3，4。

甲状腺超声（US）是用于检测和表征甲状腺病变的常用方法^5，6。美国是一种方便、廉价且无辐射的技术。但是，美国的应用很容易受到运营商^7，8的影响。甲状腺结节的形状、大小、回声度和质地等特征在美国图像上很容易区分。尽管某些 US 特征（钙化、回声和边界不规则）通常被认为是识别甲状腺结节的标准，但观察者间变异性的存在是不可避免的^8，9。不同经验水平的放射科医生的诊断结果是不同的。没有经验的放射科医生比有经验的放射科医生更容易误诊。US 的某些特征（如反射、阴影和回波）会降低图像质量。由于美国成像的性质，图像质量的下降使得即使是经验丰富的医生也很难准确定位结节。

甲状腺结节的计算机辅助诊断（CAD）近年来发展迅速，可以有效减少不同医生造成的错误，帮助放射科医生快速准确地诊断结节^10，11。已经提出了各种基于CNN的CAD系统用于甲状腺US结节分析，包括分割12，13，检测¹⁴，15和分类^16，17。CNN是一个多层的监督学习模型¹⁸，CNN的核心模块是卷积层和池化层。卷积层用于特征提取，池化层用于缩减采样。阴影卷积层可以提取纹理、边缘和轮廓等主要特征，而深度卷积层可以学习高级语义特征。

CNN在计算机视觉^19，20，21方面取得了巨大的成功。然而，由于卷积层的有效感受野有限，CNN无法捕获长期上下文依赖关系。过去，用于图像分类的骨干架构大多使用CNN。随着视觉变压器（ViT）²²，²³的出现，这一趋势发生了变化^，现在许多最先进的型号都使用变压器作为骨干。基于非重叠的图像块，ViT使用标准变压器编码器²⁵对空间关系进行全局建模。Swin Transformer²⁴ 进一步引入了换档窗口来学习功能。移位窗口不仅带来了更高的效率，而且大大减少了序列的长度，因为自我注意力是在窗口中计算的。同时，两个相邻窗口之间的交互可以通过移位（移动）的操作进行。Swin变压器在计算机视觉中的成功应用导致了对基于变压器的超声图像分析架构的研究²⁶。

最近，Li等人提出了一种深度学习方法²⁸ ，用于甲状腺状癌检测，其灵感来自Faster R-CNN²⁷。更快的 R-CNN 是一种经典的基于 CNN 的对象检测架构。最初的Faster R-CNN有四个模块 - CNN骨干网，区域建议网络（RPN），ROI池层和检测头。CNN 主干网使用一组基本的 conv+bn+relu+pooling 层从输入图像中提取特征图。然后，特征图被馈送到 RPN 和 ROI 池层。RPN 网络的作用是生成区域提案。此模块使用 softmax 来确定定位点是否为正，并通过边界框回归生成准确的定位点。ROI 池化层通过收集输入的特征图和提案来提取提案特征图，并将提案特征图馈送到后续的检测头中。检测头利用建议特征图对物体进行分类，通过边界框回归获得检测箱的准确位置。

本文提出了一种新的甲状腺结节检测网络Swin Faster R-CNN，该网络是通过用Swin变压器替换Faster R-CNN中的CNN骨干而形成的，从而更好地从超声图像中提取结节检测的特征。此外，利用特征金字塔网络（FPN）²⁹ ，通过聚合不同尺度的特征，提高模型对不同尺寸结核的检测性能。

研究方案

这项回顾性研究得到了中国四川大学华西医院机构审查委员会的批准，并免除了获得知情同意的要求。

1. 环境设置

1. 图形处理单元 （GPU） 软件
   1. 要实现深度学习应用程序，请先配置 GPU 相关环境。从 GPU 的网站下载并安装 GPU 适当的软件和驱动程序。
      注意:有关本研究中使用的材料，请参阅 材料表 。
2. Python3.8 安装
   1. 在计算机上打开终端。键入以下内容:
      命令行: sudo apt-get install python3.8 python-dev python-virtualenv
3. PyTorch1.7 安装
   1. 按照官方网站上的步骤下载并安装Miniconda。
   2. 创建 conda 环境并激活它。
      命令行: conda create --name SwinFasterRCNN python=3.8 -y
      命令行:conda activate SwinFasterRCNN
   3. 安装 Pytorch。
      命令行:conda install pytorch==1.7.1 torchvision==0.8.2 torchaudio ==0.7.2
4. MMDetection安装
   1. 从官方 Github 存储库克隆。
      命令行:git 克隆 https://github.com/open-mmlab/mmdetection.git
   2. 安装 MMDetection。
      命令行:光盘毫米检测
      命令行: pip install -v -e .

2. 数据准备

1. 数据采集
   1. 收集了超声图像（此处为来自甲等三级医院的3，000例）。确保每个病例都有诊断记录、治疗计划、美国报告和相应的美国图像。
   2. 将所有美国图像放在名为"images"的文件夹中。
      注意:本研究中使用的数据包括来自3，000个病例的3，853张美国图像。
2. 数据清理
   1. 手动检查数据集中的非甲状腺区域图像，例如淋巴图像。
   2. 手动检查数据集中是否有包含彩色多普勒流的图像。
   3. 删除在前两个步骤中选择的图像。
      注意:数据清理后，从 2，680 个案例中留下了 3，000 张图像。
3. 数据注释
   1. 让上级医生在美国图像中定位结节区域并勾勒出结节边界。
      注意:注释软件和过程可以在 补充文件 1 中找到。
   2. 让另一位高级医生审查并修改注释结果。
   3. 将带批注的数据放在名为"批注"的单独文件夹中。
4. 数据拆分
   1. 运行 python 脚本，在步骤 2.1.2 中设置图像的路径，在步骤 2.3.3 中设置注释的路径。以 8:2 的比例将所有图像和相应的标记文件随机划分为训练集和验证集。将训练集数据保存在"训练"文件夹中，将验证集数据保存在"Val"文件夹中。
      注意: 补充文件 2 中提供了 Python 脚本。
5. 转换为 CoCo 数据集格式
   注意:要使用 MMDetection，请将数据处理为 CoCo 数据集格式，其中包括保存注释信息的 json 文件和包含美国图像的图像文件夹。
   1. 运行python脚本，输入注释文件夹路径（步骤2.3.3）提取医生勾勒出的结节区域并将其转换为掩码。将所有掩码保存在"掩码"文件夹中。
      注意:Python 脚本在 补充文件 3 中提供。
   2. 运行python脚本，在步骤2.5.1中设置掩码文件夹的路径，将数据变成CoCo格式的数据集，并生成包含美国图片的json文件。
      注意: 补充文件 4 中提供了 Python 脚本。

3. Swin 更快的 RCNN 配置

1. 下载 Swin Transformer 模型文件 （https://github.com/microsoft/Swin-Transformer/blob/main/models/swin_transformer.py），对其进行修改，并将其放入"mmdetection/mmdet/models/backbones/"文件夹中。在 vim 文本编辑器中打开"swin_transformer.py"文件，并将其修改为补充文件 5 中提供的 Swin 转换器模型文件。
   命令行:vim swin_transformer.py
2. 复制更快的 R-CNN 配置文件，将主干更改为 Swin 变压器，并设置 FPN 参数。
   命令行:cd 毫米检测/配置/faster_rcnn
   命令行:cp faster_rcnn_r50_fpn_1x_coco.py swin_faster_rcnn_swin.py
   注意:Swin Faster R-CNN 配置文件 （swin_faster_rcnn_swin.py） 在 补充文件 6 中提供。Swin Faster R-CNN网络结构如图 1所示。
3. 在配置文件中将数据集路径设置为 CoCo 格式的数据集路径（步骤 2.5.2）。在 vim 文本编辑器中打开 "coco_detection.py" 文件，修改以下行:
   data_root = "数据集路径（步骤 2.5.2）"
   命令行:vim mmdetection/configs/_base_/datasets/coco_detection.py

4. 训练 Swin 更快的 R-CNN

1. 编辑 mmdetection/configs/_base_/schedules/schedule_1x.py，并设置默认的训练相关参数，包括学习率、优化器和纪元。在 vim 文本编辑器中打开 "schedule_1x.py" 文件，修改以下行:
   优化器 = dict（type="AdamW"， lr=0.001， 动量=0.9， weight_decay=0.0001）
   runner = dict（type='EpochBasedRunner'， max_epochs=48）
   命令行:vim mmdetection/configs/_base_/schedules/schedule_1x.py
   注意:在本文中的该协议中，学习率设置为0.001，使用AdamW优化器，最大训练周期设置为48，批量大小设置为16。
2. 通过键入以下命令开始训练。等待网络开始训练 48 个 epoch，并在输出文件夹中生成 Swin Faster R-CNN 网络的结果训练权重。在验证集上以最高精度保存模型权重。
   命令行:光盘毫米检测
   命令行:python tools/train.py congfigs/faster_rcnn/swin_faster_rcnn_swin.py --work-dir ./work_dirs
   注意:该模型是在"NVIDIA GeForce RTX3090 24G"GPU上训练的。使用的中央处理器是"AMD Epyc 7742 64核处理器×128"，操作系统是Ubuntu 18.06。总体训练时间为~2小时。

5. 对新图像进行甲状腺结节检测

1. 训练后，在新图像中选择在甲状腺结节检测验证集上性能最佳的模型。
   1. 首先，将图像大小调整为 512 像素 x 512 像素，并将其规范化。这些操作在运行测试脚本时自动执行。
      命令行:python tools/test.py congfigs/faster_rcnn/swin_faster_rcnn_swin.py --out ./output
   2. 等待脚本自动将预训练的模型参数加载到 Swin Faster R-CNN，并将预处理的图像馈送到 Swin Faster R-CNN 中进行推理。等待Swin Faster R-CNN输出每个图像的预测框。
   3. 最后，允许脚本自动对每个图像执行 NMS 后处理，以删除重复的检测框。
      注意:检测结果将输出到指定的文件夹，该文件夹包含带有检测框和边界框坐标的图像。

结果

2008年9月至2018年2月在中国两家医院采集的美国甲状腺图像。将美国图像纳入本研究的合格标准是活检和手术治疗前的常规美国检查、活检或术后病理学诊断以及年龄≥18岁。排除标准是没有甲状腺组织的图像。

3，000张超声图像包括1，384个恶性结节和1，616个良性结节。大多数（90%）恶性结节为状癌，66%的良性结节为结节性甲状腺肿。在这里，25%的结节小于5毫米，38%在5毫米至...

讨论

本文详细介绍了如何进行环境设置、数据准备、模型配置和网络训练。在环境设置阶段，需要注意确保依赖库兼容和匹配。数据处理是非常重要的一步;必须花费时间和精力来确保注释的准确性。训练模型时，可能会遇到"ModuleNotFoundError"。在这种情况下，有必要使用"pip install"命令来安装缺少的库。如果验证集的损失没有减少或振荡很大，则应检查注释文件并尝试调整学习率和批量大小以使损失收?...

材料

Name	Company	Catalog Number	Comments
GPU RTX3090	Nvidia	1	24G GPU
mmdetection2.11.0	SenseTime	4	https://github.com/open-mmlab/mmdetection.git
python3.8	—	2	https://www.python.org
pytorch1.7.1	Facebook	3	https://pytorch.org