초음파 영상에서 갑상선 결절 검출을 위한 Swin Transformer 기반 모델

요약

여기에서는 Swin Transformer를 백본으로 사용하여 장거리 컨텍스트 모델링을 수행하는 초음파 영상에서 갑상선 결절 감지를 위한 새로운 모델을 제안합니다. 실험은 감도와 정확성 측면에서 잘 수행된다는 것을 증명합니다.

초록

최근 몇 년 동안 갑상선암 발병률이 증가하고 있습니다. 갑상선 결절 검출은 갑상선암의 발견과 치료 모두에 중요합니다. CNN(Convolutional Neural Networks)은 갑상선 초음파 이미지 분석 작업에서 좋은 결과를 얻었습니다. 그러나 컨볼루션 레이어의 제한된 유효 수용 필드로 인해 CNN은 초음파 이미지에서 갑상선 결절을 식별하는 데 중요한 장거리 문맥 종속성을 포착하지 못합니다. 트랜스포머 네트워크는 장거리 컨텍스트 정보를 캡처하는 데 효과적입니다. 이에 영감을 받아 Swin Transformer 백본과 Faster R-CNN을 결합한 새로운 갑상선 결절 검출 방법을 제안합니다. 특히, 초음파 영상은 먼저 임베딩의 1D 시퀀스로 투영된 다음 계층적 Swin Transformer에 공급됩니다.

Swin 트랜스포머 백본은 자기 주의력 계산을 위해 이동된 창을 활용하여 5가지 다른 스케일에서 기능을 추출합니다. 그 후, FPN(Feature Pyramid Network)을 사용하여 서로 다른 스케일의 피처를 융합합니다. 마지막으로, 감지 헤드는 경계 상자와 해당 신뢰도 점수를 예측하는 데 사용됩니다. 2,680명의 환자로부터 수집한 데이터를 사용하여 실험을 수행했으며, 그 결과 이 방법이 44.8%의 최고의 mAP 점수를 달성하여 CNN 기반 기준선을 능가하는 것으로 나타났습니다. 또한 경쟁사보다 감도(90.5%)가 더 좋아졌습니다. 이는 이 모델의 컨텍스트 모델링이 갑상선 결절 감지에 효과적임을 나타냅니다.

서문

갑상선암 발병률은 1970년 이래로 급격히 증가했으며, 특히 중년 여성에서 증가했다¹. 갑상선 결절은 갑상선암의 발병을 예측할 수 있으며, 대부분의 갑상선 결절은 무증상이다². 갑상선 결절의 조기 발견은 갑상선암 치료에 매우 도움이 됩니다. 따라서 현행 진료지침에 따르면 신체검사에서 결절성 갑상선종이 의심되거나 비정상적인 영상 소견이 있는 모든 환자는 추가 검사를 받아야 한다 ^3,4.

갑상선 초음파(US)는 갑상선 병변을 감지하고 특성화하는 데 사용되는 일반적인 방법입니다 ^5,6. 미국은 편리하고 저렴하며 방사선이 없는 기술입니다. 그러나, US의 적용은 오퍼레이터 ^7,8에 의해 쉽게 영향을 받는다. 갑상선 결절의 모양, 크기, 에코 발생 및 질감과 같은 특징은 미국 이미지에서 쉽게 구별할 수 있습니다. 석회화, 에코 발생 및 불규칙한 경계와 같은 특정 미국 특징이 종종 갑상선 결절을 식별하는 기준으로 간주되지만 관찰자 간 가변성의 존재는 피할 수 없습니다 ^8,9. 다양한 수준의 경험을 가진 방사선 전문의의 진단 결과는 다릅니다. 경험이 없는 방사선 전문의는 숙련된 방사선 전문의보다 오진할 가능성이 더 큽니다. 반사, 그림자 및 에코와 같은 미국의 일부 특성은 이미지 품질을 저하시킬 수 있습니다. 미국 이미징의 특성으로 인한 이러한 이미지 품질 저하로 인해 숙련된 의사조차도 결절을 정확하게 찾기가 어렵습니다.

갑상선 결절에 대한 컴퓨터 지원 진단(CAD)은 최근 몇 년 동안 빠르게 발전했으며 다양한 의사로 인한 오류를 효과적으로 줄이고 방사선 전문의가 결절을 빠르고 정확하게 진단하는 데 도움을 줄 수 있습니다^10,11. 갑상선 미국 결절 분석을 위해 다양한 CNN 기반 CAD 시스템이 제안되었으며, 여기에는 세분화 12,13, 검출 14,15 및 분류 ^16,17이 포함됩니다. CNN은 다층, 지도 학습 모델⁽¹⁸)이며, CNN의 핵심 모듈은 컨볼루션 및 풀링 계층이다. 컨볼루션 계층은 특징 추출에 사용되고, 풀링 계층은 다운샘플링에 사용됩니다. 그림자 컨벌루션 계층은 텍스처, 가장자리, 윤곽선과 같은 기본 특징을 추출할 수 있는 반면, 심층 컨벌루션 계층은 높은 수준의 의미론적 특징을 학습합니다.

CNN은 컴퓨터 비전 ^19,20,21에서 큰 성공을 거두었습니다. 그러나 CNN은 컨볼루션 계층의 제한된 유효 수용 필드로 인해 장거리 컨텍스트 종속성을 캡처하지 못합니다. 과거에는 이미지 분류를 위한 백본 아키텍처가 주로 CNN을 사용했습니다. 비전 트랜스포머(ViT)^22,23의 출현으로 이러한 추세가 바뀌었고 이제 많은 최첨단 모델이 트랜스포머를 백본으로 사용합니다. 비중첩 이미지 패치에 기초하여, ViT는 표준 트랜스포머 인코더(²⁵)를 사용하여 공간 관계를 전역적으로 모델링한다. Swin Transformer²⁴는 기능을 학습하기 위해 시프트 윈도우를 추가로 도입합니다. 시프트 윈도우는 효율성을 높일 뿐만 아니라 창에서 자기 주의가 계산되기 때문에 시퀀스의 길이를 크게 줄입니다. 동시에, 인접한 두 창 사이의 상호 작용은 이동 (이동) 작업을 통해 이루어질 수 있습니다. 컴퓨터 비전에 Swin Transformer를 성공적으로 적용함으로써 초음파 이미지 분석을 위한 트랜스포머 기반 아키텍처에 대한 조사가 이루어졌습니다⁽²⁶).

최근 Li et al. 갑상선 유두암 검출을 위한 딥 러닝 접근법²⁸ Faster R-CNN²⁷에서 영감을 받았습니다. 더 빠른 속도 R-CNN은 고전적인 CNN 기반 개체 감지 아키텍처입니다. 원래 Faster R-CNN에는 CNN 백본, RPN(지역 제안 네트워크), ROI 풀링 계층 및 검색 헤드의 네 가지 모듈이 있습니다. CNN 백본은 기본 conv+bn+relu+pooling 계층 집합을 사용하여 입력 이미지에서 특징 맵을 추출합니다. 그런 다음 기능 맵이 RPN 및 ROI 풀링 계층에 공급됩니다. RPN 네트워크의 역할은 지역 제안을 생성하는 것입니다. 이 모듈은 softmax를 사용하여 앵커가 양수인지 여부를 확인하고 경계 상자 회귀를 통해 정확한 앵커를 생성합니다. ROI 풀링 계층은 입력 특징 맵과 제안을 수집하여 제안 특징 맵을 추출하고 제안 특징 맵을 후속 탐지 헤드에 공급합니다. 탐지 헤드는 제안 특징 맵을 사용하여 객체를 분류하고 경계 상자 회귀를 통해 탐지 상자의 정확한 위치를 얻습니다.

이 논문은 Faster R-CNN의 CNN 백본을 Swin Transformer로 대체하여 형성된 Swin Faster R-CNN이라는 새로운 갑상선 결절 감지 네트워크를 제시하며, 그 결과 초음파 이미지에서 결절 감지를 위한 기능을 더 잘 추출할 수 있습니다. 또한, 특징 피라미드 네트워크(FPN)²⁹ 는 다양한 스케일의 특징을 집계하여 다양한 크기의 결절에 대한 모델의 검출 성능을 향상시키는 데 사용됩니다.

프로토콜

이 후향적 연구는 중국 쓰촨성 쓰촨대학교 서중국병원 임상시험심사위원회의 승인을 받았으며 정보에 입각한 동의를 얻어야 하는 요건이 면제되었습니다.

1. 환경 설정

1. 그래픽 처리 장치(GPU) 소프트웨어
   1. 딥러닝 애플리케이션을 구현하기 위해서는 먼저 GPU 관련 환경을 설정해야 합니다. GPU 웹 사이트에서 GPU에 적합한 소프트웨어 및 드라이버를 다운로드하여 설치합니다.
      참고: 이 연구에 사용된 자료는 재료 표를 참조하십시오.
2. Python3.8 설치
   1. 기기에서 터미널을 엽니다. 다음을 입력합니다.
      명령줄: sudo apt-get install python3.8 python-dev python-virtualenv
3. Pytorch1.7 설치
   1. 공식 웹 사이트의 단계에 따라 Miniconda를 다운로드하고 설치하십시오.
   2. conda 환경을 만들고 활성화합니다.
      명령줄: conda create --name SwinFasterRCNN python=3.8 -y
      명령줄: conda activate SwinFasterRCNN
   3. Pytorch를 설치합니다.
      명령줄: conda install pytorch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2
4. MMDetection 설치
   1. 공식 Github 저장소에서 복제합니다.
      명령줄: git clone https://github.com/open-mmlab/mmdetection.git
   2. MMDetection을 설치합니다.
      명령줄: cd mmdetection
      명령줄: pip install -v -e .

2. 데이터 준비

1. 데이터 수집
   1. 초음파 이미지를 수집했습니다 (여기서는 A 급 3 차 병원에서 3,000 건). 각 사례에 진단 기록, 치료 계획, 미국 보고서 및 해당 미국 이미지가 있는지 확인하십시오.
   2. 모든 미국 이미지를 "images"라는 폴더에 넣습니다.
      참고: 이 연구에 사용된 데이터에는 3,000건의 사례에서 3,853개의 미국 이미지가 포함되었습니다.
2. 데이터 정리
   1. 데이터 세트에서 림프 이미지와 같은 갑상선이 아닌 영역의 이미지를 수동으로 확인합니다.
   2. 컬러 도플러 흐름이 포함된 이미지에 대한 데이터 세트를 수동으로 확인합니다.
   3. 이전 두 단계에서 선택한 이미지를 삭제합니다.
      참고: 데이터 정리 후 2,680건 중 3,000장의 이미지가 남았습니다.
3. 데이터 주석
   1. 선임 의사에게 미국 이미지에서 결절 영역을 찾고 결절 경계의 윤곽을 그리도록 합니다.
      참고: 주석 소프트웨어 및 프로세스는 보충 파일 1에서 찾을 수 있습니다.
   2. 다른 선임 의사가 주석 결과를 검토하고 수정하도록 합니다.
   3. 주석이 달린 데이터를 "Annotations"라는 별도의 폴더에 배치합니다.
4. 데이터 분할
   1. python 스크립트를 실행하고 2.1.2단계에서 이미지 경로를 설정하고 2.3.3단계에서 주석 경로를 설정합니다. 모든 이미지와 레이블이 지정된 해당 파일을 8:2의 비율로 학습 세트와 검증 세트로 무작위로 나눕니다. 학습 집합 데이터를 "Train" 폴더에 저장하고 유효성 검사 집합 데이터를 "Val" 폴더에 저장합니다.
      참고: Python 스크립트는 보충 파일 2에서 제공됩니다.
5. CoCo 데이터 세트 형식으로 변환
   참고: MMDetection을 사용하려면 주석 정보가 포함된 json 파일과 미국 이미지가 포함된 이미지 폴더가 포함된 CoCo 데이터 세트 형식으로 데이터를 처리합니다.
   1. python 스크립트를 실행하고 annotations 폴더 경로 (2.3.3 단계)를 입력하여 의사가 윤곽을 그린 결절 영역을 추출하고 마스크로 변환합니다. 모든 마스크를 "Masks" 폴더에 저장합니다.
      참고: Python 스크립트는 추가 파일 3에서 제공됩니다.
   2. python 스크립트를 실행하고 2.5.1단계에서 masks 폴더의 경로를 설정하여 데이터를 CoCo 형식의 데이터 세트로 만들고 US 이미지로 json 파일을 생성합니다.
      참고: Python 스크립트는 보충 파일 4에서 제공됩니다.

3. Swin 더 빠른 RCNN 구성

1. Swin Transformer 모델 파일(https://github.com/microsoft/Swin-Transformer/blob/main/models/swin_transformer.py)을 다운로드하여 수정한 다음 "mmdetection/mmdet/models/backbones/" 폴더에 넣습니다. vim 텍스트 편집기에서 "swin_transformer.py" 파일을 열고 보충 파일 5에 제공된 Swin Transformer 모델 파일로 수정합니다.
   명령줄: vim swin_transformer.py
2. Faster R-CNN 구성 파일의 복사본을 만들고, 백본을 Swin Transformer로 변경하고, FPN 매개 변수를 설정합니다.
   명령줄: cd mmdetection/configs/faster_rcnn
   명령줄: cp faster_rcnn_r50_fpn_1x_coco.py swin_faster_rcnn_swin.py
   참고: Swin Faster R-CNN 구성 파일(swin_faster_rcnn_swin.py)은 보충 파일 6에 제공됩니다. Swin Faster R-CNN 네트워크 구조는 그림 1에 나와 있습니다.
3. 구성 파일에서 데이터 세트 경로를 CoCo 형식 데이터 세트 경로(2.5.2단계)로 설정합니다. vim 텍스트 편집기에서 "coco_detection.py" 파일을 열고 다음 줄을 수정합니다.
   data_root = "데이터 세트 경로 (2.5.2 단계)"
   명령줄:vim mmdetection/configs/_base_/datasets/coco_detection.py

4. Swin Faster R-CNN 훈련

1. mmdetection/configs/_base_/schedules/schedule_1x.py를 편집하고 학습 속도, 옵티마이저 및 epoch를 포함한 기본 훈련 관련 파라미터를 설정합니다. vim 텍스트 편집기에서 "schedule_1x.py" 파일을 열고 다음 줄을 수정합니다.
   옵티마이저 = dict(유형="AdamW", lr=0.001, 모멘텀=0.9, weight_decay=0.0001)
   러너 = dict(type='EpochBasedRunner', max_epochs=48)
   명령줄:vim mmdetection/configs/_base_/schedules/schedule_1x.py
   참고: 이 논문의 이 프로토콜에서는 학습률을 0.001로 설정하고, AdamW 옵티마이저를 사용하고, 최대 훈련 에포크를 48로 설정하고, 배치 크기를 16으로 설정했습니다.
2. 다음 명령을 입력하여 학습을 시작합니다. 네트워크가 48 Epoch 동안 훈련을 시작하고 Swin Faster R-CNN 신경망의 훈련된 가중치가 출력 폴더에 생성될 때까지 기다립니다. 검증 세트에서 가장 높은 정확도로 모델 가중치를 저장합니다.
   명령줄: cd mmdetection
   명령줄: python tools/train.py congfigs/faster_rcnn/swin_faster_rcnn_swin.py --work-dir ./work_dirs
   참고: 이 모델은 "NVIDIA GeForce RTX3090 24G" GPU에서 훈련되었습니다. 사용된 중앙 처리 장치는 "AMD Epyc 7742 64코어 프로세서 × 128"이었고 운영 체제는 Ubuntu 18.06이었습니다. 전체 훈련 시간은 ~2시간이었습니다.

5. 새 이미지에서 갑상선 결절 감지 수행

1. 훈련 후, 새 이미지에서 갑상선 결절 검출을 위해 설정된 검증에서 가장 성능이 좋은 모델을 선택합니다.
   1. 먼저 이미지 크기를 512픽셀 x 512픽셀로 조정하고 정규화합니다. 이러한 조작은 테스트 스크립트가 실행될 때 자동으로 수행됩니다.
      명령줄: python tools/test.py congfigs/faster_rcnn/swin_faster_rcnn_swin.py --out ./output
   2. 스크립트가 사전 훈련된 모델 파라미터를 Swin Faster R-CNN에 자동으로 로드하고 추론을 위해 전처리된 이미지를 Swin Faster R-CNN에 공급할 때까지 기다립니다. Swin Faster R-CNN이 각 이미지에 대한 예측 상자를 출력할 때까지 기다립니다.
   3. 마지막으로, 스크립트가 각 이미지에 대해 NMS 후처리를 자동으로 수행하여 중복 탐지 상자를 제거하도록 합니다.
      참고: 감지 결과는 지정된 폴더로 출력되며, 이 폴더에는 압축 파일에 감지 상자와 경계 상자 좌표가 있는 이미지가 포함되어 있습니다.

결과

갑상선 미국 이미지는 2008 년 9 월부터 2018 년 2 월까지 중국의 두 병원에서 수집되었습니다. 본 연구에 미국 이미지를 포함하기 위한 적격성 기준은 생검 및 외과적 치료 전의 기존 미국 검사, 생검 또는 수술 후 병리 진단, 18세 ≥세였습니다. 제외 기준은 갑상선 조직이 없는 영상이었다.

3,000개의 초음파 영상에는 1,384개의 악성 결절과 1,616개의 양성 결절이 포함되었습니다. ?...

토론

이 백서에서는 환경 설정, 데이터 준비, 모델 구성 및 네트워크 학습을 수행하는 방법에 대해 자세히 설명합니다. 환경 설정 단계에서는 종속 라이브러리가 호환되고 일치하는지 확인하기 위해 주의를 기울여야 합니다. 데이터 처리는 매우 중요한 단계입니다. 주석의 정확성을 보장하기 위해 시간과 노력을 들여야 합니다. 모델을 학습할 때 "ModuleNotFoundError"가 발생할 수 있습니다. 이 경우 "pip insta...

자료

Name	Company	Catalog Number	Comments
GPU RTX3090	Nvidia	1	24G GPU
mmdetection2.11.0	SenseTime	4	https://github.com/open-mmlab/mmdetection.git
python3.8	—	2	https://www.python.org
pytorch1.7.1	Facebook	3	https://pytorch.org