Modelo baseado em transformador Swin para detecção de nódulos tireoidianos em imagens de ultrassom

Resumo

Aqui, um novo modelo para detecção de nódulos tireoidianos em imagens de ultrassom é proposto, que usa o transformador Swin como espinha dorsal para realizar modelagem de contexto de longo alcance. Experimentos provam que ele tem um bom desempenho em termos de sensibilidade e precisão.

Resumo

Nos últimos anos, a incidência do câncer de tireoide vem aumentando. A detecção de nódulos tireoidianos é fundamental tanto para a detecção quanto para o tratamento do câncer de tireoide. Redes neurais convolucionais (CNNs) têm alcançado bons resultados em tarefas de análise de imagens de ultrassom da tireoide. No entanto, devido ao limitado campo receptivo válido das camadas convolucionais, as CNNs não conseguem capturar dependências contextuais de longo alcance, que são importantes para identificar nódulos tireoidianos em imagens de ultrassonografia. As redes de transformadores são eficazes na captura de informações contextuais de longo alcance. Inspirados por isso, propomos um novo método de detecção de nódulos tireoidianos que combina o backbone Swin Transformer e o R-CNN mais rápido. Especificamente, uma imagem de ultrassom é primeiramente projetada em uma sequência 1D de incorporações, que são então alimentadas em um transformador Swin hierárquico.

O backbone Swin Transformer extrai recursos em cinco escalas diferentes, utilizando janelas deslocadas para o cálculo da autoatenção. Posteriormente, uma rede de pirâmide de recursos (FPN) é usada para fundir os recursos de diferentes escalas. Finalmente, uma cabeça de detecção é usada para prever caixas delimitadoras e os escores de confiança correspondentes. Dados coletados de 2.680 pacientes foram usados para conduzir os experimentos, e os resultados mostraram que esse método alcançou o melhor escore de mAP de 44,8%, superando as linhas de base baseadas na CNN. Além disso, ganhamos melhor sensibilidade (90,5%) que os concorrentes. Isso indica que a modelagem de contexto nesse modelo é eficaz para a detecção de nódulos tireoidianos.

Introdução

A incidência do câncer de tireoide tem aumentado rapidamente desde 1970, especialmente entre mulheres de meia-idade¹. Nódulos tireoidianos podem predizer o surgimento de câncer de tireoide, e a maioria dos nódulos tireoidianos é assintomática2. A detecção precoce de nódulos tireoidianos é muito útil na cura do câncer de tireoide. Portanto, de acordo com as diretrizes atuais de prática, todos os pacientes com suspeita de bócio nodular ao exame físico ou com achados de imagem anormais devem ser submetidos a exames complementares ^3,4.

A ultrassonografia (US) tireoidiana é um método comumente utilizado para detectar e caracterizar lesões tireoidianas5,6. Os EUA são uma tecnologia conveniente, barata e livre de radiação. Entretanto, a aplicação da US é facilmente afetada pelo operador ^7,8. Características como forma, tamanho, ecogenicidade e textura dos nódulos tireoidianos são facilmente distinguíveis nas imagens ultrassonográficas. Embora certas características ultrassonográficas - calcificações, ecogenicidade e bordas irregulares - sejam frequentemente consideradas critérios para identificação de nódulos tireoidianos, a presença de variabilidade interobservador é^{inevitável8,9}. Os resultados diagnósticos de radiologistas com diferentes níveis de experiência são diferentes. Radiologistas inexperientes são mais propensos a diagnosticar erroneamente do que radiologistas experientes. Algumas características do US como reflexos, sombras e ecos podem degradar a qualidade da imagem. Essa degradação na qualidade da imagem causada pela natureza da US dificulta a localização precisa dos nódulos, mesmo por médicos experientes.

O diagnóstico auxiliado por computador (DAC) para nódulos tireoidianos desenvolveu-se rapidamente nos últimos anos e pode efetivamente reduzir os erros causados por diferentes médicos e ajudar os radiologistas a diagnosticar nódulos de forma rápida e precisa^10,11. Vários sistemas CAD baseados em CNN têm sido propostos para análise de nódulos na US tireoidiana, incluindo segmentação12,13, detecção14,15 e^{classificação16,17}. A CNN é um modelo de aprendizagem supervisionado^{multicamadas 18}, e os módulos principais da CNN são as camadas de convolução e pooling. As camadas de convolução são usadas para extração de feição, e as camadas de agrupamento são usadas para downsampling. As camadas convolucionais de sombra podem extrair características primárias, como textura, bordas e contornos, enquanto as camadas convolucionais profundas aprendem características semânticas de alto nível.

As CNNs têm tido grande sucesso em visão computacional 19,20,21. No entanto, as CNNs não conseguem capturar dependências contextuais de longo alcance devido ao limitado campo receptivo válido das camadas convolucionais. No passado, as arquiteturas de backbone para classificação de imagens usavam principalmente CNNs. Com o advento do Vision Transformer (ViT)^22,23, essa tendência mudou^, e agora muitos modelos de última geração utilizam transformadores como backbone. Com base em patches de imagem não sobrepostos, o ViT usa um codificador de transformador^{padrão 25} para modelar globalmente as relações espaciais. O Swin Transformer²⁴ introduz ainda janelas de mudança para aprender recursos. As janelas de mudança não só trazem maior eficiência, mas também reduzem muito o comprimento da sequência, porque a autoatenção é calculada na janela. Ao mesmo tempo, a interação entre duas janelas adjacentes pode ser feita através da operação de deslocamento (movimento). A aplicação bem sucedida do transformador Swin em visão computacional levou à investigação de arquiteturas baseadas em transformadores para análise de imagens de^ultrassom26.

Recentemente, Li e col. propuseram uma abordagem de aprendizado profundo²⁸ para detecção de câncer papilar de tireoide inspirada no Faster R-CNN²⁷. O R-CNN mais rápido é uma arquitetura clássica de detecção de objetos baseada na CNN. O Faster R-CNN original tem quatro módulos: o backbone CNN, a rede de proposta de região (RPN), a camada de pool de ROI e o cabeçote de detecção. O backbone da CNN usa um conjunto de camadas básicas conv+bn+relu+pooling para extrair mapas de feição da imagem de entrada. Em seguida, os mapas de feição são alimentados na camada de pool de RPN e ROI. O papel da rede RPN é gerar propostas regionais. Este módulo usa softmax para determinar se as âncoras são positivas e gera âncoras precisas por regressão de caixa delimitadora. A camada de pool de ROI extrai os mapas de feição da proposta coletando os mapas de feição de entrada e as propostas e alimenta os mapas de feição da proposta no cabeçalho de detecção subsequente. A cabeça de detecção usa os mapas de recursos propostos para classificar objetos e obter posições precisas das caixas de detecção por regressão de caixa delimitadora.

Este trabalho apresenta uma nova rede de detecção de nódulos tireoidianos denominada Swin Faster R-CNN formada pela substituição do backbone CNN em Faster R-CNN pelo Swin Transformer, que resulta na melhor extração de recursos para detecção de nódulos a partir de imagens de ultrassom. Além disso, a rede de pirâmide característica (FPN)²⁹ é utilizada para melhorar o desempenho de detecção do modelo para nódulos de diferentes tamanhos, agregando características de diferentes escalas.

Protocolo

Este estudo retrospectivo foi aprovado pelo comitê de revisão institucional do West China Hospital, Sichuan University, Sichuan, China, e a exigência de obtenção de consentimento informado foi dispensada.

1. Configuração do ambiente

1. Software de unidade de processamento gráfico (GPU)
   1. Para implementar aplicativos de aprendizado profundo, primeiro configure o ambiente relacionado à GPU. Baixe e instale softwares e drivers apropriados à GPU no site da GPU.
      NOTA: Consulte a Tabela de Materiais para aqueles usados neste estudo.
2. Instalação do Python3.8
   1. Abra um terminal na máquina. Digite o seguinte:
      Linha de comando: sudo apt-get install python3.8 python-dev python-virtualenv
3. Instalação do Pytorch1.7
   1. Siga os passos no site oficial para baixar e instalar o Miniconda.
   2. Crie um ambiente de conda e ative-o.
      Linha de comando: conda create --name SwinFasterRCNN python=3.8 -y
      Linha de comando: conda activate SwinFasterRCNN
   3. Instale o Pytorch.
      Linha de comando: conda install pytorch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2
4. Instalação do MMDetection
   1. Clone do repositório oficial do Github.
      Linha de comando: git clone https://github.com/open-mmlab/mmdetection.git
   2. Instale o MMDetection.
      Linha de comando: cd mmdetection
      Linha de comando: pip install -v -e .

2. Preparação dos dados

1. Recolha de dados
   1. Coletaram as imagens de ultrassom (aqui, 3.000 casos de um hospital terciário Grau A). Certifique-se de que cada caso tenha registros diagnósticos, planos de tratamento, relatórios de US e as imagens de US correspondentes.
   2. Coloque todas as imagens dos EUA em uma pasta chamada "images".
      NOTA: Os dados utilizados neste estudo incluíram 3.853 imagens de US de 3.000 casos.
2. Limpeza de dados
   1. Verifique manualmente o conjunto de dados para imagens de áreas não tireoidianas, como imagens linfáticas.
   2. Verifique manualmente o conjunto de dados para imagens que contenham fluxo Doppler colorido.
   3. Exclua as imagens selecionadas nas duas etapas anteriores.
      NOTA: Após a limpeza dos dados, restaram 3.000 imagens de 2.680 casos.
3. Anotação de dados
   1. Peça a um médico sênior que localize a área do nódulo na imagem da US e contorne o limite do nódulo.
      NOTA: O software e o processo de anotação podem ser encontrados no Arquivo Suplementar 1.
   2. Faça com que outro médico sênior revise os resultados da anotação.
   3. Coloque os dados anotados em uma pasta separada chamada "Anotações".
4. Divisão de dados
   1. Execute o script python e defina o caminho da imagem na etapa 2.1.2 e os caminhos das anotações na etapa 2.3.3. Divida aleatoriamente todas as imagens e os arquivos rotulados correspondentes em conjuntos de treinamento e validação na proporção de 8:2. Salve os dados do conjunto de treinamento na pasta "Train" e os dados do conjunto de validação na pasta "Val".
      Observação : scripts Python são fornecidos no arquivo suplementar 2.
5. Convertendo para o formato de conjunto de dados CoCo
   Observação : para usar MMDetection, processar os dados em um formato de conjunto de dados CoCo, que inclui um arquivo json que contém as informações de anotação e uma pasta de imagem que contém as imagens dos EUA.
   1. Execute o script python e insira os caminhos da pasta de anotações (etapa 2.3.3) para extrair as áreas de nódulo delineadas pelo médico e convertê-las em máscaras. Salve todas as máscaras na pasta "Máscaras".
      Observação : os scripts Python são fornecidos no arquivo suplementar 3.
   2. Execute o script python e defina o caminho da pasta masks na etapa 2.5.1 para transformar os dados em um conjunto de dados no formato CoCo e gerar um arquivo json com as imagens dos EUA.
      Observação : scripts Python são fornecidos no arquivo suplementar 4.

3. Configuração RCNN mais rápida do Swin

1. Baixe o arquivo de modelo do Swin Transformer (https://github.com/microsoft/Swin-Transformer/blob/main/models/swin_transformer.py), modifique-o e coloque-o na pasta "mmdetection/mmdet/models/backbones/". Abra o arquivo "swin_transformer.py" em um editor de texto vim e modifique-o como o arquivo de modelo Swin Transformer fornecido no arquivo suplementar 5.
   Linha de comando: vim swin_transformer.py
2. Faça uma cópia do arquivo de configuração R-CNN mais rápido, altere o backbone para Swin Transformer e configure os parâmetros FPN.
   Linha de comando: cd mmdetection/configs/faster_rcnn
   Linha de comando: cp faster_rcnn_r50_fpn_1x_coco.py swin_faster_rcnn_swin.py
   NOTA: O ficheiro de configuração (swin_faster_rcnn_swin.py) Swin Faster R-CNN é fornecido no ficheiro suplementar 6. A estrutura de rede Swin Faster R-CNN é mostrada na Figura 1.
3. Defina o caminho do conjunto de dados para o caminho do conjunto de dados do formato CoCo (etapa 2.5.2) no arquivo de configuração. Abra o arquivo "coco_detection.py" no editor de texto vim e modifique a seguinte linha:
   data_root = "caminho do conjunto de dados(etapa 2.5.2)"
   Linha de comando:vim mmdetection/configs/_base_/datasets/coco_detection.py

4. Treinando o Swin Faster R-CNN

1. Edite mmdetection/configs/_base_/schedules/schedule_1x.py e defina os parâmetros padrão relacionados ao treinamento, incluindo a taxa de aprendizado, o otimizador e a época. Abra o arquivo "schedule_1x.py" no editor de texto vim e modifique as seguintes linhas:
   otimizador = ditado(type="AdamW", lr=0,001, momentum=0,9, weight_decay=0,0001)
   runner = dict(type='EpochBasedRunner', max_epochs=48)
   Linha de comando:vim mmdetection/configs/_base_/schedules/schedule_1x.py
   NOTA: Neste protocolo para este artigo, a taxa de aprendizado foi definida como 0,001, o otimizador AdamW foi usado, a época máxima de treinamento foi definida como 48 e o tamanho do lote foi definido como 16.
2. Comece o treinamento digitando os comandos a seguir. Aguarde até que a rede comece a treinar por 48 épocas e que os pesos treinados resultantes da rede Swin Faster R-CNN sejam gerados na pasta de saída. Salve os pesos do modelo com a mais alta precisão no conjunto de validação.
   Linha de comando: cd mmdetection
   Linha de comando: python tools/train.py congfigs/faster_rcnn/swin_faster_rcnn_swin.py --work-dir ./work_dirs
   NOTA: O modelo foi treinado em uma GPU "NVIDIA GeForce RTX3090 24G". A unidade central de processamento utilizada foi o "AMD Epyc 7742 64-core processor × 128", e o sistema operacional foi o Ubuntu 18.06. O tempo total de treinamento foi de ~2 h.

5. Realização da detecção de nódulos tireoidianos em novas imagens

1. Após o treinamento, selecione o modelo com melhor desempenho no conjunto de validação para detecção de nódulos tireoidianos nas novas imagens.
   1. Primeiro, redimensione a imagem para 512 pixels x 512 pixels e normalize-a. Essas operações são executadas automaticamente quando o script de teste é executado.
      Linha de comando: python tools/test.py congfigs/faster_rcnn/swin_faster_rcnn_swin.py --out ./output
   2. Aguarde até que o script carregue automaticamente os parâmetros do modelo pré-treinado para o Swin Faster R-CNN e alimente a imagem pré-processada no Swin Faster R-CNN para inferência. Aguarde até que o Swin Faster R-CNN produza a caixa de previsão para cada imagem.
   3. Finalmente, permita que o script execute automaticamente o pós-processamento do NMS em cada imagem para remover caixas de detecção duplicadas.
      Observação : os resultados da detecção são enviados para a pasta especificada, que contém as imagens com as caixas de detecção e as coordenadas da caixa delimitadora em um arquivo compactado.

Resultados

As imagens da tireoide foram coletadas de dois hospitais na China de setembro de 2008 a fevereiro de 2018. Os critérios de elegibilidade para inclusão das imagens ultrassonográficas neste estudo foram exame ultrassonográfico convencional antes da biópsia e tratamento cirúrgico, diagnóstico com biópsia ou patologia pós-cirúrgica e idade ≥ 18 anos. Os critérios de exclusão foram imagens sem tecido tireoidiano.

As 3.000 imagens ultrassonográficas incluíram 1.384 nódulos malignos ...

Discussão

Este documento descreve em detalhes como executar a configuração do ambiente, a preparação de dados, a configuração do modelo e o treinamento de rede. Na fase de configuração do ambiente, é preciso prestar atenção para garantir que as bibliotecas dependentes sejam compatíveis e correspondidas. O processamento de dados é um passo muito importante; Tempo e esforço devem ser gastos para garantir a precisão das anotações. Ao treinar o modelo, um "ModuleNotFoundError" pode ser encontrado. Nesse caso, é neces...

Materiais

Name	Company	Catalog Number	Comments
GPU RTX3090	Nvidia	1	24G GPU
mmdetection2.11.0	SenseTime	4	https://github.com/open-mmlab/mmdetection.git
python3.8	—	2	https://www.python.org
pytorch1.7.1	Facebook	3	https://pytorch.org