Swin-PSAxialNet: un'efficiente tecnica di segmentazione multiorgano

Riepilogo

Il presente protocollo descrive un efficiente metodo di segmentazione multiorgano chiamato Swin-PSAxialNet, che ha raggiunto un'eccellente accuratezza rispetto ai precedenti metodi di segmentazione. I passaggi chiave di questa procedura includono la raccolta di set di dati, la configurazione dell'ambiente, la pre-elaborazione dei dati, l'addestramento e il confronto dei modelli e gli esperimenti di ablazione.

Abstract

La segmentazione multiorgano addominale è uno degli argomenti più importanti nel campo dell'analisi delle immagini mediche e svolge un ruolo importante nel supportare i flussi di lavoro clinici come la diagnosi della malattia e la pianificazione del trattamento. In questo studio, viene proposto un efficiente metodo di segmentazione multiorgano chiamato Swin-PSAxialNet basato sull'architettura nnU-Net. È stato progettato specificamente per la segmentazione precisa di 11 organi addominali nelle immagini TC. La rete proposta ha apportato i seguenti miglioramenti rispetto a nnU-Net. In primo luogo, sono stati introdotti i moduli SPD (Space-to-depth) e i blocchi di estrazione delle caratteristiche dell'attenzione assiale condivisa con parametri (PSAA), migliorando la capacità di estrazione delle caratteristiche delle immagini 3D. In secondo luogo, è stato impiegato un approccio di fusione di immagini multiscala per acquisire informazioni dettagliate e caratteristiche spaziali, migliorando la capacità di estrarre caratteristiche sottili e caratteristiche di bordo. Infine, è stato introdotto un metodo di condivisione dei parametri per ridurre il costo computazionale del modello e la velocità di addestramento. La rete proposta raggiunge un coefficiente medio di Dice di 0,93342 per il compito di segmentazione che coinvolge 11 organi. I risultati sperimentali indicano la notevole superiorità di Swin-PSAxialNet rispetto ai precedenti metodi di segmentazione tradizionali. Il metodo mostra un'eccellente accuratezza e bassi costi computazionali nella segmentazione dei principali organi addominali.

Introduzione

L'intervento clinico contemporaneo, compresa la diagnosi delle malattie, la formulazione dei piani di trattamento e il monitoraggio dei risultati del trattamento, si basa sull'accurata segmentazione delle immagini mediche¹. Tuttavia, le complesse relazioni strutturali tra gli organi addominali²rendono un compito impegnativo ottenere una segmentazione accurata di più organi addominali³. Negli ultimi decenni, i fiorenti sviluppi nell'imaging medico e nella visione artificiale hanno presentato nuove opportunità e sfide nel campo della segmentazione multiorgano addominale. La risonanza magnetica avanzata (MRI)⁴ e la tomografia computerizzata (TC)⁵ ci consentono di acquisire immagini addominali ad alta risoluzione. La segmentazione precisa di più organi dalle immagini TC ha un valore clinico significativo per la valutazione e il trattamento di organi vitali come fegato, reni, milza, pancreas, ecc.6,7,8,9,10 Tuttavia, l'annotazione manuale di queste strutture anatomiche, in particolare quelle che richiedono l'intervento di radiologi o radioterapisti, richiede tempo ed è suscettibile di influenze soggettive¹¹. Pertanto, vi è un urgente bisogno di sviluppare metodi automatizzati e accurati per la segmentazione multiorgano addominale.

Le ricerche precedenti sulla segmentazione delle immagini si sono basate prevalentemente sulle reti neurali convoluzionali (CNN), che migliorano l'efficienza della segmentazione impilando i livelli e introducendo ResNet¹². Nel 2020, il team di ricerca di Google ha introdotto il modello Vision Transformer (VIT)¹³, segnando un esempio pionieristico di incorporazione dell'architettura Transformer nel dominio visivo tradizionale per una serie di attività visive¹⁴. Mentre le operazioni convoluzionali possono contemplare solo le informazioni sulle caratteristiche locali, il meccanismo di attenzione in Transformers consente la considerazione completa delle informazioni sulle funzionalità globali.

Considerando la superiorità delle architetture basate su Transformer rispetto alle tradizionali reti convoluzionali¹⁵, numerosi team di ricerca hanno intrapreso un'ampia esplorazione per ottimizzare la sinergia tra i punti di forza dei Transformers e le reti convoluzionali 16,17,18,19. Chen et al. hanno introdotto il TransUNet per le attività di segmentazione delle immagini mediche¹⁶, che sfrutta i trasformatori per estrarre caratteristiche globali dalle immagini. A causa dell'elevato costo della formazione della rete e dell'incapacità di utilizzare il concetto di gerarchia di estrazione delle caratteristiche, i vantaggi di Transformer non sono stati pienamente realizzati.

Per affrontare questi problemi, molti ricercatori hanno iniziato a sperimentare l'incorporazione dei trasformatori come spina dorsale per l'addestramento delle reti di segmentazione. Liu et ^al.17 hanno introdotto il trasformatore Swin, che impiegava un metodo di costruzione gerarchico per l'estrazione di caratteristiche stratificate. È stato proposto il concetto di Windows Multi-Head Self-Attention (W-MSA), che riduce significativamente i costi computazionali, in particolare in presenza di mappe di funzionalità di livello superficiale più grandi. Se da un lato questo approccio ha ridotto i requisiti computazionali, dall'altro ha isolato la trasmissione delle informazioni tra diverse finestre. Per risolvere questo problema, gli autori hanno ulteriormente introdotto il concetto di Shifted Windows Multi-Head Self-Attention (SW-MSA), che consente la propagazione delle informazioni tra finestre adiacenti. Basandosi su questa metodologia, Cao et al. hanno formulato lo Swin-UNet¹⁸, sostituendo le circonvoluzioni 2D in U-Net con i moduli Swin e incorporando W-MSA e SW-MSA nei processi di codifica e decodifica, ottenendo risultati di segmentazione lodevoli.

Al contrario, Zhou et al. hanno evidenziato che il vantaggio del funzionamento conv non può essere ignorato durante l'elaborazione di immagini ad alta risoluzione¹⁹. Il loro proposto nnFormer impiega un metodo di calcolo dell'auto-attenzione basato su blocchi di immagini tridimensionali locali, costituendo un modello Transformer caratterizzato da una struttura a forma di croce. L'utilizzo dell'attenzione basata su blocchi tridimensionali locali ha ridotto significativamente il carico di formazione sulla rete.

Dati i problemi con lo studio di cui sopra, viene proposta un'efficiente struttura gerarchica ibrida per la segmentazione di immagini mediche 3D, denominata Swin-PSAxialNet. Questo metodo incorpora un blocco di downsampling, il blocco Space-to-depth (SPD)²⁰ , in grado di estrarre informazioni globali²¹. Inoltre, aggiunge un modulo PSAA (Parameter Shared Axial Attention), che riduce il numero di parametri di apprendimento da quadratico a lineare e avrà un buon effetto sull'accuratezza dell'addestramento della rete e sulla complessità dei modelli di addestramento²².

Rete Swin-PSAxialNet
L'architettura complessiva della rete adotta la struttura a forma di U di nnU-Net²³, costituita da strutture di encoder e decoder. Queste strutture si occupano dell'estrazione di feature locali e della concatenazione di feature da immagini di grandi e piccole dimensioni, come illustrato nella Figura 1.

Figura 1: Diagramma schematico dell'architettura di rete di Swin-PSAxialNet. Fare clic qui per visualizzare una versione più grande di questa figura.

Nella struttura dell'encoder, il tradizionale blocco Conv è combinato con il blocco SPD²⁰ per formare un volume di downsampling. Il primo livello dell'encoder incorpora Patch Embedding, un modulo che partiziona i dati 3D in patch 3D, (P₁, P₂, P₃) rappresenta patch non sovrapposte in questo contesto, indica la lunghezza della sequenza di patch 3D. Dopo lo strato di inclusione, la fase successiva prevede un'unità di downsampling convoluzionale non sovrapposta che comprende sia un blocco convoluzionale che un blocco SPD. In questa configurazione, il blocco convoluzionale ha uno stride impostato su 1 e il blocco SPD viene impiegato per il ridimensionamento dell'immagine, portando a una riduzione di quattro volte della risoluzione e a un aumento di due volte dei canali.

Nella struttura del decoder, ogni blocco di upsampling dopo il livello Bottleneck Feature è costituito da una combinazione di un blocco di upsampling e di un blocco PSAA. La risoluzione della mappa delle caratteristiche è raddoppiata e il numero di canali è dimezzato tra ogni coppia di stadi del decoder. Per ripristinare le informazioni spaziali e migliorare la rappresentazione delle caratteristiche, viene eseguita la fusione delle caratteristiche tra immagini su larga e piccola scala tra i blocchi di upsampling. Infine, i risultati dell'upsampling vengono inseriti nel livello Head per ripristinare le dimensioni originali dell'immagine, con una dimensione di output di (H × W × D × C, C = 3).

Architettura a blocchi SPD
Nei metodi tradizionali, la sezione di sottocampionamento impiega un singolo passo con una dimensione del passo di 2. Ciò comporta il pooling convoluzionale in posizioni locali nell'immagine, limitando il campo ricettivo e confinando il modello all'estrazione di caratteristiche da piccole patch dell'immagine. Questo metodo utilizza il blocco SPD, che divide finemente l'immagine originale in tre dimensioni. L'immagine 3D originale viene segmentata uniformemente lungo gli assi x, y e z, ottenendo quattro corpi di sottovolume. (Figura 2) Successivamente, i quattro volumi vengono concatenati attraverso l'operazione "cat" e l'immagine risultante subisce una convoluzione 1 × 1 × 1 per ottenere l'immagine sottocampionata²⁰.

Figura 2: Diagramma a blocchi SPD. Fare clic qui per visualizzare una versione più grande di questa figura.

Architettura a blocchi PSAA
A differenza delle tradizionali reti CNN, il blocco PSAA proposto è più efficace nel condurre un focus sull'informazione globale e più efficiente nell'apprendimento e nella formazione della rete. Ciò consente l'acquisizione di immagini e caratteristiche spaziali più ricche. Il blocco PSAA include l'apprendimento dell'attenzione assiale basato sulla condivisione di parametri in tre dimensioni: altezza, larghezza e profondità. Rispetto al meccanismo di attenzione convenzionale che esegue l'apprendimento dell'attenzione per ogni pixel nell'immagine, questo metodo conduce in modo indipendente l'apprendimento dell'attenzione per ciascuna delle tre dimensioni, riducendo la complessità dell'auto-attenzione da quadratica a lineare. Inoltre, viene impiegato un meccanismo di condivisione dei parametri key-queries apprendibile, che consente alla rete di eseguire operazioni del meccanismo di attenzione in parallelo attraverso le tre dimensioni, ottenendo una rappresentazione delle caratteristiche più veloce, superiore ed efficace.

Protocollo

Il presente protocollo è stato approvato dal Comitato Etico dell'Università di Nantong. Implica la valutazione intelligente e la ricerca di dati multimodali acquisiti non invasivi o minimamente invasivi, tra cui immagini mediche umane, movimenti degli arti e imaging vascolare, utilizzando la tecnologia dell'intelligenza artificiale. La Figura 3 illustra il diagramma di flusso complessivo della segmentazione multiorgano. Tutti i collegamenti web necessari sono forniti nella Tabella dei Materiali.

Figura 3: Diagramma di flusso generale della segmentazione multiorgano. Fare clic qui per visualizzare una versione più grande di questa figura.

1. Raccolta di set di dati

1. Scarica il set di dati AMOS2022²⁴ (vedi Tabella dei materiali).
2. Selezionare 160 immagini come set di dati di training e 40 immagini come set di dati di test.
3. Esegue terminalmente mkdir ~/PaddleSeg/contrib/MedicalSeg/data/raw_data.
4. Apri il percorso di raw_data.
5. Posizionare il set di dati nella directory raw_data e assicurarsi che corrisponda correttamente ai nomi dei file nelle directory "imagesTr" e "labelsTr".
6. Creare dataset.json file.
7. Aggiungere informazioni sul set di dati, ad esempio numTraining, numTest e nome delle etichette , nel file "dataset.json".
   NOTA: Il set di dati per questo studio è costituito da 200 set di dati CT di alta qualità selezionati dal set di dati ufficiale AMOS2022 500 CT per scopi di formazione e test. Il set di dati comprende 11 organi, tra cui milza, rene destro, rene sinistro, cistifellea, esofago, fegato, stomaco, aorta, vena cava inferiore, pancreas e vescica.

2. Configurazione dell'ambiente

1. Installare l'ambiente Paddlepaddle (vedi Tabella dei materiali) e la corrispondente versione^{CUDA 25}.
   NOTA: Si consiglia di utilizzare Paddlepaddle versione 2.5.0 e CUDA versione 11.7.
2. Git clona il repository PaddleSeg²⁵.
3. Esecuzione terminale cd ~/PaddleSeg/contrib/MedicalSeg/.
4. Esegui pip install -r requirements.txt.
5. Esegui pip install medpy.

3. Pretrattamento dei dati

1. Modifica il file "yml", inclusi parametri come data_root, batch_size, modello, train_dataset, val_dataset, ottimizzatore, lr_scheduler e perdita.
2. Specifica i parametri richiesti per l'esecuzione, inclusi "-config, --log_iters, --precision, --nnunet, --save_dir, --save_interval, ecc.
   NOTA: Il "raw_data" originale viene trasformato in tre tipi di file di dati: "Ritagliato", "Decathlon" e "Pre-elaborato", che soddisfano diversi requisiti di formazione e valutazione per migliorare le prestazioni del modello e l'efficacia dell'addestramento.

4. Addestramento e confronto dei modelli

NOTA: Come linea di base ampiamente utilizzata nel campo della segmentazione delle immagini, nnU-Net²³ funge da modello di base nello studio. Il processo di confronto dei modelli specifico è il seguente.

1. Treno nnU-Net
   1. Configura con una dimensione del batch di 2 e 80.000 iterazioni, registra ogni 20 iterazioni e utilizza la precisione fp16.
   2. Impostate il save_dir come cartella "output" all'interno della directory di lavoro, con un intervallo di salvataggio impostato a 1.000 iterazioni.
   3. Aggiungere il parametro --use_vdl per la visualizzazione dei parametri VisualDL.
   4. Esegui train.py.
   5. Crea quattro file yml , specifica le pieghe 1-4 e addestra il modello con la convalida incrociata a cinque pieghe.
2. Treno Swin-UNet
   1. Mantenere la coerenza con le condizioni sperimentali precedentemente stabilite.
   2. Rimuovi il parametro --nnunet e usa --swinunet.
   3. Esegui il file train.py.
   4. Il treno piega 1-4 individualmente e poi soggetto a elaborazione d'insieme.
3. Treno TransUNet
   1. Seguire le procedure descritte nel passaggio 4.1.
   2. Apri il file yml .
   3. Modificare type: nnunet in type: transunet.
   4. Modificare il parametro --nnunet in --transunet.
   5. Eseguire il file train.py.
   6. Treno piega da 1 a 4 individualmente ed elabora l'elaborazione dell'insieme.
4. Treno UNETR
   1. Mantenere variabili sperimentali coerenti.
   2. Ripetere le procedure descritte in precedenza come Swin-UNet e TransUNet (passaggio 4.2 e passaggio 4.3).
   3. Esegui train.py.
   4. Treno piega da 1 a 4 individualmente ed elabora l'elaborazione dell'insieme.
5. Treno nnFormer
   1. Modifica i parametri come Swin-UNet e TransUNet.
   2. Esegui una piega singola train.py.
   3. Eseguire l'elaborazione dell'ensemble.

5. Esperimento di ablazione

1. Blocco PSAA per l'intera rete
   1. Mantieni le variabili coerenti con il passaggio 4.1.
   2. Imposta volume_shape = (64,192,192) e Axial_attention = Vero.
   3. Esegui una piega singola train.py.
   4. Elabora l'elaborazione dell'ensemble su cinque pieghe.
2. Blocco SPD per l'intera rete
   1. Mantieni le variabili coerenti con il passaggio 4.1.
   2. Imposta SPD_enable = True e Axial_attention = False.
   3. Esegui una piega singola train.py.
   4. Elabora l'elaborazione dell'ensemble su cinque pieghe.
3. Blocco PSAA per l'upsampling
   NOTA: Non utilizzare il blocco SPD per il downsampling.
   1. Utilizzare il blocco PSAA per l'upsampling.
   2. Mantieni le variabili coerenti con il passaggio 4.1.
   3. Impostare Axial_attention = False nella parte di downsampling e SPD_enable = False.
   4. Esegui una piega singola train.py.
   5. Elabora cinque volte l'elaborazione dell'insieme.
4. Blocco PSAA per l'upsampling
   NOTA: Utilizzare il blocco SPD per il downsampling.
   1. Utilizzare il blocco SPD per il downsampling e il blocco PSAA per l'upsampling.
   2. Mantieni le variabili coerenti con il passaggio 4.1.
   3. Impostare Axial_attention = False nella parte di downsampling e SPD_enable = True.
   4. Esegui una piega singola train.py.
   5. Elabora cinque volte l'elaborazione dell'insieme.
   6. Impostare il numero di iterazioni su 2.00.000 a causa dei risultati superiori.

Risultati

Questo protocollo utilizza due metriche per valutare il modello: il punteggio di somiglianza dei dadi (DSC) e la distanza di Hausdorff del 95% (HD95). Il DSC misura la sovrapposizione tra le previsioni di segmentazione dei voxel e la verità di base, mentre il 95% HD valuta la sovrapposizione tra i limiti di previsione della segmentazione dei voxel e la verità di base, filtrando il 5% dei valori anomali. La definizione di DSC²⁶ è la seguente:

Discussione

La segmentazione degli organi addominali è un lavoro complicato. Rispetto ad altre strutture interne del corpo umano, come il cervello o il cuore, la segmentazione degli organi addominali sembra più impegnativa a causa del basso contrasto e dei grandi cambiamenti di forma nelle immagini TC^27,28. Swin-PSAxialNet è proposto qui per risolvere questo difficile problema.

Nella fase di raccolta dei dati, ...

Materiali

Name	Company	Catalog Number	Comments
AMOS2022 dataset	None	None	Datasets for network training and testing. The weblink is: https://pan.baidu.com/s/1x2ZW5FiZtVap0er55Wk4VQ?pwd=xhpb
ASUS mainframe	ASUS		https://www.asusparts.eu/en/asus-13020-01910200
CUDA version 11.7	NVIDIA		https://developer.nvidia.com/cuda-11-7-0-download-archive
NVIDIA GeForce RTX 3090	NVIDIA		https://www.nvidia.com/en-in/geforce/graphics-cards/30-series/rtx-3090-3090ti/
Paddlepaddle environment	Baidu	None	Environmental preparation for network training. The weblink is: https://www.paddlepaddle.org.cn/
PaddleSeg	Baidu	None	The baseline we use: https://github.com/PaddlePaddle/PaddleSeg