Orbital Bilgisayarlı Tomografi ile Derin Öğrenme Tabanlı Tıbbi Görüntü Segmentasyonunun Uygulanması

Özet

Orbital bilgisayarlı tomografi (BT) görüntüleri için nesne segmentasyon protokolü tanıtıldı. Süper çözünürlük kullanarak yörüngesel yapıların temel gerçekliğini etiketleme, BT görüntülerinden ilgi hacmini çıkarma ve orbital BT görüntüleri için 2D sıralı U-Net kullanarak çok etiketli segmentasyonu modelleme yöntemleri denetimli öğrenme için açıklanmaktadır.

Özet

Son zamanlarda, derin öğrenme tabanlı segmentasyon modelleri oftalmik alanda yaygın olarak uygulanmaktadır. Bu çalışma, U-Net'e dayalı bir orbital bilgisayarlı tomografi (BT) segmentasyon modeli oluşturma sürecinin tamamını sunmaktadır. Denetimli öğrenme için, emek yoğun ve zaman alıcı bir süreç gereklidir. Orbital BT görüntülerindeki zemin gerçeğini verimli bir şekilde maskelemek için süper çözünürlükle etiketleme yöntemi tanıtıldı. Ayrıca, ilgi alanı hacmi, veri kümesinin ön işlemesinin bir parçası olarak kırpılır. Daha sonra, yörüngesel yapıların ilgi hacimlerini çıkardıktan sonra, yörüngesel BT'nin anahtar yapılarını segmentlere ayırma modeli, girdi olarak kullanılan sıralı 2D dilimler ve dilimler arası korelasyonları korumak için iki çift yönlü evrişimli uzun vadeli kısa anı ile U-Net kullanılarak inşa edilir. Bu çalışma öncelikle göz küresi, optik sinir ve ekstraoküler kasların segmentasyonuna odaklanmaktadır. Segmentasyonun değerlendirilmesi, segmentasyonun derin öğrenme yöntemleri kullanılarak orbital BT görüntülerine potansiyel olarak uygulanmasını ortaya koymaktadır.

Giriş

Yörünge, göz küresi, sinirler, ekstraoküler kaslar, destekleyici dokular ve görme ve göz küresi hareketleri için damarlar gibi önemli yapıları içeren yaklaşık^{30.1 cm3'lük} küçük ve karmaşık bir alandır¹. Orbital tümörler yörüngedeki anormal doku büyümeleridir ve bazıları hastaların görme veya göz küresi hareketini tehdit eder ve bu da ölümcül işlev bozukluğuna yol açabilir. Hastaların görme fonksiyonlarını korumak için, klinisyenler tümör özelliklerine göre tedavi yöntemlerine karar vermelidir ve cerrahi biyopsi genellikle kaçınılmazdır. Bu kompakt ve kalabalık alan genellikle klinisyenlerin normal yapıya zarar vermeden biyopsi yapmalarını zorlaştırır. Yörüngenin durumunu belirlemek için patolojinin derin öğrenmeye dayalı görüntü analizi, biyopsi sırasında orbital dokularda gereksiz veya önlenebilir yaralanmalardan kaçınmaya yardımcı olabilir². Orbital tümörler için bir görüntü analizi yöntemi tümör tespiti ve segmentasyonudur. Bununla birlikte, orbital tümörleri içeren BT görüntüleri için büyük miktarda veri toplanması, düşük insidansları nedeniyle sınırlıdır³. Hesaplamalı tümör tanısı için diğer etkili yöntem⁴ , tümörün yörüngenin normal yapılarıyla karşılaştırılmasını içerir. Normal yapılardaki orbital BT görüntülerinin sayısı tümörlerdekinden nispeten daha fazladır. Bu nedenle, normal yörünge yapılarının segmentasyonu bu hedefe ulaşmak için ilk adımdır.

Bu çalışma, veri toplama, ön işleme ve sonraki modelleme dahil olmak üzere derin öğrenme tabanlı yörüngesel yapı segmentasyonunun tüm sürecini sunmaktadır. Çalışmanın, maskelenmiş bir veri kümesini verimli bir şekilde oluşturmak için mevcut yöntemi kullanmak isteyen klinisyenler ve orbital BT görüntüleri için ön işleme ve modelleme hakkında bilgi gerektiren oftalmologlar için bir kaynak olması amaçlanmıştır. Bu makalede, yörüngesel yapı segmentasyonu ve sıralı U-Net için yeni bir yöntem, tıbbi görüntü segmentasyonu için U-Net'te temsili bir derin öğrenme çözümüne dayanan sıralı bir 2D segmentasyon modeli sunulmaktadır. Protokol, (1) yörünge yapısı segmentasyonunun zemin gerçeği için bir maskeleme aracının nasıl kullanılacağı, (2) yörünge görüntülerinin ön işlenmesi için gerekli adımlar ve (3) segmentasyon modelinin nasıl eğitileceği ve segmentasyon performansının nasıl değerlendirileceği dahil olmak üzere yörünge segmentasyonunun ayrıntılı prosedürünü açıklamaktadır.

Denetimli öğrenme için, 5 yıldan fazla bir süredir kurul sertifikalı dört deneyimli göz doktoru, göz küresi, optik sinir ve ekstraoküler kasların maskelerine manuel olarak açıklama ekledi. Tüm göz doktorları, BT taramalarında verimli maskeleme için süper çözünürlük kullanan maskeleme yazılımı programını (MediLabel, Malzeme Tablosuna bakınız) kullandılar. Maskeleme yazılımı aşağıdaki yarı otomatik özelliklere sahiptir: (1) Benzer görüntü yoğunluğu⁵ değerlerine sahip süper piksel harita kümeleri oluşturan SmartPencil; (2) Devam eden ön plan ve arka planın enerji fonksiyonunu hesaplayarak segmentasyon maskeleri üreten SmartFill, ^6,7; ve (3) segmentasyon maskelerinin kenarlıklarını orijinal görüntüyle temiz ve tutarlı hale getiren Otomatik Düzeltme. Yarı otomatik özelliklerin örnek görüntüleri Şekil 1'de gösterilmiştir. Manuel maskelemenin ayrıntılı adımları protokol bölümünde verilmiştir (adım 1).

Bir sonraki adım, orbital BT taramalarının ön işlenmesidir. İlgilenilen orbital hacimleri (VOI'ler) elde etmek için, normal koşullarda göz küresi, kas ve sinirin bulunduğu yörünge alanları tanımlanır ve bu alanlar kırpılır. Veri kümesi, <1 mm düzlem içi voksel çözünürlüğü ve dilim kalınlığı ile yüksek bir çözünürlüğe sahiptir, bu nedenle enterpolasyon işlemi atlanır. Bunun yerine, pencere kırpma 48 HU kırpma düzeyinde ve 400 HU penceresinde gerçekleştirilir. Kırpma ve pencere kırpmasından sonra, segmentasyon modeli girişi⁸ için yörünge VOI'lerinin üç seri dilimi oluşturulur. Protokol bölümü (adım 2), ön işleme adımları hakkında ayrıntılı bilgi sağlar.

U-Net⁹, tıbbi görüntüler için yaygın olarak kullanılan bir segmentasyon modelidir. U-Net mimarisi, tıbbi görüntülerin özelliklerini çıkaran bir kodlayıcı ve ayrımcı özellikleri semantik olarak sunan bir kod çözücüden oluşur. BT taramaları için U-Net kullanıldığında, evrişimli katmanlar 3D filtrelerden oluşur^10,11. Bu bir zorluktur çünkü 3B filtrelerin hesaplanması büyük bir bellek kapasitesi gerektirir. 3D U-Net'in bellek gereksinimlerini azaltmak için, U-Net'te bir dizi sıralı 2D dilimin kullanıldığı SEQ-UNET⁸ önerilmiştir. 3D BT taramasının 2D görüntü dilimleri arasındaki mekansal zamansal korelasyonların kaybını önlemek için, temel U-Net'te iki çift yönlü evrişimli uzun süreli kısa anı (C-LSTM)¹² kullanılır. İlk çift yönlü C-LSTM, kodlayıcının sonundaki dilimler arası korelasyonları çıkarır. İkinci çift yönlü C-LSTM, kod çözücünün çıkışından sonra, dilim dizisinin boyutlarındaki anlamsal segmentasyon bilgisini tek bir görüntü segmentasyonuna dönüştürür. SEQ-UNET'in mimarisi Şekil 2'de gösterilmiştir. Uygulama kodları github.com/SleepyChild1005/OrbitSeg mevcuttur ve kodların kullanımı protokol bölümünde (adım 3) ayrıntılı olarak açıklanmıştır.

Protokol

Mevcut çalışma, Katolik Tıp Merkezi Kurumsal Gözden Geçirme Kurulu'nun (IRB) onayı ile gerçekleştirilmiş ve sağlık bilgilerinin gizliliği, gizliliği ve güvenliği korunmuştur. Orbital BT verileri, Kore Katolik Üniversitesi Tıp Fakültesi'ne (CMC; Seul St. Mary's Hastanesi, Yeouido St. Mary's Hastanesi, Daejeon St. Mary's Hastanesi ve St. Vincent Hastanesi). Orbital BT taramaları Ocak 2016'dan Aralık 2020'ye kadar elde edildi. Veri kümesi, yaşları 20 ila 60 yıl arasında değişen Koreli erkek ve kadınlardan 46 orbital BT taraması içeriyordu. Çalışma zamanı ortamı (RTE) Ek Tablo 1'de özetlenmiştir.

1. Orbital BT taramalarında göz küresi, optik sinir ve ekstraoküler kasların maskelenmesi

1. Maskeleme yazılımı programını çalıştırın.
   NOT: Maskeleme yazılımı programı (MediLabel, Malzeme Tablosuna bakınız), segmentasyon için birkaç tıklama gerektiren ve yüksek hıza sahip bir tıbbi görüntü etiketleme yazılımı programıdır.
2. Açık dosya simgesine tıklayarak ve hedef BT dosyasını seçerek orbital BT'yi yükleyin. Daha sonra BT taramaları ekranda gösterilir.
3. Süper pikseller kullanarak göz küresini, optik siniri ve ekstraoküler kasları maskeleyin.
   1. MediLabel'daki SmartPencil sihirbazına tıklayarak SmartPencil'ı çalıştırın (Video 1).
   2. Gerekirse süper piksel haritasının çözünürlüğünü kontrol edin (ör. 100, 500, 1.000 ve 2.000 süper piksel).
   3. Benzer görüntü yoğunluğu değerlerine sahip piksellerin kümelendiği süper piksel haritasındaki göz küresi, optik sinir ve ekstraoküler kasların süper pikselleri kümesine tıklayın.
4. MediLabel'daki otomatik düzeltme işlevleriyle maskeleri hassaslaştırın.
   1. Dilimlerdeki süper piksellerden bazılarını maskeledikten sonra SmartFill sihirbazına tıklayın (Video 2).
   2. Otomatik Düzeltme simgesine tıklayın ve düzeltilen maske etiketlerinin hesaplandığından emin olun (Video 3).
5. Maskelemenin iyileştirilmesi tamamlanana kadar adım 1.3 ve adım 1.4'ü tekrarlayın.
6. Maskelenmiş görüntüleri kaydedin.

2. Ön işleme: VOI'leri pencere kırpma ve kırpma

1. VOI'leri preprocessing_multilabel.py ayıklayın (dosya GitHub'dan indirilebilir).
   1. preprocessing_multilabel.py çalıştırın.
   2. Kırpılan ve VOI'ler klasörüne kaydedilen taramaları ve maskeleri kontrol edin.
2. builder_multilabel.py ile SEQ-UNET'e giriş için VOI'leri üç sıralı BT dilimi kümesine dönüştürün (dosya GitHub'dan indirilebilir).
   1. sequence_builder_multilabel.py çalıştırın.
   2. Dönüştürme sırasında dilimlerin ve maskelerin 64 piksele 64 piksel olarak yeniden boyutlandırıldığından emin olun.
   3. Dönüştürme sırasında, 48 HU kırpma düzeyi ve 400 HU penceresiyle kırpma gerçekleştirin.
   4. Sırasıyla tarama klasöründeki kaydedilmiş dönüştürülmüş BT taramalarını (nii dosyası) ve maskeleri (nii dosyası) ve önceden işlenmiş klasörlerin altındaki maske klasörünü kontrol edin.

3. Yörüngesel segmentasyon modelinin dört çapraz doğrulaması

1. Aşağıdaki adımları izleyerek modeli oluşturun.
   1. main.py çalıştırın.
   2. main.py çalıştırırken, dört çapraz doğrulamanın katlama sayısını, x'in 0, 1, 2 veya 3 olduğu "-katlama sayısı x" ile verin.
   3. main.py çalıştırırken, eğitim yinelemelerinin sayısı olan dönemi, x'in çağ numarası olduğu "-epoch x" gibi bir seçenek olarak kullanın. Varsayılan sayı 500'dür.
   4. main.py çalıştırırken, tek bir eğitim oturumundaki eğitim örneklerinin sayısı olan toplu iş boyutunu ayarlayın. Varsayılan sayı 32'dir.
   5. main.py, BT taramalarını ve maskelerini yükleyin ve LIDC-IDRI veri kümesini kullanarak SEQ-UNET'i önceden eğitilmiş parametrelerle başlatın (kanser görüntüleme arşivinden indirilebilir).
   6. main.py, eğitimden sonra modelin testini gerçekleştirin. Değerlendirme metriklerini, zar puanını ve hacim benzerliğini hesaplayın ve bunları metrikler klasörüne kaydedin.
   7. Segmentlere ayrılmış klasördeki sonuçları kontrol edin.

Sonuçlar

Kantitatif değerlendirme için, BT görüntü segmentasyonu görevinde kullanılan iki değerlendirme metriği benimsenmiştir. Bunlar, zar puanı (DICE) ve hacim benzerliği (VS)¹³ dahil olmak üzere iki benzerlik metriğiydi:

ZAR (%) = 2 × TP/(2 × TP + FP + FN)
VS (%) = 1 − | FN − FP|/(2 × TP + FP + FN)

TP, FP ve FN, segmentasyon sonucu ve segmentasyon maskesi verildiğinde, sırasıyla gerçek pozitif, yanlış pozitif ve yanlış negatif değerleri gösterir.

SEQ-UNET'in yörüngesel yapı segmentasyonu için performansı dört çapraz doğrulama ile değerlendirildi. Sonuçlar Tablo 1'de gösterilmiştir. SEQ-UNET kullanılarak yapılan göz küresi segmentasyonu 0.86 zar skoru ve 0.83 VS elde etti. Ekstraoküler kasların ve optik sinirin segmentasyonu düşük zar skorlarına ulaştı (sırasıyla 0.54 ve 0.34). Göz küresi segmentasyonunun zar skoru% 80'in üzerindeydi, çünkü VOI'lerin büyük bir kısmına ve BT taramaları arasında çok az heterojenliğe sahipti. Ekstraoküler kasların ve optik sinirin zar skorları nispeten düşüktü, çünkü BT hacminde nadiren ortaya çıktılar ve nispeten az sayıda BT diliminde bulundular. Bununla birlikte, ekstraoküler kasların ve optik sinirin görsel benzerlik puanları (sırasıyla 0.65 ve 0.80) zar skorlarından daha yüksekti. Bu sonuç, segmentasyonun özgüllüğünün düşük olduğunu göstermektedir. Genel olarak, SEQ-UNET'in tüm yörüngesel alt yapıların segmentasyonu için zar skoru ve görsel benzerliği sırasıyla 0.79 ve 0.82 idi. Yörüngesel yapı segmentasyonunun görsel sonuçlarına örnekler Şekil 3'te gösterilmiştir. Şekil 3A-C'de, mavi tahmin edilen segmentasyon sonucudur ve kırmızı temel doğruluk maskesidir. Şekil 3B'de kırmızı, yeşil ve turuncu sırasıyla göz küresi, optik kas ve sinir segmentasyonudur.

Şekil 1: Yarı otomatik maskeleme özellikleri. Orbital BT taramalarında (A) SmartPencil, (B) SmartFill ve (C) Otomatik Düzeltme kullanarak göz küresini, ekstraoküler kasları ve optik siniri maskelemek. Göz küresinin maskesi, dilimlerin süper piksellerini hesaplayan SmartPencil tarafından etiketlenir ve maske, süper piksellere tıklanarak yapılır. Göz küresi süper piksellerinden bazılarına tıkladıktan sonra, tüm göz küresi maskesi SmartFill tarafından hesaplanabilir. Optik sinirin maskelenmesi durumunda, maskeleme iyileştirmesi Otomatik Düzeltme ile yapılır. Mavi renk etiketli göz küreleri (A) ve (B) harflerinde gösterilir. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

Resim 2: SEQ U-Net mimarisi. Giriş ve çıkış olarak sıralı 2B dilimler; U-Net mimarisine dayalı kodlama ve kod çözme bloklarının sonuna iki çift yönlü C-LSTM uygulanır. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

Şekil 3: Yörünge yapılarının segmentasyon sonuçları. (A) Göz küresi (etiket 1), (B) optik kas (etiket 2), (C) optik sinir (etiket 3) ve (D) çoklu etiket (etiket 1, 2 ve 3). Soldaki görüntü yörüngenin VOI'sidir, merkez görüntü tahmin edilen segmentasyondur ve sağ görüntü temel gerçektir. (A), (B) ve (C)'de, mavi tahmin edilen segmentasyon sonucudur ve kırmızı temel doğruluk maskesidir. (D)'de kırmızı, yeşil ve turuncu sırasıyla göz küresi, ekstraoküler kas ve optik sinir segmentasyonudur. Tahmin edilen segmentasyon, göz küresi durumunda yüksek performans (DICE: 0.86'ya karşı 0.82), ancak ekstraoküler kas (DICE: 0.54'e karşı 0.65) ve optik sinir (DICE: 0.34'e karşı 0.8) durumunda düşük performans gösterdi. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

	Çoklu Etiket		Etiket 1 (Göz küresi)		Etiket 2 (Ekstraoküler kas)		Etiket 3 (Optik sinir)
	ZAR	VS	ZAR	VS	ZAR	VS	ZAR	VS
SEQ-UNET	0.79	0.82	0.86	0.83	0.54	0.65	0.34	0.8

Tablo 1: Zar skoru ve görsel benzerlik için segmentasyon sonuçları. Nispeten çok sayıda dilime sahip olan göz küresi, 0.8'lik bir DICE ile iyi bir şekilde segmente edildi, ancak az sayıda dilim ve çizgi şekline sahip olan ekstraoküler kas ve optik sinir, sırasıyla 0.54 ve 0.34 DICE değerleriyle kısmen bölümlere ayrıldı.

Video 1: Maskeleme yazılımı programındaki SmartPencil sihirbazı. Göz küresi maskelemesi için birden fazla piksele açıklama eklemenin bir gösterimi. Maskeleme görevleri, kümelenmiş süper piksellere tek bir tıklama ile etkinleştirilir. Bu videoyu indirmek için lütfen tıklayınız.

Video 2: Maskeleme yazılımı programındaki SmartFill sihirbazı. Göz küresi maskelemesi için birden fazla piksele açıklama eklemenin bir gösterimi. Açıklama alanında bazı pikselleri seçtikten sonra, bu işlev seçilen piksellere benzer yoğunluklarda tam segmentasyon maskeleri oluşturur. Bu videoyu indirmek için lütfen tıklayınız.

Video 3: Maskeleme yazılımı programında Otomatik Düzeltme. Önceden eğitilmiş bir evrişimli sinir ağı algoritması kullanılarak maskelenmiş bir pikselin otomatik olarak düzeltilmesinin bir gösterimi. Bu videoyu indirmek için lütfen tıklayınız.

Ek Tablo 1: Maskeleme, ön işleme ve segmentasyon modellemesinin çalışma zamanı ortamı (RTE). Bu tabloyu indirmek için lütfen tıklayınız.

Tartışmalar

Derin öğrenme tabanlı tıbbi görüntü analizi, hastalık tespiti için yaygın olarak kullanılmaktadır. Oftalmoloji alanında diyabetik retinopati, glokom, yaşa bağlı makula dejenerasyonu ve prematüre retinopatisinde tespit ve segmentasyon modelleri kullanılmaktadır. Bununla birlikte, oftalmolojidekiler dışındaki diğer nadir hastalıklar, derin öğrenme analizi için büyük açık kamu veri kümelerine sınırlı erişim nedeniyle çalışılmamıştır. Genel veri kümesinin bulunmadığı durumlarda bu yöntem uygulanırken, emek yoğun ve zaman alıcı bir görev olan maskeleme adımı kaçınılmazdır. Bununla birlikte, önerilen maskeleme adımı (protokol bölümü, adım 1) kısa sürede yüksek doğrulukta maskeleme oluşturmaya yardımcı olur. Düşük düzeyli görüntü özelliklerinde benzer pikselleri kümeleyen süper pikselleri ve sinir ağı tabanlı dolguyu kullanan klinisyenler, belirli pikselleri işaret etmek yerine piksel gruplarını tıklatarak maskeleri etiketleyebilir. Ayrıca, otomatik düzeltme işlevleri maske işlemlerinin iyileştirilmesine yardımcı olur. Bu yöntemin etkinliği ve etkinliği, tıbbi araştırmalarda daha fazla maskelenmiş görüntü üretilmesine yardımcı olacaktır.

Ön işlemedeki birçok olasılık arasında, VOI'lerin çıkarılması ve pencere kırpması etkili yöntemlerdir. Burada, VOI'lerin çıkarılması ve pencere kırpma, protokolün 2. adımında tanıtılmıştır. Klinisyenler veri kümesini hazırlarken, verilen veri kümesinden VOI'nin çıkarılması süreçteki en önemli adımdır, çünkü çoğu segmentasyon vakası tüm tıbbi görüntüdeki küçük ve belirli bölgelere odaklanır. VOI'lerle ilgili olarak, göz küresi, optik sinir ve ekstraoküler kasların bölgeleri konuma göre kırpılır, ancak VOI'leri çıkarmak için daha etkili yöntemler segmentasyon performansını iyileştirme potansiyeline sahiptir¹⁴.

Segmentasyon için çalışmada SEQ-UNET kullanılmıştır. 3D tıbbi görüntüler büyük hacimlere sahiptir, bu nedenle derin sinir ağı modelleri büyük bellek kapasiteleri gerektirir. SEQ-UNET'te, segmentasyon modeli, 3D bilgilerin özelliklerini kaybetmeden gerekli bellek boyutunu azaltmak için az sayıda dilimle uygulanır.

Model, model eğitimi için çok fazla bir sayı olmayan 46 VOI ile eğitilmiştir. Az sayıda eğitim veri kümesi nedeniyle, optik sinir ve ekstraoküler kas segmentasyonunun performansı sınırlıdır. Transfer öğrenme¹⁵ ve alan adı uyarlaması⁸ , segmentasyon performansını iyileştirmek için bir çözüm sağlayabilir.

Burada tanıtılan tüm segmentasyon süreci orbital BT segmentasyonu ile sınırlı değildir. Etkili etiketleme yöntemi, uygulama etki alanının araştırma alanına özgü olduğu durumlar için yeni bir tıbbi görüntü veri kümesi oluşturulmasına yardımcı olur. GitHub'ın ön işleme ve segmentasyon modellemesi ile ilgili python kodları, kırpma bölgesinin, pencere kırpma düzeyinin ve sıralı dilimlerin sayısı, U-Net mimarileri vb. gibi model hiper parametrelerinin değiştirilmesiyle diğer etki alanlarına uygulanabilir.

Malzemeler

Name	Company	Catalog Number	Comments
GitHub link			github.com/SleepyChild1005/OrbitSeg
MediLabel	INGRADIENT (Seoul, Korea)		a medical image labeling software promgram for segmentation with fewer click and higher speed
SEQ-UNET			downloadable from GitHub
SmartFil			wizard in MediLabel
SmartPencil			wizard in MediLabel