Name: deep learning-based segmentation of cryo-electron tomograms
Uploaded: 2022-11-11T14:00:00
Duration: 10 min 25 s
Description: Watch this Scientific Journal Video about Deep Learning-Based Segmentation of Cryo-Electron Tomograms at JoVE.com

Bu çalışma, Penn State College of Medicine ve Biyokimya ve Moleküler Biyoloji Bölümü ile Tütün Uzlaşma Fonu (TSF) hibesi 4100079742-EXT tarafından desteklenmiştir. Bu projede kullanılan CryoEM ve CryoET Core (RRID: SCR_021178) hizmetleri ve araçları, kısmen, Pennsylvania Eyalet Üniversitesi Tıp Fakültesi tarafından, Araştırma ve Lisansüstü Öğrenciler Dekan Yardımcısı Ofisi ve Pennsylvania Sağlık Bakanlığı aracılığıyla Tütün Yerleşim Fonları (CURE) kullanılarak finanse edilmiştir. İçerik yalnızca yazarların sorumluluğundadır ve mutlaka Üniversite veya Tıp Fakültesi'nin resmi görüşlerini temsil etmemektedir. Pennsylvania Sağlık Bakanlığı, herhangi bir analiz, yorum veya sonuç için özellikle sorumluluk kabul etmez.

<ol>
	<li>Bai, X. -. C., Mcmullan, G., Scheres, S. H. W. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=How+cryo-EM+is+revolutionizing+structural+biology.">How cryo-EM is revolutionizing structural biology.</a> Trends in Biochemical Sciences. 40 (1), 49-57 (2015).</li><li>de Oliveira, T. M., van Beek, L., Shilliday, F., Debreczeni, J., Phillips, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Cryo-EM:+The+resolution+revolution+and+drug+discovery.">Cryo-EM: The resolution revolution and drug discovery.</a> SLAS Discovery. 26 (1), 17-31 (2021).</li><li>Danev, R., Yanagisawa, H., Kikkawa, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Cryo-EM+performance+testing+of+hardware+and+data+acquisition+strategies.">Cryo-EM performance testing of hardware and data acquisition strategies.</a> Microscopy. 70 (6), 487-497 (2021).</li><li>Mastronarde, D. N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Automated+electron+microscope+tomography+using+robust+prediction+of+specimen+movements.">Automated electron microscope tomography using robust prediction of specimen movements.</a> Journal of Structural Biology. 152 (1), 36-51 (2005).</li><li>. Tomography 5 and Tomo Live Software User-friendly batch acquisition for and on-the-fly reconstruction for cryo-electron tomography Datasheet Available from: <a target="_blank" href="https://assets.thermofisher.com/TFS-Assets/MSD/Datasheets/tomography-5-software-ds0362.pdf">https://assets.thermofisher.com/TFS-Assets/MSD/Datasheets/tomography-5-software-ds0362.pdf</a> (2022)</li><li>Danev, R., Baumeister, W. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Expanding+the+boundaries+of+cryo-EM+with+phase+plates.">Expanding the boundaries of cryo-EM with phase plates.</a> Current Opinion in Structural Biology. 46, 87-94 (2017).</li><li>Hylton, R. K., Swulius, M. T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Challenges+and+triumphs+in+cryo-electron+tomography.">Challenges and triumphs in cryo-electron tomography.</a> iScience. 24 (9), (2021).</li><li>Turk, M., Baumeister, W. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=The+promise+and+the+challenges+of+cryo-electron+tomography.">The promise and the challenges of cryo-electron tomography.</a> FEBS Letters. 594 (20), 3243-3261 (2020).</li><li>Oikonomou, C. M., Jensen, G. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Cellular+electron+cryotomography:+Toward+structural+biology+in+situ.">Cellular electron cryotomography: Toward structural biology in situ.</a> Annual Review of Biochemistry. 86, 873-896 (2017).</li><li>Wagner, J., Schaffer, M., Fern&#225;ndez-Busnadiego, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Cryo-electron+tomography-the+cell+biology+that+came+in+from+the+cold.">Cryo-electron tomography-the cell biology that came in from the cold.</a> FEBS Letters. 591 (17), 2520-2533 (2017).</li><li>Lam, V., Villa, E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Practical+approaches+for+Cryo-FIB+milling+and+applications+for+cellular+cryo-electron+tomography.">Practical approaches for Cryo-FIB milling and applications for cellular cryo-electron tomography.</a> Methods in Molecular Biology. 2215, 49-82 (2021).</li><li>Chreifi, G., Chen, S., Metskas, L. A., Kaplan, M., Jensen, G. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Rapid+tilt-series+acquisition+for+electron+cryotomography.">Rapid tilt-series acquisition for electron cryotomography.</a> Journal of Structural Biology. 205 (2), 163-169 (2019).</li><li>Eisenstein, F., Danev, R., Pilhofer, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Improved+applicability+and+robustness+of+fast+cryo-electron+tomography+data+acquisition.">Improved applicability and robustness of fast cryo-electron tomography data acquisition.</a> Journal of Structural Biology. 208 (2), 107-114 (2019).</li><li>Esteva, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Deep+learning-enabled+medical+computer+vision.">Deep learning-enabled medical computer vision.</a> npj Digital Medicine. 4 (1), (2021).</li><li>Liu, Y. -. T., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Isotropic+reconstruction+of+electron+tomograms+with+deep+learning.">Isotropic reconstruction of electron tomograms with deep learning.</a> bioRxiv. , (2021).</li><li>Moebel, E., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Deep+learning+improves+macromolecule+identification+in+3D+cellular+cryo-electron+tomograms.">Deep learning improves macromolecule identification in 3D cellular cryo-electron tomograms.</a> Nature Methods. 18 (11), 1386-1394 (2021).</li><li>Chen, M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Convolutional+neural+networks+for+automated+annotation+of+cellular+cryo-electron+tomograms.">Convolutional neural networks for automated annotation of cellular cryo-electron tomograms.</a> Nature Methods. 14 (10), 983-985 (2017).</li><li>Ronneberger, O., Fischer, P., Brox, T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=U-net:+Convolutional+networks+for+biomedical+image+segmentation.">U-net: Convolutional networks for biomedical image segmentation.</a> Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). 9351, 234-241 (2015).</li><li>Kremer, J. R., Mastronarde, D. N., McIntosh, J. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Computer+visualization+of+three-dimensional+image+data+using+IMOD.">Computer visualization of three-dimensional image data using IMOD.</a> Journal of Structural Biology. 116 (1), 71-76 (1996).</li><li>Iancu, C. V., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+&amp;#34;flip-flop&amp;#34;+rotation+stage+for+routine+dual-axis+electron+cryotomography.">A &amp;#34;flip-flop&amp;#34; rotation stage for routine dual-axis electron cryotomography.</a> Journal of Structural Biology. 151 (3), 288-297 (2005).</li></ol>

Bu protokol için açık erişim lisansı Object Research Systems tarafından ödendi.

Bu protokol, tek bir tomogramdan çok sınıflı bir U-Net'i eğitmek için Dragonfly 2022.1 yazılımını kullanmak için bir prosedür ve bu ağın aynı veri kümesinden olması gerekmeyen diğer tomogramlara nasıl çıkarılacağını ortaya koymaktadır. Eğitim nispeten hızlıdır (tamamen eğitilen ağa ve kullanılan donanıma bağlı olarak, dönem başına 3-5 dakika kadar hızlı veya birkaç saat kadar yavaş olabilir) ve öğrenmesini geliştirmek için bir ağı yeniden eğitmek sezgiseldir. Ön işleme adımları her tomogram için gerçekleştirildiği sürece, çıkarım tipik olarak sağlamdır.
Tutarlı ön işleme, derin öğrenme çıkarımı için en kritik adımdır. Yazılımda birçok görüntüleme filtresi vardır ve kullanıcı belirli veri kümeleri için hangi filtrelerin en iyi şekilde çalıştığını belirlemek için denemeler yapabilir; eğitim tomogramında kullanılan filtreleme ne olursa olsun, çıkarım tomogramlarına aynı şekilde uygulanması gerektiğini unutmayın. Ağa doğru ve yeterli eğitim bilgisi sağlamak için de özen gösterilmelidir. Eğitim dilimleri içinde bölümlere ayrılmış tüm özelliklerin mümkün olduğunca dikkatli ve hassas bir şekilde bölümlere ayrılması hayati önem taşımaktadır.
Görüntü segmentasyonu, sofistike bir ticari sınıf kullanıcı arayüzü ile kolaylaştırılmıştır. El segmentasyonu için gerekli tüm araçları sağlar ve voksellerin eğitim ve yeniden eğitimden önce herhangi bir sınıftan diğerine kolayca yeniden atanmasını sağlar. Kullanıcının vokselleri tomogramın tüm bağlamında elle segmentlere ayırmasına izin verilir ve bunlara birden fazla görünüm ve ses seviyesini serbestçe döndürme yeteneği verilir. Ek olarak, yazılım, daha iyi performans gösterme eğiliminde olan16 ve birden fazla tek sınıflı ağ ile segmentasyondan daha hızlı olan çok sınıflı ağları kullanma yeteneği sağlar.
Tabii ki, bir sinir ağının yeteneklerinde sınırlamalar vardır. Cryo-ET verileri, doğası gereği, açısal örneklemede çok gürültülü ve sınırlıdır, bu da aynı nesnelerde yöne özgü bozulmalara yol açar21. Eğitim, yapıları doğru bir şekilde elle segmentlere ayırmak için bir uzmana dayanır ve başarılı bir ağ yalnızca verilen eğitim verileri kadar iyidir (veya kötüdür). Sinyali artırmak için görüntü filtreleme eğitmen için yararlıdır, ancak belirli bir yapının tüm piksellerini doğru bir şekilde tanımlamanın zor olduğu birçok durum vardır. Bu nedenle, eğitim segmentasyonunu oluştururken büyük özen gösterilmesi önemlidir, böylece ağ eğitim sırasında öğrenilebilecek en iyi bilgiye sahip olur.
Bu iş akışı her kullanıcının tercihine göre kolayca değiştirilebilir. Tüm tomogramların tam olarak aynı şekilde önceden işlenmesi gerekli olsa da, protokolde kullanılan filtrelerin tam olarak kullanılması gerekli değildir. Yazılımın çok sayıda görüntü filtreleme seçeneği vardır ve birçok tomogramı kapsayan büyük bir segmentasyon projesine başlamadan önce bunları kullanıcının özel verileri için optimize etmeniz önerilir. Kullanılabilecek epeyce ağ mimarisi de vardır: Çok dilimli bir U-Net'in bu laboratuvardan gelen veriler için en iyi şekilde çalıştığı bulunmuştur, ancak başka bir kullanıcı başka bir mimarinin (3D U-Net veya Sensor 3D gibi) daha iyi çalıştığını görebilir. Segmentasyon sihirbazı, aynı eğitim verilerini kullanarak birden çok ağın performansını karşılaştırmak için kullanışlı bir arabirim sağlar.
Burada sunulanlar gibi araçlar, tam tomogramların elle bölümlendirilmesini geçmişin bir görevi haline getirecektir. Sağlam bir şekilde çıkarılabilir iyi eğitilmiş sinir ağlarıyla, tomografik verilerin mikroskopun toplayabildiği kadar hızlı bir şekilde yeniden yapılandırıldığı, işlendiği ve tamamen bölümlere ayrıldığı bir iş akışı oluşturmak tamamen mümkündür.

Son on yıldaki donanım ve yazılım gelişmeleri, kriyo-elektron mikroskobu (cryo-EM) için bir "çözünürlük devrimi" ile sonuçlanmıştır1,2. Daha iyi ve daha hızlı dedektörler3, veri toplamayı otomatikleştiren yazılım4,5 ve faz plakaları6 gibi sinyal artırıcı ilerlemelerle, büyük miktarlarda yüksek çözünürlüklü kriyo-EM verisi toplamak nispeten basittir.
Cryo-ET, doğal, hidratlanmış bir durumdahücresel ultrayapıya benzeri görülmemiş bir bakış açısı sunar 7,8,9,10. Birincil sınırlama numune kalınlığıdır, ancak tomografi11 için kalın hücresel ve doku örneklerinin inceltildiği odaklanmış iyon ışını (FIB) frezeleme gibi yöntemlerin benimsenmesiyle, kriyo-ET ile görüntülenebilecek ufuk sürekli genişlemektedir. En yeni mikroskoplar günde 50'den fazla tomogram üretebilmektedir ve bu oranın yalnızca hızlı veri toplama şemalarının geliştirilmesi nedeniyle artacağı tahmin edilmektedir12,13. Kriyo-ET tarafından üretilen büyük miktarda verinin analiz edilmesi, bu görüntüleme yöntemi için bir darboğaz olmaya devam etmektedir.
Tomografik bilginin nicel analizi, önce açıklamalı olmasını gerektirir. Geleneksel olarak, bu zaman alıcı olan bir uzman tarafından elle segmentasyon gerektirir; kriyo-tomogramda bulunan moleküler karmaşıklığa bağlı olarak, saatlerce veya günlerce özel dikkat gerektirebilir. Yapay sinir ağları bu soruna çekici bir çözümdür, çünkü segmentasyon çalışmasının büyük kısmını zamanın bir bölümünde yapmak için eğitilebilirler. Evrişimli sinir ağları (CNN'ler) özellikle bilgisayarlı görme görevleri için uygundur14 ve son zamanlarda kriyo-elektron tomogramlarının analizi için uyarlanmıştır15,16,17.
Geleneksel CNN'ler, biyolojik görüntü analizi görevleri için genellikle mümkün olmayan binlerce ek açıklamalı eğitim örneği gerektirir. Bu nedenle, U-Net mimarisi bu alanda18'de mükemmel olmuştur, çünkü ağı başarılı bir şekilde eğitmek için veri artırmaya dayanır ve büyük eğitim kümelerine bağımlılığı en aza indirir. Örneğin, bir U-Net mimarisi tek bir tomogramın yalnızca birkaç dilimi (dört veya beş dilim) ile eğitilebilir ve yeniden eğitilmeden diğer tomogramlara sağlam bir şekilde çıkarılabilir. Bu protokol, Dragonfly 2022.119 içindeki elektron kriyo-tomogramlarını segmentlere ayırmak için U-Net sinir ağı mimarilerini eğitmek için adım adım bir kılavuz sağlar.
Dragonfly, derin öğrenme modelleri tarafından 3D görüntü segmentasyonu ve analizi için kullanılan ticari olarak geliştirilmiş bir yazılımdır ve akademik kullanım için serbestçe kullanılabilir (bazı coğrafi kısıtlamalar geçerlidir). Uzman olmayan bir kişinin hem semantik segmentasyon hem de görüntü gürültüsünü gidermek için derin öğrenmenin güçlerinden tam olarak yararlanmasını sağlayan gelişmiş bir grafik arayüze sahiptir. Bu protokol, yapay sinir ağlarını eğitmek için Dragonfly içindeki kriyo-elektron tomogramlarının nasıl önceden işleneceğini ve ek açıklama ekleneceğini gösterir; bu da daha sonra büyük veri kümelerini hızlı bir şekilde segmentlere ayırmak için çıkarılabilir. Ayrıca, filament izleme ve alt tomogram ortalaması için koordinat ekstraksiyonu gibi daha ileri analizler için segmentlere ayrılmış verilerin nasıl kullanılacağını tartışır ve kısaca gösterir.

<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td>Dragonfly 2022.1</td>
			<td>Object Research Systems</td>
			<td></td>
			<td>https://www.theobjects.com/dragonfly/index.html</td>
		</tr>
		<tr>
			<td>E18 Rat Dissociated Hippocampus</td>
			<td>Transnetyx Tissue</td>
			<td>KTSDEDHP</td>
			<td>https://tissue.transnetyx.com/faqs</td>
		</tr>
		<tr>
			<td>IMOD</td>
			<td>University of Colorado</td>
			<td></td>
			<td>https://bio3d.colorado.edu/imod/</td>
		</tr>
		<tr>
			<td>Intel&#174; Xeon&#174; Gold 6124 CPU 3.2GHz</td>
			<td>Intel</td>
			<td></td>
			<td>https://www.intel.com/content/www/us/en/products/sku/120493/intel-xeon-gold-6134-processor-24-75m-cache-3-20-ghz/specifications.html</td>
		</tr>
		<tr>
			<td>NVIDIA Quadro P4000</td>
			<td>NVIDIA</td>
			<td></td>
			<td>https://www.nvidia.com/content/dam/en-zz/Solutions/design-visualization/productspage/quadro/quadro-desktop/quadro-pascal-p4000-data-sheet-a4-nvidia-704358-r2-web.pdf</td>
		</tr>
		<tr>
			<td>Windows 10 Enterprise 2016</td>
			<td>Microsoft</td>
			<td></td>
			<td>https://www.microsoft.com/en-us/evalcenter/evaluate-windows-10-enterprise</td>
		</tr>
		<tr>
			<td>Workstation Minimum Requirements</td>
			<td></td>
			<td></td>
			<td>https://theobjects.com/dragonfly/system-requirements.html</td>
		</tr>
	</tbody>
</table>

deep learning-based segmentation of cryo-electron tomograms

Kriyo-elektron tomografisi (kriyo-ET), araştırmacıların hücreleri yerli, hidratlanmış hallerinde şu anda mümkün olan en yüksek çözünürlükte görüntülemelerini sağlar. Bununla birlikte, tekniğin, ürettiği verileri analiz etmeyi zaman alıcı ve zor hale getiren birkaç sınırlaması vardır. Tek bir tomogramın elle bölümlendirilmesi saatlerden günlere kadar sürebilir, ancak mikroskop günde 50 veya daha fazla tomogramı kolayca üretebilir. Kriyo-ET için mevcut derin öğrenme segmentasyon programları mevcuttur, ancak bir seferde bir yapıyı segmentlere ayırmakla sınırlıdır. Burada, çok kesitli U-Net evrişimli sinir ağları, kriyo-tomogramlar içinde aynı anda birden fazla yapıyı otomatik olarak segmentlere ayırmak için eğitilir ve uygulanır. Uygun ön işleme ile, bu ağlar, her bir tomogram için ayrı ayrı ağları eğitmeye gerek kalmadan birçok tomograma sağlam bir şekilde çıkarılabilir. Bu iş akışı, çoğu durumda segmentasyon süresini 30 dakikanın altına düşürerek kriyo-elektron tomogramlarının analiz edilebileceği hızı önemli ölçüde artırır. Ayrıca, segmentasyonlar, hücresel bir bağlamda filament izlemenin doğruluğunu artırmak ve subtomogram ortalaması için koordinatları hızla çıkarmak için kullanılabilir.

Protokolü takiben, beş parçalı bir U-Net, beş sınıfı tanımlamak için tek bir tomogram (Şekil 2A) üzerinde eğitildi: Membran, Mikrotübüller, Aktin, Referans belirteçleri ve Arka Plan. Ağ yinelemeli olarak toplam üç kez eğitildi ve daha sonra tomogramı tamamen segmentlere ayırmak ve açıklama eklemek için tomograma uygulandı (Şekil 2B, C). En az temizleme işlemi 7.1 ve 7.2 numaralı adımlar kullanılarak gerçekleştirilmiştir. Sonraki üç ilgi çekici tomogram (Şekil 2D, G, J) ön işleme için yazılıma yüklendi. Görüntü içe aktarmadan önce, tomogramlardan biri (Şekil 2J), farklı bir mikroskopta biraz farklı bir büyütmede toplandığı için 17.22 ş/ px'ten 13.3 ş/ px'e piksel boyutu ayarlaması gerektiriyordu. IMOD program squeezevol aşağıdaki komutla yeniden boyutlandırmak için kullanılmıştır:
'squeezevol -f 0.772 inputfile.mrc outputfile.mrc'
Bu komutta -f , piksel boyutunun değiştirileceği faktörü ifade eder (bu durumda: 13.3/17.22). İçe aktarma işleminden sonra, üç çıkarım hedefinin tümü 3.2 ve 3.3 numaralı adımlara göre önceden işlendi ve ardından beş dilimli U-Net uygulandı. Minimum temizlik tekrar yapıldı. Son segmentasyonlar Şekil 2'de gösterilmiştir.
Her tomogramdan mikrotübül segmentasyonları ikili (adım 7.4) TIF dosyaları olarak dışa aktarıldı, MRC'ye (IMOD tif2mrc programı) dönüştürüldü ve daha sonra silindir korelasyonu ve filament izleme için kullanıldı. Filamentlerin ikili segmentasyonları, tomogramlar üzerinde izlemekten çok daha sağlam filament izleme ile sonuçlanır. Filament izlemeden koordinat haritaları (Şekil 3), mikrotübül oryantasyonunu belirlemek için en yakın komşu ölçümleri (filament paketleme) ve tek filamentler boyunca sarmal alt tomogram ortalaması gibi daha ileri analizler için kullanılacaktır.
Başarısız veya yetersiz eğitilmiş ağların belirlenmesi kolaydır. Başarısız bir ağ herhangi bir yapıyı segmentlere ayıramazken, yetersiz eğitilmiş bir ağ tipik olarak bazı yapıları doğru bir şekilde bölümlere ayırır ve önemli sayıda yanlış pozitif ve yanlış negatife sahip olur. Bu ağlar, performanslarını artırmak için düzeltilebilir ve yinelemeli olarak eğitilebilir. Segmentasyon sihirbazı, eğitildikten sonra modelin zar benzerlik katsayısını (SegWiz'de skor olarak adlandırılır) otomatik olarak hesaplar. Bu istatistik, eğitim verileri ile U-Net segmentasyonu arasındaki benzerliğin bir tahminini verir. Dragonfly 2022.1 ayrıca, arayüzün üst kısmındaki Yapay Zeka sekmesinden erişilebilen bir modelin performansını değerlendirmek için yerleşik bir araca sahiptir (kullanım için belgelere bakın).
<img alt="Figure 2" class="xfigimg" src="/files/ftp_upload/64435/64435fig02.jpg"> Şekil 2: Çıkarım. (A-C) 2019 yılında bir Titan Krios üzerinde toplanan bir DIV 5 hipokampal sıçan nöronunun orijinal eğitim tomogramı. Bu, IMOD'de CTF düzeltmesi ile geriye dönük bir rekonstrüksiyondur. (A) Sarı kutu, eğitim girişi için el segmentasyonunun yapıldığı bölgeyi temsil eder. (B) Eğitim tamamlandıktan sonra U-Net'ten 2D segmentasyon. (C) Membran (mavi), mikrotübüller (yeşil) ve aktin (kırmızı) gösteren parçalanmış bölgelerin 3D görüntüsü. (D-F) DIV 5 hipokampal sıçan nöronu, eğitim tomogramı ile aynı seanstan. (E) Ek eğitim ve hızlı temizlik olmadan U-Net'ten 2D segmentasyon. Membran (mavi), mikrotübüller (yeşil), aktin (kırmızı), referanslar (pembe). (F) Bölümlere ayrılmış bölgelerin 3B olarak oluşturulması. (G-I) 2019 oturumundan DIV 5 hipokampal sıçan nöronu. (H) Hızlı temizleme ve (I) 3B oluşturma ile U-Net'ten 2B segmentasyon. (J-L) DIV 5 hipokampal sıçan nöronu, 2021 yılında farklı bir Titan Krios üzerinde farklı bir büyütmede toplandı. Piksel boyutu, eğitim tomogramına uyacak şekilde IMOD programı squeezevol ile değiştirildi. (K) Hızlı temizleme ile U-Net'ten 2B segmentasyon, uygun ön işleme ve (L) segmentasyonun 3B oluşturulması ile veri kümeleri arasında sağlam çıkarım gösterir. Ölçek çubukları = 100 nm. Kısaltmalar: DIV = gün in vitro; CTF = kontrast transfer fonksiyonu. <a href="https://www.jove.com/files/ftp_upload/64435/64435fig02large.jpg" target="_blank">Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.</a>
<img alt="Figure 3" class="xfigimg" src="/files/ftp_upload/64435/64435fig03.jpg"> Şekil 3: Filament izleme iyileşmesi . (A) Titan Krios üzerinde toplanan bir DIV 4 sıçan hipokampal nöronunun Tomogramı. (B) Aktin filamentleri üzerindeki silindir korelasyonundan elde edilen korelasyon haritası. (C) Parametreleri tanımlamak için korelasyon haritasındaki aktin filamentlerinin yoğunluklarını kullanarak aktinin filament takibi. İzleme, membranı ve mikrotübülleri ve gürültüyü yakalarken, sadece aktini izlemeye çalışır. (D) Tomogramın U-Net segmentasyonu. Mavi renkte vurgulanan membran, kırmızı renkte mikrotübüller, turuncu renkte ribozomlar, morda triC ve yeşil renkte aktin. (E) Filament izleme için ikili maske olarak ekstrakte edilen aktin segmentasyonu. (F) Silindir korelasyonundan (B)'den aynı parametrelerle oluşturulan korelasyon haritası. (G) Tomogramdan sadece aktin filamentlerinin filament takibi önemli ölçüde iyileştirildi. Kısaltma: DIV = gün in vitro. <a href="https://www.jove.com/files/ftp_upload/64435/64435fig03large.jpg" target="_blank">Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.</a>
Ek Dosya 1: Bu protokolde kullanılan tomogram ve eğitim girdisi olarak oluşturulan çoklu yatırım getirisi, paketlenmiş bir veri kümesi (Training.ORSObject) olarak dahil edilir. Bkz. https://datadryad.org/stash/dataset/doi:10.5061/dryad.rxwdbrvct.

Watch this Scientific Journal Video about Deep Learning-Based Segmentation of Cryo-Electron Tomograms at JoVE.com

Deep Learning-Based Segmentation of Cryo-Electron Tomograms

Bu, bir tomogramın bir kısmını eğitim girdisi olarak kullanarak kriyo-elektron tomogramlarının çok sınıflı segmentasyonu için çok dilimli bir U-Net'i eğitmek için kullanılan bir yöntemdir. Bu ağın diğer tomogramlara nasıl çıkarılacağını ve subtomogram ortalaması ve filament izleme gibi daha ileri analizler için segmentasyonların nasıl çıkarılacağını açıklıyoruz.

Kriyo-Elektron Tomogramlarının Derin Öğrenme Tabanlı Segmentasyonu

Cryo-electron tomography (cryo-ET) allows researchers to image cells in their native, hydrated state at the highest resolution currently possible. The ...

Protokolümüz hakkında en heyecan verici olan şey, herhangi bir laboratuvarın büyük miktarda kriyo-ET verisini segmentlere ayırmak için bu derin öğrenme protokollerini kullanarak çalışmaya başlamasına izin vermesidir. İş akışımızın temel avantajı, Dragonfly'ın segmentasyon için çok sınıflı sinir ağlarını eğitmek için profesyonel düzeyde bir hesaplama ortamı sağlaması ve bu da segmentasyon sürecinizi gerçekten önemli ölçüde hızlandırabilmesidir. Görüntü segmentasyonunun öğrenilmesi zaman alır, bu nedenle zaman içinde iş akışınızı kolaylaştırmaya gerçekten yardımcı olacak araçları test ettiğinizden ve anahtar bağları öğrendiğinizden emin olun.Yazılımı kurduktan sonra, Dosya'ya gidip Görüntü Dosyalarını İçe Aktar'ı seçerek görüntü içe aktarma işlemine devam edin. Ardından Ekle'yi tıklatın, görüntü dosyasına gidin, Aç'ı tıklatın ve İleri'yi ve ardından Son'u seçin. Yardımcı Programlar'a gidip Boyut Birimi Yöneticisi'ni seçerek özel bir yoğunluk ölçeği oluşturun.Yeni bir boyut birimi oluşturmak için sol alt kısımdaki artı işaretine tıklayın. İlgilendiğiniz tüm tomogramlarda yüksek ve düşük yoğunluklu bir özellik seçin. Birime bir ad ve kısaltma verin ve özel boyut birimini kaydedin.Görüntüleri özel yoğunluk ölçeğine göre kalibre etmek için ekranın sağ tarafındaki Özellikler sütununda veri kümesine sağ tıklayın ve Yoğunluk Ölçeğini Kalibre Et'i seçin. Ardından, ekranın sol tarafındaki ana sekmeye gidin ve prob bölümüne gidin. Dairesel prob aletini uygun çapta kullanarak, tomogramın arka plan bölgesinde birkaç yere tıklayın ve ortalama sayıyı ham yoğunluk sütununa kaydedin.Referans işaretleyicileri için bu işlemi tekrarlayın ve Kalibre Et'i tıklatın. Gerekirse, ana sekmenin pencere tesviye bölümündeki alan aracıyla yapıları yeniden görünür hale getirmek için kontrastı ayarlayın. Ana sekmenin sol tarafında, görüntü işleme paneline doğru aşağı kaydırın.Gelişmiş'i tıklatın ve yeni bir pencerenin açılmasını bekleyin. Özellikler panelinden filtrelenecek veri kümesini seçin ve veri kümesinin solundaki göz simgesini tıklatarak görünür hale getirin. Ardından, ilk işlem için histogram eşitlemeyi seçmek üzere işlemler panelindeki açılır menüyü kullanın.İşlem ekle'yi seçin, Gaussian'a tıklayın ve çekirdek boyutunu 3B olarak değiştirin. Üçüncü işlemi ekleyin, ardından Keskinliği Kaldır'ı seçin ve çıktıyı bunun için bırakın. Eşitlemeyi tüm dilimlere uygulayın ve filtrelemenin çalışmasına izin verin, ardından ana arayüze dönmek için görüntü işleme penceresini kapatın.Eğitim alanını tanımlamak için, önce filtrelenmemiş veri kümesini gizleyerek veri özellikleri paneline gidin ve soldaki göz simgesini tıklayın. Ardından, yeni filtrelenen veri kümesini gösterin. Filtrelenmiş veri kümesini kullanarak, tomogramın ilgilenilen tüm özellikleri içeren bir alt bölgesini tanımlayın.Şimdi Şekiller kategorisine gidip ana sekmenin sol tarafındaki Kutu oluştur'u seçerek ilgi alanı çevresinde bir kutu oluşturun. Dört görünümlü paneldeyken, tüm boyutlarda yalnızca ilgi alanını içine almak için kutunun kenarlarını yönlendirmeye veya sürüklemeye yardımcı olması için farklı 2B düzlemleri kullanın. Veri listesinde, kutu bölgesini seçin ve göz sembolünün yanındaki gri kareyi tıklatarak daha kolay görüntülemek için kenarlık rengini değiştirin.Çoklu YG oluşturmak için Segmentasyon sekmesini seçin, sol taraftaki Yeni'yi tıklayın ve Çoklu YG olarak oluştur'u işaretleyin. Sınıf sayısının, ilgilenilen özelliklerin sayısına ve bir arka plan sınıfına karşılık geldiğinden emin olun. Çoklu yatırım getirisi eğitim verilerini adlandırın ve Tamam'ı tıklatmadan önce geometrinin veri kümesine karşılık geldiğinden emin olun. Ardından, kutulu bölgenin sınırları içine girene kadar veriler arasında gezinin.Sağdaki Özellikler menüsünden Çoklu Yatırım Getirisi'ni seçin. Çoklu yatırım getirisindeki ilk boş sınıf adını çift tıklatarak adlandırın. 2B fırçayla boyamak için soldaki Segmentasyon sekmesindeki 2B araçlar'a gidin ve dairesel bir fırça seçin.Ardından açılır menüden Uyarlanabilir Gauss veya Yerel OTSU'yu seçin, sol kontrol artı tıklama tuşunu basılı tutarak boyayın ve sola kaydırma artı tıklama tuşunu basılı tutarak silin. Tüm yapılar etiketlendikten sonra, çoklu yatırım getirisinde arka plan sınıfına sağ tıklayın ve Tüm Etiketlenmemiş Vokselleri Sınıfa Ekle'yi seçin. Ardından, Maske adlı yeni bir tek sınıflı yatırım getirisi oluşturun.Geometrinin filtrelenmiş veri kümesine ayarlandığından emin olun ve ardından Uygula'ya tıklayın. Sağdaki Özellikler sekmesinde, kutuyu sağ tıklatın, YG'ye Ekle'yi seçin ve maske YG'sine ekleyin. Maskeyi kullanarak eğitim verilerini kırpmak için Özellikler sekmesine gidin ve kontrolü basılı tutup her birine tıklayarak hem eğitim verilerini, hem çoklu yatırım getirisini hem de maske yatırım getirisini seçin.Ardından, Boole İşlemleri bölümündeki veri özellikleri listesinin altındaki Kesiş'e tıklayın. Yeni veri kümesini kırpılmış eğitim girişi olarak adlandırın ve Tamam'a tıklamadan önce geometrinin filtrelenmiş veri kümesine karşılık geldiğinden emin olun. Özellikler sekmesinde filtrelenmiş veri kümesine sağ tıklayıp Segmentasyon Sihirbazı seçeneğini belirleyerek eğitim verilerini Segmentasyon Sihirbazı'na aktarın. Yeni bir pencere açıldığında, sağ taraftaki Giriş sekmesini bulun.Çoklu Yatırım Getirisinden Çerçeveleri İçe Aktar'a tıklayın ve Kırpılmış Eğitim girişini seçin. Yeni bir sinir ağı modeli oluşturmak için, modelin sekmesinde sağ taraftaki artı düğmesine tıklayın. Listeden U Net'i seçin, giriş boyutu için 2,5 B ve beş dilim seçin ve ardından Oluştur'a tıklayın.Ağı eğitmek için, Seg Wiz penceresinin sağ alt köşesindeki Eğit'e tıklayın. Birim eğitimi tamamlandıktan sonra, yeni çerçeveleri bölümlere ayırmak, yeni bir çerçeve oluşturmak ve Tahmin Et'i tıklatmak için eğitilen ağı kullanın. Ardından, segmentasyonu gerçek kareye aktarmak için tahmin edilen karenin sağ üst köşesindeki yukarı oku tıklayın.Tahmini düzeltmek için, iki sınıfı kontrol tuşuna basarak tıklayarak birinin parçalanmış piksellerini diğerine değiştirin. Her iki sınıfı da seçin ve yalnızca her iki sınıfa ait pikselleri boyamak için fırçayla boyayın. Segmentasyonu en az beş yeni çerçevede düzeltin.Yinelemeli eğitim için, Eğit düğmesine tekrar tıklayın ve ağın 30 ila 40 destan daha fazla eğitim almasına izin verin. Bu noktada, eğitimi durdurun ve başka bir eğitim turuna başlayın. Ağın performansından memnun kaldığınızda, Segmentasyon Sihirbazı'ndan çıkarak ağı yayımlayın.Hangi modellerin yayınlanacağını soran bir iletişim kutusu açılır. Başarılı ağı seçin, adlandırın, sonra ağı Segmentasyon Sihirbazı dışında kullanılabilir hale getirmek için yayımlayın. İlk olarak, eğitim tomogramına uygulanacak Özellikler panelinde filtrelenmiş veri kümesini seçin.Soldaki Segmentasyon panelinde, AI içeren segment bölümüne doğru aşağı kaydırın. Doğru veri kümesinin seçildiğinden emin olun. Açılır menüden en son yayınlanan modeli seçin, ardından Segment'i ve ardından Tüm Dilimler'i tıklayın.Bir çıkarım veri kümesine uygulamak için, yeni tomogramı içe aktarın ve daha önce gösterildiği gibi önceden işleyin. Segmentasyon panelinde, AI ile segment bölümüne gidin. Yeni filtrelenen tomogramın seçilen veri kümesi olduğundan emin olun, önceden eğitilmiş modeli seçin, segmenti tıklayın ve Tüm Dilimler'i seçin.Önce gürültüyü ve ilgi çekici özelliği bölümlere ayıran sınıflardan birini seçerek gürültüyü hızla temizleyin. Ardından, İşlem Adaları'na sağ tıklayın, Voksel Sayısı Tarafından Kaldırıldı'yı seçin ve ardından Bir Voksel Boyutu Seç'e tıklayın. Küçük sayımlarla başlayın ve gürültünün çoğunu gidermek için sayıyı kademeli olarak artırın.Segmentasyon düzeltmesi için, yalnızca bu sınıflara ait pikselleri boyamak üzere iki sınıfı kontrol tuşuna basarak tıklayın. İkinci sınıfın piksellerini birinci sınıfa değiştirmek için segmentasyon araçlarıyla Control tuşunu basılı tutarak tıklayın ve sürükleyerek ve tersini gerçekleştirmek için shift tuşunu basılı tutarak tıklayıp sürükleyin. Tek bir tomogram üzerinde beş dilimli bir ünite eğitildi ve eğitim girişi için el segmentasyonu yapıldı.Tam eğitimden sonra üniteden 2D segmentasyon gösterilir. Parçalanmış bölgelerin 3D gösterimi membran, mikrotübüller ve aktin filamentlerini gösterir. DIV 5 hipokampal sıçan nöronları ile aynı seanstan itibaren eğitim tomogramı olarak gösterilmiştir.Hızlı temizleme konusunda ek bir eğitim gerekmeksizin üniteden 2D segmentasyon, membran, mikrotübüller, aktin ve referansları görüntüledi. Parçalanmış bölgelerin 3D gösterimi de görselleştirildi. Daha önceki bir seanstan DIV 5 hipokampal sıçan nöronu da gözlendi.Hızlı temizleme ve 3D render ile üniteden 2D segmentasyon da gerçekleştirildi. DIV 5 hipokampal sıçan nöronu, farklı bir Titan Krios'ta farklı bir büyütmede de gözlendi. Piksel boyutu, IMOD program sıkma kasası ile eğitim tomogramına uyacak şekilde değiştirildi.Hızlı temizleme ile üniteden 2B segmentasyon, uygun ön işleme ile veri kümeleri arasında sağlam çıkarımlar gösterir ve segmentasyonun 3B oluşturulması gerçekleştirilmiştir. Verileri aynı şekilde önceden işlemek ve histogramları kalibre etmek, doğru ağ çıkarımı için kesinlikle en önemli adımlardır. Moleküllerin yeri tomogram içinde bilindikten sonra, nicel ölçümleri hesaplamak veya koordinatları hesaplamak ve bunları bir alt tomogram ortalama boru hattına beslemek Dragonfly içinde gerçekten önemsizdir.Derin öğrenmenin kriyo-ET görüntü analizi üzerindeki etkilerini görmeye yeni başlıyoruz, ancak bu gerçekten muazzam bir umut vaat ettiği bir alan daha.

Research

JoVE Journal

Biology

In vivo Imaging of Deep Cortical Layers using a Microprism

In vivo Imaging of Deep Cortical Layers using a Microprism

Derin Kortikal Katmanlar bir micropism kullanarak in vivo Görüntüleme

We present a protocol for in vivo imaging of cortical tissue using a deep-brain imaging probe in the shape of a microprism.  Microprisms are 1-mm in size ...

Generation of Dispersed Presomitic Mesoderm Cell Cultures for Imaging of the Zebrafish Segmentation Clock in Single Cells

Tek Hücrelerde Zebra balığı Segmentasyon Clock Görüntüleme Dağınık Presomitic Mesoderm Hücre Kültürleri Üretimi

Segmentation is a  periodic and sequential morphogenetic process in vertebrates. This rhythmic  formation of blocks of tissue called somites along the ...

Cryo-electron Microscopy Specimen Preparation By Means Of a Focused Ion Beam

Odaklanmış iyon demeti Of Cryo-elektron Mikroskopi Numune Hazırlama By Means

Here we present a protocol used to prepare cryo-TEM samples of Aspergillus niger spores, but which can easily be adapted for any number of microorganisms ...

Do's and Don'ts of Cryo-electron Microscopy: A Primer on Sample Preparation and High Quality Data Collection for Macromolecular 3D Reconstruction

Makromoleküler 3D İmar için bir örnek Hazırlanması Astar ve Yüksek Kalite Veri Toplama: Cryo-elektron mikroskobu Yapılması ve Yapılmaması Gerekenler

Cryo-electron microscopy (cryoEM) entails flash-freezing a thin layer of sample on a support, and then visualizing the sample in its frozen hydrated state ...

Volume Segmentation and Analysis of Biological Materials Using SuRVoS (Super-region Volume Segmentation) Workbench

Volume Segmentation and Analysis of Biological Materials Using SuRVoS Super-region Volume Segmentation Workbench

Birim segmentasyon ve SuRVoS (süper bölge birim segmentasyon) tezgah kullanarak biyolojik malzemelerin analizi

Segmentation is the process of isolating specific regions or objects within an imaged volume, so that further study can be undertaken on these areas of ...

Visualization of DNA Compaction in Cyanobacteria by High-voltage Cryo-electron Tomography

Siyanobakteriler yüksek gerilim Cryo-elektron tomografi tarafından DNA sıkıştırma görselleştirme

This protocol describes how to visualize the transient DNA compaction in cyanobacteria. DNA compaction is a dramatic cytoplasmic event recently found to ...

Cryo-Electron Microscopic Grid Preparation for Time-Resolved Studies using a Novel Robotic System, Spotiton

Yeni Bir Robotik Sistem Kullanarak Zaman Çözümlenen Çalışmalar için Kriyo-Elektron Mikroskobik Izgara Hazırlığı, Spotiton

The capture of short-lived molecular states triggered by the early encounter of two or more interacting particles continues to be an experimental ...

Sample Preparation by 3D-Correlative Focused Ion Beam Milling for High-Resolution Cryo-Electron Tomography

Yüksek Çözünürlüklü Kriyo-Elektron Tomografisi için 3D Korbağıntılı Odaklanmış İyon Işını Frezeleme ile Numune Hazırlama

Cryo-electron tomography (cryo-ET) has become the method of choice for investigating cellular ultrastructure and molecular complexes in their native, ...

Deep Vascular Imaging in the Eye with Flow-Enhanced Ultrasound

Flow-Enhanced Ultrason ile Gözde Derin Vasküler Görüntüleme

The retina within the eye is one of the most energy-demanding tissues in the body and thus requires high rates of oxygen delivery from a rich blood ...

Cryo-Electron Tomography Remote Data Collection and Subtomogram Averaging

Kriyo-elektron Tomografisi Uzaktan Veri Toplama ve Subtomogram Ortalaması

Cryo-electron tomography (cryo-ET) has been gaining momentum in recent years, especially since the introduction of direct electron detectors, improved ...