Name: deep learning-based segmentation of cryo-electron tomograms
Uploaded: 2022-11-11T14:00:00
Duration: 10 min 25 s
Description: Watch this Scientific Journal Video about Deep Learning-Based Segmentation of Cryo-Electron Tomograms at JoVE.com

Denne undersøgelse blev støttet af Penn State College of Medicine og Institut for Biokemi og Molekylærbiologi samt Tobacco Settlement Fund (TSF) tilskud 4100079742-EXT. CryoEM og CryoET Core (RRID: SCR_021178) tjenester og instrumenter, der blev brugt i dette projekt, blev delvist finansieret af Pennsylvania State University College of Medicine via Office of the Vice Dean of Research and Graduate Students og Pennsylvania Department of Health ved hjælp af Tobacco Settlement Funds (CURE). Indholdet er udelukkende forfatternes ansvar og repræsenterer ikke nødvendigvis universitetets eller College of Medicine's officielle synspunkter. Pennsylvania Department of Health fraskriver sig specifikt ansvaret for analyser, fortolkninger eller konklusioner.

<ol>
	<li>Bai, X. -. C., Mcmullan, G., Scheres, S. H. W. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=How+cryo-EM+is+revolutionizing+structural+biology.">How cryo-EM is revolutionizing structural biology.</a> Trends in Biochemical Sciences. 40 (1), 49-57 (2015).</li><li>de Oliveira, T. M., van Beek, L., Shilliday, F., Debreczeni, J., Phillips, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Cryo-EM:+The+resolution+revolution+and+drug+discovery.">Cryo-EM: The resolution revolution and drug discovery.</a> SLAS Discovery. 26 (1), 17-31 (2021).</li><li>Danev, R., Yanagisawa, H., Kikkawa, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Cryo-EM+performance+testing+of+hardware+and+data+acquisition+strategies.">Cryo-EM performance testing of hardware and data acquisition strategies.</a> Microscopy. 70 (6), 487-497 (2021).</li><li>Mastronarde, D. N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Automated+electron+microscope+tomography+using+robust+prediction+of+specimen+movements.">Automated electron microscope tomography using robust prediction of specimen movements.</a> Journal of Structural Biology. 152 (1), 36-51 (2005).</li><li>. Tomography 5 and Tomo Live Software User-friendly batch acquisition for and on-the-fly reconstruction for cryo-electron tomography Datasheet Available from: <a target="_blank" href="https://assets.thermofisher.com/TFS-Assets/MSD/Datasheets/tomography-5-software-ds0362.pdf">https://assets.thermofisher.com/TFS-Assets/MSD/Datasheets/tomography-5-software-ds0362.pdf</a> (2022)</li><li>Danev, R., Baumeister, W. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Expanding+the+boundaries+of+cryo-EM+with+phase+plates.">Expanding the boundaries of cryo-EM with phase plates.</a> Current Opinion in Structural Biology. 46, 87-94 (2017).</li><li>Hylton, R. K., Swulius, M. T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Challenges+and+triumphs+in+cryo-electron+tomography.">Challenges and triumphs in cryo-electron tomography.</a> iScience. 24 (9), (2021).</li><li>Turk, M., Baumeister, W. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=The+promise+and+the+challenges+of+cryo-electron+tomography.">The promise and the challenges of cryo-electron tomography.</a> FEBS Letters. 594 (20), 3243-3261 (2020).</li><li>Oikonomou, C. M., Jensen, G. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Cellular+electron+cryotomography:+Toward+structural+biology+in+situ.">Cellular electron cryotomography: Toward structural biology in situ.</a> Annual Review of Biochemistry. 86, 873-896 (2017).</li><li>Wagner, J., Schaffer, M., Fern&#225;ndez-Busnadiego, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Cryo-electron+tomography-the+cell+biology+that+came+in+from+the+cold.">Cryo-electron tomography-the cell biology that came in from the cold.</a> FEBS Letters. 591 (17), 2520-2533 (2017).</li><li>Lam, V., Villa, E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Practical+approaches+for+Cryo-FIB+milling+and+applications+for+cellular+cryo-electron+tomography.">Practical approaches for Cryo-FIB milling and applications for cellular cryo-electron tomography.</a> Methods in Molecular Biology. 2215, 49-82 (2021).</li><li>Chreifi, G., Chen, S., Metskas, L. A., Kaplan, M., Jensen, G. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Rapid+tilt-series+acquisition+for+electron+cryotomography.">Rapid tilt-series acquisition for electron cryotomography.</a> Journal of Structural Biology. 205 (2), 163-169 (2019).</li><li>Eisenstein, F., Danev, R., Pilhofer, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Improved+applicability+and+robustness+of+fast+cryo-electron+tomography+data+acquisition.">Improved applicability and robustness of fast cryo-electron tomography data acquisition.</a> Journal of Structural Biology. 208 (2), 107-114 (2019).</li><li>Esteva, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Deep+learning-enabled+medical+computer+vision.">Deep learning-enabled medical computer vision.</a> npj Digital Medicine. 4 (1), (2021).</li><li>Liu, Y. -. T., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Isotropic+reconstruction+of+electron+tomograms+with+deep+learning.">Isotropic reconstruction of electron tomograms with deep learning.</a> bioRxiv. , (2021).</li><li>Moebel, E., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Deep+learning+improves+macromolecule+identification+in+3D+cellular+cryo-electron+tomograms.">Deep learning improves macromolecule identification in 3D cellular cryo-electron tomograms.</a> Nature Methods. 18 (11), 1386-1394 (2021).</li><li>Chen, M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Convolutional+neural+networks+for+automated+annotation+of+cellular+cryo-electron+tomograms.">Convolutional neural networks for automated annotation of cellular cryo-electron tomograms.</a> Nature Methods. 14 (10), 983-985 (2017).</li><li>Ronneberger, O., Fischer, P., Brox, T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=U-net:+Convolutional+networks+for+biomedical+image+segmentation.">U-net: Convolutional networks for biomedical image segmentation.</a> Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). 9351, 234-241 (2015).</li><li>Kremer, J. R., Mastronarde, D. N., McIntosh, J. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Computer+visualization+of+three-dimensional+image+data+using+IMOD.">Computer visualization of three-dimensional image data using IMOD.</a> Journal of Structural Biology. 116 (1), 71-76 (1996).</li><li>Iancu, C. V., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+&amp;#34;flip-flop&amp;#34;+rotation+stage+for+routine+dual-axis+electron+cryotomography.">A &amp;#34;flip-flop&amp;#34; rotation stage for routine dual-axis electron cryotomography.</a> Journal of Structural Biology. 151 (3), 288-297 (2005).</li></ol>

Open access-licensen til denne protokol blev betalt af Object Research Systems.

Denne protokol fastlægger en procedure for brug af Dragonfly 2022.1-software til at træne et U-Net i flere klasser fra et enkelt tomogram, og hvordan man udleder dette netværk til andre tomogrammer, der ikke behøver at være fra det samme datasæt. Træningen er relativt hurtig (kan være så hurtig som 3-5 min pr. epoke eller så langsom som et par timer, afhængigt helt af det netværk, der trænes, og den anvendte hardware), og omskoling af et netværk for at forbedre dets læring er intuitivt. Så længe forbehandlingstrinnene udføres for hvert tomogram, er inferensen typisk robust.
Konsekvent forbehandling er det mest kritiske trin for dyb læringsslutning. Der er mange billedbehandlingsfiltre i softwaren, og brugeren kan eksperimentere for at bestemme, hvilke filtre der fungerer bedst for bestemte datasæt; Bemærk, at uanset hvilken filtrering der bruges på træningstomogrammet, skal det anvendes på samme måde på inferensetogrammerne. Der skal også sørges for at give netværket nøjagtige og tilstrækkelige uddannelsesoplysninger. Det er vigtigt, at alle funktioner, der er segmenteret i træningsskiverne, segmenteres så omhyggeligt og præcist som muligt.
Billedsegmentering lettes af en sofistikeret brugergrænseflade af kommerciel kvalitet. Det giver alle de nødvendige værktøjer til håndsegmentering og giver mulighed for enkel omfordeling af voxels fra en klasse til en anden inden træning og omskoling. Brugeren har lov til at håndsegmentere voxels inden for hele tomogrammets kontekst, og de får flere visninger og evnen til at rotere lydstyrken frit. Derudover giver softwaren mulighed for at bruge netværk i flere klasser, som har tendens til at fungere bedre16 og er hurtigere end segmentering med flere enkeltklassenetværk.
Der er selvfølgelig begrænsninger for et neuralt netværks muligheder. Cryo-ET-data er i sagens natur meget støjende og begrænsede i vinkelprøvetagning, hvilket fører til orienteringsspecifikke forvrængninger i identiske objekter21. Træning er afhængig af en ekspert til at håndsegmentere strukturer nøjagtigt, og et vellykket netværk er kun så godt (eller så dårligt) som de træningsdata, det får. Billedfiltrering for at øge signalet er nyttigt for træneren, men der er stadig mange tilfælde, hvor det er vanskeligt nøjagtigt at identificere alle pixels i en given struktur. Det er derfor vigtigt, at der udvises stor omhu, når du opretter træningssegmenteringen, så netværket har den bedst mulige information at lære under træningen.
Denne arbejdsgang kan let ændres efter hver brugers præference. Selvom det er vigtigt, at alle tomogrammer forbehandles på nøjagtig samme måde, er det ikke nødvendigt at bruge de nøjagtige filtre, der bruges i protokollen. Softwaren har adskillige billedfiltreringsmuligheder, og det anbefales at optimere disse til brugerens særlige data, før du går i gang med et stort segmenteringsprojekt, der spænder over mange tomogrammer. Der er også en hel del netværksarkitekturer tilgængelige til brug: et multi-slice U-Net har vist sig at fungere bedst for dataene fra dette laboratorium, men en anden bruger kan opleve, at en anden arkitektur (såsom et 3D U-Net eller en Sensor 3D) fungerer bedre. Segmenteringsguiden giver en praktisk grænseflade til sammenligning af ydeevnen for flere netværk ved hjælp af de samme træningsdata.
Værktøjer som dem, der præsenteres her, vil gøre håndsegmentering af fulde tomogrammer til en opgave fra fortiden. Med veltrænede neurale netværk, der er robust inferable, er det fuldt ud muligt at skabe en arbejdsgang, hvor tomografiske data rekonstrueres, behandles og fuldt segmenteres så hurtigt som mikroskopet kan indsamle dem.

Udviklingen af hardware og software i det seneste årti har resulteret i en "opløsningsrevolution" for kryo-elektronmikroskopi (cryo-EM)1,2. Med bedre og hurtigere detektorer3, software til automatisering af dataindsamling 4,5 og signalforstærkende fremskridt såsom faseplader6 er indsamling af store mængder kryo-EM-data i høj opløsning relativt ligetil.
Cryo-ET leverer hidtil uset indsigt i cellulær ultrastruktur i en oprindelig, hydreret tilstand 7,8,9,10. Den primære begrænsning er prøvetykkelse, men med vedtagelsen af metoder som fokuseret ionstrålefræsning (FIB), hvor tykke cellulære og vævsprøver tyndes til tomografi11, udvides horisonten for, hvad der kan afbildes med cryo-ET, konstant. De nyeste mikroskoper er i stand til at producere langt over 50 tomogrammer om dagen, og denne hastighed forventes kun at stige på grund af udviklingen af hurtige dataindsamlingsordninger12,13. Analyse af de enorme mængder data, der produceres af cryo-ET, forbliver en flaskehals for denne billeddannelsesmodalitet.
Kvantitativ analyse af tomografisk information kræver, at den først kommenteres. Traditionelt kræver dette håndsegmentering af en ekspert, hvilket er tidskrævende; Afhængigt af den molekylære kompleksitet indeholdt i kryo-tomogrammet kan det tage timer til dage med dedikeret opmærksomhed. Kunstige neurale netværk er en tiltalende løsning på dette problem, da de kan trænes til at udføre størstedelen af segmenteringsarbejdet på en brøkdel af tiden. Convolutional neurale netværk (CNN'er) er specielt velegnede til computer vision opgaver14 og er for nylig blevet tilpasset til analyse af kryo-elektron tomogrammer15,16,17.
Traditionelle CNN'er kræver mange tusinde kommenterede træningsprøver, hvilket ofte ikke er muligt for biologiske billedanalyseopgaver. Derfor har U-Net-arkitekturen udmærket sig i dette rum18 , fordi den er afhængig af dataforøgelse for at træne netværket med succes, hvilket minimerer afhængigheden af store træningssæt. For eksempel kan en U-Net-arkitektur trænes med kun nogle få udsnit af et enkelt tomogram (fire eller fem skiver) og robust udledes til andre tomogrammer uden omskoling. Denne protokol giver en trinvis vejledning til træning af U-Net neurale netværksarkitekturer til segmentering af elektronkryo-tomogrammer i Dragonfly 2022.119.
Dragonfly er kommercielt udviklet software, der bruges til 3D-billedsegmentering og analyse af deep learning-modeller, og den er frit tilgængelig til akademisk brug (nogle geografiske begrænsninger gælder). Det har en avanceret grafisk grænseflade, der gør det muligt for en ikke-ekspert at drage fuld fordel af kræfterne i dyb læring til både semantisk segmentering og billeddenoising. Denne protokol demonstrerer, hvordan man forbehandler og kommenterer kryo-elektrontomogrammer i Dragonfly til træning af kunstige neurale netværk, som derefter kan udledes til hurtigt at segmentere store datasæt. Det diskuterer yderligere og demonstrerer kort, hvordan man bruger segmenterede data til yderligere analyse, såsom filamentsporing og koordinatekstraktion til subtomogramgennemsnit.

<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td>Dragonfly 2022.1</td>
			<td>Object Research Systems</td>
			<td></td>
			<td>https://www.theobjects.com/dragonfly/index.html</td>
		</tr>
		<tr>
			<td>E18 Rat Dissociated Hippocampus</td>
			<td>Transnetyx Tissue</td>
			<td>KTSDEDHP</td>
			<td>https://tissue.transnetyx.com/faqs</td>
		</tr>
		<tr>
			<td>IMOD</td>
			<td>University of Colorado</td>
			<td></td>
			<td>https://bio3d.colorado.edu/imod/</td>
		</tr>
		<tr>
			<td>Intel&#174; Xeon&#174; Gold 6124 CPU 3.2GHz</td>
			<td>Intel</td>
			<td></td>
			<td>https://www.intel.com/content/www/us/en/products/sku/120493/intel-xeon-gold-6134-processor-24-75m-cache-3-20-ghz/specifications.html</td>
		</tr>
		<tr>
			<td>NVIDIA Quadro P4000</td>
			<td>NVIDIA</td>
			<td></td>
			<td>https://www.nvidia.com/content/dam/en-zz/Solutions/design-visualization/productspage/quadro/quadro-desktop/quadro-pascal-p4000-data-sheet-a4-nvidia-704358-r2-web.pdf</td>
		</tr>
		<tr>
			<td>Windows 10 Enterprise 2016</td>
			<td>Microsoft</td>
			<td></td>
			<td>https://www.microsoft.com/en-us/evalcenter/evaluate-windows-10-enterprise</td>
		</tr>
		<tr>
			<td>Workstation Minimum Requirements</td>
			<td></td>
			<td></td>
			<td>https://theobjects.com/dragonfly/system-requirements.html</td>
		</tr>
	</tbody>
</table>

deep learning-based segmentation of cryo-electron tomograms

Kryo-elektrontomografi (cryo-ET) giver forskere mulighed for at afbilde celler i deres oprindelige, hydrerede tilstand med den højeste opløsning, der i øjeblikket er mulig. Teknikken har dog flere begrænsninger, der gør analysen af de data, den genererer, tidskrævende og vanskelig. Håndsegmentering af et enkelt tomogram kan tage fra timer til dage, men et mikroskop kan nemt generere 50 eller flere tomogrammer om dagen. Nuværende deep learning-segmenteringsprogrammer for cryo-ET findes, men er begrænset til segmentering af en struktur ad gangen. Her trænes og anvendes multi-slice U-Net convolutional neurale netværk til automatisk at segmentere flere strukturer samtidigt inden for kryo-tomogrammer. Med korrekt forbehandling kan disse netværk udledes robust til mange tomogrammer uden behov for at træne individuelle netværk for hvert tomogram. Denne arbejdsgang forbedrer dramatisk den hastighed, hvormed kryo-elektrontomogrammer kan analyseres ved at reducere segmenteringstiden ned til under 30 minutter i de fleste tilfælde. Desuden kan segmenteringer bruges til at forbedre nøjagtigheden af filamentsporing inden for en cellulær kontekst og til hurtigt at udtrække koordinater til subtomogramgennemsnit.

Efter protokollen blev et fem-skive U-Net trænet på et enkelt tomogram (figur 2A) for at identificere fem klasser: membran, mikrotubuli, actin, fiduciale markører og baggrund. Netværket blev iterativt trænet i alt tre gange og derefter anvendt på tomogrammet for fuldt ud at segmentere og kommentere det (figur 2B, C). Minimal oprydning blev udført ved hjælp af trin 7.1 og 7.2. De næste tre tomogram af interesse (figur 2D, G, J) blev indlæst i softwaren til forbehandling. Før billedimport krævede et af tomogrammerne (figur 2J) pixelstørrelsesjustering fra 17,22 Å/px til 13,3 Å/px, da det blev samlet på et andet mikroskop ved en lidt anden forstørrelse. IMOD-programmet squeezevol blev brugt til at ændre størrelse med følgende kommando:
'squeezevol -f 0.772 inputfile.mrc outputfile.mrc'
I denne kommando henviser -f til den faktor, hvormed pixelstørrelsen skal ændres (i dette tilfælde: 13.3/17.22). Efter importen blev alle tre følgeslutningsmål forbehandlet i henhold til trin 3.2 og 3.3, og derefter blev U-nettet med fem skiver anvendt. Minimal oprydning blev igen udført. De endelige segmenteringer vises i figur 2.
Mikrotubulussegmenteringer fra hvert tomogram blev eksporteret som binære (trin 7.4) TIF-filer, konverteret til MRC (IMOD tif2mrc-program ) og derefter brugt til cylinderkorrelation og filamentsporing. Binære segmenteringer af filamenter resulterer i meget mere robust filamentsporing end sporing over tomogrammer. Koordinatkort fra filamentsporing (figur 3) vil blive brugt til yderligere analyse, såsom nærmeste nabomålinger (filamentpakning) og spiralformet subtomogram i gennemsnit langs enkelte filamenter for at bestemme mikrotubulusorientering.
Mislykkede eller utilstrækkeligt uddannede netværk er lette at bestemme. Et mislykket netværk vil slet ikke være i stand til at segmentere nogen strukturer, mens et utilstrækkeligt trænet netværk typisk vil segmentere nogle strukturer korrekt og have et betydeligt antal falske positive og falske negativer. Disse netværk kan korrigeres og iterativt trænes for at forbedre deres ydeevne. Segmenteringsguiden beregner automatisk en models terninglighedskoefficient (kaldet score i SegWiz), når den er trænet. Denne statistik giver et skøn over ligheden mellem træningsdataene og U-Net-segmenteringen. Dragonfly 2022.1 har også et indbygget værktøj til at evaluere en models ydeevne, der kan tilgås under fanen Kunstig intelligens øverst i grænsefladen (se dokumentation for brug).
<img alt="Figure 2" class="xfigimg" src="/files/ftp_upload/64435/64435fig02.jpg"> Figur 2: Slutning. (A-C) Originalt træningstomogram af et DIV 5 hippocampus rotteneuron, indsamlet i 2019 på en Titan Krios. Dette er en tilbageprojiceret rekonstruktion med CTF-korrektion i IMOD. (A) Den gule boks repræsenterer det område, hvor håndsegmentering blev udført for træningsinput. (B) 2D-segmentering fra U-Net efter træningens afslutning. (C) 3D-gengivelse af de segmenterede områder, der viser membran (blå), mikrotubuli (grøn) og actin (rød). (D-F) DIV 5 hippocampus rotteneuron fra samme session som træningstomogrammet. (E) 2D-segmentering fra U-Net uden yderligere træning og hurtig oprydning. Membran (blå), mikrotubuli (grøn), actin (rød), fiducials (pink). F) 3D-gengivelse af segmenterede regioner. (G-I) DIV 5 hippocampus rotteneuron fra 2019-sessionen. (H) 2D-segmentering fra U-Net med hurtig oprydning og (I) 3D-gengivelse. (J-L) DIV 5 hippocampus rotteneuron, indsamlet i 2021 på en anden Titan Krios ved en anden forstørrelse. Pixelstørrelsen er blevet ændret med IMOD-programmet squeezevol for at matche træningstomogrammet. (K) 2D-segmentering fra U-Net med hurtig oprydning, der demonstrerer robust inferens på tværs af datasæt med korrekt forbehandling og (L) 3D-gengivelse af segmentering. Skalastænger = 100 nm. Forkortelser: DIV = dage in vitro; CTF = kontrastoverførselsfunktion. <a href="https://www.jove.com/files/ftp_upload/64435/64435fig02large.jpg" target="_blank">Klik her for at se en større version af denne figur.</a>
<img alt="Figure 3" class="xfigimg" src="/files/ftp_upload/64435/64435fig03.jpg"> Figur 3: Forbedring af filamentsporing . (A) Tomogram af en DIV 4 rotte hippocampus neuron, indsamlet på en Titan Krios. (B) Korrelationskort genereret fra cylinderkorrelation over actinfilamenter. C) Filamentsporing af actin ved hjælp af intensiteten af actinfilamenterne i korrelationskortet til at definere parametre. Sporing fanger membranen og mikrotubuli samt støj, mens man forsøger at spore bare actin. D) U-Net-segmentering af tomogram. Membran fremhævet i blåt, mikrotubuli i rødt, ribosomer i orange, triC i lilla og actin i grønt. (E) Actinsegmentering ekstraheret som en binær maske til filamentsporing. (F) Korrelationskort genereret fra cylinderkorrelation med de samme parametre fra (B). (G) Signifikant forbedret filamentsporing af netop actinfilamenter fra tomogrammet. Forkortelse: DIV = dage in vitro. <a href="https://www.jove.com/files/ftp_upload/64435/64435fig03large.jpg" target="_blank">Klik her for at se en større version af dette tal.</a>
Supplerende fil 1: Det tomogramme, der bruges i denne protokol, og det multi-ROI, der blev genereret som træningsinput, er inkluderet som et samlet datasæt (Training.ORSObject). Se https://datadryad.org/stash/dataset/doi:10.5061/dryad.rxwdbrvct.

Watch this Scientific Journal Video about Deep Learning-Based Segmentation of Cryo-Electron Tomograms at JoVE.com

Deep Learning-Based Segmentation of Cryo-Electron Tomograms

Dette er en metode til træning af et multi-slice U-Net til multi-class segmentering af kryo-elektrontomogrammer ved hjælp af en del af et tomogram som træningsinput. Vi beskriver, hvordan man udleder dette netværk til andre tomogrammer, og hvordan man udtrækker segmenteringer til yderligere analyser, såsom subtomogramgennemsnit og filamentsporing.

Deep learning-baseret segmentering af kryo-elektron-tomogram

Cryo-electron tomography (cryo-ET) allows researchers to image cells in their native, hydrated state at the highest resolution currently possible. The ...

Det mest spændende ved vores protokol er, at den giver ethvert laboratorium mulighed for at komme i gang ved hjælp af disse deep learning-protokoller til segmentering af store mængder cryo-ET-data. Den største fordel ved vores arbejdsgang er, at Dragonfly giver et professionelt beregningsmiljø til træning af neurale netværk i flere klasser til segmentering, og det kan virkelig bare dramatisk fremskynde din segmenteringsproces. Billedsegmentering tager tid at lære, så sørg for at teste værktøjerne og lære nøglebindingerne for virkelig at hjælpe med at strømline din arbejdsgang over tid.Når du har konfigureret softwaren, skal du fortsætte med billedimporten ved at gå til Filer og vælge Importer billedfiler. Klik derefter på Tilføj, naviger til billedfilen, klik på Åbn, og vælg Næste efterfulgt af Udfør. Opret en brugerdefineret intensitetsskala ved at gå til Hjælpeprogrammer og vælge Dimension Unit Manager.Klik på plus nederst til venstre for at oprette en ny dimensionsenhed. Vælg en høj og lav intensitetsfunktion i alle tomogrammer af interesse. Giv enheden et navn og en forkortelse, og gem den brugerdefinerede dimensionsenhed.Hvis du vil kalibrere billeder til den brugerdefinerede intensitetsskala, skal du højreklikke på datasættet i kolonnen Egenskaber i højre side af skærmen og vælge Kalibrer intensitetsskala. Gå derefter til hovedfanen i venstre side af skærmen, og rul ned til sondeafsnittet. Brug værktøjet til cirkulær sonde med en passende diameter til at klikke et par steder i tomogrammets baggrundsområde og registrere gennemsnitstallet i kolonnen med rå intensitet.Gentag for fiduciale markører, og klik på Kalibrer. Juster om nødvendigt kontrasten for at gøre strukturer synlige igen med områdeværktøjet i vinduesudjævningssektionen på hovedfanen. På venstre side af hovedfanen skal du rulle ned til billedbehandlingspanelet.Klik på Avanceret, og vent på, at et nyt vindue åbnes. Vælg det datasæt, der skal filtreres, i panelet Egenskaber, og gør det synligt ved at klikke på øjeikonet til venstre for datasættet. Brug derefter rullemenuen fra kontrolpanelet til at vælge histogramudligning for den første handling.Vælg Tilføj handling, klik på Gaussisk, og skift kernedimensionen til 3D. Tilføj den tredje handling, vælg derefter Uskarp, og lad outputtet være til denne. Anvend udligningen på alle skiver, og lad filtreringen køre, og luk derefter billedbehandlingsvinduet for at vende tilbage til hovedgrænsefladen.For at identificere træningsområdet skal du gå til panelet med dataegenskaber ved først at skjule det ufiltrerede datasæt ved at klikke på øjeikonet til venstre for det. Vis derefter det nyligt filtrerede datasæt. Brug det filtrerede datasæt til at identificere et underområde af tomogrammet, der indeholder alle de funktioner, der er af interesse.Opret nu en boks omkring interesseområdet ved at rulle ned til kategorien Figurer og vælge Opret en boks i venstre side af hovedfanen. Mens du er på panelet med fire visninger, kan du bruge de forskellige 2D-planer til at hjælpe med at styre eller trække i kanterne af boksen for kun at omslutte interesseområdet i alle dimensioner. Vælg boksområdet på datalisten, og skift kantfarven, så det er nemmere at få vist, ved at klikke på den grå firkant ud for øjesymbolet.Hvis du vil oprette et multiinvesteringsafkast, skal du vælge fanen Segmentering, klikke på Ny i venstre side og markere Opret som multi-ROI. Sørg for, at antallet af klasser svarer til antallet af funktioner af interesse plus en baggrundsklasse. Navngiv træningsdataene med flere investeringsafkast, og sørg for, at geometrien svarer til datasættet, før du klikker på OK. Rul derefter gennem dataene, indtil de er inden for grænserne for det indrammede område.Vælg Multi-ROI i menuen Egenskaber til højre. Dobbeltklik på det første tomme klassenavn i multi-ROI for at navngive det. Hvis du vil male med 2D-penslen, skal du rulle ned til 2D-værktøjer under fanen Segmentering til venstre og vælge en cirkulær pensel.Vælg derefter Adaptiv Gaussisk eller Lokal OTSU i rullemenuen, mal ved at holde venstrekontrol plus klik nede, og slet ved at holde venstreskift plus klik nede. Når alle strukturer er blevet mærket, skal du højreklikke på baggrundsklassen i multi-ROI og vælge Tilføj alle umærkede voxels til klassen. Opret derefter et nyt investeringsafkast i en klasse med navnet Mask.Sørg for, at geometrien er indstillet til det filtrerede datasæt, og klik derefter på Anvend. På fanen Egenskaber til højre skal du højreklikke på feltet, vælge Føj til investeringsafkast og føje det til maskens investeringsafkast. Hvis du vil trimme træningsdataene ved hjælp af masken, skal du gå til fanen Egenskaber og vælge både træningsdata, multi-ROI og maskens ROI ved at holde kontrol nede og klikke på hver.Klik derefter på Skær under listen over dataegenskaber i afsnittet Booleske handlinger. Navngiv det nye datasæt som trimmet træningsinput, og sørg for, at geometrien svarer til det filtrerede datasæt, før du klikker på OK. Importér træningsdataene til segmenteringsguiden ved at højreklikke på det filtrerede datasæt under fanen Egenskaber og vælge indstillingen Guiden Segmentering. Når et nyt vindue åbnes, skal du kigge efter fanen Input i højre side.Klik på Importer rammer fra et multi-ROI, og vælg input til trimmet træning. Hvis du vil generere en ny neural netværksmodel, skal du klikke på plusknappen i højre side på modellens fane. Vælg U Net på listen, vælg 2,5 D og fem udsnit som inputdimension, og klik derefter på Generer.For at træne netværket skal du klikke på Træn nederst til højre i Seg Wiz-vinduet. Når enhedstræningen er fuldført, skal du bruge det trænede netværk til at segmentere nye rammer, oprette en ny ramme og klikke på Forudsig. Klik derefter på pil op øverst til højre i den forudsagte ramme for at overføre segmenteringen til den reelle ramme.Du retter forudsigelsen ved at ctrl-klikke på to klasser for at ændre de segmenterede pixel fra den ene til den anden. Vælg begge klasser, og mal med penslen for kun at male pixel, der tilhører en af klasserne. Ret segmenteringen i mindst fem nye rammer.For iterativ træning skal du klikke på knappen Træn igen og lade netværket træne yderligere for yderligere 30 til 40 flere epics. På dette tidspunkt skal du stoppe træningen og starte en anden træningsrunde. Når du er tilfreds med netværkets ydeevne, kan du publicere netværket ved at afslutte guiden Segmentering.Der vises en dialogboks, der spørger, hvilke modeller der skal offentliggøres. Vælg det vellykkede netværk, navngiv det, og publicer det derefter for at gøre netværket tilgængeligt til brug uden for segmenteringsguiden. Vælg først det filtrerede datasæt i panelet Egenskaber, der skal anvendes på træningstomogrammet.I panelet Segmentering til venstre skal du rulle ned til afsnittet Segment med AI. Sørg for, at det korrekte datasæt er valgt. Vælg den model, der er offentliggjort for nylig i rullemenuen, og klik derefter på Segment efterfulgt af Alle udsnit.Hvis du vil anvende på et fornuftslutningsdatasæt, skal du importere det nye tomogrammer og forbehandle det som vist tidligere. I segmenteringspanelet skal du gå til afsnittet segment med AI. Sørg for, at det nyligt filtrerede tomogrammer er det valgte datasæt, vælg den tidligere trænede model, klik på segmentet, og vælg Alle udsnit.Ryd hurtigt op i støj ved først at vælge en af de klasser, der har segmenteret støj og den interessante funktion. Højreklik derefter på Process Islands, vælg Fjernet af Voxel Count, og klik derefter på Vælg en Voxel-størrelse. Start med små tællinger, og øg gradvist antallet for at fjerne det meste af støjen.For segmenteringskorrektion skal du ctrl-klikke på to klasser for at male pixel, der kun tilhører disse klasser. Ctrl-klik plus træk med segmenteringsværktøjerne for at ændre pixel i anden klasse til den første og skift-klik plus træk for at opnå det modsatte. En fem-skive enhed blev trænet på et enkelt tomogram, og håndsegmentering blev udført til træningsinput.2D-segmentering fra enheden efter fuldstændig træning vises. 3D-gengivelse af de segmenterede områder viser membran-, mikrotubuli- og actinfilamenter. DIV 5 hippocampale rotteneuroner fra samme session som træningstomogrammet vises.2D-segmentering fra enheden uden yderligere træning i hurtig oprydning viste membran, mikrotubuli, actin og fiducials. 3D-gengivelse af de segmenterede regioner blev også visualiseret. DIV 5 hippocampus rotteneuron fra en tidligere session blev også observeret.2D-segmentering fra enheden med hurtig oprydning og 3D-gengivelse blev også udført. DIV 5 hippocampus rotteneuron blev også observeret på en anden Titan Krios ved en anden forstørrelse. Pixelstørrelsen er blevet ændret med IMOD-programmets squeeze vault, så den passer til træningstomogrammet.2D-segmentering fra enheden med hurtig oprydning demonstrerer robust inferens på tværs af datasæt med korrekt forbehandling, og 3D-gengivelse af segmentering blev udført. Forbehandling af dataene identisk og kalibrering af histogrammerne er absolut de vigtigste trin for korrekt netværksslutning. Når placeringen af molekyler er kendt inden for tomogrammet, er det virkelig trivielt inden for Dragonfly at beregne kvantitative målinger eller beregne koordinater og føde dem ind i en sub-tomogram gennemsnitlig rørledning.Vi er kun lige begyndt at se virkningerne af dyb læring på cryo-ET-billedanalyse, men dette er blot endnu et område, hvor det viser virkelig enormt løfte.

Research

JoVE Journal

Biology

In vivo Imaging of Deep Cortical Layers using a Microprism

In vivo Imaging of Deep Cortical Layers using a Microprism

We present a protocol for in vivo imaging of cortical tissue using a deep-brain imaging probe in the shape of a microprism.  Microprisms are 1-mm in size ...

Generation of Dispersed Presomitic Mesoderm Cell Cultures for Imaging of the Zebrafish Segmentation Clock in Single Cells

Generering af Spredt Presomitic mesoderm cellekulturer til Imaging af zebrafisk Segmentation ur i enkeltceller

Segmentation is a  periodic and sequential morphogenetic process in vertebrates. This rhythmic  formation of blocks of tissue called somites along the ...

Cryo-electron Microscopy Specimen Preparation By Means Of a Focused Ion Beam

Cryo-Electron Microscopy Prøvepræparation ved hjælp af en målrettet Ion Beam

Here we present a protocol used to prepare cryo-TEM samples of Aspergillus niger spores, but which can easily be adapted for any number of microorganisms ...

Do's and Don'ts of Cryo-electron Microscopy: A Primer on Sample Preparation and High Quality Data Collection for Macromolecular 3D Reconstruction

SKAL og MÅ af Cryo-elektronmikroskopi: En primer på Prøveforberedelse og data af høj kvalitet Indsamling til Macromolecular 3D Genopbygning

Cryo-electron microscopy (cryoEM) entails flash-freezing a thin layer of sample on a support, and then visualizing the sample in its frozen hydrated state ...

Volume Segmentation and Analysis of Biological Materials Using SuRVoS (Super-region Volume Segmentation) Workbench

Volume Segmentation and Analysis of Biological Materials Using SuRVoS Super-region Volume Segmentation Workbench

Volumen segmentering og analyse af biologiske materialer ved hjælp af SuRVoS (Super-regionen volumen segmentering) Workbench

Segmentation is the process of isolating specific regions or objects within an imaged volume, so that further study can be undertaken on these areas of ...

Visualization of DNA Compaction in Cyanobacteria by High-voltage Cryo-electron Tomography

Visualisering af DNA jordpakning i cyanobakterier af høj spænding Cryo-elektron tomografi

This protocol describes how to visualize the transient DNA compaction in cyanobacteria. DNA compaction is a dramatic cytoplasmic event recently found to ...

Cryo-Electron Microscopic Grid Preparation for Time-Resolved Studies using a Novel Robotic System, Spotiton

Kryo-elektron mikroskopisk gitter forberedelse til tid-løste undersøgelser ved hjælp af en ny robot system, Spotiton

The capture of short-lived molecular states triggered by the early encounter of two or more interacting particles continues to be an experimental ...

Sample Preparation by 3D-Correlative Focused Ion Beam Milling for High-Resolution Cryo-Electron Tomography

Prøveforberedelse ved 3D-korrelativfokuseret ionstrålefræsning til kryo-elektrontomografi med høj opløsning

Cryo-electron tomography (cryo-ET) has become the method of choice for investigating cellular ultrastructure and molecular complexes in their native, ...

Deep Vascular Imaging in the Eye with Flow-Enhanced Ultrasound

Dyb vaskulær billeddannelse i øjet med flow-forbedret ultralyd

The retina within the eye is one of the most energy-demanding tissues in the body and thus requires high rates of oxygen delivery from a rich blood ...

Cryo-Electron Tomography Remote Data Collection and Subtomogram Averaging

Cryo-elektron tomografi Fjerndataindsamling og subtomogram gennemsnit

Cryo-electron tomography (cryo-ET) has been gaining momentum in recent years, especially since the introduction of direct electron detectors, improved ...