Name: deep learning-based segmentation of cryo-electron tomograms
Uploaded: 2022-11-11T14:00:00
Duration: 10 min 25 s
Description: Watch this Scientific Journal Video about Deep Learning-Based Segmentation of Cryo-Electron Tomograms at JoVE.com

Denne studien ble støttet av Penn State College of Medicine og Institutt for biokjemi og molekylærbiologi, samt Tobacco Settlement Fund (TSF) tilskudd 4100079742-EXT. Tjenestene og instrumentene CryoEM og CryoET Core (RRID:SCR_021178) som ble brukt i dette prosjektet ble delvis finansiert av Pennsylvania State University College of Medicine via Office of the Vice Dean of Research and Graduate Students og Pennsylvania Department of Health using Tobacco Settlement Funds (CURE). Innholdet er utelukkende forfatternes ansvar og representerer ikke nødvendigvis de offisielle synspunktene til universitetet eller College of Medicine. Pennsylvania Department of Health fraskriver seg spesifikt ansvar for eventuelle analyser, tolkninger eller konklusjoner.

<ol>
	<li>Bai, X. -. C., Mcmullan, G., Scheres, S. H. W. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=How+cryo-EM+is+revolutionizing+structural+biology.">How cryo-EM is revolutionizing structural biology.</a> Trends in Biochemical Sciences. 40 (1), 49-57 (2015).</li><li>de Oliveira, T. M., van Beek, L., Shilliday, F., Debreczeni, J., Phillips, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Cryo-EM:+The+resolution+revolution+and+drug+discovery.">Cryo-EM: The resolution revolution and drug discovery.</a> SLAS Discovery. 26 (1), 17-31 (2021).</li><li>Danev, R., Yanagisawa, H., Kikkawa, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Cryo-EM+performance+testing+of+hardware+and+data+acquisition+strategies.">Cryo-EM performance testing of hardware and data acquisition strategies.</a> Microscopy. 70 (6), 487-497 (2021).</li><li>Mastronarde, D. N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Automated+electron+microscope+tomography+using+robust+prediction+of+specimen+movements.">Automated electron microscope tomography using robust prediction of specimen movements.</a> Journal of Structural Biology. 152 (1), 36-51 (2005).</li><li>. Tomography 5 and Tomo Live Software User-friendly batch acquisition for and on-the-fly reconstruction for cryo-electron tomography Datasheet Available from: <a target="_blank" href="https://assets.thermofisher.com/TFS-Assets/MSD/Datasheets/tomography-5-software-ds0362.pdf">https://assets.thermofisher.com/TFS-Assets/MSD/Datasheets/tomography-5-software-ds0362.pdf</a> (2022)</li><li>Danev, R., Baumeister, W. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Expanding+the+boundaries+of+cryo-EM+with+phase+plates.">Expanding the boundaries of cryo-EM with phase plates.</a> Current Opinion in Structural Biology. 46, 87-94 (2017).</li><li>Hylton, R. K., Swulius, M. T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Challenges+and+triumphs+in+cryo-electron+tomography.">Challenges and triumphs in cryo-electron tomography.</a> iScience. 24 (9), (2021).</li><li>Turk, M., Baumeister, W. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=The+promise+and+the+challenges+of+cryo-electron+tomography.">The promise and the challenges of cryo-electron tomography.</a> FEBS Letters. 594 (20), 3243-3261 (2020).</li><li>Oikonomou, C. M., Jensen, G. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Cellular+electron+cryotomography:+Toward+structural+biology+in+situ.">Cellular electron cryotomography: Toward structural biology in situ.</a> Annual Review of Biochemistry. 86, 873-896 (2017).</li><li>Wagner, J., Schaffer, M., Fern&#225;ndez-Busnadiego, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Cryo-electron+tomography-the+cell+biology+that+came+in+from+the+cold.">Cryo-electron tomography-the cell biology that came in from the cold.</a> FEBS Letters. 591 (17), 2520-2533 (2017).</li><li>Lam, V., Villa, E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Practical+approaches+for+Cryo-FIB+milling+and+applications+for+cellular+cryo-electron+tomography.">Practical approaches for Cryo-FIB milling and applications for cellular cryo-electron tomography.</a> Methods in Molecular Biology. 2215, 49-82 (2021).</li><li>Chreifi, G., Chen, S., Metskas, L. A., Kaplan, M., Jensen, G. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Rapid+tilt-series+acquisition+for+electron+cryotomography.">Rapid tilt-series acquisition for electron cryotomography.</a> Journal of Structural Biology. 205 (2), 163-169 (2019).</li><li>Eisenstein, F., Danev, R., Pilhofer, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Improved+applicability+and+robustness+of+fast+cryo-electron+tomography+data+acquisition.">Improved applicability and robustness of fast cryo-electron tomography data acquisition.</a> Journal of Structural Biology. 208 (2), 107-114 (2019).</li><li>Esteva, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Deep+learning-enabled+medical+computer+vision.">Deep learning-enabled medical computer vision.</a> npj Digital Medicine. 4 (1), (2021).</li><li>Liu, Y. -. T., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Isotropic+reconstruction+of+electron+tomograms+with+deep+learning.">Isotropic reconstruction of electron tomograms with deep learning.</a> bioRxiv. , (2021).</li><li>Moebel, E., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Deep+learning+improves+macromolecule+identification+in+3D+cellular+cryo-electron+tomograms.">Deep learning improves macromolecule identification in 3D cellular cryo-electron tomograms.</a> Nature Methods. 18 (11), 1386-1394 (2021).</li><li>Chen, M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Convolutional+neural+networks+for+automated+annotation+of+cellular+cryo-electron+tomograms.">Convolutional neural networks for automated annotation of cellular cryo-electron tomograms.</a> Nature Methods. 14 (10), 983-985 (2017).</li><li>Ronneberger, O., Fischer, P., Brox, T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=U-net:+Convolutional+networks+for+biomedical+image+segmentation.">U-net: Convolutional networks for biomedical image segmentation.</a> Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). 9351, 234-241 (2015).</li><li>Kremer, J. R., Mastronarde, D. N., McIntosh, J. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Computer+visualization+of+three-dimensional+image+data+using+IMOD.">Computer visualization of three-dimensional image data using IMOD.</a> Journal of Structural Biology. 116 (1), 71-76 (1996).</li><li>Iancu, C. V., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+&amp;#34;flip-flop&amp;#34;+rotation+stage+for+routine+dual-axis+electron+cryotomography.">A &amp;#34;flip-flop&amp;#34; rotation stage for routine dual-axis electron cryotomography.</a> Journal of Structural Biology. 151 (3), 288-297 (2005).</li></ol>

Open Access-lisensen for denne protokollen ble betalt av Object Research Systems.

Denne protokollen beskriver en prosedyre for bruk av Dragonfly 2022.1-programvare for å trene et U-Net i flere klasser fra et enkelt tomogram, og hvordan du kan utlede det nettverket til andre tomogrammer som ikke trenger å være fra samme datasett. Treningen er relativt rask (kan være så rask som 3-5 min per epoke eller så sakte som noen få timer, helt avhengig av nettverket som blir trent og maskinvaren som brukes), og omskolering av et nettverk for å forbedre læringen er intuitivt. Så lenge forbehandlingstrinnene utføres for hvert tomogram, er slutningen vanligvis robust.
Konsekvent forhåndsbehandling er det mest kritiske trinnet for dyp læringsslutning. Det er mange bildefiltre i programvaren, og brukeren kan eksperimentere for å finne ut hvilke filtre som fungerer best for bestemte datasett; Vær oppmerksom på at hvilken filtrering som brukes på treningstogrammet, må brukes på samme måte som slutningstomogrammene. Det må også utvises forsiktighet for å gi nettverket nøyaktig og tilstrekkelig opplæringsinformasjon. Det er viktig at alle funksjoner som er segmentert i treningsstykkene er segmentert så nøye og nøyaktig som mulig.
Bildesegmentering forenkles av et sofistikert kommersielt brukergrensesnitt. Det gir alle nødvendige verktøy for håndsegmentering og muliggjør enkel omplassering av voxels fra en klasse til en annen før trening og omskoling. Brukeren har lov til å håndsegmentere voxels innenfor hele konteksten av tomogrammet, og de får flere visninger og muligheten til å rotere volumet fritt. I tillegg gir programvaren muligheten til å bruke flere klassenettverk, som har en tendens til å utføre bedre16 og er raskere enn segmentering med flere enkeltklassenettverk.
Det er selvfølgelig begrensninger for et nevralt nettverks evner. Kryo-ET-data er av natur svært støyende og begrenset i vinkelprøvetaking, noe som fører til orienteringsspesifikke forvrengninger i identiske objekter21. Opplæring er avhengig av at en ekspert segmenterer strukturer nøyaktig, og et vellykket nettverk er bare så bra (eller så dårlig) som treningsdataene det er gitt. Bildefiltrering for å øke signalet er nyttig for treneren, men det er fortsatt mange tilfeller der nøyaktig identifisering av alle piksler i en gitt struktur er vanskelig. Det er derfor viktig at det utvises stor forsiktighet når du oppretter treningssegmenteringen, slik at nettverket har best mulig informasjon å lære under trening.
Denne arbeidsflyten kan enkelt endres etter hver brukers preferanser. Selv om det er viktig at alle tomogrammer forhåndsbehandles på nøyaktig samme måte, er det ikke nødvendig å bruke de nøyaktige filtrene som brukes i protokollen. Programvaren har mange bildefiltreringsalternativer, og det anbefales å optimalisere disse for brukerens spesielle data før du legger ut på et stort segmenteringsprosjekt som spenner over mange tomogrammer. Det er også ganske mange nettverksarkitekturer tilgjengelig for bruk: et flerstykke U-Net har vist seg å fungere best for dataene fra dette laboratoriet, men en annen bruker kan oppleve at en annen arkitektur (for eksempel et 3D U-Net eller en Sensor 3D) fungerer bedre. Segmenteringsveiviseren gir et praktisk grensesnitt for å sammenligne ytelsen til flere nettverk ved hjelp av de samme treningsdataene.
Verktøy som de som presenteres her, vil gjøre håndsegmentering av fulle tomogrammer til en oppgave fra fortiden. Med godt trente nevrale nettverk som er robust inferable, er det fullt mulig å lage en arbeidsflyt der tomografiske data rekonstrueres, behandles og fullt segmenteres så raskt som mikroskopet kan samle det.

Maskinvare- og programvareutviklingen det siste tiåret har resultert i en "oppløsningsrevolusjon" for kryo-elektronmikroskopi (cryo-EM)1,2. Med bedre og raskere detektorer3, programvare for å automatisere datainnsamling4,5 og signalforsterkende fremskritt som faseplater6, er det relativt enkelt å samle store mengder høyoppløselige kryo-EM-data.
Cryo-ET gir enestående innsikt i cellulær ultrastruktur i en naturlig, hydrert tilstand 7,8,9,10. Den primære begrensningen er prøvetykkelse, men med bruk av metoder som fokusert ionstråle (FIB) fresing, hvor tykke celle- og vevsprøver tynnes for tomografi11, utvides horisonten for hva som kan avbildes med kryo-ET stadig. De nyeste mikroskopene er i stand til å produsere godt over 50 tomogrammer om dagen, og denne frekvensen forventes bare å øke på grunn av utviklingen av raske datainnsamlingsordninger12,13. Analyse av de enorme datamengdene produsert av cryo-ET er fortsatt en flaskehals for denne avbildningsmodaliteten.
Kvantitativ analyse av tomografisk informasjon krever at den først blir kommentert. Tradisjonelt krever dette håndsegmentering av en ekspert, noe som er tidkrevende; Avhengig av den molekylære kompleksiteten som finnes i kryo-tomogrammet, kan det ta timer til dager med dedikert oppmerksomhet. Kunstige nevrale nettverk er en tiltalende løsning på dette problemet, siden de kan trenes til å gjøre mesteparten av segmenteringsarbeidet på en brøkdel av tiden. Konvolusjonelle nevrale nettverk (CNN) er spesielt egnet for datasynsoppgaver14 og har nylig blitt tilpasset for analyse av kryo-elektrontomogrammer15,16,17.
Tradisjonelle CNN-er krever mange tusen kommenterte treningsprøver, noe som ofte ikke er mulig for biologiske bildeanalyseoppgaver. Derfor har U-Net-arkitekturen utmerket seg i dette rommet18 fordi den er avhengig av dataforsterkning for å kunne trene nettverket, og minimere avhengigheten av store treningssett. For eksempel kan en U-Net-arkitektur trenes med bare noen få skiver av et enkelt tomografi (fire eller fem skiver) og utledes robust til andre tomogrammer uten omskolering. Denne protokollen gir en trinnvis veiledning for trening av U-Net nevrale nettverksarkitekturer for å segmentere elektronkryo-tomogrammer i Dragonfly 2022.119.
Dragonfly er kommersielt utviklet programvare som brukes til 3D-bildesegmentering og analyse av dyplæringsmodeller, og den er fritt tilgjengelig for akademisk bruk (noen geografiske begrensninger gjelder). Den har et avansert grafisk grensesnitt som gjør det mulig for en ikke-ekspert å dra full nytte av kraften til dyp læring for både semantisk segmentering og støyfjerning av bilder. Denne protokollen demonstrerer hvordan man forhåndsbehandler og kommenterer kryo-elektrontomogrammer i Dragonfly for trening av kunstige nevrale nettverk, som deretter kan utledes til raskt å segmentere store datasett. Den diskuterer videre og demonstrerer kort hvordan du bruker segmenterte data for videre analyse, for eksempel filamentsporing og koordinatekstraksjon for gjennomsnitt av sub-tomogram.

<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td>Dragonfly 2022.1</td>
			<td>Object Research Systems</td>
			<td></td>
			<td>https://www.theobjects.com/dragonfly/index.html</td>
		</tr>
		<tr>
			<td>E18 Rat Dissociated Hippocampus</td>
			<td>Transnetyx Tissue</td>
			<td>KTSDEDHP</td>
			<td>https://tissue.transnetyx.com/faqs</td>
		</tr>
		<tr>
			<td>IMOD</td>
			<td>University of Colorado</td>
			<td></td>
			<td>https://bio3d.colorado.edu/imod/</td>
		</tr>
		<tr>
			<td>Intel&#174; Xeon&#174; Gold 6124 CPU 3.2GHz</td>
			<td>Intel</td>
			<td></td>
			<td>https://www.intel.com/content/www/us/en/products/sku/120493/intel-xeon-gold-6134-processor-24-75m-cache-3-20-ghz/specifications.html</td>
		</tr>
		<tr>
			<td>NVIDIA Quadro P4000</td>
			<td>NVIDIA</td>
			<td></td>
			<td>https://www.nvidia.com/content/dam/en-zz/Solutions/design-visualization/productspage/quadro/quadro-desktop/quadro-pascal-p4000-data-sheet-a4-nvidia-704358-r2-web.pdf</td>
		</tr>
		<tr>
			<td>Windows 10 Enterprise 2016</td>
			<td>Microsoft</td>
			<td></td>
			<td>https://www.microsoft.com/en-us/evalcenter/evaluate-windows-10-enterprise</td>
		</tr>
		<tr>
			<td>Workstation Minimum Requirements</td>
			<td></td>
			<td></td>
			<td>https://theobjects.com/dragonfly/system-requirements.html</td>
		</tr>
	</tbody>
</table>

deep learning-based segmentation of cryo-electron tomograms

Kryo-elektrontomografi (kryo-ET) tillater forskere å avbilde celler i sin opprinnelige, hydrerte tilstand med den høyeste oppløsningen som er mulig. Teknikken har imidlertid flere begrensninger som gjør det tidkrevende og vanskelig å analysere dataene den genererer. Håndsegmentering av et enkelt tomografi kan ta fra timer til dager, men et mikroskop kan enkelt generere 50 eller flere tomogrammer om dagen. Nåværende segmenteringsprogrammer for dyp læring for kryo-ET eksisterer, men er begrenset til å segmentere en struktur om gangen. Her trenes og brukes flerskive U-Net konvolusjonelle nevrale nettverk for automatisk å segmentere flere strukturer samtidig i kryo-tomogrammer. Med riktig forbehandling kan disse nettverkene utledes robust til mange tomogrammer uten behov for å trene individuelle nettverk for hvert tomogram. Denne arbeidsflyten forbedrer dramatisk hastigheten som kryo-elektrontomogrammer kan analyseres med ved å kutte segmenteringstiden ned til under 30 minutter i de fleste tilfeller. Videre kan segmenteringer brukes til å forbedre nøyaktigheten av filamentsporing i en cellulær kontekst og for raskt å trekke ut koordinater for subtomogramgjennomsnitt.

Etter protokollen ble et fem-skive U-Net trent på et enkelt tomografi (figur 2A) for å identifisere fem klasser: membran, mikrotubuli, aktin, fiducial markører og bakgrunn. Nettverket ble iterativt trent totalt tre ganger, og deretter påført tomogrammet for å fullstendig segmentere og kommentere det (figur 2B,C). Minimal opprydding ble utført ved hjelp av trinn 7.1 og 7.2. De neste tre tomogrammene av interesse (figur 2D, G, J) ble lastet inn i programvaren for forbehandling. Før bildeimport krevde et av tomogrammene (figur 2J) pikselstørrelsesjustering fra 17,22 Å/px til 13,3 Å/px, ettersom det ble samlet inn på et annet mikroskop ved en litt annen forstørrelse. IMOD-programmet squeezevol ble brukt til å endre størrelse med følgende kommando:
'squeezevol-f 0.772 inputfile.mrc outputfile.mrc'
I denne kommandoen refererer -f til faktoren for å endre pikselstørrelsen (i dette tilfellet: 13.3/17.22). Etter import ble alle tre slutningsmålene forhåndsbehandlet i henhold til trinn 3.2 og 3.3, og deretter ble U-Net med fem skiver brukt. Minimal opprydding ble igjen utført. De endelige segmenteringene er vist i figur 2.
Mikrotubulisegmenteringer fra hvert tomografi ble eksportert som binære (trinn 7.4) TIF-filer, konvertert til MRC (IMOD tif2mrc-program ), og deretter brukt til sylinderkorrelasjon og filamentsporing. Binære segmenteringer av filamenter resulterer i mye mer robust filamentsporing enn sporing over tomogrammer. Koordinatkart fra filamentsporing (figur 3) vil bli brukt til videre analyse, for eksempel nærmeste nabomålinger (filamentpakking) og spiralformet sub-tomogram gjennomsnitt langs enkeltfilamenter for å bestemme mikrotubuliorientering.
Mislykkede eller utilstrekkelig trente nettverk er enkle å fastslå. Et mislykket nettverk vil ikke være i stand til å segmentere noen strukturer i det hele tatt, mens et utilstrekkelig trent nettverk vanligvis vil segmentere noen strukturer riktig og ha et betydelig antall falske positiver og falske negativer. Disse nettverkene kan korrigeres og iterativt trenes for å forbedre ytelsen. Segmenteringsveiviseren beregner automatisk en modells Dice-likhetskoeffisient (kalt poengsum i SegWiz) etter at den er opplært. Denne statistikken gir et estimat av likheten mellom treningsdataene og U-Net-segmenteringen. Dragonfly 2022.1 har også et innebygd verktøy for å evaluere en modells ytelse som kan nås i fanen Kunstig intelligens øverst i grensesnittet (se dokumentasjon for bruk).
<img alt="Figure 2" class="xfigimg" src="/files/ftp_upload/64435/64435fig02.jpg"> Figur 2: Slutning. (A-C) Originalt treningstomografi av et DIV 5 hippocampal rottenevron, samlet i 2019 på en Titan Krios. Dette er en tilbakeprojisert rekonstruksjon med CTF-korreksjon i IMOD. (A) Den gule boksen representerer regionen der håndsegmenteringen ble utført for treningsinndata. (B) 2D-segmentering fra U-Net etter at opplæringen er fullført. (C) 3D-gjengivelse av de segmenterte områdene som viser membran (blå), mikrotubuli (grønn) og aktin (rød). (VG Nett) DIV 5 hippocampus rottenevron fra samme økt som treningstogrammet. (E) 2D-segmentering fra U-nettet uten ekstra opplæring og rask opprydding. Membran (blå), mikrotubuli (grønn), aktin (rød), fiducials (rosa). (F) 3D-gjengivelse av de segmenterte regionene. (VG Nett) DIV 5 hippocampus rottenevron fra 2019-økten. (H) 2D-segmentering fra U-Net med rask opprydding og (I) 3D-gjengivelse. (J-L) DIV 5 hippocampal rottenevron, samlet i 2021 på en annen Titan Krios ved en annen forstørrelse. Pikselstørrelsen er endret med IMOD-programmet squeezevol for å matche treningstogrammet. (K) 2D-segmentering fra U-nettet med rask opprydding, som demonstrerer robust inferens på tvers av datasett med riktig forhåndsbehandling og (L) 3D-gjengivelse av segmentering. Skalastenger = 100 nm. Forkortelser: DIV = dager in vitro; CTF = kontrastoverføringsfunksjon. <a href="https://www.jove.com/files/ftp_upload/64435/64435fig02large.jpg" target="_blank">Klikk her for å se en større versjon av denne figuren.</a>
<img alt="Figure 3" class="xfigimg" src="/files/ftp_upload/64435/64435fig03.jpg"> Figur 3: Forbedring av filamentsporing . (A) Tomogram av et DIV 4 rotte hippocampus nevron, samlet på en Titan Krios. (B) Korrelasjonskart generert fra sylinderkorrelasjon over aktinfilamenter. (C) Filamentsporing av aktin ved bruk av intensiteten av aktinfilamenter i korrelasjonskartet for å definere parametere. Sporing fanger membranen og mikrotubuli, samt støy, mens du prøver å spore bare aktin. (D) U-Net-segmentering av tomogram. Membran uthevet i blått, mikrotubuli i rødt, ribosomer i oransje, triC i lilla og aktin i grønt. (E) Aktinsegmentering ekstrahert som en binær maske for filamentsporing. (F) Korrelasjonskart generert fra sylinderkorrelasjon med de samme parametrene fra (B). (G) Betydelig forbedret filamentsporing av bare aktinfilamenter fra tomogrammet. Forkortelse: DIV = dager in vitro. <a href="https://www.jove.com/files/ftp_upload/64435/64435fig03large.jpg" target="_blank">Klikk her for å se en større versjon av denne figuren.</a>
Tilleggsfil 1: Tomogrammet som brukes i denne protokollen og multiavkastningen som ble generert som treningsinndata, er inkludert som et samlet datasett (Training.ORSObject). Se https://datadryad.org/stash/dataset/doi:10.5061/dryad.rxwdbrvct.

Watch this Scientific Journal Video about Deep Learning-Based Segmentation of Cryo-Electron Tomograms at JoVE.com

Deep Learning-Based Segmentation of Cryo-Electron Tomograms

Dette er en metode for å trene et flerskive U-Net for multi-klasse segmentering av kryo-elektrontomogrammer ved å bruke en del av ett tomogram som treningsinngang. Vi beskriver hvordan man utleder dette nettverket til andre tomogrammer og hvordan man trekker ut segmenteringer for videre analyser, for eksempel subtomogramgjennomsnitt og filamentsporing.

Dyp læring-basert segmentering av kryo-elektrontomogrammer

Cryo-electron tomography (cryo-ET) allows researchers to image cells in their native, hydrated state at the highest resolution currently possible. The ...

Det som er mest spennende med protokollen vår er at den lar ethvert laboratorium komme i gang ved hjelp av disse dype læringsprotokollene for segmentering av store mengder kryo-ET-data. Den største fordelen med arbeidsflyten vår er at Dragonfly gir et profesjonelt beregningsmiljø for trening av nevrale nettverk i flere klasser for segmentering, og det kan egentlig bare dramatisk øke hastigheten på segmenteringsprosessen. Bildesegmentering tar tid å lære, så sørg for å teste verktøyene og lære de viktigste bindene for å virkelig effektivisere arbeidsflyten din over tid.Etter å ha konfigurert programvaren, fortsett med bildeimporten ved å gå til Fil og velge Importer bildefiler. Klikk deretter Legg til, naviger til bildefilen, klikk Åpne og velg Neste, etterfulgt av Fullfør. Opprett en egendefinert intensitetsskala ved å gå til Verktøy og velge Dimensjonsenhetsbehandling.Klikk på pluss nederst til venstre for å opprette en ny dimensjonsenhet. Velg en høy og lav intensitetsfunksjon i alle tomogrammer av interesse. Gi enheten et navn og en forkortelse, og lagre den egendefinerte dimensjonsenheten.Hvis du vil kalibrere bilder til den egendefinerte intensitetsskalaen, høyreklikker du datasettet i kolonnen Egenskaper til høyre på skjermen og velger Kalibrer intensitetsskala. Gå deretter til hovedfanen på venstre side av skjermen og bla ned til sondedelen. Bruk sirkelsondeverktøyet med passende diameter til å klikke noen få steder i bakgrunnsområdet i tomogrammet, og registrer gjennomsnittstallet i kolonnen for rå intensitet.Gjenta for tillitsmarkører, og klikk Kalibrer. Juster om nødvendig kontrasten for å gjøre strukturene synlige igjen med områdeverktøyet i vindusutjevningsdelen av hovedfanen. På venstre side av hovedfanen blar du ned til bildebehandlingspanelet.Klikk på Avansert og vent til et nytt vindu åpnes. Velg datasettet som skal filtreres, fra Egenskaper-panelet, og gjør det synlig ved å klikke øyeikonet til venstre for datasettet. Deretter bruker du rullegardinmenyen fra betjeningspanelet til å velge histogramutjevning for den første operasjonen.Velg Legg til operasjon, klikk Gaussian, og endre kjernedimensjonen til 3D. Legg til den tredje operasjonen, velg deretter Uskarp og la utdataene for denne. Bruk utjevningen på alle stykker og la filtreringen kjøre, og lukk deretter bildebehandlingsvinduet for å gå tilbake til hovedgrensesnittet.Hvis du vil identifisere treningsområdet, går du til panelet for dataegenskaper ved først å skjule det ufiltrerte datasettet ved å klikke øyeikonet til venstre for det. Deretter viser du det nylig filtrerte datasettet. Bruk det filtrerte datasettet til å identifisere et underområde av tomogrammet som inneholder alle funksjonene av interesse.Opprett nå en boks rundt interesseområdet ved å bla ned til kategorien Figurer og velge Opprett en boks på venstre side av hovedfanen. Mens du er i firevisningspanelet, kan du bruke de forskjellige 2D-planene til å veilede eller dra kantene på boksen for å omslutte bare interesseområdet i alle dimensjoner. I datalisten velger du boksområdet og endrer kantlinjefargen for enklere visning ved å klikke den grå firkanten ved siden av øyesymbolet.For å opprette en multi-ROI, velg kategorien Segmentering, klikk Ny på venstre side, og merk av for Opprett som multi-ROI. Sørg for at antall klasser tilsvarer antall funksjoner av interesse pluss en bakgrunnsklasse. Gi treningsdataene et navn på flere avkastninger, og kontroller at geometrien samsvarer med datasettet før du klikker OK. Bla deretter gjennom dataene til du er innenfor grensene for det boksede området.Velg Multi-ROI i Egenskaper-menyen til høyre. Dobbeltklikk på det første tomme klassenavnet i multi-ROI for å navngi det. Hvis du vil male med 2D-penselen, blar du ned til 2D-verktøy i kategorien Segmentering til venstre og velger en sirkulær pensel.Velg deretter Adaptive Gaussian eller Local OTSU fra rullegardinmenyen, mal ved å holde venstre kontroll pluss klikk, og slett ved å holde venstre-skift pluss klikk. Når alle strukturer er merket, høyreklikker du bakgrunnsklassen i multi-ROI og velger Legg til alle umerkede Voxels til klasse. Deretter oppretter du en ny avkastning på én klasse kalt Mask.Kontroller at geometrien er satt til det filtrerte datasettet, og klikk deretter Bruk. I kategorien Egenskaper til høyre høyreklikker du boksen, velger Legg til i avkastning og legger den til maskeavkastningen. Hvis du vil trimme treningsdataene ved hjelp av masken, går du til Egenskaper-fanen og velger både treningsdataene, multiavkastningen og maskeavkastningen ved å holde inne kontrollen og klikke på hver av dem.Deretter klikker du Skjæringspunkt under dataegenskapslisten i delen Boolske operasjoner. Gi det nye datasettet et navn som trimmet treningsinndata, og kontroller at geometrien samsvarer med det filtrerte datasettet før du klikker OK. Importer treningsdataene til segmenteringsveiviseren ved å høyreklikke det filtrerte datasettet i kategorien Egenskaper og velge alternativet Segmenteringsveiviser. Når et nytt vindu åpnes, se etter Input-fanen på høyre side.Klikk Importer delbilder fra en multiavkastning, og velg Trimmet opplæring-inndata. Hvis du vil generere en ny nevral nettverksmodell, klikker du plussknappen på høyre side i modellens fane. Velg U Net fra listen, velg 2,5 D og fem stykker for inndatadimensjon, og klikk deretter Generer.For å trene nettverket, klikk på Tren nederst til høyre i Seg Wiz-vinduet. Når enhetsopplæringen er fullført, bruker du det opplærte nettverket til å segmentere nye rammer, opprette en ny ramme og klikke på Forutsi. Klikk deretter på pil opp øverst til høyre i den forutsagte rammen for å overføre segmenteringen til den virkelige rammen.Hvis du vil korrigere prognosen, kontrollklikker du to klasser for å endre de segmenterte bildepunktene i den ene til den andre. Velg begge klassene og mal med penselen for å male bare piksler som tilhører en av klassene. Korriger segmenteringen i minst fem nye delbilder.For iterativ trening, klikk på Tren-knappen igjen og la nettverket trene videre for ytterligere 30 til 40 flere epos. På dette tidspunktet, stopp treningen og start en ny runde med trening. Når du er fornøyd med nettverkets ytelse, publiserer du nettverket ved å avslutte segmenteringsveiviseren.Det dukker opp en dialogboks som spør hvilke modeller som skal publiseres. Velg det vellykkede nettverket, gi det et navn, og publiser det deretter for å gjøre nettverket tilgjengelig for bruk utenfor segmenteringsveiviseren. Velg først det filtrerte datasettet i Egenskaper-panelet som skal brukes på treningstogrammet.I segmenteringspanelet til venstre blar du ned til segmentet med AI-delen. Kontroller at riktig datasett er valgt. Velg modellen som nylig ble publisert i rullegardinmenyen, og klikk deretter på Segment etterfulgt av Alle stykker.Hvis du vil bruke det på et slutningsdatasett, importerer du det nye tomogrammet og forhåndsbehandler det som vist tidligere. I segmenteringspanelet går du til segmentet med AI-delen. Kontroller at det nylig filtrerte tomogrammet er datasettet som er valgt, velg den tidligere opplærte modellen, klikk segmentet og velg Alle stykker.Rydd raskt opp støy ved først å velge en av klassene som har segmentert støy og funksjonen av interesse. Høyreklikk deretter Process Islands, velg Fjernet av Voxel Count, og klikk deretter Velg en Voxel Size. Start med små tellinger og øk tellingen gradvis for å fjerne det meste av støyen.For segmenteringskorrigering kontrollklikker du to klasser for å male piksler som bare tilhører disse klassene. Kontroll-klikk pluss dra med segmenteringsverktøyene for å endre piksler fra den andre klassen til den første, og skift-klikk pluss dra for å oppnå det motsatte. En fem-skive enhet ble trent på et enkelt tomogram og håndsegmentering ble utført for treningsinngang.2D-segmentering fra enheten etter fullført opplæring vises. 3D-gjengivelse av de segmenterte områdene viser membran, mikrotubuli og aktinfilamenter. DIV 5 hippocampus rottenevroner fra samme økt som treningstomogrammet er vist.2D-segmentering fra enheten uten ekstra opplæring i rask opprydding viste membran, mikrotubuli, aktin og fiducials. 3D-gjengivelse av de segmenterte regionene ble også visualisert. DIV 5 hippocampus rottenevron fra en tidligere økt ble også observert.2D-segmentering fra enheten med rask opprydding og 3D-gjengivelse ble også utført. DIV 5 hippocampus rottenevron ble også observert på en annen Titan Krios ved en annen forstørrelse. Pikselstørrelsen er endret med IMOD-programmets klemmehvelv slik at det samsvarer med treningstogrammet.2D-segmentering fra enheten med rask opprydding demonstrerer robust inferens på tvers av datasett med riktig forhåndsbehandling, og 3D-gjengivelse av segmentering ble utført. Forbehandling av dataene identisk og kalibrering av histogrammene er definitivt de viktigste trinnene for riktig nettverksslutning. Når plasseringen av molekyler er kjent i tomogrammet, er det veldig trivielt i Dragonfly å beregne kvantitative målinger eller å beregne koordinater og mate dem inn i en sub-tomogram gjennomsnittsrørledning.Vi begynner bare å se effekten av dyp læring på kryo-ET-bildeanalyse, men dette er bare enda et område der det viser virkelig enormt løfte.

Research

JoVE Journal

Biology

In vivo Imaging of Deep Cortical Layers using a Microprism

In vivo Imaging of Deep Cortical Layers using a Microprism

We present a protocol for in vivo imaging of cortical tissue using a deep-brain imaging probe in the shape of a microprism.  Microprisms are 1-mm in size ...

Generation of Dispersed Presomitic Mesoderm Cell Cultures for Imaging of the Zebrafish Segmentation Clock in Single Cells

Generering av dispergert Presomitic mesoderm cellekulturer for Imaging av sebrafisk Segmentering Klokke i enkeltceller

Segmentation is a  periodic and sequential morphogenetic process in vertebrates. This rhythmic  formation of blocks of tissue called somites along the ...

Cryo-electron Microscopy Specimen Preparation By Means Of a Focused Ion Beam

Cryo-elektron mikroskopi prøven forberedelse ved hjelp av en Focused Ion Beam

Here we present a protocol used to prepare cryo-TEM samples of Aspergillus niger spores, but which can easily be adapted for any number of microorganisms ...

Do's and Don'ts of Cryo-electron Microscopy: A Primer on Sample Preparation and High Quality Data Collection for Macromolecular 3D Reconstruction

Gjøre og ikke gjøre av Cryo-elektronmikroskopi: En Primer på Prøvepreparering og High Quality datainnsamling for Macromolecular 3D Rekonstruksjon

Cryo-electron microscopy (cryoEM) entails flash-freezing a thin layer of sample on a support, and then visualizing the sample in its frozen hydrated state ...

Volume Segmentation and Analysis of Biological Materials Using SuRVoS (Super-region Volume Segmentation) Workbench

Volume Segmentation and Analysis of Biological Materials Using SuRVoS Super-region Volume Segmentation Workbench

Volum segmentering og analyse av biologisk materiale med SuRVoS (super regionen volum segmentering) Workbench

Segmentation is the process of isolating specific regions or objects within an imaged volume, so that further study can be undertaken on these areas of ...

Visualization of DNA Compaction in Cyanobacteria by High-voltage Cryo-electron Tomography

Visualisering av DNA komprimering i Cyanobakterie av høyspent Cryo-elektron tomografi

This protocol describes how to visualize the transient DNA compaction in cyanobacteria. DNA compaction is a dramatic cytoplasmic event recently found to ...

Cryo-Electron Microscopic Grid Preparation for Time-Resolved Studies using a Novel Robotic System, Spotiton

Cryo-Electron mikroskopisk nettforberedelse for tidsavklarte studier ved hjelp av et nytt robotsystem, Spotiton

The capture of short-lived molecular states triggered by the early encounter of two or more interacting particles continues to be an experimental ...

Sample Preparation by 3D-Correlative Focused Ion Beam Milling for High-Resolution Cryo-Electron Tomography

Prøvepreparering ved 3D-korrelativ fokusert ionstrålefresing for høyoppløselig kryo-elektrontomografi

Cryo-electron tomography (cryo-ET) has become the method of choice for investigating cellular ultrastructure and molecular complexes in their native, ...

Deep Vascular Imaging in the Eye with Flow-Enhanced Ultrasound

Dyp vaskulær avbildning i øyet med strømningsforbedret ultralyd

The retina within the eye is one of the most energy-demanding tissues in the body and thus requires high rates of oxygen delivery from a rich blood ...

Cryo-Electron Tomography Remote Data Collection and Subtomogram Averaging

Kryo-elektrontomografi ekstern datainnsamling og subtomografi gjennomsnitt

Cryo-electron tomography (cryo-ET) has been gaining momentum in recent years, especially since the introduction of direct electron detectors, improved ...