Name: deep learning-based segmentation of cryo-electron tomograms
Uploaded: 2022-11-11T14:00:00
Duration: 10 min 25 s
Description: Watch this Scientific Journal Video about Deep Learning-Based Segmentation of Cryo-Electron Tomograms at JoVE.com

Diese Studie wurde vom Penn State College of Medicine und der Abteilung für Biochemie und Molekularbiologie sowie vom Tobacco Settlement Fund (TSF) Grant 4100079742-EXT unterstützt. Die in diesem Projekt verwendeten CryoEM- und CryoET-Core-Dienste und -Instrumente (RRID:SCR_021178) wurden teilweise vom Pennsylvania State University College of Medicine über das Büro des Vizedekans für Forschung und Doktoranden und das Pennsylvania Department of Health mit Tobacco Settlement Funds (CURE) finanziert. Der Inhalt liegt ausschließlich in der Verantwortung der Autoren und spiegelt nicht unbedingt die offiziellen Ansichten der Universität oder des College of Medicine wider. Das Gesundheitsministerium von Pennsylvania lehnt ausdrücklich die Verantwortung für Analysen, Interpretationen oder Schlussfolgerungen ab.

<ol>
	<li>Bai, X. -. C., Mcmullan, G., Scheres, S. H. W. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=How+cryo-EM+is+revolutionizing+structural+biology.">How cryo-EM is revolutionizing structural biology.</a> Trends in Biochemical Sciences. 40 (1), 49-57 (2015).</li><li>de Oliveira, T. M., van Beek, L., Shilliday, F., Debreczeni, J., Phillips, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Cryo-EM:+The+resolution+revolution+and+drug+discovery.">Cryo-EM: The resolution revolution and drug discovery.</a> SLAS Discovery. 26 (1), 17-31 (2021).</li><li>Danev, R., Yanagisawa, H., Kikkawa, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Cryo-EM+performance+testing+of+hardware+and+data+acquisition+strategies.">Cryo-EM performance testing of hardware and data acquisition strategies.</a> Microscopy. 70 (6), 487-497 (2021).</li><li>Mastronarde, D. N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Automated+electron+microscope+tomography+using+robust+prediction+of+specimen+movements.">Automated electron microscope tomography using robust prediction of specimen movements.</a> Journal of Structural Biology. 152 (1), 36-51 (2005).</li><li>. Tomography 5 and Tomo Live Software User-friendly batch acquisition for and on-the-fly reconstruction for cryo-electron tomography Datasheet Available from: <a target="_blank" href="https://assets.thermofisher.com/TFS-Assets/MSD/Datasheets/tomography-5-software-ds0362.pdf">https://assets.thermofisher.com/TFS-Assets/MSD/Datasheets/tomography-5-software-ds0362.pdf</a> (2022)</li><li>Danev, R., Baumeister, W. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Expanding+the+boundaries+of+cryo-EM+with+phase+plates.">Expanding the boundaries of cryo-EM with phase plates.</a> Current Opinion in Structural Biology. 46, 87-94 (2017).</li><li>Hylton, R. K., Swulius, M. T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Challenges+and+triumphs+in+cryo-electron+tomography.">Challenges and triumphs in cryo-electron tomography.</a> iScience. 24 (9), (2021).</li><li>Turk, M., Baumeister, W. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=The+promise+and+the+challenges+of+cryo-electron+tomography.">The promise and the challenges of cryo-electron tomography.</a> FEBS Letters. 594 (20), 3243-3261 (2020).</li><li>Oikonomou, C. M., Jensen, G. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Cellular+electron+cryotomography:+Toward+structural+biology+in+situ.">Cellular electron cryotomography: Toward structural biology in situ.</a> Annual Review of Biochemistry. 86, 873-896 (2017).</li><li>Wagner, J., Schaffer, M., Fern&#225;ndez-Busnadiego, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Cryo-electron+tomography-the+cell+biology+that+came+in+from+the+cold.">Cryo-electron tomography-the cell biology that came in from the cold.</a> FEBS Letters. 591 (17), 2520-2533 (2017).</li><li>Lam, V., Villa, E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Practical+approaches+for+Cryo-FIB+milling+and+applications+for+cellular+cryo-electron+tomography.">Practical approaches for Cryo-FIB milling and applications for cellular cryo-electron tomography.</a> Methods in Molecular Biology. 2215, 49-82 (2021).</li><li>Chreifi, G., Chen, S., Metskas, L. A., Kaplan, M., Jensen, G. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Rapid+tilt-series+acquisition+for+electron+cryotomography.">Rapid tilt-series acquisition for electron cryotomography.</a> Journal of Structural Biology. 205 (2), 163-169 (2019).</li><li>Eisenstein, F., Danev, R., Pilhofer, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Improved+applicability+and+robustness+of+fast+cryo-electron+tomography+data+acquisition.">Improved applicability and robustness of fast cryo-electron tomography data acquisition.</a> Journal of Structural Biology. 208 (2), 107-114 (2019).</li><li>Esteva, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Deep+learning-enabled+medical+computer+vision.">Deep learning-enabled medical computer vision.</a> npj Digital Medicine. 4 (1), (2021).</li><li>Liu, Y. -. T., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Isotropic+reconstruction+of+electron+tomograms+with+deep+learning.">Isotropic reconstruction of electron tomograms with deep learning.</a> bioRxiv. , (2021).</li><li>Moebel, E., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Deep+learning+improves+macromolecule+identification+in+3D+cellular+cryo-electron+tomograms.">Deep learning improves macromolecule identification in 3D cellular cryo-electron tomograms.</a> Nature Methods. 18 (11), 1386-1394 (2021).</li><li>Chen, M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Convolutional+neural+networks+for+automated+annotation+of+cellular+cryo-electron+tomograms.">Convolutional neural networks for automated annotation of cellular cryo-electron tomograms.</a> Nature Methods. 14 (10), 983-985 (2017).</li><li>Ronneberger, O., Fischer, P., Brox, T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=U-net:+Convolutional+networks+for+biomedical+image+segmentation.">U-net: Convolutional networks for biomedical image segmentation.</a> Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). 9351, 234-241 (2015).</li><li>Kremer, J. R., Mastronarde, D. N., McIntosh, J. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Computer+visualization+of+three-dimensional+image+data+using+IMOD.">Computer visualization of three-dimensional image data using IMOD.</a> Journal of Structural Biology. 116 (1), 71-76 (1996).</li><li>Iancu, C. V., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+&amp;#34;flip-flop&amp;#34;+rotation+stage+for+routine+dual-axis+electron+cryotomography.">A &amp;#34;flip-flop&amp;#34; rotation stage for routine dual-axis electron cryotomography.</a> Journal of Structural Biology. 151 (3), 288-297 (2005).</li></ol>

Die Open-Access-Lizenz für dieses Protokoll wurde von Object Research Systems bezahlt.

Dieses Protokoll legt ein Verfahren für die Verwendung der Software Dragonfly 2022.1 fest, um ein U-Net mit mehreren Klassen aus einem einzelnen Tomogramm zu trainieren, und wie dieses Netzwerk auf andere Tomogramme abgeleitet werden kann, die nicht aus demselben Datensatz stammen müssen. Das Training ist relativ schnell (kann so schnell wie 3-5 Minuten pro Epoche oder so langsam wie ein paar Stunden sein, abhängig von dem Netzwerk, das trainiert wird, und der verwendeten Hardware), und das Umtrainieren eines Netzwerks zur Verbesserung seines Lernens ist intuitiv. Solange die Vorverarbeitungsschritte für jedes Tomogramm durchgeführt werden, ist die Inferenz in der Regel robust.
Eine konsistente Vorverarbeitung ist der wichtigste Schritt für die Deep-Learning-Inferenz. Es gibt viele Bildfilter in der Software und der Benutzer kann experimentieren, um festzustellen, welche Filter für bestimmte Datensätze am besten geeignet sind. Beachten Sie, dass die Filterung, die für das Trainingstomogramm verwendet wird, auf die gleiche Weise auf die Inferenztomogramme angewendet werden muss. Es muss auch darauf geachtet werden, dass das Netzwerk mit genauen und ausreichenden Schulungsinformationen versorgt wird. Es ist wichtig, dass alle Merkmale, die innerhalb der Trainingsscheiben segmentiert sind, so sorgfältig und präzise wie möglich segmentiert werden.
Die Bildsegmentierung wird durch eine ausgeklügelte Benutzeroberfläche in kommerzieller Qualität erleichtert. Es bietet alle notwendigen Werkzeuge für die Handsegmentierung und ermöglicht die einfache Neuzuweisung von Voxeln von einer Klasse in eine andere vor dem Training und der Umschulung. Der Benutzer kann Voxel innerhalb des gesamten Kontexts des Tomogramms von Hand segmentieren, und er erhält mehrere Ansichten und die Möglichkeit, das Volumen frei zu drehen. Darüber hinaus bietet die Software die Möglichkeit, Multi-Class-Netzwerke zu verwenden, die tendenziell eine bessere Leistungerbringen 16 und schneller sind als die Segmentierung mit mehreren Single-Class-Netzwerken.
Natürlich gibt es Einschränkungen für die Fähigkeiten eines neuronalen Netzes. Kryo-ET-Daten sind von Natur aus sehr verrauscht und in der Winkelabtastung begrenzt, was zu orientierungsspezifischen Verzerrungen bei identischen Objekten führt21. Das Training beruht auf einem Experten, der Strukturen genau von Hand segmentiert, und ein erfolgreiches Netzwerk ist nur so gut (oder so schlecht) wie die Trainingsdaten, die es erhält. Die Bildfilterung zur Signalverstärkung ist für den Trainer hilfreich, aber es gibt immer noch viele Fälle, in denen es schwierig ist, alle Pixel einer bestimmten Struktur genau zu identifizieren. Es ist daher wichtig, dass bei der Erstellung der Trainingssegmentierung große Sorgfalt walten gelassen wird, damit das Netzwerk die bestmöglichen Informationen hat, um während des Trainings zu lernen.
Dieser Workflow kann leicht an die Vorlieben jedes Benutzers angepasst werden. Es ist zwar wichtig, dass alle Tomogramme auf die gleiche Weise vorverarbeitet werden, es ist jedoch nicht erforderlich, die genauen Filter zu verwenden, die im Protokoll verwendet werden. Die Software verfügt über zahlreiche Bildfilteroptionen, und es wird empfohlen, diese für die jeweiligen Daten des Benutzers zu optimieren, bevor Sie sich auf ein großes Segmentierungsprojekt mit vielen Tomogrammen einlassen. Es gibt auch eine ganze Reihe von Netzwerkarchitekturen, die verwendet werden können: Es wurde festgestellt, dass ein Multi-Slice-U-Net für die Daten aus diesem Labor am besten geeignet ist, aber ein anderer Benutzer könnte feststellen, dass eine andere Architektur (z. B. ein 3D-U-Net oder ein Sensor 3D) besser funktioniert. Der Segmentierungsassistent bietet eine komfortable Schnittstelle zum Vergleich der Leistung mehrerer Netzwerke mit denselben Trainingsdaten.
Tools wie die hier vorgestellten werden die manuelle Segmentierung von Volltomogrammen zu einer Aufgabe der Vergangenheit machen. Mit gut trainierten neuronalen Netzen, die robust ableger sind, ist es durchaus möglich, einen Arbeitsablauf zu erstellen, bei dem tomographische Daten so schnell rekonstruiert, verarbeitet und vollständig segmentiert werden, wie das Mikroskop sie erfassen kann.

Hardware- und Softwareentwicklungen des letzten Jahrzehnts haben zu einer "Auflösungsrevolution" für die Kryo-Elektronenmikroskopie (Kryo-EM) geführt1,2. Mit besseren und schnelleren Detektoren3, Software zur Automatisierung der Datenerfassung 4,5 und Fortschritten bei der Signalverstärkung wie den Phasenplatten6 ist das Sammeln großer Mengen hochauflösender Kryo-EM-Daten relativ einfach.
Cryo-ET liefert einen beispiellosen Einblick in die zelluläre Ultrastruktur in einem nativen, hydratisierten Zustand 7,8,9,10. Die primäre Einschränkung ist die Probendicke, aber mit der Einführung von Methoden wie dem Mahlen mit fokussiertem Ionenstrahl (FIB), bei dem dicke Zell- und Gewebeproben für die Tomographie11 verdünnt werden, erweitert sich der Horizont für das, was mit Kryo-ET abgebildet werden kann, ständig. Die neuesten Mikroskope sind in der Lage, weit über 50 Tomogramme pro Tag zu produzieren, und diese Rate wird aufgrund der Entwicklung schneller Datenerfassungssysteme voraussichtlich nur noch zunehmen12,13. Die Analyse der riesigen Datenmengen, die von Kryo-ET erzeugt werden, bleibt ein Engpass für diese Bildgebungsmodalität.
Die quantitative Analyse von tomographischen Informationen erfordert, dass sie zuerst annotiert werden. Traditionell erfordert dies eine manuelle Segmentierung durch einen Experten, was zeitaufwändig ist. Abhängig von der molekularen Komplexität, die im Kryo-Tomogramm enthalten ist, kann es Stunden bis Tage dauern. Künstliche neuronale Netze sind eine attraktive Lösung für dieses Problem, da sie trainiert werden können, um den Großteil der Segmentierungsarbeit in einem Bruchteil der Zeit zu erledigen. Convolutional Neural Networks (CNNs) eignen sich besonders für Computer-Vision-Aufgaben14 und wurden kürzlich für die Analyse von Kryo-Elektronen-Tomogrammenangepasst 15,16,17.
Herkömmliche CNNs benötigen viele tausend annotierte Trainingsproben, was für biologische Bildanalyseaufgaben oft nicht möglich ist. Daher hat sich die U-Net-Architektur in diesem Bereich18 hervorgetan, da sie auf Datenerweiterung angewiesen ist, um das Netzwerk erfolgreich zu trainieren und die Abhängigkeit von großen Trainingssätzen zu minimieren. Beispielsweise kann eine U-Net-Architektur mit nur wenigen Schichten eines einzelnen Tomogramms (vier oder fünf Schichten) trainiert und ohne erneutes Training robust auf andere Tomogramme abgeleitet werden. Dieses Protokoll bietet eine Schritt-für-Schritt-Anleitung für das Training neuronaler Netzwerkarchitekturen von U-Net zur Segmentierung von Elektronenkryo-Tomogrammen in Dragonfly 2022.119.
Dragonfly ist eine kommerziell entwickelte Software, die für die 3D-Bildsegmentierung und -analyse durch Deep-Learning-Modelle verwendet wird und für den akademischen Gebrauch frei verfügbar ist (es gelten einige geografische Einschränkungen). Es verfügt über eine fortschrittliche grafische Oberfläche, die es einem Nicht-Experten ermöglicht, die Möglichkeiten des Deep Learning sowohl für die semantische Segmentierung als auch für die Rauschunterdrückung von Bildern voll auszuschöpfen. Dieses Protokoll demonstriert, wie Kryo-Elektronen-Tomogramme in Dragonfly vorverarbeitet und annotiert werden, um künstliche neuronale Netze zu trainieren, die dann abgeleitet werden können, um große Datensätze schnell zu segmentieren. Darüber hinaus wird erläutert und kurz demonstriert, wie segmentierte Daten für weitere Analysen verwendet werden können, z. B. für die Filamentverfolgung und die Koordinatenextraktion für die Mittelung von Subtomogrammen.

<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td>Dragonfly 2022.1</td>
			<td>Object Research Systems</td>
			<td></td>
			<td>https://www.theobjects.com/dragonfly/index.html</td>
		</tr>
		<tr>
			<td>E18 Rat Dissociated Hippocampus</td>
			<td>Transnetyx Tissue</td>
			<td>KTSDEDHP</td>
			<td>https://tissue.transnetyx.com/faqs</td>
		</tr>
		<tr>
			<td>IMOD</td>
			<td>University of Colorado</td>
			<td></td>
			<td>https://bio3d.colorado.edu/imod/</td>
		</tr>
		<tr>
			<td>Intel&#174; Xeon&#174; Gold 6124 CPU 3.2GHz</td>
			<td>Intel</td>
			<td></td>
			<td>https://www.intel.com/content/www/us/en/products/sku/120493/intel-xeon-gold-6134-processor-24-75m-cache-3-20-ghz/specifications.html</td>
		</tr>
		<tr>
			<td>NVIDIA Quadro P4000</td>
			<td>NVIDIA</td>
			<td></td>
			<td>https://www.nvidia.com/content/dam/en-zz/Solutions/design-visualization/productspage/quadro/quadro-desktop/quadro-pascal-p4000-data-sheet-a4-nvidia-704358-r2-web.pdf</td>
		</tr>
		<tr>
			<td>Windows 10 Enterprise 2016</td>
			<td>Microsoft</td>
			<td></td>
			<td>https://www.microsoft.com/en-us/evalcenter/evaluate-windows-10-enterprise</td>
		</tr>
		<tr>
			<td>Workstation Minimum Requirements</td>
			<td></td>
			<td></td>
			<td>https://theobjects.com/dragonfly/system-requirements.html</td>
		</tr>
	</tbody>
</table>

deep learning-based segmentation of cryo-electron tomograms

Die Kryo-Elektronentomographie (Kryo-ET) ermöglicht es Forschern, Zellen in ihrem nativen, hydratisierten Zustand mit der höchstmöglichen Auflösung abzubilden. Die Technik hat jedoch mehrere Einschränkungen, die die Analyse der generierten Daten zeitintensiv und schwierig machen. Die manuelle Segmentierung eines einzelnen Tomogramms kann Stunden bis Tage dauern, aber ein Mikroskop kann leicht 50 oder mehr Tomogramme pro Tag erzeugen. Aktuelle Deep-Learning-Segmentierungsprogramme für Kryo-ET existieren zwar, beschränken sich jedoch auf die Segmentierung einer Struktur nach der anderen. Hier werden Multi-Slice-U-Net-Faltungsneuronale Netze trainiert und angewendet, um automatisch mehrere Strukturen gleichzeitig innerhalb von Kryo-Tomogrammen zu segmentieren. Mit der richtigen Vorverarbeitung können diese Netzwerke robust auf viele Tomogramme abgeleitet werden, ohne dass einzelne Netzwerke für jedes Tomogramm trainiert werden müssen. Dieser Arbeitsablauf verbessert die Geschwindigkeit, mit der Kryo-Elektronen-Tomogramme analysiert werden können, erheblich, indem die Segmentierungszeit in den meisten Fällen auf unter 30 Minuten verkürzt wird. Darüber hinaus können Segmentierungen verwendet werden, um die Genauigkeit der Filamentverfolgung innerhalb eines zellulären Kontexts zu verbessern und Koordinaten für die Subtomogrammmittelung schnell zu extrahieren.

Im Anschluss an das Protokoll wurde ein Fünf-Schicht-U-Net mit einem einzigen Tomogramm (Abbildung 2A) trainiert, um fünf Klassen zu identifizieren: Membran, Mikrotubuli, Aktin, Passermarker und Hintergrund. Das Netzwerk wurde insgesamt dreimal iterativ trainiert und dann auf das Tomogramm angewendet, um es vollständig zu segmentieren und zu annotieren (Abbildung 2B, C). Die minimale Bereinigung wurde mit den Schritten 7.1 und 7.2 durchgeführt. Die nächsten drei interessierenden Tomogramme (Abbildung 2D, G, J) wurden zur Vorverarbeitung in die Software geladen. Vor dem Bildimport musste eines der Tomogramme (Abbildung 2J) die Pixelgröße von 17,22 Å/px auf 13,3 Å/px anpassen, da es mit einem anderen Mikroskop bei einer etwas anderen Vergrößerung aufgenommen wurde. Das IMOD-Programm squeezevol wurde zum Ändern der Größe mit folgendem Befehl verwendet:
'squeezevol -f 0.772 inputfile.mrc outputfile.mrc'
In diesem Befehl bezieht sich -f auf den Faktor, um den die Pixelgröße geändert werden soll (in diesem Fall: 13,3/17,22). Nach dem Import wurden alle drei Inferenzziele gemäß den Schritten 3.2 und 3.3 vorverarbeitet, und dann wurde das Fünf-Schicht-U-Net angewendet. Es wurden erneut minimale Aufräumarbeiten durchgeführt. Die endgültigen Segmentierungen sind in Abbildung 2 dargestellt.
Mikrotubuli-Segmentierungen aus jedem Tomogramm wurden als binäre (Schritt 7.4) TIF-Dateien exportiert, in MRC (IMOD tif2mrc-Programm ) konvertiert und dann für die Zylinderkorrelation und Filamentverfolgung verwendet. Binäre Segmentierungen von Filamenten führen zu einer viel robusteren Filamentverfolgung als die Verfolgung über Tomogramme. Koordinatenkarten aus der Filamentverfolgung (Abbildung 3) werden für weitere Analysen verwendet, wie z. B. Messungen des nächsten Nachbarn (Filamentpackung) und helikale Subtomogramm-Mittelung entlang einzelner Filamente, um die Orientierung der Mikrotubuli zu bestimmen.
Erfolglose oder unzureichend trainierte Netzwerke sind leicht zu ermitteln. Ein ausgefallenes Netzwerk ist überhaupt nicht in der Lage, Strukturen zu segmentieren, während ein unzureichend trainiertes Netzwerk in der Regel einige Strukturen korrekt segmentiert und eine beträchtliche Anzahl von Fehlalarmen und Fehlalarmen aufweist. Diese Netzwerke können korrigiert und iterativ trainiert werden, um ihre Leistung zu verbessern. Der Segmentierungsassistent berechnet automatisch den Würfelähnlichkeitskoeffizienten eines Modells (im SegWiz als Punktzahl bezeichnet), nachdem es trainiert wurde. Diese Statistik gibt eine Schätzung der Ähnlichkeit zwischen den Trainingsdaten und der U-Net-Segmentierung an. Dragonfly 2022.1 verfügt außerdem über ein integriertes Tool zur Bewertung der Leistung eines Modells, auf das auf der Registerkarte "Künstliche Intelligenz " oben auf der Benutzeroberfläche zugegriffen werden kann (siehe Dokumentation zur Verwendung).
<img alt="Figure 2" class="xfigimg" src="/files/ftp_upload/64435/64435fig02.jpg"> Abbildung 2: Inferenz. (A-C) Originales Trainingstomogramm eines DIV 5 Hippocampus-Rattenneurons, aufgenommen 2019 an einem Titan Krios. Dies ist eine rückprojizierte Rekonstruktion mit CTF-Korrektur in IMOD. (A) Das gelbe Kästchen stellt den Bereich dar, in dem die manuelle Segmentierung für die Trainingseingabe durchgeführt wurde. (B) 2D-Segmentierung aus dem U-Net nach Abschluss des Trainings. (C) 3D-Darstellung der segmentierten Regionen mit Membran (blau), Mikrotubuli (grün) und Aktin (rot). (D-F) DIV 5 Hippocampus-Rattenneuron aus der gleichen Sitzung wie das Trainingstomogramm. (E) 2D-Segmentierung aus dem U-Net ohne zusätzliche Schulung und schnelle Bereinigung. Membran (blau), Mikrotubuli (grün), Aktin (rot), Passermarken (rosa). (F) 3D-Rendering der segmentierten Bereiche. (G-I) DIV 5 Hippocampus-Rattenneuron aus der Sitzung 2019. (H) 2D-Segmentierung aus dem U-Net mit schneller Bereinigung und (I) 3D-Rendering. (J-L) DIV 5 Hippocampus-Rattenneuron, gesammelt im Jahr 2021 auf einem anderen Titan Krios mit einer anderen Vergrößerung. Die Pixelgröße wurde mit dem IMOD-Programm squeezevol an das Trainingstomogramm angepasst. (K) 2D-Segmentierung aus dem U-Net mit schneller Bereinigung, die eine robuste Inferenz über Datensätze hinweg mit ordnungsgemäßer Vorverarbeitung demonstriert, und (L) 3D-Rendering der Segmentierung. Maßstabsbalken = 100 nm. Abkürzungen: DIV = Tage in vitro; CTF = Kontrastübertragungsfunktion. <a href="https://www.jove.com/files/ftp_upload/64435/64435fig02large.jpg" target="_blank">Bitte klicken Sie hier, um eine größere Version dieser Abbildung zu sehen.</a>
<img alt="Figure 3" class="xfigimg" src="/files/ftp_upload/64435/64435fig03.jpg"> Abbildung 3: Verbesserung der Filamentverfolgung . (A) Tomogramm eines DIV 4 Ratten-Hippocampus-Neurons, gesammelt auf einem Titan Krios. (B) Korrelationskarte, die aus der Zylinderkorrelation über Aktinfilamenten generiert wurde. (C) Filamentverfolgung von Aktin unter Verwendung der Intensitäten der Aktinfilamente in der Korrelationskarte zur Definition von Parametern. Bei der Verfolgung werden die Membran und die Mikrotubuli sowie das Rauschen erfasst, während versucht wird, nur Aktin zu verfolgen. (D) U-Net-Segmentierung des Tomogramms. Membran blau hervorgehoben, Mikrotubuli rot, Ribosomen orange, triC lila und Aktin grün. (E) Aktin-Segmentierung, extrahiert als binäre Maske für die Filamentverfolgung. (F) Korrelationskarte, die aus der Zylinderkorrelation mit den gleichen Parametern aus (B) generiert wurde. (G) Signifikant verbesserte Filamentverfolgung von reinen Aktinfilamenten aus dem Tomogramm. Abkürzung: DIV = Tage in vitro. <a href="https://www.jove.com/files/ftp_upload/64435/64435fig03large.jpg" target="_blank">Bitte klicken Sie hier, um eine größere Version dieser Abbildung zu sehen.</a>
Ergänzende Datei 1: Das in diesem Protokoll verwendete Tomogramm und der Multi-ROI, der als Trainingseingabe generiert wurde, sind als gebündelter Datensatz (Training.ORSObject) enthalten. Siehe https://datadryad.org/stash/dataset/doi:10.5061/dryad.rxwdbrvct.

Watch this Scientific Journal Video about Deep Learning-Based Segmentation of Cryo-Electron Tomograms at JoVE.com

Deep Learning-Based Segmentation of Cryo-Electron Tomograms

Hierbei handelt es sich um ein Verfahren zum Trainieren eines Mehrschicht-U-Netzes für die Mehrklassensegmentierung von Kryo-Elektronen-Tomogrammen, wobei ein Teil eines Tomogramms als Trainingseingabe verwendet wird. Wir beschreiben, wie man dieses Netzwerk auf andere Tomogramme ableiten kann und wie man Segmentierungen für weitere Analysen extrahiert, wie z.B. Subtomogramm-Mittelung und Filament-Tracing.

Deep-Learning-basierte Segmentierung von Kryo-Elektronen-Tomogrammen

Cryo-electron tomography (cryo-ET) allows researchers to image cells in their native, hydrated state at the highest resolution currently possible. The ...

Das Aufregendste an unserem Protokoll ist, dass es jedem Labor ermöglicht, diese Deep-Learning-Protokolle zur Segmentierung großer Mengen von Kryo-ET-Daten zu verwenden. Der Hauptvorteil unseres Workflows besteht darin, dass Dragonfly eine professionelle Rechenumgebung für das Training von neuronalen Netzen mit mehreren Klassen für die Segmentierung bietet, die Ihren Segmentierungsprozess wirklich dramatisch beschleunigen kann. Das Erlernen der Bildsegmentierung braucht Zeit, also stellen Sie sicher, dass Sie die Tools testen und die wichtigsten Bindungen lernen, um Ihren Workflow im Laufe der Zeit wirklich zu optimieren.Fahren Sie nach dem Einrichten der Software mit dem Bildimport fort, indem Sie zu Datei gehen und Bilddateien importieren auswählen. Klicken Sie dann auf Hinzufügen, navigieren Sie zur Bilddatei, klicken Sie auf Öffnen, und wählen Sie Weiter aus, gefolgt von Fertig stellen. Erstellen Sie eine benutzerdefinierte Intensitätsskala, indem Sie zu Dienstprogramme gehen und den Dimensionseinheiten-Manager auswählen.Klicken Sie unten links auf das Pluszeichen, um eine neue Dimensionseinheit zu erstellen. Wählen Sie ein Merkmal mit hoher und niedriger Intensität in allen Tomogrammen von Interesse. Geben Sie der Einheit einen Namen und eine Abkürzung und speichern Sie die benutzerdefinierte Dimensionseinheit.Um Bilder auf die benutzerdefinierte Intensitätsskala zu kalibrieren, klicken Sie mit der rechten Maustaste auf das Dataset in der Spalte Eigenschaften auf der rechten Seite des Bildschirms und wählen Sie Intensitätsskala kalibrieren. Gehen Sie dann zur Hauptregisterkarte auf der linken Seite des Bildschirms und scrollen Sie nach unten zum Sondenbereich. Klicken Sie mit dem kreisförmigen Sondenwerkzeug mit einem geeigneten Durchmesser auf einige Stellen im Hintergrundbereich des Tomogramms, und notieren Sie die durchschnittliche Zahl in der Spalte "Rohintensität".Wiederholen Sie diesen Vorgang für Passermarken und klicken Sie auf Kalibrieren. Passen Sie bei Bedarf den Kontrast an, um Strukturen mit dem Flächenwerkzeug im Bereich der Fensternivellierung auf der Hauptregisterkarte wieder sichtbar zu machen. Scrollen Sie auf der linken Seite der Hauptregisterkarte nach unten zum Bildbearbeitungsfenster.Klicken Sie auf Erweitert und warten Sie, bis sich ein neues Fenster öffnet. Wählen Sie im Bedienfeld "Eigenschaften" den zu filternden Datensatz aus und machen Sie ihn sichtbar, indem Sie auf das Augensymbol links neben dem Datensatz klicken. Verwenden Sie als Nächstes das Dropdown-Menü im Bedienfeld "Operationen", um die Histogrammentzerrung für den ersten Vorgang auszuwählen.Wählen Sie Operation hinzufügen aus, klicken Sie auf Gauß, und ändern Sie die Kernel-Dimension in 3D. Fügen Sie den dritten Vorgang hinzu, wählen Sie dann Unscharf und belassen Sie die Ausgabe für diesen. Wenden Sie die Entzerrung auf alle Slices an, lassen Sie die Filterung laufen, schließen Sie dann das Bildverarbeitungsfenster, um zur Hauptschnittstelle zurückzukehren.Um den Trainingsbereich zu identifizieren, gehen Sie zum Bereich "Dateneigenschaften", indem Sie zuerst den ungefilterten Datensatz ausblenden, indem Sie auf das Augensymbol links daneben klicken. Zeigen Sie dann den neu gefilterten Datensatz an. Identifizieren Sie mithilfe des gefilterten Datasets einen Teilbereich des Tomogramms, der alle interessierenden Merkmale enthält.Erstellen Sie nun ein Feld um die Region von Interesse, indem Sie nach unten zur Kategorie "Formen" scrollen und auf der linken Seite der Hauptregisterkarte "Feld erstellen" auswählen. Verwenden Sie im Bereich mit vier Ansichten die verschiedenen 2D-Ebenen, um die Kanten des Felds zu führen oder zu ziehen, um nur den interessierenden Bereich in allen Dimensionen einzuschließen. Wählen Sie in der Datenliste den Feldbereich aus und ändern Sie die Rahmenfarbe zur einfacheren Anzeige, indem Sie auf das graue Quadrat neben dem Augensymbol klicken.Um einen Multi-ROI zu erstellen, wählen Sie die Registerkarte Segmentierung aus, klicken Sie auf der linken Seite auf Neu und aktivieren Sie Als Multi-ROI erstellen. Stellen Sie sicher, dass die Anzahl der Klassen der Anzahl der interessierenden Features zuzüglich einer Hintergrundklasse entspricht. Benennen Sie die Trainingsdaten mit mehreren ROIs, und stellen Sie sicher, dass die Geometrie dem Datensatz entspricht, bevor Sie auf OK klicken. Scrollen Sie dann durch die Daten, bis Sie sich innerhalb der Grenzen des eingerahmten Bereichs befinden.Wählen Sie den Multi-ROI im Menü Eigenschaften auf der rechten Seite aus. Doppelklicken Sie auf den ersten leeren Klassennamen im Multi-ROI, um ihn zu benennen. Um mit dem 2D-Pinsel zu malen, scrollen Sie auf der Registerkarte Segmentierung auf der linken Seite nach unten zu 2D-Werkzeuge und wählen Sie einen kreisförmigen Pinsel aus.Wählen Sie dann Adaptive Gauß oder Lokale OTSU aus dem Dropdown-Menü, malen Sie, indem Sie die linke Strg-Taste plus Klick gedrückt halten, und löschen, indem Sie die linke Umschalttaste gedrückt halten. Nachdem alle Strukturen beschriftet wurden, klicken Sie mit der rechten Maustaste auf die Hintergrundklasse im Multi-ROI und wählen Sie Alle unbeschrifteten Voxel zur Klasse hinzufügen. Erstellen Sie als Nächstes einen neuen ROI mit einer Klasse und dem Namen Mask.Stellen Sie sicher, dass die Geometrie auf den gefilterten Datensatz festgelegt ist, und klicken Sie dann auf Übernehmen. Klicken Sie auf der Registerkarte Eigenschaften auf der rechten Seite mit der rechten Maustaste auf das Feld, wählen Sie Zum ROI hinzufügen aus, und fügen Sie es dem ROI der Maske hinzu. Um die Trainingsdaten mithilfe der Maske zu trimmen, gehen Sie zur Registerkarte Eigenschaften und wählen Sie sowohl die Trainingsdaten, den Multi-ROI als auch den Masken-ROI aus, indem Sie die Strg-Taste gedrückt halten und jeweils darauf klicken.Klicken Sie anschließend unter der Liste der Dateneigenschaften im Abschnitt Boolesche Vorgänge auf Überschneiden. Benennen Sie das neue Dataset als gekürzte Trainingseingabe, und stellen Sie sicher, dass die Geometrie dem gefilterten Dataset entspricht, bevor Sie auf OK klicken. Importieren Sie die Trainingsdaten in den Segmentierungs-Assistenten, indem Sie auf der Registerkarte Eigenschaften mit der rechten Maustaste auf das gefilterte Dataset klicken und die Option Segmentierungs-Assistent auswählen. Sobald sich ein neues Fenster öffnet, suchen Sie auf der rechten Seite nach der Registerkarte Eingabe.Klicken Sie auf Frames aus einem Multi-ROI importieren und wählen Sie die Eingabe "Getrimmtes Training" aus. Um ein neues neuronales Netzwerkmodell zu generieren, klicken Sie auf die Plus-Schaltfläche auf der rechten Seite auf der Registerkarte des Modells. Wählen Sie U Net aus der Liste aus, wählen Sie 2,5 D und fünf Segmente als Eingabedimension aus, und klicken Sie dann auf Generieren.Um das Netzwerk zu trainieren, klicken Sie unten rechts im Seg Wiz-Fenster auf Trainieren. Verwenden Sie nach Abschluss des Einheitentrainings das trainierte Netzwerk, um neue Frames zu segmentieren, einen neuen Frame zu erstellen und auf Vorhersagen zu klicken. Klicken Sie dann auf den Aufwärtspfeil oben rechts im vorhergesagten Frame, um die Segmentierung auf den realen Frame zu übertragen.Um die Vorhersage zu korrigieren, klicken Sie bei gedrückter Strg-Taste auf zwei Klassen, um die segmentierten Pixel der einen in die andere zu ändern. Wählen Sie beide Klassen aus und malen Sie mit dem Pinsel, um nur Pixel zu malen, die zu einer der beiden Klassen gehören. Korrigieren Sie die Segmentierung in mindestens fünf neuen Frames.Klicken Sie für iteratives Training erneut auf die Schaltfläche Trainieren und lassen Sie das Netzwerk für weitere 30 bis 40 weitere Epics weiter trainieren. Beenden Sie an dieser Stelle das Training und beginnen Sie eine weitere Trainingsrunde. Wenn Sie mit der Leistung des Netzwerks zufrieden sind, veröffentlichen Sie das Netzwerk, indem Sie den Segmentierungs-Assistenten beenden.Es öffnet sich ein Dialogfeld, in dem Sie gefragt werden, welche Modelle veröffentlicht werden sollen. Wählen Sie das erfolgreiche Netzwerk aus, benennen Sie es, und veröffentlichen Sie es, um das Netzwerk für die Verwendung außerhalb des Segmentierungs-Assistenten verfügbar zu machen. Wählen Sie zunächst den gefilterten Datensatz im Eigenschaftenpanel aus, der auf das Trainingstomogramm angewendet werden soll.Scrollen Sie im Bereich Segmentierung auf der linken Seite nach unten zum Abschnitt Segment mit KI. Stellen Sie sicher, dass der richtige Datensatz ausgewählt ist. Wählen Sie im Dropdown-Menü das kürzlich veröffentlichte Modell aus und klicken Sie dann auf Segment, gefolgt von Alle Segmente.Um es auf einen Inferenzdatensatz anzuwenden, importieren Sie das neue Tomogramm und verarbeiten Sie es wie zuvor gezeigt. Wechseln Sie im Segmentierungsbereich zum Abschnitt Segment mit KI. Stellen Sie sicher, dass das neu gefilterte Tomogramm dem ausgewählten Datensatz entspricht, wählen Sie das zuvor trainierte Modell aus, klicken Sie auf das Segment, und wählen Sie Alle Segmente aus.Bereinigen Sie das Rauschen schnell, indem Sie zuerst eine der Klassen auswählen, die das Rauschen und das interessierende Feature segmentiert haben. Klicken Sie dann mit der rechten Maustaste auf Prozessinseln, wählen Sie Nach Voxelanzahl entfernt aus, und klicken Sie dann auf Voxelgröße auswählen. Beginnen Sie mit kleinen Zählungen und erhöhen Sie die Anzahl schrittweise, um den größten Teil des Rauschens zu entfernen.Klicken Sie zur Segmentierungskorrektur bei gedrückter Strg-Taste auf zwei Klassen, um Pixel zu zeichnen, die nur zu diesen Klassen gehören. Klicken Sie bei gedrückter Strg-Taste und ziehen Sie mit den Segmentierungswerkzeugen, um Pixel der zweiten Klasse in die erste zu ändern, und klicken Sie bei gedrückter Umschalttaste plus Ziehen, um das Gegenteil zu erreichen. Eine Fünf-Schicht-Einheit wurde auf einem einzigen Tomogramm trainiert und eine Handsegmentierung wurde für den Trainingsinput durchgeführt.Die 2D-Segmentierung aus dem Gerät nach abgeschlossenem Training wird angezeigt. Das 3D-Rendering der segmentierten Regionen zeigt Membran, Mikrotubuli und Aktinfilamente. DIV 5 Hippocampus-Rattenneuronen aus der gleichen Sitzung wie das Trainingstomogramm werden gezeigt.2D-Segmentierung aus dem Gerät ohne zusätzliche Schulung in der schnellen Reinigung von Membran, Mikrotubuli, Aktin und Passermarken. Das 3D-Rendering der segmentierten Regionen wurde ebenfalls visualisiert. DIV 5 Hippocampus-Rattenneuron aus einer früheren Sitzung wurde ebenfalls beobachtet.Eine 2D-Segmentierung aus dem Gerät mit schneller Bereinigung und 3D-Rendering wurde ebenfalls durchgeführt. Das Hippocampus-Rattenneuron DIV 5 wurde auch auf einem anderen Titan Krios mit einer anderen Vergrößerung beobachtet. Die Pixelgröße wurde mit dem IMOD-Programm Squeeze Vault geändert, um dem Trainingstomogramm zu entsprechen.Die 2D-Segmentierung aus der Einheit mit schneller Bereinigung demonstriert eine robuste Inferenz über Datensätze hinweg mit ordnungsgemäßer Vorverarbeitung, und es wurde ein 3D-Rendering der Segmentierung durchgeführt. Die identische Vorverarbeitung der Daten und die Kalibrierung der Histogramme sind definitiv die wichtigsten Schritte für eine ordnungsgemäße Netzwerkinferenz. Sobald die Position der Moleküle im Tomogramm bekannt ist, ist es in Dragonfly wirklich trivial, quantitative Messungen zu berechnen oder Koordinaten zu berechnen und diese in eine Sub-Tomogramm-Mittelungspipeline einzuspeisen.Wir fangen gerade erst an, die Auswirkungen von Deep Learning auf die Kryo-ET-Bildanalyse zu sehen, aber dies ist nur ein weiterer Bereich, in dem es wirklich vielversprechend ist.

Research

JoVE Journal

Biology

In vivo Imaging of Deep Cortical Layers using a Microprism

In vivo Imaging of Deep Cortical Layers using a Microprism

In-vivo-Imaging von Deep kortikalen Schichten mit einem MICROPRISMEN

We present a protocol for in vivo imaging of cortical tissue using a deep-brain imaging probe in the shape of a microprism.  Microprisms are 1-mm in size ...

Forschung

Biologie

Generation of Dispersed Presomitic Mesoderm Cell Cultures for Imaging of the Zebrafish Segmentation Clock in Single Cells

Generierung von Dispersed präsomitischen Mesoderm Zellkulturen für Imaging der Zebrafisch-Segmentierung Uhr in Einzelzellen

Segmentation is a  periodic and sequential morphogenetic process in vertebrates. This rhythmic  formation of blocks of tissue called somites along the ...

Cryo-electron Microscopy Specimen Preparation By Means Of a Focused Ion Beam

Cryo-Elektronen-Mikroskopie-Probenvorbereitung mit Hilfe eines Focused Ion Beam

Here we present a protocol used to prepare cryo-TEM samples of Aspergillus niger spores, but which can easily be adapted for any number of microorganisms ...

Do's and Don'ts of Cryo-electron Microscopy: A Primer on Sample Preparation and High Quality Data Collection for Macromolecular 3D Reconstruction

Gebote und Verbote der Kryo-Elektronenmikroskopie: A Primer für Probenvorbereitung und High Quality Data Collection für Makromolekulare 3D-Rekonstruktion

Cryo-electron microscopy (cryoEM) entails flash-freezing a thin layer of sample on a support, and then visualizing the sample in its frozen hydrated state ...

Volume Segmentation and Analysis of Biological Materials Using SuRVoS (Super-region Volume Segmentation) Workbench

Volume Segmentation and Analysis of Biological Materials Using SuRVoS Super-region Volume Segmentation Workbench

Volumen-Segmentierung und Analyse von biologischen Materialien mit SuRVoS (Super-Region Volumen Segmentierung)-Workbench

Segmentation is the process of isolating specific regions or objects within an imaged volume, so that further study can be undertaken on these areas of ...

Visualization of DNA Compaction in Cyanobacteria by High-voltage Cryo-electron Tomography

Visualisierung der DNA Verdichtung in Cyanobakterien durch Hochspannungs-Cryo-Elektron Tomographie

This protocol describes how to visualize the transient DNA compaction in cyanobacteria. DNA compaction is a dramatic cytoplasmic event recently found to ...

Cryo-Electron Microscopic Grid Preparation for Time-Resolved Studies using a Novel Robotic System, Spotiton

Kryo-elektronenmikroskopische Gittervorbereitung für zeitaufgelöste Studien mit einem neuartigen Robotersystem, Spotiton

The capture of short-lived molecular states triggered by the early encounter of two or more interacting particles continues to be an experimental ...

Sample Preparation by 3D-Correlative Focused Ion Beam Milling for High-Resolution Cryo-Electron Tomography

Probenvorbereitung durch 3D-korrelatives fokussiertes Ionenstrahlfräsen für die hochauflösende Kryo-Elektronentomographie

Cryo-electron tomography (cryo-ET) has become the method of choice for investigating cellular ultrastructure and molecular complexes in their native, ...

Deep Vascular Imaging in the Eye with Flow-Enhanced Ultrasound

Tiefe vaskuläre Bildgebung im Auge mit flussverstärktem Ultraschall

The retina within the eye is one of the most energy-demanding tissues in the body and thus requires high rates of oxygen delivery from a rich blood ...

Cryo-Electron Tomography Remote Data Collection and Subtomogram Averaging

Kryo-Elektronen-Tomographie Ferndatenerfassung und Subtomogramm-Mittelwertbildung

Cryo-electron tomography (cryo-ET) has been gaining momentum in recent years, especially since the introduction of direct electron detectors, improved ...