מחקר זה נתמך על ידי מכללת פן סטייט לרפואה והמחלקה לביוכימיה וביולוגיה מולקולרית, כמו גם מענק קרן הסדר הטבק (TSF) 4100079742-EXT. השירותים והמכשירים של CryoEM ו- CryoET Core (RRID:SCR_021178) המשמשים בפרויקט זה מומנו, בחלקם, על ידי המכללה לרפואה של אוניברסיטת פנסילבניה באמצעות משרד סגן דיקן המחקר וסטודנטים לתארים מתקדמים ומחלקת הבריאות של פנסילבניה באמצעות קרנות הסדר טבק (CURE). התוכן הוא באחריותם הבלעדית של המחברים ואינו מייצג בהכרח את הדעות הרשמיות של האוניברסיטה או המכללה לרפואה. מחלקת הבריאות של פנסילבניה מתנערת במפורש מאחריות לכל ניתוח, פרשנות או מסקנות.

<ol>
	<li>Bai, X. -. C., Mcmullan, G., Scheres, S. H. W. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=How+cryo-EM+is+revolutionizing+structural+biology.">How cryo-EM is revolutionizing structural biology.</a> Trends in Biochemical Sciences. 40 (1), 49-57 (2015).</li><li>de Oliveira, T. M., van Beek, L., Shilliday, F., Debreczeni, J., Phillips, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Cryo-EM:+The+resolution+revolution+and+drug+discovery.">Cryo-EM: The resolution revolution and drug discovery.</a> SLAS Discovery. 26 (1), 17-31 (2021).</li><li>Danev, R., Yanagisawa, H., Kikkawa, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Cryo-EM+performance+testing+of+hardware+and+data+acquisition+strategies.">Cryo-EM performance testing of hardware and data acquisition strategies.</a> Microscopy. 70 (6), 487-497 (2021).</li><li>Mastronarde, D. N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Automated+electron+microscope+tomography+using+robust+prediction+of+specimen+movements.">Automated electron microscope tomography using robust prediction of specimen movements.</a> Journal of Structural Biology. 152 (1), 36-51 (2005).</li><li>. Tomography 5 and Tomo Live Software User-friendly batch acquisition for and on-the-fly reconstruction for cryo-electron tomography Datasheet Available from: <a target="_blank" href="https://assets.thermofisher.com/TFS-Assets/MSD/Datasheets/tomography-5-software-ds0362.pdf">https://assets.thermofisher.com/TFS-Assets/MSD/Datasheets/tomography-5-software-ds0362.pdf</a> (2022)</li><li>Danev, R., Baumeister, W. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Expanding+the+boundaries+of+cryo-EM+with+phase+plates.">Expanding the boundaries of cryo-EM with phase plates.</a> Current Opinion in Structural Biology. 46, 87-94 (2017).</li><li>Hylton, R. K., Swulius, M. T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Challenges+and+triumphs+in+cryo-electron+tomography.">Challenges and triumphs in cryo-electron tomography.</a> iScience. 24 (9), (2021).</li><li>Turk, M., Baumeister, W. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=The+promise+and+the+challenges+of+cryo-electron+tomography.">The promise and the challenges of cryo-electron tomography.</a> FEBS Letters. 594 (20), 3243-3261 (2020).</li><li>Oikonomou, C. M., Jensen, G. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Cellular+electron+cryotomography:+Toward+structural+biology+in+situ.">Cellular electron cryotomography: Toward structural biology in situ.</a> Annual Review of Biochemistry. 86, 873-896 (2017).</li><li>Wagner, J., Schaffer, M., Fern&#225;ndez-Busnadiego, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Cryo-electron+tomography-the+cell+biology+that+came+in+from+the+cold.">Cryo-electron tomography-the cell biology that came in from the cold.</a> FEBS Letters. 591 (17), 2520-2533 (2017).</li><li>Lam, V., Villa, E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Practical+approaches+for+Cryo-FIB+milling+and+applications+for+cellular+cryo-electron+tomography.">Practical approaches for Cryo-FIB milling and applications for cellular cryo-electron tomography.</a> Methods in Molecular Biology. 2215, 49-82 (2021).</li><li>Chreifi, G., Chen, S., Metskas, L. A., Kaplan, M., Jensen, G. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Rapid+tilt-series+acquisition+for+electron+cryotomography.">Rapid tilt-series acquisition for electron cryotomography.</a> Journal of Structural Biology. 205 (2), 163-169 (2019).</li><li>Eisenstein, F., Danev, R., Pilhofer, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Improved+applicability+and+robustness+of+fast+cryo-electron+tomography+data+acquisition.">Improved applicability and robustness of fast cryo-electron tomography data acquisition.</a> Journal of Structural Biology. 208 (2), 107-114 (2019).</li><li>Esteva, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Deep+learning-enabled+medical+computer+vision.">Deep learning-enabled medical computer vision.</a> npj Digital Medicine. 4 (1), (2021).</li><li>Liu, Y. -. T., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Isotropic+reconstruction+of+electron+tomograms+with+deep+learning.">Isotropic reconstruction of electron tomograms with deep learning.</a> bioRxiv. , (2021).</li><li>Moebel, E., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Deep+learning+improves+macromolecule+identification+in+3D+cellular+cryo-electron+tomograms.">Deep learning improves macromolecule identification in 3D cellular cryo-electron tomograms.</a> Nature Methods. 18 (11), 1386-1394 (2021).</li><li>Chen, M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Convolutional+neural+networks+for+automated+annotation+of+cellular+cryo-electron+tomograms.">Convolutional neural networks for automated annotation of cellular cryo-electron tomograms.</a> Nature Methods. 14 (10), 983-985 (2017).</li><li>Ronneberger, O., Fischer, P., Brox, T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=U-net:+Convolutional+networks+for+biomedical+image+segmentation.">U-net: Convolutional networks for biomedical image segmentation.</a> Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). 9351, 234-241 (2015).</li><li>Kremer, J. R., Mastronarde, D. N., McIntosh, J. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Computer+visualization+of+three-dimensional+image+data+using+IMOD.">Computer visualization of three-dimensional image data using IMOD.</a> Journal of Structural Biology. 116 (1), 71-76 (1996).</li><li>Iancu, C. V., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+&amp;#34;flip-flop&amp;#34;+rotation+stage+for+routine+dual-axis+electron+cryotomography.">A &amp;#34;flip-flop&amp;#34; rotation stage for routine dual-axis electron cryotomography.</a> Journal of Structural Biology. 151 (3), 288-297 (2005).</li></ol>

רישיון הגישה הפתוחה עבור פרוטוקול זה שולם על ידי Object Research Systems.

פרוטוקול זה מפרט נוהל לשימוש בתוכנת Dragonfly 2022.1 כדי לאמן U-Net רב מחלקות מטומוגרמה יחידה, וכיצד להסיק רשת זו לטומוגרפיות אחרות שאינן צריכות להיות מאותו מערך נתונים. האימון מהיר יחסית (יכול להיות מהיר כמו 3-5 דקות לכל תקופה או איטי כמו כמה שעות, תלוי לחלוטין ברשת כי הוא מאומן ואת החומרה בשימוש), ואימון מחדש של רשת כדי לשפר את הלמידה שלה הוא אינטואיטיבי. כל עוד שלבי העיבוד המוקדם מתבצעים עבור כל טומוגרפיה, ההסקה היא בדרך כלל חזקה.
עיבוד מקדים עקבי הוא השלב הקריטי ביותר להסקת מסקנות של למידה עמוקה. ישנם מסנני הדמיה רבים בתוכנה והמשתמש יכול להתנסות כדי לקבוע אילו מסננים פועלים בצורה הטובה ביותר עבור מערכי נתונים מסוימים; שים לב שכל סינון המשמש בטומוגרפיית האימון חייב להיות מיושם באותו אופן על טומוגרפיות ההיסק. כמו כן, יש להקפיד לספק לרשת מידע הדרכה מדויק ומספק. חשוב שכל התכונות המחולקות בתוך פרוסות האימון יחולקו בזהירות ובדייקנות רבה ככל האפשר.
פילוח התמונות מתבצע באמצעות ממשק משתמש מתוחכם ברמה מסחרית. הוא מספק את כל הכלים הדרושים לסגמנטציה ידנית ומאפשר העברה פשוטה של ווקסלים מכל כיתה אחת לאחרת לפני אימון והסבה מקצועית. המשתמש רשאי לפלח ידנית ווקסלים בתוך כל ההקשר של הטומוגרפיה, והם מקבלים תצוגות מרובות ואת היכולת לסובב את עוצמת הקול בחופשיות. בנוסף, התוכנה מספקת את היכולת להשתמש ברשתות מרובות מחלקות, אשר נוטות לבצע ביצועים טובים יותר16 והן מהירות יותר מאשר סגמנטציה עם רשתות מרובות מחלקה אחת.
יש, כמובן, מגבלות ליכולות של רשת עצבית. נתוני Cryo-ET הם, מטבעם, רועשים מאוד ומוגבלים בדגימה זוויתית, מה שמוביל לעיוותים ספציפיים לכיוון בעצמים זהים21. הדרכה מסתמכת על מומחה כדי לפלח מבנים בצורה מדויקת, ורשת מוצלחת היא טובה (או רעה) רק כמו נתוני האימון שהיא מקבלת. סינון תמונות להגברת האות מועיל למאמן, אך עדיין ישנם מקרים רבים שבהם קשה לזהות במדויק את כל הפיקסלים של מבנה נתון. לכן, חשוב לנקוט זהירות רבה בעת יצירת פילוח ההדרכה, כך שלרשת יהיה את המידע הטוב ביותר שניתן ללמוד במהלך האימון.
ניתן לשנות זרימת עבודה זו בקלות בהתאם להעדפה של כל משתמש. אמנם זה חיוני כי כל טומוגרפיה להיות מראש באותו אופן בדיוק, אין צורך להשתמש מסננים מדויקים המשמשים בפרוטוקול. התוכנה כוללת אפשרויות סינון תמונות רבות, ומומלץ לייעל אותן עבור הנתונים הספציפיים של המשתמש לפני היציאה לפרויקט פילוח גדול המתפרש על פני טומוגרפיות רבות. יש גם לא מעט ארכיטקטורות רשת זמינות לשימוש: U-Net מרובת פרוסות נמצאה כמתאימה ביותר לנתונים מהמעבדה הזו, אך משתמש אחר עשוי לגלות שארכיטקטורה אחרת (כגון U-Net תלת-ממדית או חיישן תלת-ממדי) עובדת טוב יותר. אשף הפילוח מספק ממשק נוח להשוואת ביצועים של רשתות מרובות באמצעות אותם נתוני אימון.
כלים כמו אלה המוצגים כאן יהפכו את פילוח היד של טומוגרפיה מלאה למשימה של העבר. עם רשתות עצביות מאומנות היטב הניתנות להסקת מסקנות חזקות, זה אפשרי לחלוטין ליצור זרימת עבודה שבה נתונים טומוגרפיים משוחזרים, מעובדים ומפולחים במלואם במהירות שהמיקרוסקופ יכול לאסוף אותם.

התפתחויות חומרה ותוכנה בעשור האחרון הביאו ל"מהפכת רזולוציה" עבור מיקרוסקופ קריו-אלקטרונים (cryo-EM)1,2. עם גלאים טובים ומהירים יותר3, תוכנה לאוטומציה של איסוף נתונים4,5, והתקדמות להגברת אותות כגון לוחות פאזה6, איסוף כמויות גדולות של נתוני cryo-EM ברזולוציה גבוהה הוא פשוט יחסית.
Cryo-ET מספק תובנה חסרת תקדים לגבי מבנה אולטרה תאי במצב ילידי ורווי לחות 7,8,9,10. המגבלה העיקרית היא עובי הדגימה, אך עם אימוץ שיטות כגון כרסום קרן יונים ממוקדת (FIB), שבו דגימות תאים ורקמות עבות מדוללות לטומוגרפיה11, האופק למה שניתן לצלם עם cryo-ET מתרחב ללא הרף. המיקרוסקופים החדשים ביותר מסוגלים לייצר מעל 50 טומוגרפיה ביום, וקצב זה צפוי רק לגדול עקב פיתוח תוכניות איסוף נתונים מהירות12,13. ניתוח כמויות הנתונים העצומות המופקות על ידי cryo-ET נותר צוואר בקבוק עבור שיטת הדמיה זו.
ניתוח כמותי של מידע טומוגרפי מחייב תחילה ביאור שלו. באופן מסורתי, זה דורש פילוח ידיים על ידי מומחה, אשר גוזל זמן; בהתאם למורכבות המולקולרית הכלולה בקריו-טומוגרפיה, זה יכול לקחת שעות עד ימים של תשומת לב ייעודית. רשתות עצביות מלאכותיות הן פתרון מושך לבעיה זו מכיוון שניתן לאמן אותן לבצע את רוב עבודת הסגמנטציה בשבריר מהזמן. רשתות עצביות קונבולוציוניות (CNNs) מתאימות במיוחד למשימות ראייה ממוחשבת14 והותאמו לאחרונה לניתוח טומוגרפיות קריו-אלקטרונים15,16,17.
CNN מסורתיים דורשים אלפים רבים של דגימות אימון מבוארות, דבר שאינו אפשרי לעתים קרובות עבור משימות ניתוח תמונה ביולוגית. לפיכך, ארכיטקטורת U-Net הצטיינה בתחום זה18 מכיוון שהיא מסתמכת על הגדלת נתונים כדי לאמן בהצלחה את הרשת, תוך מזעור התלות במערכי אימון גדולים. לדוגמה, ארכיטקטורת U-Net יכולה להיות מאומנת עם פרוסות בודדות בלבד של טומוגרפיה אחת (ארבע או חמש פרוסות) ולהסיק אותה בצורה חזקה על טומוגרפיות אחרות ללא הסבה מקצועית. פרוטוקול זה מספק מדריך שלב אחר שלב לאימון ארכיטקטורות רשת עצבית של U-Net לפלח טומוגרפיות קריו-טומוגרפיה אלקטרונים בתוך Dragonfly 2022.119.
Dragonfly היא תוכנה שפותחה מסחרית ומשמשת לסגמנטציה וניתוח תמונות תלת-ממדיות על ידי מודלים של למידה עמוקה, והיא זמינה לשימוש אקדמי באופן חופשי (חלות מגבלות גיאוגרפיות מסוימות). יש לו ממשק גרפי מתקדם המאפשר למי שאינו מומחה לנצל את מלוא היתרונות של למידה עמוקה הן עבור סגמנטציה סמנטית והן עבור הכחשת תמונה. פרוטוקול זה מדגים כיצד לעבד מראש ולבאר טומוגרפיות קריו-אלקטרונים בתוך Dragonfly לאימון רשתות עצביות מלאכותיות, אשר לאחר מכן ניתן להסיק לפלח במהירות מערכי נתונים גדולים. הוא גם דן ומדגים בקצרה כיצד להשתמש בנתונים מפולחים לניתוח נוסף כגון מעקב אחר חוטים וחילוץ קואורדינטות לממוצע תת-טומוגרפיה.

<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td>Dragonfly 2022.1</td>
			<td>Object Research Systems</td>
			<td></td>
			<td>https://www.theobjects.com/dragonfly/index.html</td>
		</tr>
		<tr>
			<td>E18 Rat Dissociated Hippocampus</td>
			<td>Transnetyx Tissue</td>
			<td>KTSDEDHP</td>
			<td>https://tissue.transnetyx.com/faqs</td>
		</tr>
		<tr>
			<td>IMOD</td>
			<td>University of Colorado</td>
			<td></td>
			<td>https://bio3d.colorado.edu/imod/</td>
		</tr>
		<tr>
			<td>Intel&#174; Xeon&#174; Gold 6124 CPU 3.2GHz</td>
			<td>Intel</td>
			<td></td>
			<td>https://www.intel.com/content/www/us/en/products/sku/120493/intel-xeon-gold-6134-processor-24-75m-cache-3-20-ghz/specifications.html</td>
		</tr>
		<tr>
			<td>NVIDIA Quadro P4000</td>
			<td>NVIDIA</td>
			<td></td>
			<td>https://www.nvidia.com/content/dam/en-zz/Solutions/design-visualization/productspage/quadro/quadro-desktop/quadro-pascal-p4000-data-sheet-a4-nvidia-704358-r2-web.pdf</td>
		</tr>
		<tr>
			<td>Windows 10 Enterprise 2016</td>
			<td>Microsoft</td>
			<td></td>
			<td>https://www.microsoft.com/en-us/evalcenter/evaluate-windows-10-enterprise</td>
		</tr>
		<tr>
			<td>Workstation Minimum Requirements</td>
			<td></td>
			<td></td>
			<td>https://theobjects.com/dragonfly/system-requirements.html</td>
		</tr>
	</tbody>
</table>

deep learning-based segmentation of cryo-electron tomograms

טומוגרפיית קריו-אלקטרונים (cryo-ET) מאפשרת לחוקרים לדמיין תאים במצבם הטבעי, רווי לחות ברזולוציה הגבוהה ביותר האפשרית כיום. עם זאת, לטכניקה מספר מגבלות שהופכות את ניתוח הנתונים שהיא מייצרת לגוזל זמן רב וקשה. פילוח ידני של טומוגרפיה בודדת יכול לקחת בין שעות לימים, אך מיקרוסקופ יכול בקלות לייצר 50 טומוגרפיות או יותר ביום. קיימות כיום תוכניות פילוח למידה עמוקה עבור cryo-ET, אך הן מוגבלות לפילוח מבנה אחד בכל פעם. כאן, רשתות עצביות קונבולוציוניות מרובות פרוסות U-Net מאומנות ומיושמות לפלח באופן אוטומטי מבנים מרובים בו זמנית בתוך טומוגרפיה קריו. עם עיבוד מקדים נכון, ניתן להסיק רשתות אלה בצורה חזקה על טומוגרפיות רבות ללא צורך באימון רשתות בודדות עבור כל טומוגרפיה. זרימת עבודה זו משפרת באופן דרמטי את המהירות שבה ניתן לנתח טומוגרפיות קריו-אלקטרונים על ידי קיצור זמן הסגמנטציה לפחות מ-30 דקות ברוב המקרים. יתר על כן, ניתן להשתמש בסגמנטציות כדי לשפר את הדיוק של מעקב אחר חוטי להט בהקשר תאי ולחלץ במהירות קואורדינטות לממוצע תת-טומוגרפיה.

בעקבות הפרוטוקול, U-Net בן חמש פרוסות אומן על טומוגרפיה אחת (איור 2A) כדי לזהות חמש קבוצות: ממברנה, מיקרוטובולים, אקטין (Actin), סמנים פידוקיאליים (Fiducial) ורקע. הרשת אומנה באופן איטרטיבי בסך הכל שלוש פעמים, ולאחר מכן יושמה על הטומוגרפיה כדי לפלח אותה במלואה ולבאר אותה (איור 2B,C). ניקוי מינימלי בוצע באמצעות שלבים 7.1 ו-7.2. שלוש הטומוגרפיות המעניינות הבאות (איור 2D,G,J) הועמסו לתוך התוכנה לצורך עיבוד מקדים. לפני ייבוא התמונה, אחת הטומוגרפיות (איור 2J) דרשה התאמת גודל פיקסלים מ-17.22 Å/px ל-13.3 Å/px מכיוון שהיא נאספה במיקרוסקופ שונה בהגדלה מעט שונה. תוכנית IMOD squeezevol שימש לשינוי גודל עם הפקודה הבאה:
'Squeezevol -f 0.772 inputfile.mrc outputfile.mrc'
בפקודה זו, -f מתייחס לגורם שבאמצעותו יש לשנות את גודל הפיקסלים (במקרה זה: 13.3/17.22). לאחר הייבוא, כל שלושת יעדי ההיסק עובדו מראש לפי שלבים 3.2 ו-3.3, ולאחר מכן יושמה U-Net בת חמש פרוסות. ניקוי מינימלי בוצע שוב. הפילוחים הסופיים מוצגים באיור 2.
מקטעי מיקרוטובולים מכל טומוגרפיה יוצאו כקבצי TIF בינאריים (שלב 7.4), הומרו ל-MRC (תוכנית IMOD tif2mrc ), ולאחר מכן שימשו למתאם צילינדרים ומעקב אחר חוטי להט. סגמנטציות בינאריות של חוטים גורמות למעקב נימה חזק הרבה יותר מאשר מעקב על טומוגרפיה. מפות קואורדינטות ממעקב אחר חוטים (איור 3) ישמשו לניתוח נוסף, כגון מדידות השכנים הקרובים ביותר (אריזת חוטים) וממוצע תת-טומוגרפיה סלילית לאורך חוטים בודדים כדי לקבוע את כיוון המיקרוטובול.
קל לקבוע רשתות לא מוצלחות או לא מאומנות כראוי. רשת כושלת לא תוכל לפלח מבנים כלל, בעוד שרשת שאינה מאומנת כראוי בדרך כלל תפלח מבנים מסוימים בצורה נכונה ויהיו בה מספר משמעותי של תוצאות חיוביות שגויות ושליליות שגויות. רשתות אלה ניתן לתקן ולאמן באופן איטרטיבי כדי לשפר את הביצועים שלהם. אשף הפילוח מחשב באופן אוטומטי את מקדם הדמיון לקוביות של מודל (הנקרא ניקוד ב-SegWiz) לאחר אימוןו. נתון זה נותן אומדן לדמיון בין נתוני האימונים לבין פילוח U-Net. ל- Dragonfly 2022.1 יש גם כלי מובנה להערכת ביצועי מודל שניתן לגשת אליו בכרטיסייה בינה מלאכותית בחלק העליון של הממשק (ראה תיעוד לשימוש).
<img alt="Figure 2" class="xfigimg" src="/files/ftp_upload/64435/64435fig02.jpg"> איור 2: הסקה. (A-C) טומוגרפיית אימון מקורית של נוירון חולדה בהיפוקמפוס DIV 5, שנאספה בשנת 2019 על טיטאן קריוס. זהו שחזור מוקרן לאחור עם תיקון CTF ב- IMOD. (A) הקופסה הצהובה מייצגת את האזור שבו בוצע פילוח ידיים לצורך קלט אימון. (B) סגמנטציה דו-ממדית מה-U-Net לאחר סיום האימון. (C) עיבוד תלת-ממדי של האזורים המקוטעים המציג קרום (כחול), מיקרוטובולים (ירוק) ואקטין (אדום). (ד-ו) DIV 5 נוירון חולדה בהיפוקמפוס מאותו מפגש כמו טומוגרפיית האימון. (ה) סגמנטציה דו-ממדית מה-U-Net ללא הכשרה נוספת וניקוי מהיר. ממברנה (כחול), microtubules (ירוק), actin (אדום), fiducials (ורוד). (F) עיבוד תלת-ממדי של האזורים המפולחים. (ז-י) DIV 5 נוירון חולדה בהיפוקמפוס ממפגש 2019. (H) סגמנטציה דו-ממדית מה-U-Net עם ניקוי מהיר ו-(I) עיבוד תלת-ממדי. (י-ל) DIV 5 נוירון חולדה בהיפוקמפוס, נאסף בשנת 2021 על טיטאן קריוס אחר בהגדלה שונה. גודל הפיקסלים השתנה עם תוכנית IMOD squeezevol כדי להתאים את טומוגרפיית האימון. (K) סגמנטציה דו-ממדית מה-U-Net עם ניקוי מהיר, הדגמת הסקה חזקה על פני מערכי נתונים עם עיבוד מקדים נכון ו-(L) עיבוד תלת-ממדי של סגמנטציה. פסי קנה מידה = 100 ננומטר. קיצורים: DIV = ימים במבחנה; CTF = פונקציית העברת ניגודיות. <a href="https://www.jove.com/files/ftp_upload/64435/64435fig02large.jpg" target="_blank">אנא לחץ כאן כדי להציג גרסה גדולה יותר של איור זה.</a>
<img alt="Figure 3" class="xfigimg" src="/files/ftp_upload/64435/64435fig03.jpg"> איור 3: שיפור במעקב אחר נימה . (A) טומוגרמה של תא עצב בהיפוקמפוס של חולדה DIV 4, שנאספה על טיטאן קריוס. (B) מפת מתאם הנוצרת ממתאם גליל על גבי חוטי אקטין (actin filaments). (C) מעקב אחר נימה של אקטין באמצעות העוצמות של חוטי האקטין במפת המתאם להגדרת פרמטרים. מעקב לוכד את הממברנה ואת microtubules, כמו גם רעש, תוך ניסיון לעקוב רק actin. (D) פילוח U-Net של טומוגרפיה. ממברנה מודגשת בכחול, מיקרוטובולים באדום, ריבוזומים בכתום, טריC בסגול ואקטין בירוק. (E) פילוח אקטין שחולץ כמסכה בינארית למעקב אחר חוטי להט. (F) מפת מתאם הנוצרת ממתאם גליל עם אותם פרמטרים מ-(B). (G) שיפור משמעותי במעקב אחר חוטי האקטין בלבד מהטומוגרפיה. קיצור: DIV = ימים במבחנה. <a href="https://www.jove.com/files/ftp_upload/64435/64435fig03large.jpg" target="_blank">לחץ כאן כדי להציג גרסה גדולה יותר של איור זה.</a>
קובץ משלים 1: הטומוגרפיה המשמשת בפרוטוקול זה וההחזר על ההשקעה המרובה שנוצר כקלט אימון כלולים כערכת נתונים כלולה (Training.ORSObject). ראה https://datadryad.org/stash/dataset/doi:10.5061/dryad.rxwdbrvct.

Watch this Scientific Journal Video about Deep Learning-Based Segmentation of Cryo-Electron Tomograms at JoVE.com

Deep Learning-Based Segmentation of Cryo-Electron Tomograms

זוהי שיטה לאימון U-Net רב-פרוסות עבור פילוח רב-כיתתי של טומוגרפיות קריו-אלקטרונים באמצעות חלק מטומוגרפיה אחת כקלט אימון. אנו מתארים כיצד להסיק רשת זו לטומוגרפיות אחרות וכיצד לחלץ פילוחים לצורך ניתוחים נוספים, כגון ממוצע תת-טומוגרפיה ומעקב אחר חוטים.

פילוח מבוסס למידה עמוקה של טומוגרפיות קריו-אלקטרונים

Cryo-electron tomography (cryo-ET) allows researchers to image cells in their native, hydrated state at the highest resolution currently possible. The ...

מה שהכי מרגש בפרוטוקול שלנו הוא שהוא מאפשר לכל מעבדה להתחיל לעבוד באמצעות פרוטוקולי למידה עמוקה אלה לפילוח כמויות גדולות של נתוני cryo-ET. היתרון העיקרי של זרימת העבודה שלנו הוא ש-Dragonfly מספקת סביבה חישובית ברמה מקצועית לאימון רשתות עצביות מרובות מחלקות לסגמנטציה, וזה באמת יכול להאיץ באופן דרמטי את תהליך הפילוח שלך. פילוח תמונות לוקח זמן ללמוד, לכן הקפד לבדוק את הכלים וללמוד את הקשרים העיקריים כדי לעזור באמת לייעל את זרימת העבודה שלך לאורך זמן.לאחר הגדרת התוכנה, המשך בייבוא התמונות על-ידי מעבר אל קובץ ובחירה באפשרות ייבוא קבצי תמונה. לאחר מכן לחץ על הוסף, נווט אל קובץ התמונה, לחץ על פתח ובחר הבא ולאחר מכן סיום. צור סולם עוצמה מותאם אישית על-ידי מעבר אל כלי עזר ובחירה במנהל יחידות המימד.לחץ על סימן החיבור בפינה השמאלית התחתונה כדי ליצור יחידת ממד חדשה. בחר תכונה בעוצמה גבוהה ונמוכה בכל הטומוגרפיות המעניינות. תן ליחידה שם וקיצור ושמור את יחידת הממד המותאמת אישית.כדי לכייל תמונות לסולם העוצמה המותאם אישית, לחץ לחיצה ימנית על ערכת הנתונים בעמודה Properties בצד ימין של המסך ובחר Calibrate Intensity Scale. לאחר מכן, עבור אל הכרטיסייה הראשית בצד שמאל של המסך וגלול מטה אל קטע הבדיקה. בעזרת כלי הבדיקה המעגלית בקוטר מתאים, לחצו על כמה מקומות באזור הרקע של הטומוגרפיה והקליטו את המספר הממוצע בעמודת העוצמה הגולמית.חזור על הפעולה עבור סמני פידוקיאל ולחץ על כיול. במקרה הצורך, התאימו את הניגוד כדי שמבנים יהיו גלויים שוב בעזרת הכלי אזור באזור פילוס החלון בכרטיסייה הראשית. בצד שמאל של הכרטיסייה הראשית, גללו מטה לחלונית עיבוד התמונה.לחץ על מתקדם והמתן לפתיחת חלון חדש. בחלונית Properties, בחר בערכת הנתונים לסינון והצג אותה בלחיצה על סמל העין משמאל לערכת הנתונים. לאחר מכן, השתמש בתפריט הנפתח מלוח הפעולות כדי לבחור השוואת היסטוגרמה עבור הפעולה הראשונה.בחר הוסף פעולה, לחץ על גאוסיאן ושנה את ממד הליבה לתלת-ממד. הוסף את הפעולה השלישית ולאחר מכן בחר בטל חידוד והשאר את הפלט עבור פעולה זו. החל את האיזון על כל הפרוסות ותן לסינון לפעול, ולאחר מכן סגור את חלון עיבוד התמונה כדי לחזור לממשק הראשי.כדי לזהות את אזור האימון, עבור אל לוח מאפייני הנתונים על-ידי הסתרת ערכת הנתונים הלא מסוננת על-ידי לחיצה על סמל העין משמאל לו. לאחר מכן, הצג את ערכת הנתונים החדשה שסוננה. באמצעות ערכת הנתונים המסוננת, זהה אזור משנה של הטומוגרפיה המכיל את כל התכונות המעניינות.כעת צור תיבה מסביב לאזור העניין על-ידי גלילה מטה אל הקטגוריה צורות ובחירה באפשרות צור תיבה בצד הימני של הכרטיסיה הראשית. בחלונית עם ארבע תצוגות, השתמש במישורים הדו-ממדיים השונים כדי לכוון או לגרור את קצות התיבה כך שתקיף רק את אזור העניין בכל הממדים. ברשימת הנתונים, בחר את אזור התיבה ושנה את צבע הגבול לצפייה קלה יותר על-ידי לחיצה על הריבוע האפור לצד סמל העין.כדי ליצור החזר השקעה מרובה (ROI), בחר בכרטיסיה סגמנטציה, לחץ על חדש בצד שמאל וסמן את האפשרות צור כהחזר השקעה מרובה (ROI). ודא שמספר השיעורים תואם למספר התכונות המעניינות בתוספת שיעור רקע. תנו שם לנתוני האימון מרובי ה-ROI וודאו שהגיאומטריה תואמת לערכת הנתונים לפני שתלחצו על 'אשר'. לאחר מכן, גלול בין הנתונים עד לגבולות האזור הארוז.בחר את Multi-ROI בתפריט מאפיינים בצד ימין. לחץ פעמיים על שם המחלקה הריק הראשון בהחזר ההשקעה המרובה כדי לתת לו שם. לצביעה באמצעות המברשת הדו-ממדית, גללו מטה אל כלי דו-ממד בכרטיסייה 'סגמנטציה' משמאל ובחרו מברשת עגולה.לאחר מכן בחר Adaptive Gaussian או Local OTSU מהתפריט הנפתח, צייר על-ידי החזקת מקש שמאל פלוס לחיצה, ומחק על-ידי החזקת מקש Shift שמאל פלוס לחיצה. לאחר שכל המבנים סומנו, לחץ באמצעות לחצן העכבר הימני על מחלקת הרקע בהחזר ההשקעה המרובה ובחר הוסף את כל הווקסלים ללא תווית למחלקה. לאחר מכן, צור החזר השקעה חדש מסוג יחיד בשם Mask.ודאו שהגיאומטריה מוגדרת לערכת הנתונים המסוננים ולאחר מכן לחצו על 'החל'. בכרטיסיה מאפיינים משמאל, לחץ באמצעות לחצן העכבר הימני על התיבה, בחר הוסף ל- ROI והוסף אותה ל- ROI של המסיכה. כדי לחתוך את נתוני האימון באמצעות המסיכה, עברו לכרטיסייה מאפיינים ובחרו הן את נתוני האימון, החזר השקעה מרובה והן את החזר ההשקעה על המסכה על ידי החזקת שליטה ולחיצה על כל אחד מהם.לאחר מכן, לחץ על הצטלבות מתחת לרשימת מאפייני הנתונים במקטע פעולות בוליאניות. תן לערכת הנתונים החדשה שם כקלט אימון חתוך וודא שהגיאומטריה תואמת לערכת הנתונים המסוננת לפני שתלחץ על אישור. ייבא את נתוני האימון לאשף הפילוח על-ידי לחיצה באמצעות לחצן העכבר הימני על ערכת הנתונים המסוננים בכרטיסיה מאפיינים ובחירה באפשרות אשף הפילוח. לאחר פתיחת חלון חדש, חפש את הכרטיסיה קלט בצד שמאל.לחץ על ייבוא מסגרות מהחזר השקעה מרובה ובחר את קלט האימון החתוך. כדי ליצור מודל רשת עצבית חדש, לחץ על לחצן הפלוס בצד ימין בכרטיסיית הדגם. בחר U Net מהרשימה, בחר 2.5 D וחמש פרוסות למידות קלט ולאחר מכן לחץ על צור.כדי לאמן את הרשת, לחץ על רכבת בפינה השמאלית התחתונה של חלון Seg Wiz. לאחר השלמת אימון היחידה, השתמש ברשת המאומנת כדי לפלח מסגרות חדשות, ליצור מסגרת חדשה ולחץ על חזוי. לאחר מכן לחץ על החץ למעלה בפינה השמאלית העליונה של המסגרת החזויה כדי להעביר את הפילוח למסגרת האמיתית.לתיקון החיזוי, הקישו Control תוך כדי לחיצה על שתי מחלקות כדי לשנות את הפיקסלים המפולחים של מחלקה אחת לשנייה. בחרו בשתי המחלקות וצבעו בעזרת המברשת כדי לצבוע רק פיקסלים השייכים לאחת מהמחלקות. תקן את הפילוח בחמש מסגרות חדשות לפחות.לאימון איטרטיבי, לחץ שוב על לחצן Train ואפשר לרשת להתאמן עוד 30 עד 40 אפיקים נוספים. בשלב זה, להפסיק את האימונים ולהתחיל סבב נוסף של אימונים. כאשר אתה מרוצה מביצועי הרשת, פרסם את הרשת על-ידי יציאה מאשף הסגמנטציה.קופצת תיבת דו-שיח השואלת אילו דגמים לפרסם. בחר את הרשת המצליחה, תן לה שם ולאחר מכן פרסם אותה כדי להפוך את הרשת לזמינה לשימוש מחוץ לאשף הסגמנטציה. תחילה, בחרו בערכת הנתונים המסוננים בחלונית Properties כדי להחיל אותה על טומוגרפיית האימון.בחלונית Segmentation משמאל, גלול מטה למקטע עם AI. ודא שערכת הנתונים הנכונה נבחרה. בחר את הדגם שפורסם לאחרונה בתפריט הנפתח ולאחר מכן לחץ על פלח ולאחר מכן על כל הפרוסות.כדי להחיל על ערכת נתוני הסקה, ייבא את הטומוגרפיה החדשה ועבד אותה מראש כפי שהודגם קודם לכן. בלוח הסגמנטציה, עבור לקטע עם AI. ודא שהטומוגרפיה המסוננת החדשה היא ערכת הנתונים שנבחרה, בחר את המודל שאומן בעבר, לחץ על המקטע ובחר כל הפרוסות.נקה במהירות את הרעש על-ידי בחירה תחילה באחת המחלקות שיש בהן רעש מפולח ותכונת העניין. לאחר מכן, לחץ באמצעות לחצן העכבר הימני על Process Islands, בחר Removed by Voxel Count, ולאחר מכן לחץ על Select a Voxel Size. התחל עם ספירות קטנות ובהדרגה להגדיל את הספירה כדי להסיר את רוב הרעש.לתיקון סגמנטציה, הקישו Control תוך כדי לחיצה על שתי מחלקות כדי לצבוע פיקסלים השייכים למחלקות אלה בלבד. הקישו Control תוך כדי לחיצה ועוד גרירה בעזרת כלי הפילוח כדי לשנות פיקסלים מהמחלקה השנייה למחלקה הראשונה, והקישו Shift תוך כדי לחיצה ועוד גרירה כדי להשיג את התוצאה ההפוכה. יחידה בת חמש פרוסות אומנה על טומוגרפיה אחת ובוצעה פילוח ידני לצורך קלט אימון.מוצג פילוח דו-ממדי מהיחידה לאחר השלמת האימון. עיבוד תלת-ממדי של האזורים המפולחים מראה קרום, מיקרוטובולים וחוטי אקטין (actin filaments). DIV 5 נוירונים של חולדות בהיפוקמפוס מאותו מפגש כמו טומוגרפיית האימון מוצגים.סגמנטציה דו-ממדית מהיחידה ללא הכשרה נוספת בניקוי מהיר הציגה ממברנה, מיקרוטובולים, אקטין ופידוקיאלים. עיבוד תלת ממדי של האזורים המפולחים היה גם חזותי. נצפה גם נוירון חולדה בהיפוקמפוס DIV 5 מפגישה קודמת.כמו כן בוצע פילוח דו-ממדי מהיחידה עם ניקוי מהיר ורינדור תלת מימד. נוירון חולדה בהיפוקמפוס DIV 5 נצפה גם על טיטאן קריוס אחר בהגדלה שונה. גודל הפיקסלים השתנה עם כספת הסחיטה של תוכנית IMOD כדי להתאים לטומוגרפיית האימון.פילוח דו-ממדי מהיחידה עם ניקוי מהיר מדגים הסקה חזקה על פני ערכות נתונים עם עיבוד מקדים נכון, ובוצע עיבוד תלת ממדי של סגמנטציה. עיבוד מראש של הנתונים באופן זהה וכיול ההיסטוגרמות הם ללא ספק השלבים החשובים ביותר להסקת מסקנות נכונה ברשת. ברגע שהמיקום של מולקולות ידוע בתוך הטומוגרפיה, זה ממש טריוויאלי בתוך שפירית לחשב מדידות כמותיות או לחשב קואורדינטות ולהזין אותן לתוך צינור ממוצע תת-טומוגרפיה.אנחנו רק מתחילים לראות את ההשפעות של למידה עמוקה על ניתוח תמונות cryo-ET, אבל זה רק עוד תחום אחד שבו זה מראה הבטחה עצומה באמת.

פילוח מבוסס למידה עמוקה של טומוגרפיות קריו-אלקטרונים

Abstract