Name: deep learning-based segmentation of cryo-electron tomograms
Uploaded: 2022-11-11T14:00:00
Duration: 10 min 25 s
Description: Watch this Scientific Journal Video about Deep Learning-Based Segmentation of Cryo-Electron Tomograms at JoVE.com

تم دعم هذه الدراسة من قبل كلية الطب بولاية بنسلفانيا وقسم الكيمياء الحيوية والبيولوجيا الجزيئية ، بالإضافة إلى منحة صندوق تسوية التبغ (TSF) 4100079742-EXT. تم تمويل خدمات وأدوات CryoEM و CryoET Core (RRID: SCR_021178) المستخدمة في هذا المشروع ، جزئيا ، من قبل كلية الطب بجامعة ولاية بنسلفانيا عبر مكتب نائب عميد البحث وطلاب الدراسات العليا ووزارة الصحة في بنسلفانيا باستخدام صناديق تسوية التبغ (CURE). المحتوى هو مسؤولية المؤلفين فقط ولا يمثل بالضرورة الآراء الرسمية للجامعة أو كلية الطب. تتنصل وزارة الصحة في ولاية بنسلفانيا على وجه التحديد من المسؤولية عن أي تحليلات أو تفسيرات أو استنتاجات.

<ol>
	<li>Bai, X. -. C., Mcmullan, G., Scheres, S. H. W. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=How+cryo-EM+is+revolutionizing+structural+biology.">How cryo-EM is revolutionizing structural biology.</a> Trends in Biochemical Sciences. 40 (1), 49-57 (2015).</li><li>de Oliveira, T. M., van Beek, L., Shilliday, F., Debreczeni, J., Phillips, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Cryo-EM:+The+resolution+revolution+and+drug+discovery.">Cryo-EM: The resolution revolution and drug discovery.</a> SLAS Discovery. 26 (1), 17-31 (2021).</li><li>Danev, R., Yanagisawa, H., Kikkawa, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Cryo-EM+performance+testing+of+hardware+and+data+acquisition+strategies.">Cryo-EM performance testing of hardware and data acquisition strategies.</a> Microscopy. 70 (6), 487-497 (2021).</li><li>Mastronarde, D. N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Automated+electron+microscope+tomography+using+robust+prediction+of+specimen+movements.">Automated electron microscope tomography using robust prediction of specimen movements.</a> Journal of Structural Biology. 152 (1), 36-51 (2005).</li><li>. Tomography 5 and Tomo Live Software User-friendly batch acquisition for and on-the-fly reconstruction for cryo-electron tomography Datasheet Available from: <a target="_blank" href="https://assets.thermofisher.com/TFS-Assets/MSD/Datasheets/tomography-5-software-ds0362.pdf">https://assets.thermofisher.com/TFS-Assets/MSD/Datasheets/tomography-5-software-ds0362.pdf</a> (2022)</li><li>Danev, R., Baumeister, W. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Expanding+the+boundaries+of+cryo-EM+with+phase+plates.">Expanding the boundaries of cryo-EM with phase plates.</a> Current Opinion in Structural Biology. 46, 87-94 (2017).</li><li>Hylton, R. K., Swulius, M. T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Challenges+and+triumphs+in+cryo-electron+tomography.">Challenges and triumphs in cryo-electron tomography.</a> iScience. 24 (9), (2021).</li><li>Turk, M., Baumeister, W. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=The+promise+and+the+challenges+of+cryo-electron+tomography.">The promise and the challenges of cryo-electron tomography.</a> FEBS Letters. 594 (20), 3243-3261 (2020).</li><li>Oikonomou, C. M., Jensen, G. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Cellular+electron+cryotomography:+Toward+structural+biology+in+situ.">Cellular electron cryotomography: Toward structural biology in situ.</a> Annual Review of Biochemistry. 86, 873-896 (2017).</li><li>Wagner, J., Schaffer, M., Fern&#225;ndez-Busnadiego, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Cryo-electron+tomography-the+cell+biology+that+came+in+from+the+cold.">Cryo-electron tomography-the cell biology that came in from the cold.</a> FEBS Letters. 591 (17), 2520-2533 (2017).</li><li>Lam, V., Villa, E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Practical+approaches+for+Cryo-FIB+milling+and+applications+for+cellular+cryo-electron+tomography.">Practical approaches for Cryo-FIB milling and applications for cellular cryo-electron tomography.</a> Methods in Molecular Biology. 2215, 49-82 (2021).</li><li>Chreifi, G., Chen, S., Metskas, L. A., Kaplan, M., Jensen, G. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Rapid+tilt-series+acquisition+for+electron+cryotomography.">Rapid tilt-series acquisition for electron cryotomography.</a> Journal of Structural Biology. 205 (2), 163-169 (2019).</li><li>Eisenstein, F., Danev, R., Pilhofer, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Improved+applicability+and+robustness+of+fast+cryo-electron+tomography+data+acquisition.">Improved applicability and robustness of fast cryo-electron tomography data acquisition.</a> Journal of Structural Biology. 208 (2), 107-114 (2019).</li><li>Esteva, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Deep+learning-enabled+medical+computer+vision.">Deep learning-enabled medical computer vision.</a> npj Digital Medicine. 4 (1), (2021).</li><li>Liu, Y. -. T., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Isotropic+reconstruction+of+electron+tomograms+with+deep+learning.">Isotropic reconstruction of electron tomograms with deep learning.</a> bioRxiv. , (2021).</li><li>Moebel, E., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Deep+learning+improves+macromolecule+identification+in+3D+cellular+cryo-electron+tomograms.">Deep learning improves macromolecule identification in 3D cellular cryo-electron tomograms.</a> Nature Methods. 18 (11), 1386-1394 (2021).</li><li>Chen, M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Convolutional+neural+networks+for+automated+annotation+of+cellular+cryo-electron+tomograms.">Convolutional neural networks for automated annotation of cellular cryo-electron tomograms.</a> Nature Methods. 14 (10), 983-985 (2017).</li><li>Ronneberger, O., Fischer, P., Brox, T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=U-net:+Convolutional+networks+for+biomedical+image+segmentation.">U-net: Convolutional networks for biomedical image segmentation.</a> Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). 9351, 234-241 (2015).</li><li>Kremer, J. R., Mastronarde, D. N., McIntosh, J. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Computer+visualization+of+three-dimensional+image+data+using+IMOD.">Computer visualization of three-dimensional image data using IMOD.</a> Journal of Structural Biology. 116 (1), 71-76 (1996).</li><li>Iancu, C. V., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+&amp;#34;flip-flop&amp;#34;+rotation+stage+for+routine+dual-axis+electron+cryotomography.">A &amp;#34;flip-flop&amp;#34; rotation stage for routine dual-axis electron cryotomography.</a> Journal of Structural Biology. 151 (3), 288-297 (2005).</li></ol>

تم دفع ثمن ترخيص الوصول المفتوح لهذا البروتوكول من قبل Object Research Systems.

يحدد هذا البروتوكول إجراء لاستخدام برنامج Dragonfly 2022.1 لتدريب U-Net متعدد الفئات من صورة مقطعية واحدة ، وكيفية استنتاج تلك الشبكة إلى صور مقطعية أخرى لا يلزم أن تكون من نفس مجموعة البيانات. التدريب سريع نسبيا (يمكن أن يصل إلى 3-5 دقائق لكل حقبة أو بطيء مثل بضع ساعات ، اعتمادا كليا على الشبكة التي يتم تدريبها والأجهزة المستخدمة) ، وإعادة تدريب الشبكة لتحسين تعلمها أمر بديهي. طالما يتم تنفيذ خطوات المعالجة المسبقة لكل تصوير مقطعي مقطعي ، فإن الاستدلال عادة ما يكون قويا.
المعالجة المسبقة المتسقة هي الخطوة الأكثر أهمية لاستدلال التعلم العميق. هناك العديد من مرشحات التصوير في البرنامج ويمكن للمستخدم تجربة تحديد المرشحات التي تعمل بشكل أفضل لمجموعات بيانات معينة ؛ لاحظ أنه مهما كان الترشيح المستخدم في التصوير المقطعي للتدريب ، يجب تطبيقه بنفس الطريقة على التصوير المقطعي الاستدلالي. يجب أيضا توخي الحذر لتزويد الشبكة بمعلومات تدريب دقيقة وكافية. من الضروري أن يتم تقسيم جميع الميزات المجزأة داخل شرائح التدريب بعناية ودقة قدر الإمكان.
يتم تسهيل تجزئة الصورة من خلال واجهة مستخدم متطورة من الدرجة التجارية. يوفر جميع الأدوات اللازمة لتجزئة اليد ويسمح بإعادة التعيين البسيط للفوكسل من أي فئة إلى أخرى قبل التدريب وإعادة التدريب. يسمح للمستخدم بتقطيع voxels يدويا ضمن السياق الكامل للتصوير المقطعي ، ويتم منحهم وجهات نظر متعددة والقدرة على تدوير مستوى الصوت بحرية. بالإضافة إلى ذلك ، يوفر البرنامج القدرة على استخدام شبكات متعددة الفئات ، والتي تميل إلى أداءأفضل 16 وأسرع من التقسيم مع شبكات متعددة من فئة واحدة.
هناك ، بالطبع ، قيود على قدرات الشبكة العصبية. بيانات Cryo-ET ، بطبيعتها ، صاخبة للغاية ومحدودة في أخذ العينات الزاوية ، مما يؤدي إلى تشوهات خاصة بالاتجاه في كائنات متطابقة21. يعتمد التدريب على خبير لتقسيم الهياكل بدقة ، والشبكة الناجحة جيدة (أو سيئة) فقط مثل بيانات التدريب التي يتم تقديمها. تعد تصفية الصور لتعزيز الإشارة مفيدة للمدرب ، ولكن لا يزال هناك العديد من الحالات التي يصعب فيها تحديد جميع وحدات البكسل بدقة في بنية معينة. لذلك ، من المهم توخي الحذر الشديد عند إنشاء تجزئة التدريب بحيث يكون لدى الشبكة أفضل المعلومات الممكنة للتعلم أثناء التدريب.
يمكن تعديل سير العمل هذا بسهولة حسب تفضيل كل مستخدم. في حين أنه من الضروري أن تتم معالجة جميع الصور المقطعية مسبقا بنفس الطريقة تماما ، فليس من الضروري استخدام المرشحات الدقيقة المستخدمة في البروتوكول. يحتوي البرنامج على العديد من خيارات تصفية الصور ، ويوصى بتحسينها لبيانات المستخدم الخاصة قبل الشروع في مشروع تجزئة كبير يمتد عبر العديد من الصور المقطعية. هناك أيضا عدد غير قليل من معماريات الشبكات المتاحة للاستخدام: تم العثور على U-Net متعدد الشرائح للعمل بشكل أفضل للبيانات من هذا المختبر ، ولكن قد يجد مستخدم آخر أن بنية أخرى (مثل 3D U-Net أو Sensor 3D) تعمل بشكل أفضل. يوفر معالج التجزئة واجهة ملائمة لمقارنة أداء شبكات متعددة باستخدام نفس بيانات التدريب.
أدوات مثل تلك المعروضة هنا ستجعل تجزئة اليد من التصوير المقطعي الكامل مهمة من الماضي. من خلال الشبكات العصبية المدربة جيدا والتي يمكن الاستدلال عليها بقوة ، من الممكن تماما إنشاء سير عمل حيث يتم إعادة بناء بيانات التصوير المقطعي ومعالجتها وتجزئتها بالكامل بأسرع ما يمكن للمجهر جمعها.

أدت تطورات الأجهزة والبرامج في العقد الماضي إلى "ثورة في الدقة" للمجهر الإلكتروني بالتبريد (cryo-EM) 1,2. مع أجهزة الكشف الأفضل والأسرع3 ، وبرنامج أتمتة جمع البيانات 4,5 ، والتقدم في تعزيز الإشارة مثل لوحات الطور6 ، فإن جمع كميات كبيرة من بيانات cryo-EM عالية الدقة أمر بسيط نسبيا.
يوفر Cryo-ET رؤية غير مسبوقة للبنية الخلوية في حالة رطبة أصلية7،8،9،10. القيد الأساسي هو سمك العينة ، ولكن مع اعتماد طرق مثل طحن الحزمة الأيونية المركزة (FIB) ، حيث يتم تخفيف العينات الخلوية والأنسجة السميكة للتصوير المقطعي11 ، فإن أفق ما يمكن تصويره باستخدام cryo-ET يتوسع باستمرار. أحدث المجاهر قادرة على إنتاج أكثر من 50 صورة مقطعية في اليوم ، ومن المتوقع أن يزداد هذا المعدل فقط بسبب تطوير مخططات جمع البيانات السريعة12,13. لا يزال تحليل الكميات الهائلة من البيانات التي ينتجها cryo-ET يمثل عنق الزجاجة لطريقة التصوير هذه.
يتطلب التحليل الكمي للمعلومات المقطعية أن يتم شرحها أولا. تقليديا ، يتطلب هذا تجزئة اليد من قبل خبير ، وهو أمر يستغرق وقتا طويلا. اعتمادا على التعقيد الجزيئي الموجود في التصوير المقطعي بالتبريد ، قد يستغرق الأمر ساعات إلى أيام من الاهتمام المخصص. تعد الشبكات العصبية الاصطناعية حلا جذابا لهذه المشكلة حيث يمكن تدريبها على القيام بالجزء الأكبر من أعمال التجزئة في جزء صغير من الوقت. الشبكات العصبية التلافيفية (CNNs) مناسبة بشكل خاص لمهام رؤية الكمبيوتر14 وقد تم تكييفها مؤخرا لتحليل التصوير المقطعي الإلكتروني بالتبريد15،16،17.
تتطلب شبكات CNN التقليدية عدة آلاف من عينات التدريب المشروحة ، وهو أمر غير ممكن في كثير من الأحيان لمهام تحليل الصور البيولوجية. ومن ثم ، فقد تفوقت بنية U-Net في هذا المجال18 لأنها تعتمد على زيادة البيانات لتدريب الشبكة بنجاح ، مما يقلل من الاعتماد على مجموعات التدريب الكبيرة. على سبيل المثال ، يمكن تدريب بنية U-Net باستخدام بضع شرائح فقط من صورة مقطعية واحدة (أربع أو خمس شرائح) والاستدلال بقوة على الصور المقطعية الأخرى دون إعادة التدريب. يوفر هذا البروتوكول دليلا تفصيليا لتدريب معماريات الشبكات العصبية U-Net على تقسيم التصوير المقطعي بالتبريد الإلكتروني داخل Dragonfly 2022.119.
Dragonfly هو برنامج مطور تجاريا يستخدم لتجزئة وتحليل الصور 3D بواسطة نماذج التعلم العميق ، وهو متاح مجانا للاستخدام الأكاديمي (تنطبق بعض القيود الجغرافية). يحتوي على واجهة رسومية متقدمة تسمح لغير الخبراء بالاستفادة الكاملة من قوى التعلم العميق لكل من التجزئة الدلالية وتقليل ضوضاء الصورة. يوضح هذا البروتوكول كيفية المعالجة المسبقة والتعليق على الصور المقطعية الإلكترونية المبردة داخل Dragonfly لتدريب الشبكات العصبية الاصطناعية ، والتي يمكن الاستدلال عليها بعد ذلك لتقسيم مجموعات البيانات الكبيرة بسرعة. كما يناقش ويوضح بإيجاز كيفية استخدام البيانات المجزأة لمزيد من التحليل مثل تتبع الخيوط واستخراج الإحداثيات لحساب متوسط التصوير المقطعي الفرعي.

<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td>Dragonfly 2022.1</td>
			<td>Object Research Systems</td>
			<td></td>
			<td>https://www.theobjects.com/dragonfly/index.html</td>
		</tr>
		<tr>
			<td>E18 Rat Dissociated Hippocampus</td>
			<td>Transnetyx Tissue</td>
			<td>KTSDEDHP</td>
			<td>https://tissue.transnetyx.com/faqs</td>
		</tr>
		<tr>
			<td>IMOD</td>
			<td>University of Colorado</td>
			<td></td>
			<td>https://bio3d.colorado.edu/imod/</td>
		</tr>
		<tr>
			<td>Intel&#174; Xeon&#174; Gold 6124 CPU 3.2GHz</td>
			<td>Intel</td>
			<td></td>
			<td>https://www.intel.com/content/www/us/en/products/sku/120493/intel-xeon-gold-6134-processor-24-75m-cache-3-20-ghz/specifications.html</td>
		</tr>
		<tr>
			<td>NVIDIA Quadro P4000</td>
			<td>NVIDIA</td>
			<td></td>
			<td>https://www.nvidia.com/content/dam/en-zz/Solutions/design-visualization/productspage/quadro/quadro-desktop/quadro-pascal-p4000-data-sheet-a4-nvidia-704358-r2-web.pdf</td>
		</tr>
		<tr>
			<td>Windows 10 Enterprise 2016</td>
			<td>Microsoft</td>
			<td></td>
			<td>https://www.microsoft.com/en-us/evalcenter/evaluate-windows-10-enterprise</td>
		</tr>
		<tr>
			<td>Workstation Minimum Requirements</td>
			<td></td>
			<td></td>
			<td>https://theobjects.com/dragonfly/system-requirements.html</td>
		</tr>
	</tbody>
</table>

deep learning-based segmentation of cryo-electron tomograms

يسمح التصوير المقطعي بالتبريد الإلكتروني (cryo-ET) للباحثين بتصوير الخلايا في حالتها الأصلية المائية بأعلى دقة ممكنة حاليا. ومع ذلك ، فإن هذه التقنية لها العديد من القيود التي تجعل تحليل البيانات التي تولدها يستغرق وقتا طويلا وصعبا. يمكن أن يستغرق تقسيم صورة مقطعية واحدة يدويا من ساعات إلى أيام ، ولكن يمكن للمجهر بسهولة توليد 50 صورة مقطعية أو أكثر يوميا. توجد برامج تجزئة التعلم العميق الحالية ل cryo-ET ، ولكنها تقتصر على تجزئة بنية واحدة في كل مرة. هنا ، يتم تدريب الشبكات العصبية التلافيفية متعددة الشرائح U-Net وتطبيقها لتقسيم هياكل متعددة تلقائيا في وقت واحد داخل التصوير المقطعي بالتبريد. مع المعالجة المسبقة المناسبة ، يمكن الاستدلال على هذه الشبكات بقوة للعديد من الصور المقطعية دون الحاجة إلى تدريب الشبكات الفردية لكل تصوير مقطعي. يعمل سير العمل هذا على تحسين السرعة التي يمكن بها تحليل التصوير المقطعي الإلكتروني بالتبريد بشكل كبير عن طريق تقليل وقت التجزئة إلى أقل من 30 دقيقة في معظم الحالات. علاوة على ذلك ، يمكن استخدام التقسيمات لتحسين دقة تتبع الخيوط في سياق خلوي ولاستخراج الإحداثيات بسرعة لحساب متوسط التصوير المقطعي الفرعي.

باتباع البروتوكول ، تم تدريب U-Net المكون من خمس شرائح على تصوير مقطعي واحد (الشكل 2 أ) لتحديد خمس فئات: الغشاء ، الأنابيب الدقيقة ، الأكتين ، العلامات الائتمانية ، والخلفية. تم تدريب الشبكة بشكل متكرر ما مجموعه ثلاث مرات ، ثم تم تطبيقها على التصوير المقطعي لتقطيعها بالكامل والتعليق عليها (الشكل 2B ، C). تم إجراء الحد الأدنى من التنظيف باستخدام الخطوتين 7.1 و 7.2. تم تحميل الصور المقطعية الثلاثة التالية ذات الأهمية (الشكل 2D ، G ، J) في البرنامج للمعالجة المسبقة. قبل استيراد الصورة ، تطلب أحد الصور المقطعية (الشكل 2J) تعديل حجم البكسل من 17.22 Å / px إلى 13.3 Å / px حيث تم جمعها على مجهر مختلف بتكبير مختلف قليلا. تم استخدام ضغط برنامج IMOD لتغيير الحجم باستخدام الأمر التالي:
'squeezevol -f 0.772 inputfile.mrc outputfile.mrc'
في هذا الأمر ، يشير -f إلى العامل الذي يتم من خلاله تغيير حجم البكسل (في هذه الحالة: 13.3 / 17.22). بعد الاستيراد ، تمت معالجة جميع أهداف الاستدلال الثلاثة مسبقا وفقا للخطوتين 3.2 و 3.3 ، ثم تم تطبيق U-Net المكون من خمس شرائح. تم إجراء الحد الأدنى من التنظيف مرة أخرى. يتم عرض الأجزاء النهائية في الشكل 2.
تم تصدير تجزئة الأنابيب الدقيقة من كل تصوير مقطعي كملفات TIF ثنائية (الخطوة 7.4) ، وتحويلها إلى MRC (برنامج IMOD tif2mrc ) ، ثم استخدامها لارتباط الأسطوانة وتتبع الفتيل. تؤدي التقسيمات الثنائية للخيوط إلى تتبع خيوط أكثر قوة من التتبع عبر التصوير المقطعي. سيتم استخدام خرائط الإحداثيات من تتبع الخيوط (الشكل 3) لمزيد من التحليل ، مثل أقرب قياسات الجيران (تعبئة الفتيل) ومتوسط التصوير المقطعي الفرعي الحلزوني على طول خيوط مفردة لتحديد اتجاه الأنابيب الدقيقة.
من السهل تحديد الشبكات غير الناجحة أو غير المدربة بشكل كاف. لن تتمكن الشبكة الفاشلة من تقسيم أي هياكل على الإطلاق ، في حين أن الشبكة غير المدربة بشكل كاف عادة ما تقوم بتقسيم بعض الهياكل بشكل صحيح ولديها عدد كبير من الإيجابيات الخاطئة والسلبيات الخاطئة. يمكن تصحيح هذه الشبكات وتدريبها بشكل متكرر لتحسين أدائها. يقوم معالج التجزئة تلقائيا بحساب معامل تشابه النرد للنموذج (يسمى النتيجة في SegWiz) بعد تدريبه. تعطي هذه الإحصائية تقديرا للتشابه بين بيانات التدريب وتجزئة U-Net. يحتوي Dragonfly 2022.1 أيضا على أداة مضمنة لتقييم أداء النموذج يمكن الوصول إليها في علامة التبويب الذكاء الاصطناعي أعلى الواجهة (انظر وثائق الاستخدام).
<img alt="Figure 2" class="xfigimg" src="/files/ftp_upload/64435/64435fig02.jpg"> الشكل 2: الاستدلال. (A-C) التصوير المقطعي التدريبي الأصلي لخلية عصبية للفئران الحصين DIV 5 ، تم جمعها في عام 2019 على Titan Krios. هذه إعادة بناء متوقعة مع تصحيح CTF في IMOD. (أ) يمثل المربع الأصفر المنطقة التي تم فيها تجزئة اليد لمدخلات التدريب. (ب) تجزئة 2D من U-Net بعد اكتمال التدريب. (ج) عرض 3D للمناطق المجزأة التي تظهر الغشاء (الأزرق) ، الأنابيب الدقيقة (الأخضر) ، والأكتين (الأحمر). (مد-واو) DIV 5 الحصين الفئران العصبية من نفس الجلسة مثل التصوير المقطعي للتدريب. (ه) تجزئة 2D من U-Net بدون تدريب إضافي وتنظيف سريع. غشاء (أزرق) ، أنابيب دقيقة (أخضر) ، أكتين (أحمر) ، إيماني (وردي). (و) تقديم 3D للمناطق المجزأة. (ز-ط) DIV 5 الخلايا العصبية الجرذ الحصين من جلسة 2019. (H) تجزئة 2D من U-Net مع التنظيف السريع و (I) تقديم 3D. (ي-ل) DIV 5 خلية عصبية للفئران الحصين ، تم جمعها في عام 2021 على تيتان كريوس مختلف بتكبير مختلف. تم تغيير حجم البكسل باستخدام ضغط برنامج IMOD لمطابقة التصوير المقطعي للتدريب. (K) تجزئة 2D من U-Net مع التنظيف السريع ، مما يدل على استدلال قوي عبر مجموعات البيانات مع المعالجة المسبقة المناسبة و (L) تقديم 3D للتجزئة. قضبان المقياس = 100 نانومتر. الاختصارات: DIV = أيام في المختبر. CTF = وظيفة نقل التباين. <a href="https://www.jove.com/files/ftp_upload/64435/64435fig02large.jpg" target="_blank">يرجى النقر هنا لعرض نسخة أكبر من هذا الرقم.</a>
<img alt="Figure 3" class="xfigimg" src="/files/ftp_upload/64435/64435fig03.jpg"> الشكل 3: تحسين تتبع الشعيرة . (أ) التصوير المقطعي لخلية عصبية قرنية للفئران DIV 4 ، تم جمعها على تيتان كريوس. (ب) خريطة الارتباط الناتجة عن ارتباط الأسطوانة بخيوط الأكتين. (ج) تتبع خيوط الأكتين باستخدام شدة خيوط الأكتين في خريطة الارتباط لتحديد المعلمات. يلتقط التتبع الغشاء والأنابيب الدقيقة ، وكذلك الضوضاء ، أثناء محاولة تتبع الأكتين فقط. (د) تجزئة U-Net للتصوير المقطعي. غشاء مظلل باللون الأزرق ، والأنابيب الدقيقة باللون الأحمر ، والريبوسومات باللون البرتقالي ، و triC باللون الأرجواني ، والأكتين باللون الأخضر. ه: تجزئة الأكتين المستخرجة كقناع ثنائي لتتبع الخيوط. (F) خريطة الارتباط الناتجة عن ارتباط الأسطوانة بنفس المعلمات من (B). (ز) تحسن كبير في تتبع خيوط خيوط الأكتين فقط من التصوير المقطعي. اختصار: DIV = أيام في المختبر. <a href="https://www.jove.com/files/ftp_upload/64435/64435fig03large.jpg" target="_blank">يرجى النقر هنا لعرض نسخة أكبر من هذا الرقم.</a>
الملف التكميلي 1: يتم تضمين التصوير المقطعي المستخدم في هذا البروتوكول وعائد الاستثمار المتعدد الذي تم إنشاؤه كمدخلات تدريب كمجموعة بيانات مجمعة (Training.ORSObject). انظر https://datadryad.org/stash/dataset/doi:10.5061/dryad.rxwdbrvct.

Watch this Scientific Journal Video about Deep Learning-Based Segmentation of Cryo-Electron Tomograms at JoVE.com

Deep Learning-Based Segmentation of Cryo-Electron Tomograms

هذه طريقة لتدريب U-Net متعدد الشرائح على تجزئة متعددة الفئات من التصوير المقطعي الإلكتروني بالتبريد باستخدام جزء من صورة مقطعية واحدة كمدخل تدريب. نصف كيفية استنتاج هذه الشبكة إلى الصور المقطعية الأخرى وكيفية استخراج التقسيمات لمزيد من التحليلات ، مثل متوسط التصوير المقطعي الفرعي وتتبع الخيوط.

التجزئة القائمة على التعلم العميق للتصوير المقطعي الإلكتروني بالتبريد

Cryo-electron tomography (cryo-ET) allows researchers to image cells in their native, hydrated state at the highest resolution currently possible. The ...

الأمر الأكثر إثارة في بروتوكولنا هو أنه يسمح لأي مختبر بالبدء والتشغيل باستخدام بروتوكولات التعلم العميق هذه لتقسيم كميات كبيرة من بيانات cryo-ET. الميزة الرئيسية لسير العمل لدينا هي أن Dragonfly يوفر بيئة حسابية احترافية لتدريب الشبكات العصبية متعددة الفئات على التجزئة ، وهذا يمكن أن يسرع عملية التجزئة بشكل كبير. يستغرق تقسيم الصور وقتا للتعلم ، لذا تأكد من اختبار الأدوات ومعرفة روابط المفاتيح للمساعدة حقا في تبسيط سير عملك بمرور الوقت.بعد إعداد البرنامج ، تابع استيراد الصورة بالانتقال إلى ملف ، وتحديد استيراد ملفات الصور. ثم اضغط إضافة، انتقل إلى ملف الصورة، انقر فتح، وحدد التالي، متبوعا بإنهاء. قم بإنشاء مقياس كثافة مخصص بالانتقال إلى الأدوات المساعدة وتحديد مدير وحدة الأبعاد.انقر فوق علامة الجمع في أسفل اليسار لإنشاء وحدة أبعاد جديدة. اختر ميزة عالية ومنخفضة الكثافة في جميع الصور المقطعية ذات الأهمية. امنح الوحدة اسما واختصارا واحفظ وحدة الأبعاد المخصصة.لمعايرة الصور إلى مقياس الكثافة المخصص ، انقر بزر الماوس الأيمن فوق مجموعة البيانات في عمود الخصائص على الجانب الأيمن من الشاشة وحدد معايرة مقياس الكثافة. بعد ذلك ، انتقل إلى علامة التبويب الرئيسية على الجانب الأيسر من الشاشة وانتقل لأسفل إلى قسم المسبار. باستخدام أداة المسبار الدائري بقطر مناسب ، انقر فوق بضعة أماكن في منطقة خلفية التصوير المقطعي ، وسجل متوسط الرقم في عمود الكثافة الأولية.كرر للعلامات الائتمانية وانقر فوق معايرة. إذا لزم الأمر، اضبط التباين لجعل الهياكل مرئية مرة أخرى باستخدام أداة المساحة في قسم تسوية النافذة من علامة التبويب الرئيسية. على الجانب الأيسر من علامة التبويب الرئيسية ، قم بالتمرير لأسفل إلى لوحة معالجة الصور.انقر فوق خيارات متقدمة وانتظر حتى يتم فتح نافذة جديدة. من لوحة الخصائص، حدد مجموعة البيانات المراد تصفيتها واجعلها مرئية بالنقر فوق أيقونة العين على يسار مجموعة البيانات. بعد ذلك ، استخدم القائمة المنسدلة من لوحة العمليات لتحديد معادلة الرسم البياني للعملية الأولى.حدد إضافة عملية، وانقر فوق Gaussian، وقم بتغيير بعد kernel إلى 3D. أضف العملية الثالثة ، ثم حدد Unsharp واترك الإخراج لهذه العملية. قم بتطبيق المعادلة على جميع الشرائح واترك التصفية تعمل ، ثم أغلق نافذة معالجة الصور للعودة إلى الواجهة الرئيسية.لتحديد منطقة التدريب ، انتقل إلى لوحة خصائص البيانات عن طريق إخفاء مجموعة البيانات غير المصفاة أولا بالنقر فوق رمز العين الموجود على يسارها. بعد ذلك ، اعرض مجموعة البيانات التي تمت تصفيتها حديثا. باستخدام مجموعة البيانات التي تمت تصفيتها ، حدد منطقة فرعية من التصوير المقطعي تحتوي على جميع الميزات ذات الأهمية.الآن قم بإنشاء مربع حول منطقة الاهتمام عن طريق التمرير لأسفل إلى فئة الأشكال وتحديد إنشاء مربع على الجانب الأيسر من علامة التبويب الرئيسية. أثناء وجودك في لوحة العرض الأربعة ، استخدم مستويات 2D المختلفة للمساعدة في توجيه أو سحب حواف المربع لإحاطة منطقة الاهتمام فقط في جميع الأبعاد. في قائمة البيانات، حدد منطقة المربع وقم بتغيير لون الحدود لتسهيل العرض بالنقر فوق المربع الرمادي بجوار رمز العين.لإنشاء عائد استثمار متعدد، حدد علامة التبويب تقسيم، وانقر فوق جديد على الجانب الأيمن، وحدد إنشاء كعائد استثمار متعدد. تأكد من أن عدد الفئات يتوافق مع عدد الميزات ذات الاهتمام بالإضافة إلى فئة الخلفية. قم بتسمية بيانات التدريب متعدد عائد الاستثمار وتأكد من أن الشكل الهندسي يتوافق مع مجموعة البيانات قبل النقر فوق موافق. بعد ذلك ، قم بالتمرير عبر البيانات حتى داخل حدود المنطقة المحاصرة.حدد عائد الاستثمار المتعدد في قائمة الخصائص على اليمين. انقر نقرا مزدوجا فوق اسم الفئة الفارغ الأول في عائد الاستثمار المتعدد لتسميته. للطلاء باستخدام فرشاة ثنائية الأبعاد ، قم بالتمرير لأسفل إلى أدوات 2D في علامة تبويب التجزئة على اليسار وحدد فرشاة دائرية.ثم حدد Adaptive Gaussian أو Local OTSU من القائمة المنسدلة ، وقم بالطلاء بالضغط على مفتاح التحكم الأيسر بالإضافة إلى النقر ، وامسح بالضغط على مفتاح shift الأيسر بالإضافة إلى النقر. بمجرد تسمية جميع الهياكل ، انقر بزر الماوس الأيمن فوق فئة الخلفية في عائد الاستثمار المتعدد وحدد إضافة جميع Voxels غير المسماة إلى الفئة. بعد ذلك ، قم بإنشاء عائد استثمار جديد من فئة واحدة باسم Mask.تأكد من تعيين الشكل الهندسي إلى مجموعة البيانات التي تمت تصفيتها ثم انقر فوق تطبيق. في علامة التبويب خصائص على اليسار ، انقر بزر الماوس الأيمن فوق المربع ، وحدد إضافة إلى عائد الاستثمار ، وأضفه إلى قناع عائد الاستثمار. لقص بيانات التدريب باستخدام القناع ، انتقل إلى علامة التبويب خصائص وحدد كلا من بيانات التدريب وعائد الاستثمار المتعدد وعائد استثمار القناع عن طريق الضغط باستمرار على Control والنقر فوق كل منها.بعد ذلك، انقر فوق تقاطع أسفل قائمة خصائص البيانات في قسم العمليات المنطقية. قم بتسمية مجموعة البيانات الجديدة كإدخال تدريب مقطوع وتأكد من توافق الشكل الهندسي مع مجموعة البيانات التي تمت تصفيتها قبل النقر فوق موافق. قم باستيراد بيانات التدريب إلى معالج التجزئة بالنقر بزر الماوس الأيمن فوق مجموعة البيانات التي تمت تصفيتها في علامة التبويب خصائص وتحديد خيار معالج التجزئة. بمجرد فتح نافذة جديدة ، ابحث عن علامة التبويب الإدخال على الجانب الأيمن.انقر فوق استيراد إطارات من عائد استثمار متعدد وحدد إدخال التدريب المقتطع. لإنشاء نموذج شبكة عصبية جديد ، انقر فوق زر علامة الجمع على الجانب الأيمن في علامة تبويب النموذج. حدد U Net من القائمة، وحدد 2.5 D وخمس شرائح لبعد الإدخال، ثم انقر فوق إنشاء.لتدريب الشبكة ، انقر فوق تدريب في أسفل يمين نافذة Seg Wiz. بمجرد اكتمال تدريب الوحدة ، استخدم الشبكة المدربة لتقسيم إطارات جديدة ، وإنشاء إطار جديد ، وانقر فوق توقع. ثم انقر فوق السهم لأعلى في الجزء العلوي الأيمن من الإطار المتوقع لنقل التجزئة إلى الإطار الحقيقي.لتصحيح التنبؤ، انقر مع الضغط على مفتاح التحكم على فئتين لتغيير وحدات البكسل المجزأة لأحدهما إلى الآخر. حدد كلا الفئتين وقم بالطلاء باستخدام الفرشاة لطلاء وحدات البكسل التي تنتمي إلى أي من الفئتين فقط. قم بتصحيح التجزئة في خمسة إطارات جديدة على الأقل.للتدريب التكراري ، انقر فوق الزر Train مرة أخرى واسمح للشبكة بالتدريب بشكل أكبر لمدة 30 إلى 40 ملحمة أخرى. في هذه المرحلة ، أوقف التدريب وابدأ جولة أخرى من التدريب. عند الرضا عن أداء الشبكة، انشر الشبكة عن طريق الخروج من معالج التجزئة.ينبثق مربع حوار يسأل عن النماذج التي يجب نشرها. حدد الشبكة الناجحة، وقم بتسميتها، ثم انشرها لجعل الشبكة متوفرة للاستخدام خارج معالج التجزئة. أولا، حدد مجموعة البيانات المصفاة في لوحة الخصائص لتطبيقها على الرسم المقطعي للتدريب.في لوحة التجزئة على اليسار ، قم بالتمرير لأسفل إلى المقطع الذي يحتوي على الذكاء الاصطناعي القسم. تأكد من تحديد مجموعة البيانات الصحيحة. اختر النموذج الذي تم نشره مؤخرا في القائمة المنسدلة ثم انقر فوق مقطع ، متبوعا بكل الشرائح.للتطبيق على مجموعة بيانات الاستدلال، قم باستيراد التصوير المقطعي الجديد وقم بمعالجته مسبقا كما هو موضح سابقا. في لوحة التجزئة ، انتقل إلى قسم المقطع الذي يحتوي الذكاء الاصطناعي. تأكد من أن التصوير المقطعي المفلتر حديثا هو مجموعة البيانات المحددة، اختر النموذج الذي تم تدريبه مسبقا، انقر المقطع، وحدد كل الشرائح.قم بتنظيف الضوضاء بسرعة عن طريق اختيار إحدى الفئات التي تحتوي على ضوضاء مجزأة وميزة الاهتمام. ثم ، انقر بزر الماوس الأيمن فوق جزر العملية ، وحدد تمت الإزالة بواسطة Voxel Count ، ثم انقر فوق تحديد حجم Voxel. ابدأ بأعداد صغيرة وقم بزيادة العد تدريجيا لإزالة معظم الضوضاء.لتصحيح التجزئة، انقر مع الضغط على مفتاح التحكم على فئتين لطلاء بيكسلات تنتمي إلى تلك الفئات فقط. انقر مع الضغط على مفتاح التحكم بالإضافة إلى السحب باستخدام أدوات التجزئة لتغيير وحدات البكسل من الفئة الثانية إلى الأولى والنقر مع الضغط على مفتاح العالي بالإضافة إلى السحب لتحقيق العكس. تم تدريب وحدة من خمس شرائح على تصوير مقطعي واحد وتم إجراء تجزئة اليد لمدخلات التدريب.يتم عرض تجزئة 2D من الوحدة بعد التدريب الكامل. يظهر عرض 3D للمناطق المجزأة غشاء، وأنابيب دقيقة، وخيوط الأكتين. يتم عرض الخلايا العصبية للفئران الحصين DIV 5 من نفس الجلسة مثل التصوير المقطعي للتدريب.تجزئة 2D من الوحدة مع عدم وجود تدريب إضافي في التنظيف السريع عرضت الغشاء ، الأنابيب الدقيقة ، الأكتين ، و fiducials. كما تم تصور عرض 3D للمناطق المجزأة. كما لوحظ DIV 5 الخلايا العصبية للفئران الحصين من جلسة سابقة.كما تم إجراء تجزئة 2D من الوحدة مع التنظيف السريع وتقديم 3D. كما لوحظت الخلايا العصبية للفئران الحصين DIV 5 على تيتان كريوس مختلف بتكبير مختلف. تم تغيير حجم البكسل باستخدام قبو الضغط على برنامج IMOD لمطابقة التصوير المقطعي للتدريب.يوضح تجزئة 2D من الوحدة مع التنظيف السريع استدلالا قويا عبر مجموعات البيانات مع المعالجة المسبقة المناسبة ، وتم إجراء عرض 3D للتقسيم. تعد المعالجة المسبقة للبيانات بشكل متطابق ومعايرة الرسوم البيانية بالتأكيد أهم الخطوات للاستدلال الصحيح للشبكة. بمجرد معرفة موقع الجزيئات داخل التصوير المقطعي المقطعي ، يكون من التافه حقا داخل Dragonfly حساب القياسات الكمية أو حساب الإحداثيات وإدخالها في خط أنابيب متوسط التصوير المقطعي الفرعي.لقد بدأنا فقط في رؤية تأثيرات التعلم العميق على تحليل الصور cryo-ET ، ولكن هذا مجرد مجال آخر يظهر فيه وعدا هائلا حقا.

Research

JoVE Journal

Biology

In vivo Imaging of Deep Cortical Layers using a Microprism

In vivo Imaging of Deep Cortical Layers using a Microprism

في التصوير المجراة من الطبقات العميقة القشرية باستخدام Microprism

We present a protocol for in vivo imaging of cortical tissue using a deep-brain imaging probe in the shape of a microprism.  Microprisms are 1-mm in size ...

Generation of Dispersed Presomitic Mesoderm Cell Cultures for Imaging of the Zebrafish Segmentation Clock in Single Cells

جيل من تفرقوا Presomitic الأديم المتوسط ​​الثقافات خلية التصوير من اسماك الزرد الإنقسام على مدار الساعة في خلايا واحدة

Segmentation is a  periodic and sequential morphogenetic process in vertebrates. This rhythmic  formation of blocks of tissue called somites along the ...

Cryo-electron Microscopy Specimen Preparation By Means Of a Focused Ion Beam

البرد الإلكترون المجهري عينة التحضير عن طريق المركزة ايون شعاع

Here we present a protocol used to prepare cryo-TEM samples of Aspergillus niger spores, but which can easily be adapted for any number of microorganisms ...

Do's and Don'ts of Cryo-electron Microscopy: A Primer on Sample Preparation and High Quality Data Collection for Macromolecular 3D Reconstruction

ما يفعل وما يترك من المجهري البرد الإلكترون: وهو أول كتاب عن تحضير العينة وجمع البيانات عالية الجودة للتعمير الجزيئات 3D

Cryo-electron microscopy (cryoEM) entails flash-freezing a thin layer of sample on a support, and then visualizing the sample in its frozen hydrated state ...

Volume Segmentation and Analysis of Biological Materials Using SuRVoS (Super-region Volume Segmentation) Workbench

Volume Segmentation and Analysis of Biological Materials Using SuRVoS Super-region Volume Segmentation Workbench

حجم تجزئة وتحليل المواد البيولوجية باستخدام منضدة سورفوس (منطقة عظمى تجزئة وحدة التخزين)

Segmentation is the process of isolating specific regions or objects within an imaged volume, so that further study can be undertaken on these areas of ...

Visualization of DNA Compaction in Cyanobacteria by High-voltage Cryo-electron Tomography

التصور للضغط الحمض النووي في البكتيريا الزرقاء بالتصوير المقطعي الفولت العالي Cryo-إلكترون

This protocol describes how to visualize the transient DNA compaction in cyanobacteria. DNA compaction is a dramatic cytoplasmic event recently found to ...

Cryo-Electron Microscopic Grid Preparation for Time-Resolved Studies using a Novel Robotic System, Spotiton

إعداد الشبكة المجهرية كريو إلكترون للدراسات التي تم حلها عبر الزمن باستخدام نظام روبوتي جديد، Spotiton

The capture of short-lived molecular states triggered by the early encounter of two or more interacting particles continues to be an experimental ...

Sample Preparation by 3D-Correlative Focused Ion Beam Milling for High-Resolution Cryo-Electron Tomography

إعداد العينة بواسطة طحن شعاع الأيونات المركز 3D للتصوير المقطعي عالي الدقة للإلكترون بالتبريد

Cryo-electron tomography (cryo-ET) has become the method of choice for investigating cellular ultrastructure and molecular complexes in their native, ...

Deep Vascular Imaging in the Eye with Flow-Enhanced Ultrasound

تصوير الأوعية الدموية العميقة في العين باستخدام الموجات فوق الصوتية المحسنة للتدفق

The retina within the eye is one of the most energy-demanding tissues in the body and thus requires high rates of oxygen delivery from a rich blood ...

Cryo-Electron Tomography Remote Data Collection and Subtomogram Averaging

التصوير المقطعي بالتبريد الإلكتروني جمع البيانات عن بعد ومتوسط التصوير المقطعي الفرعي

Cryo-electron tomography (cryo-ET) has been gaining momentum in recent years, especially since the introduction of direct electron detectors, improved ...