Name: deep learning-based segmentation of cryo-electron tomograms
Uploaded: 2022-11-11T14:00:00
Duration: 10 min 25 s
Description: Watch this Scientific Journal Video about Deep Learning-Based Segmentation of Cryo-Electron Tomograms at JoVE.com

이 연구는 Penn State College of Medicine과 생화학 및 분자 생물학과, 담배 정착 기금(TSF) 보조금 4100079742-EXT의 지원을 받았습니다. 이 프로젝트에 사용된 CryoEM 및 CryoET Core(RRID:SCR_021178) 서비스 및 기기는 펜실베니아 주립대학교 의과대학이 연구 및 대학원생 부학장실과 펜실베니아 보건부에서 담배 정착 기금(CURE)을 사용하여 부분적으로 자금을 지원했습니다. 내용은 전적으로 저자의 책임이며 반드시 대학 또는 의과 대학의 공식 견해를 나타내는 것은 아닙니다. 펜실베니아 보건부는 특히 분석, 해석 또는 결론에 대한 책임을 부인합니다.

<ol>
	<li>Bai, X. -. C., Mcmullan, G., Scheres, S. H. W. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=How+cryo-EM+is+revolutionizing+structural+biology.">How cryo-EM is revolutionizing structural biology.</a> Trends in Biochemical Sciences. 40 (1), 49-57 (2015).</li><li>de Oliveira, T. M., van Beek, L., Shilliday, F., Debreczeni, J., Phillips, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Cryo-EM:+The+resolution+revolution+and+drug+discovery.">Cryo-EM: The resolution revolution and drug discovery.</a> SLAS Discovery. 26 (1), 17-31 (2021).</li><li>Danev, R., Yanagisawa, H., Kikkawa, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Cryo-EM+performance+testing+of+hardware+and+data+acquisition+strategies.">Cryo-EM performance testing of hardware and data acquisition strategies.</a> Microscopy. 70 (6), 487-497 (2021).</li><li>Mastronarde, D. N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Automated+electron+microscope+tomography+using+robust+prediction+of+specimen+movements.">Automated electron microscope tomography using robust prediction of specimen movements.</a> Journal of Structural Biology. 152 (1), 36-51 (2005).</li><li>. Tomography 5 and Tomo Live Software User-friendly batch acquisition for and on-the-fly reconstruction for cryo-electron tomography Datasheet Available from: <a target="_blank" href="https://assets.thermofisher.com/TFS-Assets/MSD/Datasheets/tomography-5-software-ds0362.pdf">https://assets.thermofisher.com/TFS-Assets/MSD/Datasheets/tomography-5-software-ds0362.pdf</a> (2022)</li><li>Danev, R., Baumeister, W. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Expanding+the+boundaries+of+cryo-EM+with+phase+plates.">Expanding the boundaries of cryo-EM with phase plates.</a> Current Opinion in Structural Biology. 46, 87-94 (2017).</li><li>Hylton, R. K., Swulius, M. T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Challenges+and+triumphs+in+cryo-electron+tomography.">Challenges and triumphs in cryo-electron tomography.</a> iScience. 24 (9), (2021).</li><li>Turk, M., Baumeister, W. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=The+promise+and+the+challenges+of+cryo-electron+tomography.">The promise and the challenges of cryo-electron tomography.</a> FEBS Letters. 594 (20), 3243-3261 (2020).</li><li>Oikonomou, C. M., Jensen, G. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Cellular+electron+cryotomography:+Toward+structural+biology+in+situ.">Cellular electron cryotomography: Toward structural biology in situ.</a> Annual Review of Biochemistry. 86, 873-896 (2017).</li><li>Wagner, J., Schaffer, M., Fern&#225;ndez-Busnadiego, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Cryo-electron+tomography-the+cell+biology+that+came+in+from+the+cold.">Cryo-electron tomography-the cell biology that came in from the cold.</a> FEBS Letters. 591 (17), 2520-2533 (2017).</li><li>Lam, V., Villa, E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Practical+approaches+for+Cryo-FIB+milling+and+applications+for+cellular+cryo-electron+tomography.">Practical approaches for Cryo-FIB milling and applications for cellular cryo-electron tomography.</a> Methods in Molecular Biology. 2215, 49-82 (2021).</li><li>Chreifi, G., Chen, S., Metskas, L. A., Kaplan, M., Jensen, G. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Rapid+tilt-series+acquisition+for+electron+cryotomography.">Rapid tilt-series acquisition for electron cryotomography.</a> Journal of Structural Biology. 205 (2), 163-169 (2019).</li><li>Eisenstein, F., Danev, R., Pilhofer, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Improved+applicability+and+robustness+of+fast+cryo-electron+tomography+data+acquisition.">Improved applicability and robustness of fast cryo-electron tomography data acquisition.</a> Journal of Structural Biology. 208 (2), 107-114 (2019).</li><li>Esteva, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Deep+learning-enabled+medical+computer+vision.">Deep learning-enabled medical computer vision.</a> npj Digital Medicine. 4 (1), (2021).</li><li>Liu, Y. -. T., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Isotropic+reconstruction+of+electron+tomograms+with+deep+learning.">Isotropic reconstruction of electron tomograms with deep learning.</a> bioRxiv. , (2021).</li><li>Moebel, E., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Deep+learning+improves+macromolecule+identification+in+3D+cellular+cryo-electron+tomograms.">Deep learning improves macromolecule identification in 3D cellular cryo-electron tomograms.</a> Nature Methods. 18 (11), 1386-1394 (2021).</li><li>Chen, M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Convolutional+neural+networks+for+automated+annotation+of+cellular+cryo-electron+tomograms.">Convolutional neural networks for automated annotation of cellular cryo-electron tomograms.</a> Nature Methods. 14 (10), 983-985 (2017).</li><li>Ronneberger, O., Fischer, P., Brox, T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=U-net:+Convolutional+networks+for+biomedical+image+segmentation.">U-net: Convolutional networks for biomedical image segmentation.</a> Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). 9351, 234-241 (2015).</li><li>Kremer, J. R., Mastronarde, D. N., McIntosh, J. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Computer+visualization+of+three-dimensional+image+data+using+IMOD.">Computer visualization of three-dimensional image data using IMOD.</a> Journal of Structural Biology. 116 (1), 71-76 (1996).</li><li>Iancu, C. V., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+&amp;#34;flip-flop&amp;#34;+rotation+stage+for+routine+dual-axis+electron+cryotomography.">A &amp;#34;flip-flop&amp;#34; rotation stage for routine dual-axis electron cryotomography.</a> Journal of Structural Biology. 151 (3), 288-297 (2005).</li></ol>

이 프로토콜에 대한 오픈 액세스 라이선스는 Object Research Systems에서 지불했습니다.

이 프로토콜은 Dragonfly 2022.1 소프트웨어를 사용하여 단일 단층 촬영에서 다중 클래스 U-Net을 훈련시키는 절차와 해당 네트워크를 동일한 데이터 세트에서 가져올 필요가 없는 다른 단층 촬영으로 추론하는 방법을 설명합니다. 훈련은 비교적 빠르며(훈련 중인 신경망과 사용되는 하드웨어에 따라 Epoch당 3-5분 정도 빠르거나 몇 시간 정도 느릴 수 있음) 신경망을 재훈련시켜 학습을 개선하는 것은 직관적입니다. 모든 단층 촬영에 대해 전처리 단계가 수행되는 한, 추론은 일반적으로 강력합니다.
일관된 전처리는 딥 러닝 추론을 위한 가장 중요한 단계입니다. 소프트웨어에는 많은 이미징 필터가 있으며 사용자는 특정 데이터 세트에 가장 적합한 필터를 결정하기 위해 실험할 수 있습니다. 학습 단층 촬영에 사용되는 필터링은 추론 단층 촬영과 동일한 방식으로 적용되어야 합니다. 또한 네트워크에 정확하고 충분한 훈련 정보를 제공하기 위해 주의를 기울여야 합니다. 학습 슬라이스 내에서 분할된 모든 기능은 가능한 한 신중하고 정확하게 분할되어야 합니다.
이미지 분할은 정교한 상용 등급 사용자 인터페이스를 통해 촉진됩니다. 손 분할에 필요한 모든 도구를 제공하며 교육 및 재교육 전에 한 클래스에서 다른 클래스로 복셀을 간단하게 재할당할 수 있습니다. 사용자는 단층 촬영의 전체 컨텍스트 내에서 복셀을 손으로 분할할 수 있으며 여러 보기와 볼륨을 자유롭게 회전할 수 있는 기능이 제공됩니다. 또한 이 소프트웨어는 다중 클래스 네트워크를 사용할 수 있는 기능을 제공하는데, 이는16 더 나은 성능을 발휘하는 경향이 있으며 여러 개의 단일 클래스 네트워크로 분할하는 것보다 빠릅니다.
물론 신경망의 기능에는 한계가 있습니다. Cryo-ET 데이터는 본질적으로 매우 잡음이 많고 각도 샘플링이 제한되어 동일한 물체(21)에서 방향별 왜곡을 초래합니다. 훈련은 구조를 정확하게 손으로 분할하기 위해 전문가에 의존하며, 성공적인 네트워크는 주어진 훈련 데이터만큼(또는 나쁜) 것입니다. 신호를 증폭하기 위한 이미지 필터링은 트레이너에게 도움이 되지만 주어진 구조의 모든 픽셀을 정확하게 식별하기 어려운 경우가 여전히 많습니다. 따라서 신경망이 훈련 중에 학습할 수 있는 최상의 정보를 가질 수 있도록 훈련 분할을 생성할 때 세심한 주의를 기울이는 것이 중요합니다.
이 워크플로는 각 사용자의 기본 설정에 맞게 쉽게 수정할 수 있습니다. 모든 단층 촬영이 정확히 동일한 방식으로 전처리되는 것이 필수적이지만 프로토콜에 사용된 정확한 필터를 사용할 필요는 없습니다. 이 소프트웨어에는 다양한 이미지 필터링 옵션이 있으며 많은 단층 촬영에 걸친 대규모 분할 프로젝트를 시작하기 전에 사용자의 특정 데이터에 맞게 최적화하는 것이 좋습니다. 또한 사용할 수 있는 네트워크 아키텍처도 꽤 있습니다: 다중 슬라이스 U-Net이 이 실습의 데이터에 가장 적합한 것으로 밝혀졌지만, 다른 사용자는 다른 아키텍처(예: 3D U-Net 또는 Sensor 3D)가 더 잘 작동한다는 것을 알게 될 수 있습니다. 분할 마법사는 동일한 훈련 데이터를 사용하여 여러 신경망의 성능을 비교할 수 있는 편리한 인터페이스를 제공합니다.
여기에 제시된 것과 같은 도구는 전체 단층 촬영의 수동 분할을 과거의 작업으로 만들 것입니다. 강력하게 추론할 수 있는 잘 훈련된 신경망을 사용하면 현미경이 수집할 수 있는 한 빨리 단층 촬영 데이터를 재구성, 처리 및 완전히 분할하는 워크플로를 만드는 것이 완전히 가능합니다.

지난 10년 동안 하드웨어 및 소프트웨어 개발로 인해 초저온 전자 현미경(Cryo-EM)의 "분해능 혁명"이 일어났습니다1,2. 더 빠르고 더 나은 검출기3, 데이터 수집을 자동화하는 소프트웨어4,5 및 위상판6과 같은 신호 부스팅 기술을 통해 대량의 고분해능 Cryo-EM 데이터를 수집하는 것은 비교적 간단합니다.
Cryo-ET는 천연의 수화 상태 7,8,9,10에서 세포 미세구조에 대한 전례 없는 통찰력을 제공합니다. 주요 한계는 시료 두께이지만, 단층 촬영을 위해 두꺼운 세포 및 조직 시료를 얇게 만드는 집속 이온 빔(FIB) 밀링과 같은 방법을 채택함에 따라 cryo-ET로 이미지화할 수 있는 것의 지평이 지속적으로 확장되고 있습니다. 최신 현미경은 하루에 50개 이상의 단층 사진을 생산할 수 있으며, 이 속도는 신속한 데이터 수집 계획의 개발로 인해 증가할 것으로 예상됩니다12,13. cryo-ET에 의해 생성된 방대한 양의 데이터를 분석하는 것은 이 이미징 방식에서 여전히 병목 현상으로 남아 있습니다.
단층 촬영 정보의 정량적 분석에는 먼저 주석을 달아야 합니다. 전통적으로 이를 위해서는 전문가의 손 세분화가 필요하며 이는 시간이 많이 걸립니다. 극저온 단층 촬영에 포함된 분자 복잡성에 따라 몇 시간에서 며칠까지 주의를 기울여야 할 수 있습니다. 인공 신경망은 짧은 시간 내에 대부분의 분할 작업을 수행하도록 훈련될 수 있기 때문에 이 문제에 대한 매력적인 솔루션입니다. 컨볼루션 신경망(CNN)은 특히 컴퓨터 비전 작업(computer vision task)14에 적합하며, 최근에는 초저온 전자 단층 촬영(15,16,17)의 분석에 적합하다.
기존 CNN에는 수천 개의 주석이 달린 훈련 샘플이 필요하며, 이는 생물학적 이미지 분석 작업에서는 종종 불가능합니다. 따라서, U-Net 아키텍처는 네트워크를 성공적으로 훈련시키기 위해 데이터 증강에 의존하고, 대규모 훈련 세트에 대한 의존성을 최소화하기 때문에 이 공간(18 )에서 탁월하다. 예를 들어, U-Net 아키텍처는 단일 단층 촬영(4개 또는 5개 조각)의 몇 조각만으로 학습할 수 있으며 재학습 없이 다른 단층 촬영에 강력하게 추론할 수 있습니다. 이 프로토콜은 Dragonfly 2022.119 내에서 전자 극저온 단층촬영을 분할하기 위해 U-Net 신경망 아키텍처를 훈련하기 위한 단계별 가이드를 제공합니다.
Dragonfly는 딥 러닝 모델에 의한 3D 이미지 분할 및 분석에 사용되는 상업적으로 개발 된 소프트웨어이며 학술용으로 자유롭게 사용할 수 있습니다 (일부 지리적 제한 적용). 비전문가도 의미론적 분할과 이미지 노이즈 제거를 위한 딥 러닝의 힘을 최대한 활용할 수 있도록 하는 고급 그래픽 인터페이스가 있습니다. 이 프로토콜은 인공 신경망을 훈련하기 위해 Dragonfly 내에서 초저온 전자 단층 촬영을 전처리하고 주석을 추가하는 방법을 보여주며, 이를 추론하여 대규모 데이터 세트를 빠르게 분할할 수 있습니다. 또한 필라멘트 추적 및 하위 단층 구조 평균화를 위한 좌표 추출과 같은 추가 분석을 위해 분할된 데이터를 사용하는 방법을 설명하고 간략하게 보여줍니다.

<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td>Dragonfly 2022.1</td>
			<td>Object Research Systems</td>
			<td></td>
			<td>https://www.theobjects.com/dragonfly/index.html</td>
		</tr>
		<tr>
			<td>E18 Rat Dissociated Hippocampus</td>
			<td>Transnetyx Tissue</td>
			<td>KTSDEDHP</td>
			<td>https://tissue.transnetyx.com/faqs</td>
		</tr>
		<tr>
			<td>IMOD</td>
			<td>University of Colorado</td>
			<td></td>
			<td>https://bio3d.colorado.edu/imod/</td>
		</tr>
		<tr>
			<td>Intel&#174; Xeon&#174; Gold 6124 CPU 3.2GHz</td>
			<td>Intel</td>
			<td></td>
			<td>https://www.intel.com/content/www/us/en/products/sku/120493/intel-xeon-gold-6134-processor-24-75m-cache-3-20-ghz/specifications.html</td>
		</tr>
		<tr>
			<td>NVIDIA Quadro P4000</td>
			<td>NVIDIA</td>
			<td></td>
			<td>https://www.nvidia.com/content/dam/en-zz/Solutions/design-visualization/productspage/quadro/quadro-desktop/quadro-pascal-p4000-data-sheet-a4-nvidia-704358-r2-web.pdf</td>
		</tr>
		<tr>
			<td>Windows 10 Enterprise 2016</td>
			<td>Microsoft</td>
			<td></td>
			<td>https://www.microsoft.com/en-us/evalcenter/evaluate-windows-10-enterprise</td>
		</tr>
		<tr>
			<td>Workstation Minimum Requirements</td>
			<td></td>
			<td></td>
			<td>https://theobjects.com/dragonfly/system-requirements.html</td>
		</tr>
	</tbody>
</table>

deep learning-based segmentation of cryo-electron tomograms

극저온 전자 단층 촬영(Cryo-ET)을 통해 연구자들은 현재 가능한 가장 높은 해상도로 원래의 수화 상태의 세포를 이미지화할 수 있습니다. 그러나 이 기술에는 생성되는 데이터를 분석하는 데 시간이 많이 걸리고 어렵게 만드는 몇 가지 제한 사항이 있습니다. 단일 단층 촬영을 손으로 분할하는 데는 몇 시간에서 며칠이 걸릴 수 있지만 현미경은 하루에 50개 이상의 단층 촬영을 쉽게 생성할 수 있습니다. Cryo-ET를 위한 현재 딥러닝 분할 프로그램이 존재하지만 한 번에 하나의 구조를 분할하는 것으로 제한됩니다. 여기에서 다중 슬라이스 U-Net 컨볼루션 신경망은 극저온 단층 촬영 내에서 여러 구조를 동시에 자동으로 분할하도록 훈련되고 적용됩니다. 적절한 전처리를 통해 이러한 신경망은 각 단층 촬영에 대해 개별 신경망을 훈련시킬 필요 없이 많은 단층 촬영술에 대해 강력하게 추론할 수 있습니다. 이 워크플로우는 대부분의 경우 분할 시간을 30분 미만으로 단축하여 초저온 전자 단층 촬영을 분석할 수 있는 속도를 획기적으로 향상시킵니다. 또한, 분할은 세포 컨텍스트 내에서 필라멘트 추적의 정확도를 개선하고 서브토모그램 평균화를 위한 좌표를 신속하게 추출하는 데 사용할 수 있습니다.

프로토콜에 따라 단일 단층 촬영(그림 2A)에서 5슬라이스 U-Net을 훈련하여 멤브레인, 미세소관, 액틴, 기준 마커 및 배경의 5가지 클래스를 식별했습니다. 신경망을 총 3회 반복적으로 훈련시킨 다음, 단층 촬영에 적용하여 완전히 분할하고 주석을 달았습니다(그림 2B, C). 7.1 및 7.2 단계를 사용하여 최소 정리가 수행되었습니다. 다음 3개의 관심 단층 촬영(그림 2D,G,J)은 전처리를 위해 소프트웨어에 로드되었습니다. 이미지를 가져오기 전에 단층 촬영 중 하나(그림 2J)는 약간 다른 배율로 다른 현미경에서 수집되었기 때문에 픽셀 크기를 17.22Å/px에서 13.3Å/px로 조정해야 했습니다. IMOD 프로그램 squeezevol은 다음 명령으로 크기를 조정하는 데 사용되었습니다.
'squeezevol -f 0.772 입력 파일.mrc 출력 파일.mrc'
이 명령에서 -f 는 픽셀 크기를 변경하는 요소(이 경우 13.3/17.22)를 나타냅니다. 임포트 후 3개의 추론 타겟을 모두 3.2 및 3.3 단계에 따라 전처리한 후 5슬라이스 U-Net을 적용했습니다. 최소한의 정리가 다시 수행되었습니다. 최종 세그먼트는 그림 2에 나와 있습니다.
각 단층 촬영의 미세소관 분할을 바이너리(단계 7.4) TIF 파일로 내보내고 MRC(IMOD tif2mrc 프로그램)로 변환한 다음 실린더 상관 관계 및 필라멘트 추적에 사용했습니다. 필라멘트의 이진 분할은 단층 촬영을 통한 추적보다 훨씬 더 강력한 필라멘트 추적을 생성합니다. 필라멘트 추적의 좌표 맵(그림 3)은 미세소관 방향을 결정하기 위해 단일 필라멘트를 따라 가장 가까운 이웃 측정(필라멘트 패킹) 및 나선형 서브 단층 촬영 평균화와 같은 추가 분석에 사용됩니다.
성공하지 못하거나 부적절하게 훈련된 네트워크는 쉽게 확인할 수 있습니다. 실패한 신경망은 어떤 구조도 전혀 분할할 수 없는 반면, 부적절하게 훈련된 신경망은 일반적으로 일부 구조를 올바르게 분할하고 상당한 수의 거짓 긍정(false positive)과 거짓 음성(false negative)을 갖습니다. 이러한 신경망은 성능을 향상시키기 위해 수정하고 반복적으로 훈련시킬 수 있습니다. 세그멘테이션 마법사는 모델이 학습된 후 모델의 주사위 유사성 계수 (SegWiz에서는 score 라고 함)를 자동으로 계산합니다. 이 통계량은 훈련 데이터와 U-Net 세분화 간의 유사성에 대한 추정치를 제공합니다. Dragonfly 2022.1에는 인터페이스 상단의 인공 지능 탭에서 액세스할 수 있는 모델의 성능을 평가하는 도구도 내장되어 있습니다(사용법은 설명서 참조).
<img alt="Figure 2" class="xfigimg" src="/files/ftp_upload/64435/64435fig02.jpg"> 그림 2: 추론. (A-C) 2019년 Titan Krios에서 수집한 DIV 5 해마 쥐 뉴런의 원본 훈련 단층 촬영. 이것은 IMOD에서 CTF 보정을 사용한 백투영 재구성입니다. (A) 노란색 상자는 학습 입력을 위해 손 분할이 수행된 영역을 나타냅니다. (B) 학습이 완료된 후 U-Net에서 2D 분할. (C) 막(파란색), 미세소관(녹색) 및 액틴(빨간색)을 보여주는 분할된 영역의 3D 렌더링. (D-F) 훈련 단층 촬영과 동일한 세션의 DIV 5 해마 쥐 뉴런. (E) 추가 교육 및 빠른 정리 없이 U-Net에서 2D 분할. 멤브레인 (파란색), 미세 소관 (녹색), 액틴 (빨간색), 기준점 (분홍색). (f) 분할된 영역의 3D 렌더링. (지-아이) 2019년 세션의 DIV 5 해마 쥐 뉴런. (H) 빠른 정리 및 (I) 3D 렌더링을 통한 U-Net의 2D 분할. (J-L) DIV 5 해마 쥐 뉴런, 2021년 다른 Titan Krios에서 다른 배율로 수집되었습니다. IMOD 프로그램 squeezevol에서 훈련 단층 촬영과 일치하도록 픽셀 크기가 변경되었습니다. (K) 빠른 정리를 통한 U-Net의 2D 분할, 적절한 전처리 및 (L) 분할의 3D 렌더링을 통해 데이터 세트 전반에 걸쳐 강력한 추론을 보여줍니다. 스케일 바 = 100nm. 약어: DIV = 시험관 내 일수; CTF = 대비 전달 함수. <a href="https://www.jove.com/files/ftp_upload/64435/64435fig02large.jpg" target="_blank">이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.</a>
<img alt="Figure 3" class="xfigimg" src="/files/ftp_upload/64435/64435fig03.jpg"> 그림 3: 필라멘트 추적 개선 . (A) Titan Krios에서 수집된 DIV 4 쥐 해마 뉴런의 단층 촬영. (B) 액틴 필라멘트에 대한 실린더 상관 관계에서 생성된 상관 관계 맵. (C) 매개변수를 정의하기 위해 상관 맵에서 액틴 필라멘트의 강도를 사용하는 액틴의 필라멘트 추적. 추적은 막과 미세소관, 소음을 포착하는 동시에 액틴만 추적하려고 합니다. (D) 단층 촬영의 U-Net 분할. 막은 파란색으로, 미세소관은 빨간색으로, 리보솜은 주황색으로, triC는 보라색으로, 액틴은 녹색으로 강조 표시됩니다. (E) 필라멘트 추적을 위한 이진 마스크로 추출된 액틴 분할. (F) (B)의 동일한 매개변수를 가진 실린더 상관관계에서 생성된 상관관계 맵. (G) 단층 촬영에서 액틴 필라멘트의 필라멘트 추적이 크게 개선되었습니다. 약어: DIV = 시험관 내 일수. <a href="https://www.jove.com/files/ftp_upload/64435/64435fig03large.jpg" target="_blank">이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.</a>
보충 파일 1: 이 프로토콜에 사용된 단층 촬영과 훈련 입력으로 생성된 다중 ROI는 번들 데이터 세트(Training.ORSObject)로 포함됩니다. https://datadryad.org/stash/dataset/doi:10.5061/dryad.rxwdbrvct 참조하십시오.

Watch this Scientific Journal Video about Deep Learning-Based Segmentation of Cryo-Electron Tomograms at JoVE.com

Deep Learning-Based Segmentation of Cryo-Electron Tomograms

이것은 하나의 단층 촬영의 일부를 훈련 입력으로 사용하여 극저온 전자 단층 촬영의 다중 클래스 분할을 위해 다중 슬라이스 U-Net을 훈련하는 방법입니다. 이 신경망을 다른 단층그램과 유추하는 방법과 서브토모그램 평균화 및 필라멘트 추적과 같은 추가 분석을 위해 분할을 추출하는 방법을 설명합니다.

Deep Learning-based segmentation of Cryo-Electron Tomograms(극저온 전자 단층 촬영의 딥러닝 기반 분할)

Cryo-electron tomography (cryo-ET) allows researchers to image cells in their native, hydrated state at the highest resolution currently possible. The ...

당사 프로토콜의 가장 흥미로운 점은 모든 실험실에서 이러한 딥 러닝 프로토콜을 사용하여 대량의 Cryo-ET 데이터를 분할할 수 있다는 것입니다. 워크플로의 가장 큰 장점은 Dragonfly가 세그멘테이션을 위해 멀티클래스 신경망을 훈련할 수 있는 전문가 수준의 컴퓨팅 환경을 제공한다는 것이며, 이를 통해 세그멘테이션 프로세스의 속도를 크게 높일 수 있습니다. 이미지 분할은 배우는 데 시간이 걸리므로 도구를 테스트하고 시간이 지남에 따라 워크플로를 간소화하는 데 실제로 도움이 되는 키 바인딩을 배워야 합니다.소프트웨어를 설정한 후 파일로 이동하고 이미지 파일 가져오기를 선택하여 이미지 가져오기를 진행합니다. 그런 다음 추가를 클릭하고, 이미지 파일로 이동하고, 열기를 클릭하고, 다음을 선택한 다음, 마침을 차례로 선택합니다. Utilities(유틸리티)로 이동하고 Dimension Unit Manager(차원 단위 관리자)를 선택하여 사용자 지정 강도 척도를 만듭니다.왼쪽 하단의 더하기 버튼을 클릭하여 새 치수 단위를 작성합니다. 관심 있는 모든 단층 촬영에서 고강도 및 저강도 기능을 선택하십시오. 단위에 이름과 약어를 지정하고 사용자 지정 차원 단위를 저장합니다.이미지를 사용자 지정 강도 스케일로 보정하려면 화면 오른쪽의 Properties 열에서 데이터 세트를 마우스 오른쪽 버튼으로 클릭하고 Calibrate Intensity Scale을 선택합니다. 그런 다음 화면 왼쪽의 기본 탭으로 이동하여 프로브 섹션까지 아래로 스크롤합니다. 적절한 직경의 원형 프로브 도구를 사용하여 단층 촬영의 배경 영역에서 몇 군데를 클릭하고 원시 강도 열에 평균 수치를 기록합니다.기준 마커에 대해 반복하고 보정(Calibrate)을 클릭합니다. 필요한 경우 대비를 조정하여 기본 탭의 창 수평 조정 섹션에 있는 영역 도구를 사용하여 구조를 다시 볼 수 있도록 합니다. 기본 탭의 왼쪽에서 이미지 처리 패널까지 아래로 스크롤합니다.고급을 클릭하고 새 창이 열릴 때까지 기다립니다. 속성 패널에서 필터링할 데이터 집합을 선택하고 데이터 집합 왼쪽에 있는 눈 모양 아이콘을 클릭하여 표시합니다. 그런 다음 작업 패널의 드롭다운 메뉴를 사용하여 첫 번째 작업에 대한 히스토그램 이퀄라이제이션을 선택합니다.작업 추가를 선택하고 가우시안을 클릭한 다음 커널 차원을 3D로 변경합니다. 세 번째 작업을 추가한 다음, Unsharp를 선택하고 이 작업에 대한 출력을 그대로 둡니다. 모든 슬라이스에 이퀄라이제이션을 적용하고 필터링을 실행한 다음 이미지 처리 창을 닫고 기본 인터페이스로 돌아갑니다.학습 영역을 식별하려면 먼저 왼쪽에 있는 눈 모양 아이콘을 클릭하여 필터링되지 않은 데이터 세트를 숨겨 데이터 속성 패널로 이동합니다. 그런 다음 새로 필터링된 데이터 세트를 표시합니다. 필터링된 데이터셋을 사용하여 관심 있는 모든 특징이 포함된 단층 촬영의 하위 영역을 식별합니다.이제 셰이프 범주까지 아래로 스크롤하고 기본 탭의 왼쪽에 있는 상자 만들기를 선택하여 관심 영역 주위에 상자를 만듭니다. 4뷰 패널에 있는 동안 다른 2D 평면을 사용하여 상자의 가장자리를 안내하거나 드래그하여 모든 치수에서 관심 영역만 둘러쌉니다. 데이터 목록에서 상자 영역을 선택하고 눈 기호 옆에 있는 회색 사각형을 클릭하여 더 쉽게 볼 수 있도록 테두리 색상을 변경합니다.다중 ROI를 생성하려면 세그멘테이션 탭을 선택하고 왼쪽에서 새로 만들기를 클릭한 다음 다중 ROI로 만들기를 선택합니다. 클래스 수가 관심 있는 기능의 수와 백그라운드 클래스의 수와 일치하는지 확인합니다. 확인을 클릭하기 전에 다중 ROI 학습 데이터의 이름을 지정하고 지오메트리가 데이터 세트와 일치하는지 확인합니다. 그런 다음 boxed 영역의 경계 내에 있을 때까지 데이터를 스크롤합니다.오른쪽의 속성 메뉴에서 다중 ROI를 선택합니다. 다중 ROI에서 첫 번째 빈 클래스 이름을 두 번 클릭하여 이름을 지정합니다. 2D 브러시로 페인팅하려면 왼쪽의 분할 탭에서 2D 도구까지 아래로 스크롤하고 원형 브러시를 선택합니다.그런 다음 드롭다운 메뉴에서 적응형 가우스 또는 로컬 OTSU를 선택하고, 왼쪽 컨트롤 더하기 클릭을 길게 눌러 페인팅하고, 왼쪽 시프트 더하기 클릭을 눌러 지웁니다. 모든 구조에 레이블이 지정되면 다중 ROI에서 배경 클래스를 마우스 오른쪽 버튼으로 클릭하고 레이블이 지정되지 않은 모든 복셀을 클래스에 추가를 선택합니다. 다음으로, Mask라는 새 단일 클래스 ROI를 만듭니다.지오메트리가 필터링된 데이터 세트로 설정되어 있는지 확인한 다음 적용을 클릭합니다. 오른쪽의 속성 탭에서 상자를 마우스 오른쪽 단추로 클릭하고 ROI에 추가를 선택한 다음 마스크 ROI에 추가합니다. 마스크를 사용하여 학습 데이터를 트리밍하려면 속성 탭으로 이동하고 control을 누른 상태에서 각각을 클릭하여 학습 데이터, 다중 ROI 및 마스크 ROI를 모두 선택합니다.그런 다음 Boolean Operations 섹션의 데이터 속성 목록 아래에 있는 Intersect를 클릭합니다. 새 데이터 세트의 이름을 트리밍된 학습 입력으로 지정하고 지오메트리가 필터링된 데이터 세트에 해당하는지 확인한 후 확인을 클릭합니다. Properties 탭에서 필터링된 데이터 세트를 마우스 오른쪽 단추로 클릭하고 Segmentation Wizard 옵션을 선택하여 학습 데이터를 Segmentation Wizard로 가져옵니다. 새 창이 열리면 오른쪽에서 입력 탭을 찾습니다.Import Frames From a Multi-ROI를 클릭하고 Trimmed Training 입력을 선택합니다. 새 신경망 모델을 생성하려면 모델 탭의 오른쪽에 있는 더하기 버튼을 클릭합니다. 목록에서 U Net을 선택하고 입력 차원으로 2.5D 및 5개의 슬라이스를 선택한 다음 생성을 클릭합니다.신경망을 훈련시키려면 Seg Wiz 창의 오른쪽 하단에 있는 훈련을 클릭합니다. 단위 훈련이 완료되면 훈련된 신경망을 사용하여 새 프레임을 분할하고, 새 프레임을 만든 다음, 예측(Predict)을 클릭합니다. 그런 다음 예측된 프레임의 오른쪽 위에 있는 위쪽 화살표를 클릭하여 분할을 실제 프레임으로 전송합니다.예측을 수정하려면 두 클래스를 Control 키를 누른 채 클릭하여 한 클래스의 분할된 픽셀을 다른 클래스로 변경합니다. 두 클래스를 모두 선택하고 브러시로 페인팅하여 두 클래스 중 하나에 속하는 픽셀만 페인팅합니다. 5개 이상의 새 프레임에서 분할을 수정합니다.반복 훈련의 경우, 훈련 버튼을 다시 클릭하고 신경망이 30-40개의 에픽을 더 훈련시킬 수 있도록 하십시오. 이 시점에서 훈련을 중지하고 다른 훈련을 시작하십시오. 네트워크 성능이 만족스러우면 세그멘테이션 마법사를 종료하여 네트워크를 게시합니다.게시할 모델을 묻는 대화 상자가 나타납니다. 성공한 네트워크를 선택하고 이름을 지정한 다음 게시하여 세그멘테이션 마법사 외부에서 네트워크를 사용할 수 있도록 합니다. 먼저 속성 패널에서 필터링된 데이터 세트를 선택하여 학습 단층 촬영에 적용합니다.왼쪽의 세그멘테이션 패널에서 AI가 있는 세그먼트 섹션까지 아래로 스크롤합니다. 올바른 데이터 집합이 선택되었는지 확인합니다. 드롭다운 메뉴에서 최근에 게시된 모델을 선택한 다음 세그먼트(Segment)를 클릭한 다음 모든 슬라이스(All Slices)를 클릭합니다.추론 데이터 세트에 적용하려면 새 단층 촬영을 가져와서 앞에서 설명한 대로 전처리합니다. 세그멘테이션 패널에서 AI가 있는 세그먼트 섹션으로 이동합니다. 새로 필터링된 단층 촬영이 선택한 데이터 세트인지 확인하고, 이전에 학습된 모델을 선택하고, 세그먼트를 클릭하고, 모든 슬라이스를 선택합니다.먼저 노이즈와 관심 있는 기능을 분할한 클래스 중 하나를 선택하여 노이즈를 빠르게 정리합니다. 그런 다음 Process Islands를 마우스 오른쪽 단추로 클릭하고 Removed by Voxel Count를 선택한 다음 Select a Voxel Size를 클릭합니다. 작은 카운트로 시작하여 점차적으로 카운트를 늘려 대부분의 노이즈를 제거합니다.분할 교정의 경우, 두 개의 클래스를 Control 키를 누른 상태에서 클릭하여 해당 클래스에만 속하는 픽셀을 그립니다. 분할 도구를 사용하여 Control-클릭하고 드래그하여 두 번째 클래스의 픽셀을 첫 번째 클래스로 변경하고 Shift 키를 누른 상태에서 드래그를 클릭하여 반대 작업을 수행합니다. 단일 단층 촬영에 대해 5 슬라이스 단위를 훈련하고 훈련 입력을 위해 손 분할을 수행했습니다.전체 교육 후 유닛의 2D 분할이 표시됩니다. 분할된 영역의 3D 렌더링은 멤브레인, 미세소관 및 액틴 필라멘트를 보여줍니다. 훈련 단층 촬영과 동일한 세션의 DIV 5 해마 쥐 뉴런이 표시됩니다.빠른 클린업에 대한 추가 교육 없이 장치에서 2D 분할을 통해 멤브레인, 미세소관, 액틴 및 기준점을 표시했습니다. 분할된 영역의 3D 렌더링도 시각화되었습니다. 이전 세션에서 DIV 5 해마 쥐 뉴런도 관찰되었습니다.빠른 정리 및 3D 렌더링을 통한 장치의 2D 분할도 수행되었습니다. DIV 5 해마 쥐 뉴런은 또한 다른 배율에서 다른 Titan Krios에서 관찰되었습니다. IMOD 프로그램 스퀴즈 볼트로 픽셀 크기가 훈련 단층 촬영과 일치하도록 변경되었습니다.빠른 정리를 통한 장치의 2D 분할은 적절한 전처리를 통해 데이터 세트 전반에 걸쳐 강력한 추론을 보여주며 분할의 3D 렌더링이 수행되었습니다. 데이터를 동일하게 사전 처리하고 히스토그램을 보정하는 것은 적절한 네트워크 추론을 위한 가장 중요한 단계입니다. 단층 촬영 내에서 분자의 위치를 알게 되면 Dragonfly 내에서 정량적 측정값을 계산하거나 좌표를 계산하여 하위 단층 촬영 평균 파이프라인에 공급하는 것은 매우 간단합니다.우리는 Cryo-ET 이미지 분석에 대한 딥 러닝의 효과를 이제서야 보기 시작했지만, 이것은 정말 엄청난 가능성을 보여주는 또 하나의 영역일 뿐입니다.

Research

JoVE Journal

Biology

In vivo Imaging of Deep Cortical Layers using a Microprism

In vivo Imaging of Deep Cortical Layers using a Microprism

Microprism를 사용하여 딥 두피 레이어의 생체내 이미징에서

We present a protocol for in vivo imaging of cortical tissue using a deep-brain imaging probe in the shape of a microprism.  Microprisms are 1-mm in size ...

연구

생물학

Generation of Dispersed Presomitic Mesoderm Cell Cultures for Imaging of the Zebrafish Segmentation Clock in Single Cells

단일 세포의 Zebrafish의 분할 시계의 이미징을위한 분산 Presomitic 중배엽 세포 배양의 생성

Segmentation is a  periodic and sequential morphogenetic process in vertebrates. This rhythmic  formation of blocks of tissue called somites along the ...

Cryo-electron Microscopy Specimen Preparation By Means Of a Focused Ion Beam

집중 이온 빔의 극저온 전자 현미경 표본 준비하여 의미

Here we present a protocol used to prepare cryo-TEM samples of Aspergillus niger spores, but which can easily be adapted for any number of microorganisms ...

Do's and Don'ts of Cryo-electron Microscopy: A Primer on Sample Preparation and High Quality Data Collection for Macromolecular 3D Reconstruction

거대 분자 3D 재건을위한 샘플 준비에 프라이머 높은 품질 데이터 수집 : 곳을 알아내는 - 전자 현미경의 것과하지 말아야를 수행

Cryo-electron microscopy (cryoEM) entails flash-freezing a thin layer of sample on a support, and then visualizing the sample in its frozen hydrated state ...

Volume Segmentation and Analysis of Biological Materials Using SuRVoS (Super-region Volume Segmentation) Workbench

Volume Segmentation and Analysis of Biological Materials Using SuRVoS Super-region Volume Segmentation Workbench

볼륨 세분화 및 SuRVoS (슈퍼 지역 볼륨 세분화) 워크 벤치를 사용 하 여 생물학 물자의 분석

Segmentation is the process of isolating specific regions or objects within an imaged volume, so that further study can be undertaken on these areas of ...

Visualization of DNA Compaction in Cyanobacteria by High-voltage Cryo-electron Tomography

높은 전압 Cryo 전자 단층 촬영으로 박테리아의 DNA 압축의 시각화

This protocol describes how to visualize the transient DNA compaction in cyanobacteria. DNA compaction is a dramatic cytoplasmic event recently found to ...

Cryo-Electron Microscopic Grid Preparation for Time-Resolved Studies using a Novel Robotic System, Spotiton

새로운 로봇 시스템, 스포티폰을 사용하여 시간 해결 연구를 위한 극저온 전자 현미경 그리드 준비

The capture of short-lived molecular states triggered by the early encounter of two or more interacting particles continues to be an experimental ...

Sample Preparation by 3D-Correlative Focused Ion Beam Milling for High-Resolution Cryo-Electron Tomography

고분해능 극저온 전자 단층촬영을 위한 3D-Correlative Focused Ion Beam Milling을 이용한 시료 전처리

Cryo-electron tomography (cryo-ET) has become the method of choice for investigating cellular ultrastructure and molecular complexes in their native, ...

Deep Vascular Imaging in the Eye with Flow-Enhanced Ultrasound

흐름이 향상된 초음파로 눈의 깊은 혈관 이미징

The retina within the eye is one of the most energy-demanding tissues in the body and thus requires high rates of oxygen delivery from a rich blood ...

Cryo-Electron Tomography Remote Data Collection and Subtomogram Averaging

초저온 전자 단층 촬영 원격 데이터 수집 및 서브 단층 촬영 평균화

Cryo-electron tomography (cryo-ET) has been gaining momentum in recent years, especially since the introduction of direct electron detectors, improved ...