Name: deep learning-based segmentation of cryo-electron tomograms
Uploaded: 2022-11-11T14:00:00
Duration: 10 min 25 s
Description: Watch this Scientific Journal Video about Deep Learning-Based Segmentation of Cryo-Electron Tomograms at JoVE.com

この研究は、ペンシルベニア州立医科大学と生化学分子生物学部、およびタバコ決済基金(TSF)の助成金4100079742-EXTの支援を受けました。このプロジェクトで使用されたCryoEMおよびCryoETコア(RRID:SCR_021178)のサービスと機器は、ペンシルベニア州立大学医学部から研究および大学院生の副学部長のオフィス および ペンシルベニア州保健省を通じて、タバコ決済基金(CURE)を使用して資金提供されました。内容は著者の責任であり、必ずしも大学または医学部の公式見解を表すものではありません。ペンシルベニア州保健局は、分析、解釈、または結論に対する責任を明確に否認します。

<ol>
	<li>Bai, X. -. C., Mcmullan, G., Scheres, S. H. W. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=How+cryo-EM+is+revolutionizing+structural+biology.">How cryo-EM is revolutionizing structural biology.</a> Trends in Biochemical Sciences. 40 (1), 49-57 (2015).</li><li>de Oliveira, T. M., van Beek, L., Shilliday, F., Debreczeni, J., Phillips, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Cryo-EM:+The+resolution+revolution+and+drug+discovery.">Cryo-EM: The resolution revolution and drug discovery.</a> SLAS Discovery. 26 (1), 17-31 (2021).</li><li>Danev, R., Yanagisawa, H., Kikkawa, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Cryo-EM+performance+testing+of+hardware+and+data+acquisition+strategies.">Cryo-EM performance testing of hardware and data acquisition strategies.</a> Microscopy. 70 (6), 487-497 (2021).</li><li>Mastronarde, D. N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Automated+electron+microscope+tomography+using+robust+prediction+of+specimen+movements.">Automated electron microscope tomography using robust prediction of specimen movements.</a> Journal of Structural Biology. 152 (1), 36-51 (2005).</li><li>. Tomography 5 and Tomo Live Software User-friendly batch acquisition for and on-the-fly reconstruction for cryo-electron tomography Datasheet Available from: <a target="_blank" href="https://assets.thermofisher.com/TFS-Assets/MSD/Datasheets/tomography-5-software-ds0362.pdf">https://assets.thermofisher.com/TFS-Assets/MSD/Datasheets/tomography-5-software-ds0362.pdf</a> (2022)</li><li>Danev, R., Baumeister, W. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Expanding+the+boundaries+of+cryo-EM+with+phase+plates.">Expanding the boundaries of cryo-EM with phase plates.</a> Current Opinion in Structural Biology. 46, 87-94 (2017).</li><li>Hylton, R. K., Swulius, M. T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Challenges+and+triumphs+in+cryo-electron+tomography.">Challenges and triumphs in cryo-electron tomography.</a> iScience. 24 (9), (2021).</li><li>Turk, M., Baumeister, W. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=The+promise+and+the+challenges+of+cryo-electron+tomography.">The promise and the challenges of cryo-electron tomography.</a> FEBS Letters. 594 (20), 3243-3261 (2020).</li><li>Oikonomou, C. M., Jensen, G. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Cellular+electron+cryotomography:+Toward+structural+biology+in+situ.">Cellular electron cryotomography: Toward structural biology in situ.</a> Annual Review of Biochemistry. 86, 873-896 (2017).</li><li>Wagner, J., Schaffer, M., Fern&#225;ndez-Busnadiego, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Cryo-electron+tomography-the+cell+biology+that+came+in+from+the+cold.">Cryo-electron tomography-the cell biology that came in from the cold.</a> FEBS Letters. 591 (17), 2520-2533 (2017).</li><li>Lam, V., Villa, E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Practical+approaches+for+Cryo-FIB+milling+and+applications+for+cellular+cryo-electron+tomography.">Practical approaches for Cryo-FIB milling and applications for cellular cryo-electron tomography.</a> Methods in Molecular Biology. 2215, 49-82 (2021).</li><li>Chreifi, G., Chen, S., Metskas, L. A., Kaplan, M., Jensen, G. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Rapid+tilt-series+acquisition+for+electron+cryotomography.">Rapid tilt-series acquisition for electron cryotomography.</a> Journal of Structural Biology. 205 (2), 163-169 (2019).</li><li>Eisenstein, F., Danev, R., Pilhofer, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Improved+applicability+and+robustness+of+fast+cryo-electron+tomography+data+acquisition.">Improved applicability and robustness of fast cryo-electron tomography data acquisition.</a> Journal of Structural Biology. 208 (2), 107-114 (2019).</li><li>Esteva, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Deep+learning-enabled+medical+computer+vision.">Deep learning-enabled medical computer vision.</a> npj Digital Medicine. 4 (1), (2021).</li><li>Liu, Y. -. T., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Isotropic+reconstruction+of+electron+tomograms+with+deep+learning.">Isotropic reconstruction of electron tomograms with deep learning.</a> bioRxiv. , (2021).</li><li>Moebel, E., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Deep+learning+improves+macromolecule+identification+in+3D+cellular+cryo-electron+tomograms.">Deep learning improves macromolecule identification in 3D cellular cryo-electron tomograms.</a> Nature Methods. 18 (11), 1386-1394 (2021).</li><li>Chen, M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Convolutional+neural+networks+for+automated+annotation+of+cellular+cryo-electron+tomograms.">Convolutional neural networks for automated annotation of cellular cryo-electron tomograms.</a> Nature Methods. 14 (10), 983-985 (2017).</li><li>Ronneberger, O., Fischer, P., Brox, T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=U-net:+Convolutional+networks+for+biomedical+image+segmentation.">U-net: Convolutional networks for biomedical image segmentation.</a> Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). 9351, 234-241 (2015).</li><li>Kremer, J. R., Mastronarde, D. N., McIntosh, J. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Computer+visualization+of+three-dimensional+image+data+using+IMOD.">Computer visualization of three-dimensional image data using IMOD.</a> Journal of Structural Biology. 116 (1), 71-76 (1996).</li><li>Iancu, C. V., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+&amp;#34;flip-flop&amp;#34;+rotation+stage+for+routine+dual-axis+electron+cryotomography.">A &amp;#34;flip-flop&amp;#34; rotation stage for routine dual-axis electron cryotomography.</a> Journal of Structural Biology. 151 (3), 288-297 (2005).</li></ol>

このプロトコルのオープンアクセスライセンスは、Object Research Systemsによって支払われました。

このプロトコルでは、Dragonfly 2022.1 ソフトウェアを使用して 1 つのトモグラムから多クラス U-Net をトレーニングする手順と、同じデータセットからのものである必要のない他のトモグラムに対してそのネットワークを推測する方法について説明します。トレーニングは比較的速く(トレーニングされているネットワークと使用されているハードウェアによって、エポックあたり3〜5分、または数時間遅くなる可能性があります)、学習を改善するためにネットワークを再トレーニングすることは直感的です。前処理ステップがすべての断層像に対して実行される限り、推論は通常堅牢です。
一貫性のある前処理は、ディープラーニング推論の最も重要なステップです。ソフトウェアには多くのイメージングフィルターがあり、ユーザーは実験して、特定のデータセットに最適なフィルターを判断できます。トレーニング断層撮影で使用されるフィルタリングは、推論断層撮影にも同じ方法で適用する必要があることに注意してください。また、ネットワークに正確で十分なトレーニング情報を提供するように注意する必要があります。トレーニングスライス内でセグメント化されたすべての特徴を可能な限り慎重かつ正確にセグメント化することが重要です。
画像のセグメンテーションは、洗練された商用グレードのユーザーインターフェイスによって促進されます。ハンドセグメンテーションに必要なすべてのツールを提供し、トレーニングと再トレーニングの前に、あるクラスから別のクラスにボクセルを簡単に再割り当てできます。ユーザーは、トモグラムのコンテキスト全体内でボクセルを手動でセグメント化することができ、複数のビューとボリュームを自由に回転させる機能が与えられます。さらに、このソフトウェアは、複数のシングルクラスネットワークでセグメント化するよりも優れた16 を実行し、高速であるマルチクラスネットワークを使用する機能を提供します。
もちろん、ニューラルネットワークの機能には制限があります。クライオETデータは、本質的に非常にノイズが多く、角度サンプリングが制限されているため、同一のオブジェクト21に向き固有の歪みが生じます。トレーニングは、構造を正確に手作業でセグメント化するために専門家に依存しており、成功したネットワークは、与えられたトレーニングデータと同じくらい良い(または悪い)だけです。信号をブーストするための画像フィルタリングはトレーナーに役立ちますが、特定の構造のすべてのピクセルを正確に識別することが困難な場合がまだたくさんあります。したがって、トレーニングセグメンテーションを作成する際には、ネットワークがトレーニング中に学習できる最良の情報を持つように細心の注意を払うことが重要です。
このワークフローは、各ユーザーの好みに合わせて簡単に変更できます。すべての断層撮影をまったく同じ方法で前処理することが不可欠ですが、プロトコルで使用される正確なフィルタを使用する必要はありません。ソフトウェアには多数の画像フィルタリングオプションがあり、多くの断層撮影にまたがる大規模なセグメンテーションプロジェクトに着手する前に、ユーザーの特定のデータに合わせてこれらを最適化することをお勧めします。また、このラボのデータにはマルチスライス U-Net が最適に機能することがわかっていますが、別のユーザーは別のアーキテクチャ (3D U-Net や Sensor 3D など) の方が適していると感じるかもしれません。セグメンテーションウィザードは、同じトレーニングデータを使用して複数のネットワークのパフォーマンスを比較するための便利なインターフェイスを提供します。
ここで紹介するようなツールは、完全な断層撮影の手のセグメンテーションを過去のタスクにします。十分に訓練されたニューラルネットワークが堅牢に推測できるため、顕微鏡が収集できる限り迅速に断層撮影データを再構築、処理、および完全にセグメント化するワークフローを作成することは完全に可能です。

過去10年間のハードウェアとソフトウェアの開発は、クライオ電子顕微鏡(クライオEM)1,2の「分解能革命」をもたらしました。より優れた、より高速な検出器3、データ収集を自動化するソフトウェア4,5、および位相プレート6などの信号ブーストの進歩により、大量の高解像度クライオEMデータの収集は比較的簡単です。
クライオETは、天然の水和状態で細胞の微細構造に関する前例のない洞察を提供します7、8、9、10。主な制限はサンプルの厚さですが、トモグラフィー11のために厚い細胞および組織サンプルを薄くする集束イオンビーム(FIB)ミリングなどの方法の採用により、クライオETでイメージングできるものの視野は絶えず拡大しています。最新の顕微鏡は1日に50トモグラムをはるかに超えるトモグラムを生成することができ、この速度は迅速なデータ収集スキームの開発により増加すると予測されています12,13。クライオETによって生成された膨大な量のデータを分析することは、このイメージングモダリティのボトルネックのままです。
断層情報を定量的に分析するには、最初に注釈を付ける必要があります。従来、これには専門家による手作業によるセグメンテーションが必要であり、時間がかかります。クライオトモグラムに含まれる分子の複雑さによっては、専用の注意に数時間から数日かかる場合があります。人工ニューラルネットワークは、セグメンテーション作業の大部分をわずかな時間で実行するようにトレーニングできるため、この問題に対する魅力的なソリューションです。畳み込みニューラルネットワーク(CNN)は、コンピュータビジョンタスク14に特に適しており、最近、クライオ電子断層撮影15,16,17の分析に適応されています。
従来のCNNでは、何千もの注釈付きトレーニングサンプルが必要ですが、生物学的画像解析タスクでは不可能なことがよくあります。したがって、U-Netアーキテクチャは、ネットワークを正常にトレーニングするためにデータ拡張に依存し、大規模なトレーニングセットへの依存を最小限に抑えるため、このスペース18 で優れています。たとえば、U-Netアーキテクチャは、1つのトモグラムのほんの数スライス(4つまたは5つのスライス)でトレーニングでき、再トレーニングなしで他のトモグラムに対して堅牢に推論できます。このプロトコルは、Dragonfly 2022.119内で電子クライオトモグラムをセグメント化するためにU-Netニューラルネットワークアーキテクチャをトレーニングするためのステップバイステップガイドを提供します。
Dragonflyは、深層学習モデルによる3次元画像のセグメンテーションや解析に使用される商用開発のソフトウェアで、学術的に自由に利用できます(地理的な制限があります)。高度なグラフィカルインターフェイスを備えているため、専門家でなくても、セマンティックセグメンテーションと画像のノイズ除去の両方でディープラーニングの力を最大限に活用できます。このプロトコルは、人工ニューラルネットワークをトレーニングするためにDragonfly内でクライオ電子線トモグラムを前処理して注釈を付ける方法を示し、大規模なデータセットを迅速にセグメント化するために推測できます。さらに、フィラメントトレースやサブトモグラム平均化のための座標抽出などのさらなる分析のためにセグメント化されたデータを使用する方法について簡単に説明します。

<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td>Dragonfly 2022.1</td>
			<td>Object Research Systems</td>
			<td></td>
			<td>https://www.theobjects.com/dragonfly/index.html</td>
		</tr>
		<tr>
			<td>E18 Rat Dissociated Hippocampus</td>
			<td>Transnetyx Tissue</td>
			<td>KTSDEDHP</td>
			<td>https://tissue.transnetyx.com/faqs</td>
		</tr>
		<tr>
			<td>IMOD</td>
			<td>University of Colorado</td>
			<td></td>
			<td>https://bio3d.colorado.edu/imod/</td>
		</tr>
		<tr>
			<td>Intel&#174; Xeon&#174; Gold 6124 CPU 3.2GHz</td>
			<td>Intel</td>
			<td></td>
			<td>https://www.intel.com/content/www/us/en/products/sku/120493/intel-xeon-gold-6134-processor-24-75m-cache-3-20-ghz/specifications.html</td>
		</tr>
		<tr>
			<td>NVIDIA Quadro P4000</td>
			<td>NVIDIA</td>
			<td></td>
			<td>https://www.nvidia.com/content/dam/en-zz/Solutions/design-visualization/productspage/quadro/quadro-desktop/quadro-pascal-p4000-data-sheet-a4-nvidia-704358-r2-web.pdf</td>
		</tr>
		<tr>
			<td>Windows 10 Enterprise 2016</td>
			<td>Microsoft</td>
			<td></td>
			<td>https://www.microsoft.com/en-us/evalcenter/evaluate-windows-10-enterprise</td>
		</tr>
		<tr>
			<td>Workstation Minimum Requirements</td>
			<td></td>
			<td></td>
			<td>https://theobjects.com/dragonfly/system-requirements.html</td>
		</tr>
	</tbody>
</table>

deep learning-based segmentation of cryo-electron tomograms

クライオ電子線トモグラフィー(クライオET)により、研究者は天然の水和状態の細胞を現在可能な最高の解像度でイメージングできます。ただし、この手法にはいくつかの制限があり、生成するデータの分析には時間がかかり、困難になります。1つの断層撮影に数時間から数日かかることがありますが、顕微鏡では1日に50個以上の断層撮影を簡単に生成できます。現在のクライオETのディープラーニングセグメンテーションプログラムは存在しますが、一度に1つの構造をセグメント化することに制限されています。ここでは、マルチスライスU-Net畳み込みニューラルネットワークをトレーニングして適用し、クライオトモグラム内で複数の構造を同時に自動的にセグメント化します。適切な前処理により、これらのネットワークは、トモグラムごとに個々のネットワークをトレーニングすることなく、多くのトモグラムに対して堅牢に推論できます。このワークフローは、ほとんどの場合、セグメンテーション時間を30分未満に短縮することにより、クライオ電子断層撮影の分析速度を劇的に向上させます。さらに、セグメンテーションを使用して、細胞コンテキスト内のフィラメントトレースの精度を向上させ、サブトモグラム平均化のための座標を迅速に抽出することができます。

プロトコルに従って、5スライスのU-Netを1つの断層撮影(図2A)でトレーニングし、メンブレン、微小管、アクチン、フィデューシャルマーカー、バックグラウンドの5つのクラスを特定しました。ネットワークを合計3回繰り返しトレーニングした後、トモグラムに適用して完全にセグメント化して注釈を付けました(図2B、C)。最小限のクリーンアップは、手順 7.1 と 7.2 を使用して実行されました。関心のある次の3つの断層撮影(図2D、G、J)を前処理のためにソフトウェアにロードしました。画像をインポートする前に、トモグラムの1つ(図2J)は、わずかに異なる倍率で別の顕微鏡で収集されたため、ピクセルサイズを17.22 Å/pxから13.3 Å/pxに調整する必要がありました。IMODプログラム squeezevol は、次のコマンドでサイズ変更に使用されました。
'squeezevol -f 0.772 inputfile.mrc outputfile.mrc'
このコマンドの -f は、ピクセル サイズを変更する係数 (この場合は 13.3/17.22) を指します。インポート後、3 つの推論ターゲットすべてがステップ 3.2 および 3.3 に従って前処理され、5 スライスの U-Net が適用されました。最小限のクリーンアップが再度実行されました。最終的なセグメンテーションを 図 2 に示します。
各トモグラムからの微小管セグメンテーションは、バイナリ(ステップ7.4)TIFファイルとしてエクスポートされ、MRC(IMOD tif2mrc プログラム)に変換され、シリンダー相関とフィラメントトレースに使用されました。フィラメントのバイナリセグメンテーションは、断層撮影でのトレースよりもはるかに堅牢なフィラメントトレースをもたらします。フィラメントトレースの座標マップ(図3)は、微小管の向きを決定するための単一フィラメントに沿った最近傍測定(フィラメントパッキング)やヘリカルサブトモグラム平均化などのさらなる分析に使用されます。
失敗したネットワークやトレーニングが不十分なネットワークは簡単に判断できます。障害が発生したネットワークは構造をまったくセグメント化できませんが、トレーニングが不十分なネットワークは通常、一部の構造を正しくセグメント化し、誤検知と偽陰性の数が多数あります。これらのネットワークを修正し、繰り返しトレーニングしてパフォーマンスを向上させることができます。セグメンテーションウィザードは、トレーニング後にモデルの サイコロ類似度係数 (SegWizでは スコア と呼ばれる)を自動的に計算します。この統計は、トレーニングデータとU-Netセグメンテーションの類似性の推定値を提供します。Dragonfly 2022.1には、インターフェイスの上部にある [人工知能 ]タブからアクセスできるモデルのパフォーマンスを評価するための組み込みツールもあります(使用方法についてはドキュメントを参照してください)。
<img alt="Figure 2" class="xfigimg" src="/files/ftp_upload/64435/64435fig02.jpg"> 図 2: 推論。 (A-C)2019年にタイタンクリオスで収集されたDIV 5海馬ラットニューロンの元のトレーニング断層撮影。これは、IMODのCTF補正を使用したバックプロジェクション再構成です。(A)黄色のボックスは、トレーニング入力のためにハンドセグメンテーションが実行された領域を表します。(B)トレーニング完了後のU-Netからの2Dセグメンテーション。(C)膜(青)、微小管(緑)、アクチン(赤)を示すセグメント領域の3Dレンダリング。(D-F)トレーニング断層撮影と同じセッションからのDIV 5海馬ラットニューロン。(E)追加のトレーニングや迅速なクリーンアップなしでのU-Netからの2Dセグメンテーション。膜(青)、微小管(緑)、アクチン(赤)、基準(ピンク)。(F)セグメント化された領域の3Dレンダリング。(G-I)2019年のセッションからのDIV 5海馬ラットニューロン。(H)クイッククリーンアップによるU-Netからの2Dセグメンテーションと(I)3Dレンダリング。(J-L)DIV 5海馬ラットニューロン、2021年に異なる倍率で異なるタイタンクリオスで収集。IMODプログラムsqueezevolでピクセルサイズをトレーニング断層撮影に合わせて変更しました。(K)迅速なクリーンアップによるU-Netからの2Dセグメンテーション、適切な前処理によるデータセット間の堅牢な推論の実証、および(L)セグメンテーションの3Dレンダリング。スケールバー= 100 nm。略語:DIV =インビトロでの日数;CTF = コントラスト伝達関数。<a href="https://www.jove.com/files/ftp_upload/64435/64435fig02large.jpg" target="_blank">この図の拡大版を表示するには、ここをクリックしてください。</a>
<img alt="Figure 3" class="xfigimg" src="/files/ftp_upload/64435/64435fig03.jpg"> 図3:フィラメントトレースの改善 。 (A)タイタンクリオスで収集されたDIV 4ラット海馬ニューロンの断層撮影。(B)アクチンフィラメント上の円柱相関から生成された相関マップ。(C)相関マップ内のアクチンフィラメントの強度を使用してパラメータを定義するアクチンのフィラメントトレース。トレースは、アクチンだけを追跡しようとしている間、膜と微小管、およびノイズをキャプチャします。(D)断層撮影のU-Netセグメンテーション。膜は青色、微小管は赤色、リボソームは青色、triCは紫色、アクチンは緑色で強調表示されています。(E)フィラメントトレース用のバイナリマスクとして抽出されたアクチンセグメンテーション。(F)(B)からの同一パラメータとの円柱相関から生成された相関マップ。(G)断層撮影からのアクチンフィラメントのみのフィラメントトレースを大幅に改善しました。略語:DIV = インビトロでの日数。 <a href="https://www.jove.com/files/ftp_upload/64435/64435fig03large.jpg" target="_blank">この図の拡大版を表示するには、ここをクリックしてください。</a>
補足ファイル1:このプロトコルで使用されるトモグラムと、トレーニング入力として生成されたマルチROIは、バンドルされたデータセット(Training.ORSObject)として含まれています。 https://datadryad.org/stash/dataset/doi:10.5061/dryad.rxwdbrvct を参照してください。

Watch this Scientific Journal Video about Deep Learning-Based Segmentation of Cryo-Electron Tomograms at JoVE.com

Deep Learning-Based Segmentation of Cryo-Electron Tomograms

これは、1つのトモグラムの一部をトレーニング入力として使用して、クライオ電子線トモグラムの多クラスセグメンテーションのためのマルチスライスU-Netをトレーニングする方法です。このネットワークを他のトモグラムに推測する方法と、サブトモグラムの平均化やフィラメントトレースなどのさらなる分析のためにセグメンテーションを抽出する方法について説明します。

深層学習に基づくクライオ電子線トモグラムのセグメンテーション

Cryo-electron tomography (cryo-ET) allows researchers to image cells in their native, hydrated state at the highest resolution currently possible. The ...

私たちのプロトコルで最もエキサイティングなのは、大量のクライオETデータをセグメント化するために、これらのディープラーニングプロトコルを使用してラボを立ち上げて実行できることです。私たちのワークフローの主な利点は、Dragonflyがセグメンテーションのためにマルチクラスニューラルネットワークをトレーニングするためのプロフェッショナルグレードの計算環境を提供し、セグメンテーションプロセスを劇的にスピードアップできることです。画像のセグメンテーションは学習に時間がかかるため、ツールをテストし、時間の経過とともにワークフローを合理化するのに役立つキーバインドを学習してください。ソフトウェアを設定したら、[ファイル]に移動し、[画像ファイルのインポート]を選択して、画像のインポートを続行します。次に、[追加] をクリックし、イメージ ファイルに移動して [開く] をクリックし、[次へ]、[完了] の順に選択します。カスタム強度スケールを作成するには、[ユーティリティ]に移動し、[寸法単位マネージャー]を選択します。左下のプラス記号をクリックして、新しい寸法単位を作成します。対象のすべての断層画像で高強度および低強度の特徴を選択します。単位に名前と略語を付け、カスタム寸法単位を保存します。画像をカスタム強度スケールに調整するには、画面の右側にある[プロパティ]列のデータセットを右クリックし、[強度スケールの調整]を選択します。次に、画面の左側にあるメインタブに移動し、プローブセクションまで下にスクロールします。適切な直径の円形プローブツールを使用して、断層撮影の背景領域の数か所をクリックし、生の強度列に平均数を記録します。指標マーカーに対して繰り返し、[キャリブレーション] をクリックします。必要に応じて、コントラストを調整して、メインタブのウィンドウレベリングセクションにある領域ツールを使用して構造を再び表示します。メインタブの左側で、画像処理パネルまで下にスクロールします。[詳細設定]をクリックして、新しいウィンドウが開くのを待ちます。「プロパティー」パネルから、フィルターに掛けるデータ・セットを選択し、データ・セットの左側にある目のアイコンをクリックして表示します。次に、操作パネルのドロップダウンメニューを使用して、最初の操作のヒストグラム均等化を選択します。[操作の追加] を選択し、[ガウス分布] をクリックして、カーネル ディメンションを 3D に変更します。3番目の操作を追加し、[アンシャープ]を選択して、この操作の出力を残します。すべてのスライスにイコライゼーションを適用し、フィルタリングを実行してから、画像処理ウィンドウを閉じてメインインターフェイスに戻ります。トレーニングエリアを特定するには、まず、フィルタリングされていないデータセットの左側にある目のアイコンをクリックして非表示にして、データプロパティパネルに移動します。次に、新しくフィルター処理されたデータセットを表示します。フィルタリングされたデータセットを使用して、関心のあるすべての特徴を含むトモグラムのサブ領域を特定します。次に、[図形] カテゴリまで下にスクロールし、メイン タブの左側にある [ボックスの作成] を選択して、対象領域の周囲にボックスを作成します。4 ビュー パネルで、異なる 2D 平面を使用して、ボックスの端をガイドまたはドラッグして、すべての寸法の関心領域のみを囲みます。データ リストでボックス領域を選択し、目のシンボルの横にある灰色の四角形をクリックして、見やすくするために境界線の色を変更します。マルチROIを作成するには、[セグメンテーション]タブを選択し、左側の[新規]をクリックして、[マルチROIとして作成]をオンにします。クラスの数が、対象のフィーチャの数と背景クラスに対応していることを確認します。マルチROIトレーニングデータに名前を付け、ジオメトリがデータセットに対応していることを確認してから、[OK]をクリックします。次に、ボックス化された領域の境界内になるまでデータをスクロールします。右側の [プロパティ] メニューで [マルチ ROI] を選択します。マルチROIの最初の空白のクラス名をダブルクリックして名前を付けます。2Dブラシでペイントするには、左側の[セグメンテーション]タブの[2Dツール]まで下にスクロールし、円形のブラシを選択します。次に、ドロップダウンメニューから[アダプティブガウス]または[ローカルOTSU]を選択し、左コントロールキーを押しながらクリックしてペイントし、左シフトキーを押しながらクリックすると消去します。すべての構造物にラベルを付けたら、マルチROIの背景クラスを右クリックし、[ラベル付けされていないすべてのボクセルをクラスに追加]を選択します。次に、マスクという名前の新しい単一クラス ROI を作成します。ジオメトリがフィルタリングされたデータ セットに設定されていることを確認し、[適用] をクリックします。右側の [プロパティ] タブで、ボックスを右クリックし、[ROI に追加] を選択して、マスク ROI に追加します。マスクを使用してトレーニングデータをトリミングするには、[プロパティ]タブに移動し、コントロールキーを押しながらそれぞれをクリックして、トレーニングデータ、マルチROI、マスクROIの両方を選択します。次に、[ブール演算] セクションのデータ プロパティ リストの下にある [交差] をクリックします。新しいデータセットにトリミングされたトレーニング入力という名前を付け、ジオメトリがフィルター処理されたデータセットに対応していることを確認してから、[OK] をクリックします。トレーニング データをセグメンテーション ウィザードにインポートするには、[プロパティ] タブでフィルター処理されたデータセットを右クリックし、[セグメンテーション ウィザード] オプションを選択します。新しいウィンドウが開いたら、右側の[入力]タブを探します。マルチROIからフレームをインポートをクリックし、トリミングされたトレーニング入力を選択します。新しいニューラル ネットワーク モデルを生成するには、モデルのタブの右側にあるプラス ボタンをクリックします。 リストから U Net を選択し、入力ディメンションとして 2.5 D と 5 つのスライスを選択して、[生成] をクリックします。ネットワークをトレーニングするには、[Seg Wiz] ウィンドウの右下にある [トレーニング] をクリックします。ユニットトレーニングが完了したら、トレーニングされたネットワークを使用して新しいフレームをセグメント化し、新しいフレームを作成して、[予測]をクリックします。次に、予測フレームの右上にある上矢印をクリックして、セグメンテーションを実際のフレームに転送します。予測を修正するには、Control キーを押しながら 2 つのクラスをクリックして、一方のセグメント化されたピクセルを他方に変更します。両方のクラスを選択し、ブラシでペイントして、いずれかのクラスに属するピクセルのみをペイントします。少なくとも 5 つの新しいフレームのセグメンテーションを修正します。反復トレーニングの場合は、[トレーニング] ボタンをもう一度クリックし、ネットワークがさらに 30 から 40 のエピックについてさらにトレーニングできるようにします。この時点で、トレーニングを停止し、別のトレーニングを開始します。ネットワークのパフォーマンスに満足したら、セグメンテーション ウィザードを終了してネットワークを公開します。公開するモデルを尋ねるダイアログボックスがポップアップ表示されます。成功したネットワークを選択して名前を付け、公開して、セグメント化ウィザードの外部でネットワークを使用できるようにします。まず、トレーニング断層図に適用するプロパティパネルでフィルタリングされたデータセットを選択します。左側の [セグメンテーション] パネルで、[AI を使用するセグメント] セクションまで下にスクロールします。正しいデータ・セットが選択されていることを確認してください。ドロップダウンメニューで最近公開したモデルを選択し、[セグメント]、[すべてのスライス]の順にクリックします。推論データセットに適用するには、新しいトモグラムをインポートし、前に示したように前処理します。セグメンテーションパネルで、[AIのあるセグメント]セクションに移動します。新しくフィルタリングされたトモグラムが選択されたデータセットであることを確認し、以前にトレーニングしたモデルを選択し、セグメントをクリックして、[すべてのスライス]を選択します。最初に、セグメント化されたノイズと対象フィーチャを持つクラスの 1 つを選択して、ノイズをすばやくクリーンアップします。次に、[アイランドの処理] を右クリックし、[ボクセル数で削除] を選択して、[ボクセル サイズの選択] をクリックします。小さなカウントから始めて、徐々にカウントを増やしてほとんどのノイズを取り除きます。セグメンテーション補正を行うには、Control キーを押しながら 2 つのクラスをクリックして、それらのクラスのみに属するピクセルをペイントします。Controlキーを押しながらクリックし、セグメンテーションツールでドラッグして2番目のクラスのピクセルを最初のクラスに変更し、Shiftキーを押しながらクリックしてドラッグすると、その逆になります。5スライスユニットを1つの断層撮影でトレーニングし、トレーニング入力のためにハンドセグメンテーションを実行しました。完全なトレーニング後のユニットからの2Dセグメンテーションが表示されます。セグメント化された領域の3Dレンダリングは、膜、微小管、およびアクチンフィラメントを示しています。トレーニング断層撮影と同じセッションからのDIV5海馬ラットニューロンが示されている。クイッククリーンアップの追加トレーニングなしでユニットからの2Dセグメンテーションは、膜、微小管、アクチン、および基準を表示しました。セグメント化された領域の3Dレンダリングも視覚化されました。以前のセッションからのDIV 5海馬ラットニューロンも観察された。クイッククリーンアップと3Dレンダリングを備えたユニットからの2Dセグメンテーションも実行されました。DIV 5海馬ラットニューロンも、異なる倍率で異なるタイタンクリオス上で観察された。IMODプログラムのスクイーズボールトでピクセルサイズがトレーニングトモグラムに一致するように変更されました。クイッククリーンアップを備えたユニットからの2Dセグメンテーションは、適切な前処理によりデータセット間で堅牢な推論を示し、セグメンテーションの3Dレンダリングが実行されました。データを同じように前処理し、ヒストグラムを調整することは、適切なネットワーク推論のための最も重要なステップです。トモグラム内で分子の位置がわかれば、トンボ内で定量的測定値を計算したり、座標を計算してサブトモグラム平均化パイプラインに供給したりするのは本当に簡単です。クライオET画像分析に対するディープラーニングの効果は見られ始めたばかりですが、これは本当に大きな可能性を示しているもう1つの領域にすぎません。

Research

JoVE Journal

Biology

In vivo Imaging of Deep Cortical Layers using a Microprism

In vivo Imaging of Deep Cortical Layers using a Microprism

マイクロプリズムを使ってDeep皮質層のin vivoイメージング

We present a protocol for in vivo imaging of cortical tissue using a deep-brain imaging probe in the shape of a microprism.  Microprisms are 1-mm in size ...

Generation of Dispersed Presomitic Mesoderm Cell Cultures for Imaging of the Zebrafish Segmentation Clock in Single Cells

シングル細胞におけるゼブラフィッシュセグメンテーション時計のイメージングのための分散前体節中胚葉細胞培養物の世代

Segmentation is a  periodic and sequential morphogenetic process in vertebrates. This rhythmic  formation of blocks of tissue called somites along the ...

Cryo-electron Microscopy Specimen Preparation By Means Of a Focused Ion Beam

集束イオンビームを用いて低温電子顕微鏡標本の準備

Here we present a protocol used to prepare cryo-TEM samples of Aspergillus niger spores, but which can easily be adapted for any number of microorganisms ...

Do's and Don'ts of Cryo-electron Microscopy: A Primer on Sample Preparation and High Quality Data Collection for Macromolecular 3D Reconstruction

高分子の3次元再構成のための試料調製のプライマーおよび高品質データ収集：クライオ電子顕微鏡ののいいことといけないことをやる

Cryo-electron microscopy (cryoEM) entails flash-freezing a thin layer of sample on a support, and then visualizing the sample in its frozen hydrated state ...

Volume Segmentation and Analysis of Biological Materials Using SuRVoS (Super-region Volume Segmentation) Workbench

Volume Segmentation and Analysis of Biological Materials Using SuRVoS Super-region Volume Segmentation Workbench

ボリューム分割と SuRVoS (超領域ボリューム分割) ワークベンチを用いた生物学的材料の分析

Segmentation is the process of isolating specific regions or objects within an imaged volume, so that further study can be undertaken on these areas of ...

Visualization of DNA Compaction in Cyanobacteria by High-voltage Cryo-electron Tomography

高圧低温電子トモグラフィー法によるシアノ バクテリアの DNA 締固めの可視化

This protocol describes how to visualize the transient DNA compaction in cyanobacteria. DNA compaction is a dramatic cytoplasmic event recently found to ...

Cryo-Electron Microscopic Grid Preparation for Time-Resolved Studies using a Novel Robotic System, Spotiton

新しいロボットシステム、スポティトンを用いた時間分解研究のためのクライオ電子微視的グリッドの準備

The capture of short-lived molecular states triggered by the early encounter of two or more interacting particles continues to be an experimental ...

Sample Preparation by 3D-Correlative Focused Ion Beam Milling for High-Resolution Cryo-Electron Tomography

高分解能クライオ電子線トモグラフィーのための3D相関集束イオンビームミリングによるサンプル調製

Cryo-electron tomography (cryo-ET) has become the method of choice for investigating cellular ultrastructure and molecular complexes in their native, ...

Deep Vascular Imaging in the Eye with Flow-Enhanced Ultrasound

フロー強化超音波による眼の深部血管イメージング

The retina within the eye is one of the most energy-demanding tissues in the body and thus requires high rates of oxygen delivery from a rich blood ...

Cryo-Electron Tomography Remote Data Collection and Subtomogram Averaging

クライオ電子線トモグラフィー遠隔データ収集とサブトモグラム平均化

Cryo-electron tomography (cryo-ET) has been gaining momentum in recent years, especially since the introduction of direct electron detectors, improved ...