私たちのプロトコルで最もエキサイティングなのは、大量のクライオETデータをセグメント化するために、これらのディープラーニングプロトコルを使用してラボを立ち上げて実行できることです。私たちのワークフローの主な利点は、Dragonflyがセグメンテーションのためにマルチクラスニューラルネットワークをトレーニングするためのプロフェッショナルグレードの計算環境を提供し、セグメンテーションプロセスを劇的にスピードアップできることです。画像のセグメンテーションは学習に時間がかかるため、ツールをテストし、時間の経過とともにワークフローを合理化するのに役立つキーバインドを学習してください。
ソフトウェアを設定したら、[ファイル]に移動し、[画像ファイルのインポート]を選択して、画像のインポートを続行します。次に、[追加] をクリックし、イメージ ファイルに移動して [開く] をクリックし、[次へ]、[完了] の順に選択します。カスタム強度スケールを作成するには、[ユーティリティ]に移動し、[寸法単位マネージャー]を選択します。
左下のプラス記号をクリックして、新しい寸法単位を作成します。対象のすべての断層画像で高強度および低強度の特徴を選択します。単位に名前と略語を付け、カスタム寸法単位を保存します。
画像をカスタム強度スケールに調整するには、画面の右側にある[プロパティ]列のデータセットを右クリックし、[強度スケールの調整]を選択します。次に、画面の左側にあるメインタブに移動し、プローブセクションまで下にスクロールします。適切な直径の円形プローブツールを使用して、断層撮影の背景領域の数か所をクリックし、生の強度列に平均数を記録します。
指標マーカーに対して繰り返し、[キャリブレーション] をクリックします。必要に応じて、コントラストを調整して、メインタブのウィンドウレベリングセクションにある領域ツールを使用して構造を再び表示します。メインタブの左側で、画像処理パネルまで下にスクロールします。
[詳細設定]をクリックして、新しいウィンドウが開くのを待ちます。「プロパティー」パネルから、フィルターに掛けるデータ・セットを選択し、データ・セットの左側にある目のアイコンをクリックして表示します。次に、操作パネルのドロップダウンメニューを使用して、最初の操作のヒストグラム均等化を選択します。
[操作の追加] を選択し、[ガウス分布] をクリックして、カーネル ディメンションを 3D に変更します。3番目の操作を追加し、[アンシャープ]を選択して、この操作の出力を残します。すべてのスライスにイコライゼーションを適用し、フィルタリングを実行してから、画像処理ウィンドウを閉じてメインインターフェイスに戻ります。
トレーニングエリアを特定するには、まず、フィルタリングされていないデータセットの左側にある目のアイコンをクリックして非表示にして、データプロパティパネルに移動します。次に、新しくフィルター処理されたデータセットを表示します。フィルタリングされたデータセットを使用して、関心のあるすべての特徴を含むトモグラムのサブ領域を特定します。
次に、[図形] カテゴリまで下にスクロールし、メイン タブの左側にある [ボックスの作成] を選択して、対象領域の周囲にボックスを作成します。4 ビュー パネルで、異なる 2D 平面を使用して、ボックスの端をガイドまたはドラッグして、すべての寸法の関心領域のみを囲みます。データ リストでボックス領域を選択し、目のシンボルの横にある灰色の四角形をクリックして、見やすくするために境界線の色を変更します。
マルチROIを作成するには、[セグメンテーション]タブを選択し、左側の[新規]をクリックして、[マルチROIとして作成]をオンにします。クラスの数が、対象のフィーチャの数と背景クラスに対応していることを確認します。マルチROIトレーニングデータに名前を付け、ジオメトリがデータセットに対応していることを確認してから、[OK]をクリックします。次に、ボックス化された領域の境界内になるまでデータをスクロールします。
右側の [プロパティ] メニューで [マルチ ROI] を選択します。マルチROIの最初の空白のクラス名をダブルクリックして名前を付けます。2Dブラシでペイントするには、左側の[セグメンテーション]タブの[2Dツール]まで下にスクロールし、円形のブラシを選択します。
次に、ドロップダウンメニューから[アダプティブガウス]または[ローカルOTSU]を選択し、左コントロールキーを押しながらクリックしてペイントし、左シフトキーを押しながらクリックすると消去します。すべての構造物にラベルを付けたら、マルチROIの背景クラスを右クリックし、[ラベル付けされていないすべてのボクセルをクラスに追加]を選択します。次に、マスクという名前の新しい単一クラス ROI を作成します。
ジオメトリがフィルタリングされたデータ セットに設定されていることを確認し、[適用] をクリックします。右側の [プロパティ] タブで、ボックスを右クリックし、[ROI に追加] を選択して、マスク ROI に追加します。マスクを使用してトレーニングデータをトリミングするには、[プロパティ]タブに移動し、コントロールキーを押しながらそれぞれをクリックして、トレーニングデータ、マルチROI、マスクROIの両方を選択します。
次に、[ブール演算] セクションのデータ プロパティ リストの下にある [交差] をクリックします。新しいデータセットにトリミングされたトレーニング入力という名前を付け、ジオメトリがフィルター処理されたデータセットに対応していることを確認してから、[OK] をクリックします。トレーニング データをセグメンテーション ウィザードにインポートするには、[プロパティ] タブでフィルター処理されたデータセットを右クリックし、[セグメンテーション ウィザード] オプションを選択します。新しいウィンドウが開いたら、右側の[入力]タブを探します。
マルチROIからフレームをインポートをクリックし、トリミングされたトレーニング入力を選択します。新しいニューラル ネットワーク モデルを生成するには、モデルのタブの右側にあるプラス ボタンをクリックします。 リストから U Net を選択し、入力ディメンションとして 2.5 D と 5 つのスライスを選択して、[生成] をクリックします。
ネットワークをトレーニングするには、[Seg Wiz] ウィンドウの右下にある [トレーニング] をクリックします。ユニットトレーニングが完了したら、トレーニングされたネットワークを使用して新しいフレームをセグメント化し、新しいフレームを作成して、[予測]をクリックします。次に、予測フレームの右上にある上矢印をクリックして、セグメンテーションを実際のフレームに転送します。
予測を修正するには、Control キーを押しながら 2 つのクラスをクリックして、一方のセグメント化されたピクセルを他方に変更します。両方のクラスを選択し、ブラシでペイントして、いずれかのクラスに属するピクセルのみをペイントします。少なくとも 5 つの新しいフレームのセグメンテーションを修正します。
反復トレーニングの場合は、[トレーニング] ボタンをもう一度クリックし、ネットワークがさらに 30 から 40 のエピックについてさらにトレーニングできるようにします。この時点で、トレーニングを停止し、別のトレーニングを開始します。ネットワークのパフォーマンスに満足したら、セグメンテーション ウィザードを終了してネットワークを公開します。
公開するモデルを尋ねるダイアログボックスがポップアップ表示されます。成功したネットワークを選択して名前を付け、公開して、セグメント化ウィザードの外部でネットワークを使用できるようにします。まず、トレーニング断層図に適用するプロパティパネルでフィルタリングされたデータセットを選択します。
左側の [セグメンテーション] パネルで、[AI を使用するセグメント] セクションまで下にスクロールします。正しいデータ・セットが選択されていることを確認してください。ドロップダウンメニューで最近公開したモデルを選択し、[セグメント]、[すべてのスライス]の順にクリックします。
推論データセットに適用するには、新しいトモグラムをインポートし、前に示したように前処理します。セグメンテーションパネルで、[AIのあるセグメント]セクションに移動します。新しくフィルタリングされたトモグラムが選択されたデータセットであることを確認し、以前にトレーニングしたモデルを選択し、セグメントをクリックして、[すべてのスライス]を選択します。
最初に、セグメント化されたノイズと対象フィーチャを持つクラスの 1 つを選択して、ノイズをすばやくクリーンアップします。次に、[アイランドの処理] を右クリックし、[ボクセル数で削除] を選択して、[ボクセル サイズの選択] をクリックします。小さなカウントから始めて、徐々にカウントを増やしてほとんどのノイズを取り除きます。
セグメンテーション補正を行うには、Control キーを押しながら 2 つのクラスをクリックして、それらのクラスのみに属するピクセルをペイントします。Controlキーを押しながらクリックし、セグメンテーションツールでドラッグして2番目のクラスのピクセルを最初のクラスに変更し、Shiftキーを押しながらクリックしてドラッグすると、その逆になります。5スライスユニットを1つの断層撮影でトレーニングし、トレーニング入力のためにハンドセグメンテーションを実行しました。
完全なトレーニング後のユニットからの2Dセグメンテーションが表示されます。セグメント化された領域の3Dレンダリングは、膜、微小管、およびアクチンフィラメントを示しています。トレーニング断層撮影と同じセッションからのDIV5海馬ラットニューロンが示されている。
クイッククリーンアップの追加トレーニングなしでユニットからの2Dセグメンテーションは、膜、微小管、アクチン、および基準を表示しました。セグメント化された領域の3Dレンダリングも視覚化されました。以前のセッションからのDIV 5海馬ラットニューロンも観察された。
クイッククリーンアップと3Dレンダリングを備えたユニットからの2Dセグメンテーションも実行されました。DIV 5海馬ラットニューロンも、異なる倍率で異なるタイタンクリオス上で観察された。IMODプログラムのスクイーズボールトでピクセルサイズがトレーニングトモグラムに一致するように変更されました。
クイッククリーンアップを備えたユニットからの2Dセグメンテーションは、適切な前処理によりデータセット間で堅牢な推論を示し、セグメンテーションの3Dレンダリングが実行されました。データを同じように前処理し、ヒストグラムを調整することは、適切なネットワーク推論のための最も重要なステップです。トモグラム内で分子の位置がわかれば、トンボ内で定量的測定値を計算したり、座標を計算してサブトモグラム平均化パイプラインに供給したりするのは本当に簡単です。
クライオET画像分析に対するディープラーニングの効果は見られ始めたばかりですが、これは本当に大きな可能性を示しているもう1つの領域にすぎません。
