Name: A Machine-Vision Approach to Transmission Electron Microscopy Workflows, Results Analysis and Data Management (Video) | JoVE
Uploaded: 2023-06-23T14:25:00
Duration: 2 min 37 s
Description: Watch this Scientific Journal Video about A Machine-Vision Approach to Transmission Electron Microscopy Workflows, Results Analysis and Data Management at JoVE.com

この作業の一部は、ノースカロライナ州と国立科学財団(賞番号ECCS-2025064)の支援を受けているノースカロライナ州立大学の分析機器施設(AIF)で行われました。AIFは、国立ナノテクノロジー調整インフラストラクチャ(NNCI)のサイトであるノースカロライナリサーチトライアングルナノテクノロジーネットワーク(RTNN)のメンバーです。著者らは、パリ・シテ大学のCNRS研究ディレクターであるDamien Alloyeau氏に、200 kV CFEGゼオライト線量閾値研究の結果を提供してくれたことに感謝する。

1.方法1:TEMおよび走査型TEM(STEM)イメージングモード用の透過型電子顕微鏡の線量校正
<ol><li>ピコ電流計の電源を入れ、最低30分間ウォームアップしてから、線量の校正を開始します。線量校正ホルダーをTEMにロードし、クイック接続ケーブルを使用して校正ホルダーをピコ電流計に接続します。</li>
	<li>顕微鏡をTEMモードにして、カラムバルブを開き、ドーズホルダーの35 μmの基準穴を見つけます(図2)。MVSソフトウェアアプリケーションを起動し、実験オプションから線量(キャリブレーションオートメーション)を選択します。 注意: 基準穴の位置は、最初のキャリブレーション後にソフトウェアによって保存されるため、ソフトウェアは将来のキャリブレーションのためにその位置を自動的に特定できます。</li>
	<li>接続アイコン(図1A)をクリックし、顕微鏡を選択してTEMとMVSソフトウェア間の接続をアクティブにします。接続すると、カメラ/検出器からの画像がソフトウェアの画像ビューアに表示されます。 注:ユーセントリックの高さを最適化する必要はなく、先端の厚さにより、基準穴のエッジがぼやけて見える場合があります。これは現在の測定値には影響しません。</li>
	<li>[線 量 ]タブに移動し、[ 線量のキャリブレーション]に移動します。 線量面積校正 プロセスを選択し、ソフトウェアのプロンプトに従って、要求されたユーザー設定可能な値(アパーチャやモノクロメーターの設定など)を入力します。線量 面積 校正が完了したら、 線量電流校正 プロセスを選択し、ソフトウェアのプロンプトに従います。</li>
	<li>実験中に利用できるスポットサイズ、アパーチャ、またはモノクロメーターの設定ごとに、キャリブレーションプロセス(ステップ1.4)を繰り返します。</li>
	<li>TEMモードのキャリブレーションプロセスが終了したら、手順1.4を繰り返してSTEMモードの電子線量をキャリブレーションします。 注意: STEMモードでは、 線量面積校正 を実行する必要はありません。</li>
	<li>必要なキャリブレーションがすべて終了したら、「 セッションを閉じる」をクリックし、線量キャリブレーションホルダーを取り外して、MVSソフトウェアの開始画面に戻ります。</li>
</ol>2.方法2:MVSと線量ソフトウェアを使用した線量閾値の決定
<ol><li>サンプル(本実施例では市販のZSM−5ゼオライトナノ粒子を使用した)を含む標準TEMグリッドを標準TEMホルダーにロードする。ホルダーをTEMに挿入し、関心のある領域(結晶性ゼオライトナノ粒子)を見つけます。</li>
	<li>MVS ソフトウェア・アプリケーションを開き、「 その他」を選択します。 注:サンプルに関する追加情報(サンプルの識別子と説明、オペレーター名、実験ノートなど)を実験パラメーターフィールドに追加できます。</li>
	<li>手順1.3を繰り返してMVSソフトウェアに接続し、MVSソフトウェアインターフェイスの[画像メタデータ]タブに移動して、ライブディスプレイに表示される画像ストリームにオーバーレイする次のメタデータを選択します:倍率、最大線量、および線量率。 ユーザーが希望する場合は、他のメタデータを含めることができます。線量管理コントロールを示すMVSソフトウェアインターフェースのスクリーンショットは、補足ファイル1に記載されています。</li>
	<li>線量タブを開き、線量管理を選択し、線量モニタリングを有効にして、自動電子線量追跡をアクティブにします。 [線量レイヤーを表示]を選択して、線量カラーオーバーレイを表示します。</li>
	<li>高線量レベルと高線量率の値を設定し、[保存]を押します(この例では、それぞれ60,000 e-/Å2と500 e-/Å2·sの値を使用しました)。</li>
	<li>[設定]タブに移動し、[線量]を選択して、[線量ナビゲーションマップの不透明度]と[線量画像オーバーレイの不透明度]の値を設定します(この例では、それぞれ0.50と0.30の値を使用しました)。 </li>
	<li>ライブ画像ビューアウィンドウで、ドリフト補正をクリックしてドリフト補正を有効にします。</li>
	<li>[データ ビュー] タブに移動し、メタデータ値 [デフォーカス] と [フォーカス商] を Y 軸にプロットします。 注: 使用可能なメタデータ値は、データ ビュー テーブルから実験中にリアルタイムでプロットできます。</li>
	<li>フォーカスアシストをアクティブにし、[フォーカスの調整]を選択して、自動フォーカスアシストキャリブレーションを実行します。フォーカスの調整ルーチンが完了したら、[データ ビュー] タブを閉じます。</li>
	<li>MVSソフトウェアの 画像解析 タブを開き、 ライブFFT および 象限1および2 オプションをアクティブにします。</li>
	<li>顕微鏡のソフトウェアコントロールを使用して、電子フラックスが~500 e-/Å2·sになるようにビーム条件を調整し、サンプル内の新しい領域に移動し、MVSソフトウェアのライブビューでサンプルROIを中央に配置します。 注意: ステージを大きく動かすと、ドリフトコントロールとフォーカスアシストが自動的に無効になり、新しいROIを選択したら再度作動させる必要があります。</li>
	<li>タグ機能を使用して、ソフトウェアの線量条件をメモします。タグアイコンを強調表示し、タイムライン内の特定の一連の画像を示すテキストを入力します。画像は、タグアイコンの選択が解除されるまで、このテキストでタグ付けされます。</li>
	<li>FFTプロットの原子構造に対応するピークが消えるまで、同じROIを継続的にイメージングしながら、一定の線量率を維持します。</li>
	<li>倍率を下げ、[線量管理]タブを開き、[線量レイヤーを表示]をアクティブにして、色分けされた線量マップをオーバーレイします。 注:この機能は、電子ビームにさらされたサンプルの領域とその相対線量曝露の視覚的な参照を提供します。個々の画像内のこれらの領域をカーソルで強調表示すると、それぞれの線量値が示されます。</li>
	<li>「 接続」の選択を解除してセッションを切断および終了し、「 セッションを閉じる」を選択します。セッション・データのコピーを外部ソースに保管して、MVS ソフトウェアに保存されたデータが後続の実験で上書きされないようにします (補足ファイル 2)。</li>
</ol>3. 方法3:メタデータと傾向の分析と分析ソフトウェアを使用したデータのエクスポート
<ol><li>解析ソフトウェア(完全に同期されたデータセットを表示するためのオフラインソフトウェア)を起動し、ファイルライブラリから実験セッションファイルを選択して開きます。 注: ユーザーは、実験中に MVS ソフトウェアの [ セッションの確認 ] アイコンから解析ソフトウェアにアクセスすることもできます。</li>
	<li>画像ビューポートの下にあるDCタブをアクティブにしてドリフト補正画像を表示し、[画像メタデータ]タブのそれぞれのオーバーレイデータボックスをチェックして目的のデータオーバーレイを選択します(この例では、顕微鏡、日付/時刻、線量率、最大線量、および倍率が使用されました)。他のメタデータは、ユーザーが望むようにプロットすることができます。</li>
	<li>最大線量と線量率のタイムラインボックスをチェックして、これらの値のグラフィカルプロットをタイムラインに追加します。これらのグラフィカルプロットをハイライトまたはスクロールして、ビューポートに表示されるイメージを更新します。[メモ]、[画像解析]、[ツールボックス]、および [データ ビュー] の各タブからさまざまなツールにアクセスできます。<ol><li>[画像解析]タブから各画像のFFTにアクセスし、[ライブFFT]をクリックして、画像をスクロールしながらFFTを更新します。</li>
		<li>FFTピークのフェージングを使用して、ゼオライト構造が結晶性を失う時点を決定します。その画像で記録された最大線量値を記録します。</li>
	</ol></li>
	<li>[ フィルター ] オプションを使用すると、関連付けられたメタデータを失うことなく、大きなデータセットを小さく共有可能なデータセットに簡単にフィルター処理できます。フィルターパネルを開き、線量率が~500 e-/Å2·s以上のデータのみが選択されるようにスライダーを調整し、 線量閾値調査という名前で新しいコレクションを保存します。 注: フィルタは、関連付けられたメタデータ型のいずれにも適用できます。</li>
	<li>セッションから画像とメタデータを、縮尺記号とメタデータオーバーレイで強化された他のファイルタイプにエクスポートします。<ol><li>ライブラリペインでコレクションを強調表示し、選択範囲を右クリックして[公開]を選択します。[パブリッシュ] ウィンドウで、ファイル タイプのエクスポートに必要なオプションを選択します。</li>
		<li>ドリフト補正されたデータタブを選択し、任意のメタデータとFFTのオーバーレイを適用します(必要に応じてFFTオーバーレイを配置します;FFTでエクスポートされた画像の例を 図3に示します)。</li>
	</ol></li>
	<li>同じ 「パブリッシュ 」オプションを使用して、イメージシリーズをムービーファイルとして書き出します。タイムラインで画像を強調表示するか、フィルターオプションを使用するか、データベースファイル全体をエクスポートして、画像を選択します。目的のムービー形式、フレームレート、およびファイルの場所を選択します。200kV TEMを用いて得られたゼオライト分解実験の動画が 補足ファイル3に提供されている。</li>
	<li>取得した画像とは別にメタデータをCSVファイルとしてエクスポートするには、公開時に [メタデータ(CSV) ]オプションを選択します。 注:RAW画像とドリフト補正画像は、別々のCSV(補足ファイル4 と 補足ファイル5)としてエクスポートされます。</li>
</ol>4.方法4:酸化鉄ナノ粒子上の金の その場 加熱研究
<ol><li>エタノールに懸濁したナノ触媒(Au/FeOx)を、マイクロエレクトロメカニカル(MEM)サンプル担体である in situ ヒーターEチップに滴下し、風乾させます。サンプルを in situ 加熱ホルダーに取り付け、サンプルの入ったホルダーをTEMに挿入し、付属のケーブルを使用してホルダーを電源に接続します。TEMコントロールを使用してサンプルROIを見つけます。 注:この実験では、MVSソフトウェアと完全に統合された加熱ホルダーを使用し、温度メタデータを画像に埋め込むことができました。</li>
	<li>MVSソフトウェアから適切なワークフローオプションを選択します(この例では、 Fusionワークフロー が使用されましたが、他のメーカーの加熱ホルダーは[ その他]を選択して使用できます)。</li>
	<li>ワークフローのプロンプトに従って、キャリブレーションファイルをロードし、デバイスチェックを実行して、ホルダーと加熱Eチップ間の電気的接続を確認します。 </li>
	<li>ステップ2.3〜2.10で前に示したように、顕微鏡をMVSソフトウェアに接続し(この例では、線量率、最大線量、一致相関、ドリフト率、およびチャネルA温度のメタデータ値が選択されました)、サンプルROIを視野の中央に配置します。</li>
	<li>[Fusion AX]タブを開き、温度を設定して適用します。</li>
	<li>チャンネル Aセットアップ ボタンをクリックして、温度制御設定にアクセスします。 温度機能と 手動 制御モードを選択します。</li>
	<li>[ 実験] ボタンをクリックして、実験コントロールにアクセスします。 ランプ レート を 10 °C/s に設定し、 ターゲット を 600 °C に設定します。 [ 適用 ] をクリックして実験を開始します。 注:実験は、 Fusion AX タブを開かずに、MVSソフトウェアの右下隅にあるクイックアクセスボタンを使用していつでも一時停止または停止できます。</li>
	<li>設定温度の 600 °C に達したら、[Fusion AX] タブを開き、[実験] を選択します。ランプ レートを 2 °C に、ターゲットを 800 °C に変更します。 [適用] をクリックして実験を開始します。 注意: 加熱ランプを適用する手順は、使用する その場 加熱システムによって異なります。温度ランプを適用するために上記で強調表示した手順は、この例で使用されているシステムに適用されます。</li>
	<li>手順 2.10 に示すように、タグ付け機能を使用して、実験中にイベントや関心のあるポイントを強調表示します。サンプルの画像化を続け、必要に応じて温度プロファイルを調整します。終了したら、[ セッションの終了 ]をクリックし、解析ソフトウェアを使用してデータファイルを保存します(代表的な結果で説明したデータベースファイルの一部は 補足ファイル6として提供されます)。</li>
	<li>解析ソフトウェアを開いてセッションを確認します。温度、テンプレートモーフィング係数、線量率、累積線量をタイムラインにプロットします。手順3.6および3.7で概説されている手順を使用して、必要に応じて画像とムービーをエクスポートします。画像と動画は、線量マップオーバーレイの有無にかかわらずエクスポートできます(図4)。</li>
</ol>

TEM Workflows, Results Analysis, and Data Management Using a Machine-Vision Approach

<ol>
	<li>Thomas, J. M., Leary, R. K., Eggeman, A. S., Midgley, P. A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=The+rapidly+changing+face+of+electron+microscopy.">The rapidly changing face of electron microscopy.</a> Chemical Physics Letters. 631, 103-113 (2015).</li><li>Spurgeon, S. R., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Towards+data-driven+next-generation+transmission+electron+microscopy.">Towards data-driven next-generation transmission electron microscopy.</a> Nature Materials. 20 (3), 274-279 (2021).</li><li>Gai, P. L., Boyes, E. D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=In+situ+visualisation+and+analysis+of+dynamic+single+atom+processes+in+heterogeneous+catalysts.">In situ visualisation and analysis of dynamic single atom processes in heterogeneous catalysts.</a> Journal of Materials Chemistry A. 10 (11), 5850-5862 (2022).</li><li>Zheng, H., Lu, X., He, K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=In+situ+transmission+electron+microscopy+and+artificial+intelligence+enabled+data+analytics+for+energy+materials.">In situ transmission electron microscopy and artificial intelligence enabled data analytics for energy materials.</a> Journal of Energy Chemistry. 68, 454-493 (2022).</li><li>Tops&#248;e, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Developments+in+operando+studies+and+in+situ+characterization+of+heterogeneous+catalysts.">Developments in operando studies and in situ characterization of heterogeneous catalysts.</a> Journal of Catalysis. 216 (1), 155-164 (2003).</li><li>Wilkinson, M. D., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=The+FAIR+Guiding+Principles+for+scientific+data+management+and+stewardship.">The FAIR Guiding Principles for scientific data management and stewardship.</a> Scientific Data. 3 (1), 160018 (2016).</li><li>FAIR Principles. Go Fair Available from: <a target="_blank" href="https://www.go-fair.org/fair-principles/">https://www.go-fair.org/fair-principles/</a> (2023)</li><li>Draxl, C., Scheffler, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=NOMAD:+The+FAIR+concept+for+big+data-driven+materials+science.">NOMAD: The FAIR concept for big data-driven materials science.</a> MRS Bulletin. 43 (9), 676-682 (2018).</li><li>Kelly, D. F., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Liquid-EM+goes+viral-visualizing+structure+and+dynamics.">Liquid-EM goes viral-visualizing structure and dynamics.</a> Current Opinion in Structural Biology. 75, 102426 (2022).</li><li>AXON Studio Software Download. Protochips, Inc Available from: <a target="_blank" href="https://success.protochips.com/s/?language=en_US">https://success.protochips.com/s/?language=en_US</a> (2023)</li><li>Egerton, R. F., Li, P., Malac, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Radiation+damage+in+the+TEM+and+SEM.">Radiation damage in the TEM and SEM.</a> Micron. 35 (6), 399-409 (2004).</li><li>Grubb, D. T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Radiation+damage+and+electron+microscopy+of+organic+polymers.">Radiation damage and electron microscopy of organic polymers.</a> Journal of Materials Science. 9 (10), 1715-1736 (1974).</li><li>Buban, J. P., Ramasse, Q., Gipson, B., Browning, N. D., Stahlberg, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=High-resolution+low-dose+scanning+transmission+electron+microscopy.">High-resolution low-dose scanning transmission electron microscopy.</a> Journal of Electron Microscopy. 59 (2), 103-112 (2010).</li><li>Chen, Q., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Imaging+beam-sensitive+materials+by+electron+microscopy.">Imaging beam-sensitive materials by electron microscopy.</a> Advanced Materials. 32 (16), 1907619 (2020).</li><li>Krause, F. F., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Precise+measurement+of+the+electron+beam+current+in+a+TEM.">Precise measurement of the electron beam current in a TEM.</a> Ultramicroscopy. 223, 113221 (2021).</li><li>&#379;ak, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Guide+to+controlling+the+electron+dose+to+improve+low-dose+imaging+of+sensitive+samples.">Guide to controlling the electron dose to improve low-dose imaging of sensitive samples.</a> Micron. 145, 103058 (2021).</li><li>Damiano, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=AXON+dose:+A+solution+for+measuring+and+managing+electron+dose+in+the+TEM.">AXON dose: A solution for measuring and managing electron dose in the TEM.</a> Microscopy Today. 30 (4), 22-25 (2022).</li><li>Allard, L. F., Flytzani-Stephanopoulos, M., Overbury, S. H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Behavior+of+Au+species+in+Au/Fe2O3+catalysts+characterized+by+novel+in+situ+heating+techniques+and+aberration-corrected+STEM+imaging.">Behavior of Au species in Au/Fe2O3 catalysts characterized by novel in situ heating techniques and aberration-corrected STEM imaging.</a> Microscopy and Microanalysis. 16 (4), 375-385 (2010).</li><li>Sze, C., Gulari, E., Demczyk, B. G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Structure+of+coprecipitated+gold-iron+oxide+catalyst+materials.">Structure of coprecipitated gold-iron oxide catalyst materials.</a> Materials Letters. 36 (1-4), 11-16 (1998).</li><li>DiCecco, L. A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Advancing+high-resolution+imaging+of+virus+assemblies+in+liquid+and+ice.">Advancing high-resolution imaging of virus assemblies in liquid and ice.</a> Journal of Visualized Experiments. (185), e63856 (2022).</li><li>Dukes, M. J., Gilmore, B. L., Tanner, J. R., McDonald, S. M., Kelly, D. F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=In+situ+TEM+of+biological+assemblies+in+liquid.">In situ TEM of biological assemblies in liquid.</a> Journal of Visualized Experiments. (82), e50936 (2013).</li><li>Scheutz, G. M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Probing+thermoresponsive+polymerization-induced+self-assembly+with+variable-temperature+liquid-cell+transmission+electron+microscopy.">Probing thermoresponsive polymerization-induced self-assembly with variable-temperature liquid-cell transmission electron microscopy.</a> Matter. 4 (2), 722-736 (2020).</li><li>Howe, J. Y., Allard, L. F., Bigelow, W. C., Demers, H., Overbury, S. H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Understanding+catalyst+behavior+during+in+situ+heating+through+simultaneous+secondary+and+transmitted+electron+imaging.">Understanding catalyst behavior during in situ heating through simultaneous secondary and transmitted electron imaging.</a> Nanoscale Research Letters. 9 (1), 614 (2014).</li><li>Egerton, R. F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Mechanisms+of+radiation+damage+in+beam-sensitive+specimens,+for+TEM+accelerating+voltages+between+10+and+300+kV.">Mechanisms of radiation damage in beam-sensitive specimens, for TEM accelerating voltages between 10 and 300 kV.</a> Microscopy Research and Technique. 75 (11), 1550-1556 (2012).</li><li>Yoshida, K., Sasaki, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Optimal+accelerating+voltage+for+HRTEM+imaging+of+zeolite.">Optimal accelerating voltage for HRTEM imaging of zeolite.</a> Microscopy. 62 (3), 369-375 (2013).</li><li>Yoshida, K., Sasaki, Y., Kurata, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=High-resolution+imaging+of+zeolite+with+aberration-corrected+transmission+electron+microscopy.">High-resolution imaging of zeolite with aberration-corrected transmission electron microscopy.</a> AIP Advances. 3 (4), 042113 (2013).</li><li>Lee, J., Nicholls, D., Browning, N. D., Mehdi, B. L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Controlling+radiolysis+chemistry+on+the+nanoscale+in+liquid+cell+scanning+transmission+electron+microscopy.">Controlling radiolysis chemistry on the nanoscale in liquid cell scanning transmission electron microscopy.</a> Physical Chemistry Chemical Physics. 23 (33), 17766-17773 (2021).</li><li>Schneider, N. M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Electron-water+interactions+and+implications+for+liquid+cell+electron+microscopy.">Electron-water interactions and implications for liquid cell electron microscopy.</a> The Journal of Physical Chemistry C. 118 (38), 22373-22382 (2014).</li><li>Fritsch, B., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Radiolysis-driven+evolution+of+gold+nanostructures+-+model+verification+by+scale+bridging+in+situ+liquid-phase+transmission+electron+microscopy+and+x-ray+diffraction.">Radiolysis-driven evolution of gold nanostructures - model verification by scale bridging in situ liquid-phase transmission electron microscopy and x-ray diffraction.</a> Advanced Science. 9 (25), e2202803 (2022).</li><li>Alloyeau, D., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Unravelling+kinetic+and+thermodynamic+effects+on+the+growth+of+gold+nanoplates+by+liquid+transmission+electron+microscopy.">Unravelling kinetic and thermodynamic effects on the growth of gold nanoplates by liquid transmission electron microscopy.</a> Nano Letters. 15 (4), 2574-2581 (2015).</li><li>Ahmad, N., Le Bouar, Y., Ricolleau, C., Alloyeau, D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Growth+of+dendritic+nanostructures+by+liquid-cell+transmission+electron+microscopy:+a+reflection+of+the+electron-irradiation+history.">Growth of dendritic nanostructures by liquid-cell transmission electron microscopy: a reflection of the electron-irradiation history.</a> Advanced Structural and Chemical Imaging. 2 (1), 9 (2016).</li><li>Zhang, Y., Keller, D., Rossell, M. D., Erni, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Formation+of+Au+nanoparticles+in+liquid+cell+transmission+electron+microscopy:+From+a+systematic+study+to+engineered+nanostructures.">Formation of Au nanoparticles in liquid cell transmission electron microscopy: From a systematic study to engineered nanostructures.</a> Chemistry of Materials. 29 (24), 10518-10525 (2017).</li></ol>

すべての著者はProtochips、Inc.の従業員です。

TEM実験結果の解釈は、顕微鏡の設定、イメージング条件、オペランドやin situ実験の場合は環境や刺激の変化など、相互に関連する多くの実験パラメータに依存することがよくあります1,23。これらのパラメータが継続的に変更される可能性のある大規模なTEMデータセットを正確に分析するには、ラボジャーナルやその他の外部ドキュメントソースに各画像の各条件と設定を正確に記録するために、オペレーターによる多大な注意が必要です。TEMデータセットのサイズと複雑さが増すにつれて、手作業による記録管理が管理できなくなり、重要な情報が見落とされたり、不正確に記録されたりする可能性があります。ここで説明するMVSソフトウェアは、顕微鏡、検出器/カメラ、およびその他のシステム(in situサンプルホルダーなど)から実験中に生成されたメタデータを統合し、それぞれの画像と位置合わせします。
メタデータの統合に加えて、このソフトウェアはマシンビジョンアルゴリズムを適用し、 ドリフト 補正機能と フォーカスアシスト 機能を使用して、空間補正、ビーム補正、およびデジタル補正を組み合わせて視野を追跡および安定化します。 ドリフト補正 機能が作動すると、MVSソフトウェアに取り込まれた最初の画像を使用して、相互相関の「テンプレート」イメージが生成されます。次に、テンプレートを入力画像と比較して、サンプルのドリフトまたは移動の方向と大きさを計算します。この情報を使用して、MVSソフトウェアは、ステージ位置、ビームまたは画像シフト、およびデジタル画像補正の3つのパラメーターの少なくとも1つを調整することにより、画像の特徴を同じ場所に維持するために必要な補正を自動的に適用します。フォーカス アシスト 機能は、アルゴリズムの組み合わせを利用して、フォーカススコアと呼ばれるフォーカス値を各画像に割り当て、それらのスコアを比較して、サンプルに焦点を合わせ続けるために適用するデフォーカス調整の大きさと方向を決定します。STEMイメージングモードでは、MVSソフトウェアは、フォーカススコアを割り当てるために正規化された分散の独自のバージョンを通じてコントラストを最大化しようとします。TEMモードでは、強度の半径方向の合計がFFTで計算され、フォーカススコアの計算に使用されます。フォーカスを最適化する MVS ソフトウェアの機能に対する制限は、イメージの正しいフォーカス・スコアを正確に計算できない場合に発生します。これは通常、キャリブレーション中に顕微鏡の位置がずれたり、サンプルの焦点が大幅にずれたりして、ソフトウェアが正しい開始フォーカススコア値を正しく計算できない場合に発生します。MVSソフトウェアは、FFTの格子縞がフォーカススコアリングアルゴリズムを「圧倒」する可能性があるため、明確に定義された格子縞を持つサンプルのフォーカススコアを計算するのが難しい場合があります。したがって、サンプルが焦点から外れた場合、フォーカススコアは焦点の変化を正確に反映しない可能性があります。逆に、低倍率または低FFT信号のサンプルで作業する場合も、良好なフォーカススコアを計算するのが困難になる可能性があります。これらの問題を軽減するために、MVSソフトウェアには、デフォルト設定がサンプルに適さない場合にフォーカススコアを計算するためにユーザーが選択できるいくつかの追加アルゴリズムが含まれています。これらは、特定の実験に最適なアルゴリズムを決定するために、ケースバイケースでテストおよび適用する必要があります。
経時的なサンプル構造の形態学的変化は、テンプレートモーフィング因子を使用して説明されます。このフィルターはオペレーターによって調整可能であるため、登録アルゴリズムは時間の経過に伴う形態学的変化を考慮します。さらに、ソフトウェアは連続画像、顕微鏡設定、カメラまたは検出器の設定を監視し、サンプル構造の変化によってトリガーされた場合、および顕微鏡、カメラ、または検出器のパラメーターに対するオペレーターによる変更後にテンプレートを自動的に更新します。図4、図5、補足ファイル7、および補足ファイル8に示すように、MVSソフトウェアは効果的で即時の安定化を提供し、動的に移動または変化するサンプルの高解像度イメージングを可能にします。 このソフトウェアは、in situ実験中に加熱ランプを適用するときに発生するような非常に高いドリフト率またはサンプル移動速度を制御できますが、サンプルが非常に急速に移動またはドリフトしている場合にソフトウェアが制御できる最大ステージ補正またはビームシフトには制限があります。この制限は、画像の更新速度、視野サイズ、およびドリフト率の関数です。所定の視野と画像更新レートに対して、修正可能な最大ドリフトレートがあり、物理的な動きが追いつかない場合、プロセスが終了または不安定になる可能性があります。ドリフト補正などのフィーチャの適用時に生成される登録テンプレートから、追加の計算メタデータを生成できます。たとえば、一致相関は、系列内のテンプレート間の変化の程度の数値記録であり、サンプルが変化した実験タイムライン内のポイントを識別するために使用されます。高い一致相関値は、その形態に変化を受けたサンプルに対応し、低い一致相関値は、構造が比較的静的なままであるサンプルに対応します。一致相関は、グラフィカルにプロットできるため、ユーザーが重要なサンプルの変化に対応するシリーズの画像をすばやく特定できるため、in situ研究にとって特に価値があります。ただし、ドリフト補正機能がアクティブな状態でこれらのアクションを実行すると、ステージの移動や倍率の変更などのイメージング条件の変化にも高い一致相関値に対応できることを理解することが重要です。
ここで紹介するキャリブレーションワークフローは、独自のキャリブレーションホルダーと半自動キャリブレーションルーチンを利用して、オペレーターの介入を最小限に抑えながら、さまざまなレンズ条件下でビームを正確にキャリブレーションします。線量校正ルーチンは、TEMにインストールされたMVSソフトウェアを介してアクセスされます。MVSソフトウェアは、関連する顕微鏡設定を自動的に読み取り、すべての測定値を保存して、後の実験の参考にします。一部のTEMでは、アパーチャまたはモノクロメーターの設定を読み取ることができず、キャリブレーション中および使用中にオペレーターがMVSソフトウェア設定に入力する必要があります。ソフトウェアにはリマインダーが組み込まれており、プログラムのプロンプトに従ってこれらのオペレーター入力設定を最新の状態に保つのに役立ちます。集電体を内蔵したホルダーの開発は、顕微鏡カラムの他の場所に統合されたホルダーに依存するのではなく、意図的な設計上の選択です。これにより、集電装置を試料と同じ平面に配置することができ、ビーム偏向や異なるビーム位置でのアパーチャによる電子の吸収の違いによって引き起こされる電流測定の誤差を排除することができます。MVSソフトウェアは、自動化されたルーチンに従って、レンズ条件の任意の組み合わせでビーム電流と面積を測定します。ソフトウェアは、これらの測定されたキャリブレーションをカメラまたはスクリーン電流と相関させ、実験中の倍率などの変化をビーム領域に外挿することができます。生成されたこれらのキャリブレーションファイルはすぐに使用でき、ソフトウェアが将来のセッションで同じ設定が使用されていることを検出した場合、後で使用するために自動的に保存されます。キャリブレーションファイルの寿命は顕微鏡によって異なりますが、著者らは、現在の値に大きな変化を観察することなく、同じキャリブレーションファイルを数か月間使用できることを発見しました。ガンの排出プロファイルを監視する組み込みルーチンがあり、特にコールドFEGエミッションガンでこれらのキャリブレーションの関連性を維持するのに役立ちます。
顕微鏡間の線量測定の正規化とサンプルのビーム曝露の自動追跡は、異なる顕微鏡システムで実験間の線量条件を定量的に比較できるため、MVSソフトウェアの重要な機能です。異なる顕微鏡を使用した同一の実験中に得られたゼオライトサンプル(ZSM-5)の線量誘発分解は、両方のセットアップで最大累積または閾値電子線量(~60.000 e-/Å2の線量率を適用する場合は~500 e-/Å2·s)の後にFFTスポットの完全な消失をもたらします。これらの比較結果は、線量ソフトウェアが再現性のある定量的な線量測定を容易にすることを示しています。各実験で完全なFFTスポット消失が観察される累積線量のわずかな違いは、2つの顕微鏡で採用された加速電圧が異なる結果である可能性が高く、加速電圧が低いほど放射線損傷経路が多くなり、加速電圧が高いほど通常、ノックオン損傷が大きくなります24。ZSM-5ナノ粒子の臨界線量に関する文献結果は、すべてのFFTスポットの完全な消失ではなく、最初のFFTスポット消失を使用して9,000〜14,000 e-/Å2の範囲である25,26。我々の結果では、最初のFFTスポット消失は、約25,000 e-/Å2の累積線量に相当します。以前の研究は、ファラデーカップ15と比較した場合、ビーム電流測定値を過小評価することが十分に文書化されている蛍光体スクリーンを使用して得られた電流測定値に依存していました。決定された臨界線量は、線量を追跡するために使用されるFFTピークに応じて、2倍以上変動し得る。これは、より高い空間周波数が最初に劣化し、測定中に使用されたゾーンアクセスに応じて異なる値をもたらす可能性があることを示しています(私たちの結果は、特定の構造的特徴ではなく、ゼオライト結晶全体からのFFTスポットに焦点を当てました)25,26。これらの技術と現在のキャリブレーションの違いは、私たちの結果と以前の文献研究で報告された2つの実験の値の違いを説明しています。
電子線量相互作用は多くのTEM実験において重要な因子であるが、in situおよび特に液体EM研究はその影響に特に敏感である。電子ビームによる液体の放射線分解は、サンプルと相互作用する可能性のある化学的に反応する種のカスケードをもたらし、分析を複雑にします。液体EM実験中に使用される線量率またはフルエンスおよび累積線量の両方が、液体放射線分解により生成されるラジカル種の濃度に影響を与える可能性がある27,28。したがって、実験全体を通して累積線量と線量率の両方のデータを収集して記録することで、画像とサンプルの線量履歴との直接的な相関が可能になり、これらの実験における電子ビームの影響を解明および制御するためのより正確な方法です。このプロトコルではカバーされていませんが、液体EMの用量管理機能の有用性の例を図6に示します。
<img alt="Figure 6" class="xfigimg" src="/files/ftp_upload/65446/65446fig06.jpg"> 図6: in situ 液体-EM実験中の金ナノ粒子のビーム誘起 成長。 (A)領域全体の累積線量マップのカラーオーバーレイによる、結果として生じる粒子成長の低倍率STEMの概要。オーバーレイの赤色の領域は累積線量被ばく量が高い領域を示し、黄色の領域は被ばく量が少ない領域を示します。カーソルで個々のピクセルを強調表示するか、付属の描画ツールを使用して領域上にボックスを描画すると、そのピクセルまたは領域の累積線量を示します。スケールバーは2μmです。 (B、C) Aのオレンジ色のボックス(b、c)で示された領域の高倍率のSTEM画像。より高い累積線量(10.811 e-/Å2)に曝露された領域bには、より低い累積線量(0.032 e-/Å2)に曝露された領域cに見られるものよりも大きな粒子が含まれています。 <a href="https://www.jove.com/files/ftp_upload/65446/65446fig06large.jpg" target="_blank">この図の拡大版を表示するには、ここをクリックしてください。</a>
濃縮された線量率と累積線量メタデータは、線量依存的なナノ材料の成長と分解経路の分析を簡素化します。図6は、液体EM実験中の水中の塩化金(HAuCl3)イオンの溶液のビーム誘起還元を示しています。図6Aのカラードーズマップオーバーレイから、累積電子ドーズがナノ粒子29、30、31、32の結果生じるサイズおよび形状に影響を与えることを視覚化することは容易である。低倍率のSTEMの概要は、高(赤)および低(黄)の累積線量にさらされた領域を示しています。高線量に被曝した領域の粒子は、低累積線量に被曝した領域の粒子よりも大きい。線量メタデータはピクセルレベルで各画像に直接埋め込まれているため、液体電子顕微鏡実験における電子線量の複雑な影響を、これまでにない方法で体系的に分析できるようになりました。
このプロトコルでは、MVSソフトウェアが、電子線量とサンプルに送達される総線量の両方をピクセルごとに較正、監視、および追跡するための包括的なソリューションを提供することを示しました。この能力は、線量に敏感なサンプルをイメージングし、電子ビームの相互作用を理解するための新しいパラダイムを解き放ちます。液体電子顕微鏡実験では、電子線量が果たす役割をより効果的に調べることができ、実験の再現性が向上するため、特にエキサイティングです。この新しいフレームワークにより、線量率と蓄積された線量情報の正確な収集が可能になり、TEM結果のより正確な解釈のためにこのデータをコミュニティと共有することが容易になり、FAIRプリンシパルの報告と分析を可能にすることで科学的コラボレーションとデータ共有が促進されることを願っています。

透過型電子顕微鏡(TEM)とその機能は、カメラ、検出器、サンプルホルダー、およびコンピューティング技術の進歩から多大な恩恵を受けてきました。ただし、これらの進歩は、切断されたデータストリーム、人間の操作の制限、および面倒なデータ分析によって妨げられています1,2。さらに、in situおよびoperando実験では、TEMをリアルタイムのナノスケールラボに適応させ、さまざまな外部刺激を同時に適用しながら、ガスまたは液体環境でサンプルを研究することができます3,4,5。このような複雑なワークフローの採用は、これらの制限を拡大するだけであり、その結果、これらのデータストリームのサイズと複雑さが増すことが懸念事項となっています。したがって、データの検索、アクセス、相互運用、および再利用のためにマシンアクション可能性を利用することにますます重点が置かれており、これはFAIR原則6として知られています。FAIRの原則の概念に従って研究データを公開することは、世界中の政府機関から好意的な注目を集めており7,8、マシンビジョンソフトウェアを使用したFAIRの原則の適用は、それらの採用の重要なステップです。
マシンビジョン同期(MVS)ソフトウェアプラットフォームは、複雑でメタデータの多いTEM実験(特に in situ およびoperando実験)の実行と分析に固有の特定の問題点に対応して開発されました9。TEMにインストールされると、MVSソフトウェアは顕微鏡カラム、検出器との接続、統合、通信を行い、 in situ システムに統合されます。これにより、画像を継続的に収集し、それらの画像を実験メタデータに合わせることで、実験の開始から終了までのタイムラインである包括的な検索可能なデータベースを形成することができます(図1)。この接続性により、MVSソフトウェアは、サンプルが形態学的変化を受けている場合でも、関心領域(ROI)をインテリジェントに追跡および安定化するアルゴリズムを適用できます。ソフトウェアは、必要に応じてステージ、ビーム、およびデジタル補正に調整を適用し、 ドリフト制御 および フォーカスアシスト 機能を通じてROIを安定させます。ソフトウェアは、さまざまな実験システムから生成された生のメタデータで画像を充実させることに加えて、画像分析アルゴリズムを使用して新しい計算メタデータを生成し、画像間の変数を計算し、サンプルのドリフトや焦点の変化を自動的に補正できるようにします。
MVSソフトウェアを介して収集されたTEM画像および関連するメタデータは、無料のオフラインバージョンの分析ソフトウェアStudio(以下、分析ソフトウェアと呼びます)10を介して誰でも開いて表示できる実験タイムラインとして編成されています。実験中、MVSソフトウェアは、顕微鏡のカメラまたは検出器からの3種類の画像を同期して記録し、画像ビューアの下のタイムラインの上部に表示されます:単一取得(TEMソフトウェアから直接取得された個々の単一取得画像)、生(デジタルドリフト補正が適用されていない検出器/カメラのライブストリームからの画像;これらの画像は、ステージ移動またはビームシフト)、およびドリフト補正(デジタルドリフトされた検出器/カメラのライブストリームからの画像)。テストまたはセッション中に収集されたデータは、埋め込まれたメタデータを失うことなく、コレクションと呼ばれるデータの小さなセクションまたはスニペットにさらに絞り込むことができます。解析ソフトウェアから、画像、画像スタック、メタデータをさまざまなオープンフォーマットの画像やスプレッドシートタイプに直接エクスポートして、他のツールやプログラムを使用して分析することができます。
MVSソフトウェアによって実現される顕微鏡制御、安定化、およびメタデータ統合のフレームワークにより、現在のTEMワークフローの制限を軽減するように設計された追加のマシンビジョンプログラムまたはモジュールの実装も可能になります。この同期プラットフォームを利用するために開発された最初のモジュールの1つは、サンプル内のビーム露光領域の電子線量校正と空間追跡です。すべてのTEM画像は、サンプルと電子ビームの間の相互作用から形成されます。しかしながら、これらの相互作用はまた、放射線分解およびノックオン損傷11,12のような試料への負の、避けられない影響をもたらす可能性があり、画像を生成するために十分に高い電子線量を適用することと、結果として生じるビーム損傷を最小化することとの間の慎重なバランスを必要とする13,14。
多くのユーザは電子線量を推定するためにスクリーン電流測定に依存しているが、この方法は実際のビーム電流を広く過小評価することが示されている15。定性的な線量値は、同じ設定の同じ顕微鏡でスクリーン電流 を介して 取得できますが、異なる顕微鏡または設定を使用してこれらの線量条件を再現することは非常に主観的です。さらに、スポットサイズ、アパーチャ、倍率、強度など、実験中にユーザーが行うイメージングパラメータの調整では、結果として得られる線量を計算するためにスクリーン電流を個別に測定する必要があります。ユーザは、所与の実験中に使用される撮像条件を厳密に制限するか、または使用される各レンズ条件を綿密に測定して記録しなければならず、顕微鏡の通常の操作のために実行可能なものを超えて実験を著しく複雑にし、拡張しなければならない16、17。
このプロトコルでは線量ソフトウェアと呼ばれる線量校正ソフトウェアモジュールは、自動電流測定を可能にするように設計された専用の校正ホルダーを利用する線量校正ソフトウェアモジュールです。正確なビーム電流校正15のゴールドスタンダードであるファラデーカップは、校正ホルダーの先端に組み込まれています。MVSソフトウェアは、レンズの状態ごとに一連のビーム電流とビーム面積のキャリブレーションを実行し、それらの値をピクセルレベルで画像に埋め込みます。
このビデオ記事では、TEMワークフローのすべての領域を強化するように設計されたMVSソフトウェアプロトコルを、代表的なナノ材料サンプルを使用して紹介します。ビーム感受性ゼオライトナノ粒子サンプル14は、較正および線量管理ワークフローを実証するために使用される。加熱すると大きな形態変化を起こすAu/FeOxナノ触媒18,19試料を用いた代表的なin situ加熱実験を行う。このin situ実験は、ソフトウェアの安定化アルゴリズムと、in situおよびoperando研究に固有の課題であるメタデータの複数のストリームを照合する機能を強調しています。プロトコルには記載されていませんが、そのユニークな電子線量感度のために、液体EM研究(文献20、21、22で以前に報告されているプロトコル)のためのソフトウェアの有用性の代表的な例と、これらの技術を適用して液体EM実験に対する線量の影響の理解を深める方法について説明します。最後に、オフライン分析ソフトウェアを使用してデータ分析を合理化し、さまざまな画像、ビデオ、およびデータファイルを視覚化、フィルタリング、および他のアクセス可能な形式にエクスポートする方法を示します。
<img alt="Figure 1" class="xfigimg" src="/files/ftp_upload/65446/65446fig01.jpg"> 図1:MVSおよび解析ソフトウェアのユーザインタフェース例 (A)同期ソフトウェアイメージ表示ペインとコントロールパネル。TEMと同期ソフトウェア間の接続は、顕微鏡からの画像とメタデータを同期ソフトウェアにストリーミングする[接続]ボタンをアクティブにすることによって確立されます。画像ビューアから、オペレータはドリフト補正やフォーカスアシストなど、さまざまなマシンビジョン支援操作を実行できます。また、データ収集を中断することなく、タグ画像とレビューセッションを適用する機能も提供します。(B)画像ビューポート、タイムライン、およびメタデータと分析パネルの場所を強調表示する画像分析ソフトウェアのスクリーンショット。解析ソフトウェアは、実験中の任意の時点でアクセスでき、[セッションのレビュー]ボタンを使用して、その時点までに取得した画像を確認できます。<a href="https://www.jove.com/files/ftp_upload/65446/65446fig01large.jpg" target="_blank">この図の拡大版を表示するには、ここをクリックしてください。</a>

<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td>ARM200F CFEG</td>
			<td>JEOL</td>
			<td></td>
			<td>Transmission Electron Microscope (200 kV)</td>
		</tr>
		<tr>
			<td>AXON DOSE Calibration Holder</td>
			<td>Protochips, Inc.</td>
			<td>AXA-FC-TFS</td>
			<td>Dose calibration and management hardware package for ThermoFisher ScientificTEM</td>
		</tr>
		<tr>
			<td>AXON DOSE Software:&#160; Version 10.6.5.3</td>
			<td>Protochips, Inc.</td>
			<td>AX-MOD-DOSE-01-1YR</td>
			<td>Dose calibration and management software</td>
		</tr>
		<tr>
			<td>AXON Studio Software: Version 10.6.5.3</td>
			<td>Protochips, Inc.</td>
			<td>No Part Number. 
			Available to download at&#160; success.protochips.com</td>
			<td>Offline analysis software for AXON datasets.&#160; A free copy of the AXON Studio software is available for down load at:&#160; success.protochips.com</td>
		</tr>
		<tr>
			<td>AXON Synchronicity Core</td>
			<td>Protochips, Inc.</td>
			<td>AXON-CORE</td>
			<td>Hardware component of the synchronization software.</td>
		</tr>
		<tr>
			<td>AXON Synchronicity Software:&#160; Version 10.6.5.3</td>
			<td>Protochips, Inc.</td>
			<td>AX-MOD-SYNCPRO-01-1YR</td>
			<td>Synchronization software</td>
		</tr>
		<tr>
			<td>Fusion In-Situ Heating E-chip</td>
			<td>Protochips, Inc.</td>
			<td>E-FHDC-VO-10</td>
			<td>Sample Support E-chip with carbon film.&#160; Used with in situ heating system</td>
		</tr>
		<tr>
			<td>Fusion Select In Situ Heating System</td>
			<td>Protochips, Inc.</td>
			<td>FFAD-6200-EXP</td>
			<td>In-situ MEMs heating system for ThermoFisher Scientific TEM.</td>
		</tr>
		<tr>
			<td>Gold(III) chloride (50% gold basis) hydrate 50790</td>
			<td>Sigma Aldrich</td>
			<td>27988-77-8</td>
			<td>Used to prepare Au/FeOx nanocatalyst.&#160; Coprecipitation synthesis procedure followed in C. Sze et al. Materials Letters. 36 (1&#8211;4), 11&#8211;16 (1998)</td>
		</tr>
		<tr>
			<td>Iron (III) Oxide 310050 (Fe2O3)</td>
			<td>Sigma Aldrich</td>
			<td>1309-37-1</td>
			<td>Used to prepare Au/FeOx nanocatalyst.&#160; Coprecipitation synthesis procedure followed in C. Sze et al. Materials Letters. 36 (1&#8211;4), 11&#8211;16 (1998)</td>
		</tr>
		<tr>
			<td>Titan ChemiSTEM</td>
			<td>ThermoFisher Scientific</td>
			<td></td>
			<td>Transmission Electron Microscope (300 kV)</td>
		</tr>
		<tr>
			<td>Zeolite ZSM-5</td>
			<td>Zeolyst</td>
			<td>CBV 8014</td>
			<td>&#160;Nanocatalyst sample:&#160; 80 SiO2/Al2O3 Mole Ratio</td>
		</tr>
	</tbody>
</table>

a machine-vision approach to transmission electron microscopy workflows, results analysis and data management

透過型電子顕微鏡(TEM)により、ユーザーは基本的な原子スケールで材料を研究できます。複雑な実験では、時間と複雑な分析を必要とする多数のパラメータを持つ何千もの画像が日常的に生成されます。AXONシンクロニシティは、TEM研究に固有の問題点に対処するために設計されたマシンビジョン同期(MVS)ソフトウェアソリューションです。顕微鏡にインストールすると、実験中に顕微鏡、検出器、in situシステムによって生成された画像とメタデータの継続的な同期が可能になります。この接続性により、空間補正、ビーム補正、デジタル補正を組み合わせて適用し、視野内の関心領域を中央に配置および追跡し、即時の画像安定化を提供するマシンビジョンアルゴリズムの適用が可能になります。このような安定化によってもたらされる解像度の大幅な向上に加えて、メタデータ同期は、画像間の変数を計算する計算および画像分析アルゴリズムの適用を可能にします。この計算されたメタデータを使用して、傾向を分析したり、データセット内の重要な関心領域を特定したりして、新しい洞察と将来のより高度なマシンビジョン機能の開発につなげることができます。この計算されたメタデータに基づいて構築されたそのようなモジュールの1つは、線量の校正と管理です。線量モジュールは、ピクセルごとにサンプルの特定の領域に送達される電子フルエンス(e-/Å2·s-1)と累積線量(e-/Å2)の両方の最先端の校正、追跡、および管理を提供します。これにより、電子ビームとサンプル間の相互作用の包括的な概要が可能になります。実験分析は、画像と対応するメタデータで構成されるデータセットを簡単に視覚化、並べ替え、フィルタリング、およびエクスポートできる専用の分析ソフトウェアによって合理化されます。これらのツールを組み合わせることで、効率的なコラボレーションと実験分析を促進し、データマイニングを促進し、顕微鏡検査の経験を向上させることができます。

A Machine-Vision Approach to Transmission Electron Microscopy Workflows, Results Analysis and Data Management

この研究は、TEMイメージングおよびin situ実験のためのMVSソフトウェアを使用したデータ収集の有用性を強調しています。顕微鏡の位置合わせと条件設定は、TEMメーカーのデフォルトのコントロールを介して実行および選択されました。初期セットアップ後、このビデオ記事で紹介するプロトコルは、MVSソフトウェアを介して実施されました。200 kVの低温FEGを使用して取得した比較ゼオライトデータを除いて、ビデオプロトコルおよび代表データに提示されたすべての実験に300 kV TEMを使用しました(図3D-Fおよび表1)。すべてのメタデータは、MVSソフトウェアによって自動的に収集され、それぞれのイメージに位置合わせされました。
ソフトウェアを起動し、メニューから適切なワークフローを選択した後、図1Aに示すように、画像ビューアの左端にあるツールバーの[接続]ボタンをアクティブにすることで、顕微鏡への接続が確立されます。[接続]ボタンを強調表示すると、顕微鏡からの画像と関連メタデータが自動的にMVSソフトウェアにストリーミングされ、画像ビューペインに表示されます。これらの画像とそれに関連するメタデータは、タイムラインへの新しいデータの記録を中断することなく、開いたり、確認したり、分析したりできるタイムラインに時系列で保存されます(図1B)。ストリーミングは、接続アイコンを無効にすることで、ユーザーがいつでも中断できます。
接続が活動化されると、MVS ソフトウェア・フレームワークに依存する他のワークフローにアクセスできるようになります。このビデオプロトコルに示されている例では、MVSソフトウェアの他の機能を利用する前に線量校正を実行する必要があります。線量校正は、MVSソフトウェアによって制御される自動プロセスです。専用のファラデーカップ線量校正ホルダーを使用して、パラメータの組み合わせについてビームの電流と面積を測定します。 図2に示すファラデーカップ校正ホルダは、ビーム電流を正確に測定する外部ピコ電流計に接続します。顕微鏡に挿入されると、基準アライメント穴が中央に配置され、キャリブレーションする目的のビーム条件(スポットサイズ、開口部、倍率)がソフトウェアに入力されます。ソフトウェアは、選択した条件の組み合わせごとに一連のキャリブレーション手順を実行します。線量校正中、ホルダーは統合されたファラデー集電カップとスルーホールの間を自動的に移動します。レンズ条件の各組み合わせの電流測定値は、ピコ電流計によってファラデーカップ上で測定されます。次に、ソフトウェアがステージを平行移動してビームをスルーホールの中心に配置し、ビーム領域がマシンビジョンアルゴリズムによって決定されます。この一連の測定により、強度/明るさとビーム面積の関係のプロファイルが作成されます。これにより、視野に関係なく、実験中に強度/明るさの設定が調整されるときに、ソフトウェアがビーム領域を外挿することができます。これらのビーム電流とビーム面積の測定値を使用して累積線量と線量率の値を計算し、線量校正ファイルを生成します。このプロセスは本質的に、TEMとその個々のレンズ条件の線量「フィンガープリント」を定義します。線量がTEM用に校正されると、ユーザーは正常に操作でき、線量情報や手動でメモを取ることなく、倍率と強度を自由に調整できます17。キャリブレーションが完了したら、線量キャリブレーションホルダーを取り外して、サンプルを通常どおりに挿入できるようにします。TEMモードとSTEMモードの両方のキャリブレーションプロセスは、通常10分未満で完了します。
線量条件を較正した後、市販のゼオライトナノ粒子(ZSM-5)サンプルを高線量率条件下で画像化して、サンプルが損傷しすぎて構造情報を提供できない閾値(累積)線量を決定しました。ZSM−5ナノ粒子をエタノール中に懸濁し、従来の銅TEMグリッド上にドロップキャストした。それらは、3のスポットサイズと100μmのコンデンサー開口部を使用して、TEMモードで300kVで連続的にイメージングされました。高線量率条件下でMVSソフトウェアによって読み取られた線量率は519 e-/Å2·sであった。図3A-Cおよび補足ファイル3に示すように、視野内のナノ粒子は、FFTのピークが消えるまで連続的に画像化され、結晶構造の劣化を示しています。オーバーレイ(ライブ実験中または解析ソフトウェアで後で追加可能)をTEM画像に適用して、日時、線量率、最大(累積)線量、および倍率を示しました。線量率は実験中一定に保たれ、累積線量(最大線量)は時間の関数として増加した。FFTのピークは、42秒の連続イメージング後に消え始めました(図3B)。1分20秒、累積線量~60,000 e-/Å2で、FFTピークは完全に消失しました(図3C)。
この較正方法が、異なる設定で動作する他の顕微鏡に適用できる定量的線量測定値を生成することを示すために、200kV冷電界放出銃(FEG)TEMおよびスポットサイズ1を使用して、同じ較正プロセスおよびゼオライト分解実験を実施した。この顕微鏡は、方法1で説明したのと同じ手順で校正され、方法2で説明した同じ実験が、新しいスポットサイズと絞り設定を使用して実行されました。ビーム設定は、2つの実験間の適用線量率の差が無視できるように調整されました(499 e-/Å 2·s vs . 519 e-/Å2·s)。図3D-Fおよび表1に要約されるように、FFTスポットは、1分50秒の連続イメージングおよび累積線量58,230 e-/Å2の後に完全に消失し、これは最初の実験で得られた値と一致する。
MVSソフトウェアがin situ実験にどのように役立つかの例を、加熱実験を実行することによって示されました。代表的なナノ触媒サンプルであるAu/FeOx(公開された手順19に従って合成)は、高温で動的な形態学的および構造的変化を受けるため、例としてシステムとして選択されました。この温度による移動性により、サンプル自体の動きと温度変化時のサンプルサポート自体の熱膨張により、ROIを視野内に中央に保つことが困難になります18。ドリフト補正機能とフォーカスアシスト機能を有効にして、サンプルを800°Cで~30秒間にわたってイメージングしました。 高温では、Au/FeOx内の金ナノ粒子が酸化鉄担体の表面に沿って移動し、焼結してより大きな粒子を形成しました(図4および補足ファイル7の動画を参照)。図5は、Au/FeOxナノ触媒内の多孔質領域の一連のTEMスナップショット(図5A-F)を示しており、in situ加熱実験中のさまざまな時点(図5G)で記録されています。ROIの調整ドリフト値は、ソフトウェアによって自動的に計算されました。一連の過程における画像の調整されたドリフト値と温度値を図5Gにグラフで示します。予想通り、サンプルの協調ドリフトは、温度プロファイルが~9 nm/minから~62 nm/minの速度で増加するにつれて増加し、温度が一定に保たれると横ばいに向かって減少し始めます。この高いドリフト率とサンプルの形態の変化にもかかわらず、温度上昇中に高解像度の画像が簡単に取得され、補足ファイル8に示すように、多孔質領域内の動きが明らかになります。ダウンロード手順とコンピューターの仕様については、補足ファイル9を参照してください。
<img alt="Figure 2" class="xfigimg" src="/files/ftp_upload/65446/65446fig02.jpg"> 図2:電子線量の校正と追跡 。 (A)線量は、ビーム電流測定のためにサンプル面に配置された集電体を含む専用のサンプルホルダーを使用して校正されます。(B)チップデザインの特徴の図:左:ファラデーカップ。中央:基準穴;右:貫通穴(C)。適用された電子線量は、画像内の異なる線量被ばくを示すために色分けされたマップを使用してソフトウェアで視覚化することができる。 <a href="https://www.jove.com/files/ftp_upload/65446/65446fig02large.jpg" target="_blank">この図の拡大版を表示するには、ここをクリックしてください。</a>
<img alt="Figure 3" class="xfigimg" src="/files/ftp_upload/65446/65446fig03.jpg"> 図3:ゼオライト(ZSM-5)ナノ粒子の電子線量誘起分解。 (A-C)300 kV FEGで得られた劣化データを示す1分20秒の期間にわたって撮影されたスナップショットと、519 e-/Å2·s;ゼオライトは1分20秒以内に分解します。 (D-E)200 kVの冷FEG TEMと499 e-/Å2·s;インセットは、時間の経過とともにFFTスポットがフェードすることを示しています。スケールバーは60nmである。<a href="https://www.jove.com/files/ftp_upload/65446/65446fig03large.jpg" target="_blank">この図の拡大版を表示するには、ここをクリックしてください。</a>
<img alt="Figure 4" class="xfigimg" src="/files/ftp_upload/65446/65446fig04.jpg"> 図4:AXONシンクロニシティは、マシンビジョンアルゴリズムを適用して、動的に進化するサンプルを追跡および安定化します。実験中に生成されたメタデータはタイムラインに沿ってプロットできるため、ユーザーは実験中に生成された一連の画像をスクロールしながら、画像とそれに関連付けられたメタデータをすばやくペアリングできます。(A-H)800°Cでのナノ触媒サンプル(Au/FeOx)の画像は、線量マップオーバーレイ(A-D)となし(E-H)の両方で28秒間にわたって記録されました。オーバーレイの赤色の領域は累積線量被ばく量が高い領域を示し、黄色の領域は被ばく量が少ない領域を示します。個々のピクセルを強調表示すると、そのピクセルの累積線量を示します。パネルE-Hの白い矢印は実験中に合体する2つの粒子を示し、オレンジ色の矢印は移動する金粒子の軌跡を示しています。(i)A〜Hに示す画像系列について解析ソフトウェアによって生成された実験タイムライン。タイムラインの上部にあるオレンジ色の点は生の(デジタル補正されていない)画像を示し、青い点はドリフト補正された画像を示します。オレンジ色の垂直バーは、パネルA〜Hで示された画像に対応するタイムライン上のポイントを示します。スケールバーは40nmである。<a href="https://www.jove.com/files/ftp_upload/65446/65446fig04large.jpg" target="_blank">この図の拡大版を表示するには、ここをクリックしてください。</a>
<img alt="Figure 5" class="xfigimg" src="/files/ftp_upload/65446/65446fig05.jpg"> 図5:さまざまな時点でのAu/FeOxナノ触媒内の多孔質領域のTEMスナップショット。MVSソフトウェアは、マシンビジョンアルゴリズムで示されるように、ステージ、ビームシフト、およびデジタル補正の適用により、温度ランプ中に発生するような高ドリフト率でもサンプルを安定化およびセンタリングします。(A-F)Au/FeOxナノ触媒内の多孔質領域のTEMスナップショットで、in situ加熱実験中のさまざまな(G)時点で記録されています。ROIのドリフト率は、MVSソフトウェアによる実験中に自動的に計算され、記録されます。(G)にプロットしたように、温度プロファイルが変化すると(青線)、ドリフト率(オレンジ色の線)は温度が上昇すると増加し、温度が一定に保たれると減少します。<a href="https://www.jove.com/files/ftp_upload/65446/65446fig05large.jpg" target="_blank">この図の拡大版を表示するには、ここをクリックしてください。</a>
<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always"><tbody><tr><td>顕微鏡タイプ</td>
			<td>300 kV 温度測定</td>
			<td>200 kV 冷間温度測定</td>
		</tr><tr><td>スポットサイズ/コンデンサー2アパーチャ</td>
			<td>3/100 μm</td>
			<td>1/100 ミクロン</td>
		</tr><tr><td>線量率</td>
			<td>519 e-/A2•s1</td>
			<td>499 e-/A2•s1</td>
		</tr><tr><td>FFTで測定した構造物の損失 (積算線量)</td>
			<td>60,270 e-/A2 </td>
			<td>58,230 e-/A2 </td>
		</tr></tbody></table>表1:異なる顕微鏡から得られたゼオライト分解結果の要約比較。
補足ファイル1:線量管理タブを開いた状態でのMVSソフトウェアインターフェースのスクリーンショット。<a href="https://www.jove.com/files/ftp_upload/65446/Supplemental%20File%201%20-%20User%20Interface.pdf" target="_blank">このファイルをダウンロードするには、ここをクリックしてください。</a>
補足ファイル2:ビーム誘起ゼオライト分解実験のMVSソフトウェアデータベースファイル。 この表示/分析ソフトウェアは無料でダウンロードできます。ダウンロード手順とコンピューターの仕様については、 補足ファイル9 を参照してください。 <a href="https://www.jove.com/files/ftp_upload/65446/Supplemental_File_2-Data_High_Dose_Zeolite_Degradation_TFS_compressed.zip" target="_blank">このファイルをダウンロードするには、ここをクリックしてください。</a>
補足ファイル3:ビーム誘起ゼオライト劣化の動画。<a href="https://www.jove.com/files/ftp_upload/65446/Supplemental%20File%203%20-%20Zeolite%20Degradation%20TFS.mp4" target="_blank">このファイルをダウンロードするには、ここをクリックしてください。</a>
補足ファイル4:CSVファイル1(ゼオライト劣化:生データ[機械的補正のみ]) <a href="https://www.jove.com/files/ftp_upload/65446/Supplemental%20File%204%20-%20Zeolite%20CSV%20Raw.csv" target="_blank">このファイルをダウンロードするには、ここをクリックしてください。</a>
補足ファイル5:CSVファイル(ゼオライト劣化:ドリフト補正[機械的+デジタル補正]) <a href="https://www.jove.com/files/ftp_upload/65446/Supplemental%20File%205%20-%20Zeolite%20CSV%20Drift%20Corrected.csv" target="_blank">このファイルをダウンロードするには、ここをクリックしてください。</a>
補足ファイル6:MVSソフトウェアデータベースファイルナノ触媒in situ加熱実験。<a href="https://www.jove.com/files/ftp_upload/65446/Supplemental%20File%206%20-%20AuFeOx%20800C%20Madeline%20Dressel%20Dukes.zip" target="_blank">このファイルをダウンロードするには、ここをクリックしてください。</a>
補足ファイル7:800°Cでのナノ触媒の線量オーバーレイによる動画。<a href="https://www.jove.com/files/ftp_upload/65446/Supplemental%20File%207%20-%20AuFeOx%20Dose%20Map%20800.mp4" target="_blank">このファイルをダウンロードするには、ここをクリックしてください。</a>
補足ファイル8:ドリフト値が調整された温度上昇中のナノ触媒の動画。<a href="https://www.jove.com/files/ftp_upload/65446/Supplemental%20File%208%20-%20AuFeOx%20Temperature%20Ramp.mp4" target="_blank">このファイルをダウンロードするには、ここをクリックしてください。</a>
補足ファイル9:無料の分析ソフトウェアをダウンロードするための手順。<a href="https://www.jove.com/files/ftp_upload/65446/Supplemental%20File%209%20-%20Download%20Instructions.pdf" target="_blank">このファイルをダウンロードするには、ここをクリックしてください。</a>

Watch this Scientific Journal Video about A Machine-Vision Approach to Transmission Electron Microscopy Workflows, Results Analysis and Data Management at JoVE.com

A Machine-Vision Approach to Transmission Electron Microscopy Workflows, Results Analysis and Data Management (Video) | JoVE 

ここでは、マシンビジョンソフトウェアを利用してTEMイメージング中の動的プロセスを安定化させると同時に、各画像のメタデータの複数のストリームをナビゲート可能なタイムラインにインデックス化するプロトコルを紹介します。このプラットフォームが、実験の過程で電子線量の自動キャリブレーションとマッピングをどのように可能にするかを示します。

透過型電子顕微鏡ワークフロー、結果分析、データ管理へのマシンビジョンアプローチ

Transmission electron microscopy (TEM) enables users to study materials at their fundamental, atomic scale. Complex experiments routinely generate ...

この技術は、あらゆるスキルレベルのユーザーが高性能TEM研究にアクセスできるようにするために開発されました。さらに、科学の進歩には複数の研究者の共同作業が必要であるため、大規模で複雑なデータセットを共有および分析するための効率的なプラットフォームが研究を成功させるために不可欠であり、in situ研究はTEMをリアルタイムのナノラボに変換し、研究者が材料の成長特性を制御する動的なナノスケールプロセスを探求できるようにします。in-situTEM研究の最大の課題の1つは、サンプルの固有の挙動からビーム照射効果を分離することです。正確な電子線量の測定と追跡は不可欠ですが、線量管理ソフトウェアがなければ、総線量または臨界線量ではなく電子線量率しか測定できません。 複雑なTEMワークフローでは、大規模なデータセットが生成され、それぞれの画像に合わせて手動でアライメントおよびインデックスを作成する必要があります。この時間のかかるプロセスでは、イメージング条件やサンプル環境の調整などの重要な情報が失われ、分析と再現性が複雑になる可能性があります。実験中に生成された画像とメタデータを収集し、データが豊富な検索可能なタイムラインにインデックスを付けるマシンビジョンワークフローを開発しました。計算および画像分析アルゴリズムは、画像間の変数を計算し、補正を適用し、隠れた傾向を特定できます。新しいメタデータを計算、同期、および各画像にインデックスを作成することで、マルチモーダル分析が突然新しい可能性になります。例えば、ゼオライト画像における正確な累積線量および線量率情報は、数千の画像にわたるサンプル損傷の定量的評価を可能にする。私たちは、結果をアクセス可能で解釈可能にし、実験の再現性を向上させることにより、in-situTEMの機能を推進し続けます。このソフトウェアは、in-situTEM実験をより簡単に、より豊富な情報にするために、歴史的に困難であった特定のアプリケーションを対象としたワークフロー駆動型モジュールを開発するためのプラットフォームです。