Ein Machine-Vision-Ansatz für Transmissionselektronenmikroskopie-Workflows, Ergebnisanalyse und Datenmanagement

Zusammenfassung

Hier präsentieren wir ein Protokoll zur Verwendung von Bildverarbeitungssoftware zur Stabilisierung dynamischer Prozesse während der TEM-Bildgebung, während gleichzeitig mehrere Ströme von Metadaten zu jedem Bild in einer navigierbaren Zeitleiste indiziert werden. Wir zeigen, wie diese Plattform eine automatisierte Kalibrierung und Kartierung der Elektronendosis im Verlauf eines Experiments ermöglicht.

Zusammenfassung

Die Transmissionselektronenmikroskopie (TEM) ermöglicht es Anwendern, Materialien auf ihrer fundamentalen, atomaren Skala zu untersuchen. Komplexe Experimente erzeugen routinemäßig Tausende von Bildern mit zahlreichen Parametern, die eine zeitaufwändige und komplizierte Analyse erfordern. AXON synchronicity ist eine Softwarelösung für die Synchronisierung der maschinellen Bildverarbeitung (MVS), die entwickelt wurde, um die Probleme zu lösen, die mit TEM-Studien verbunden sind. Einmal auf dem Mikroskop installiert, ermöglicht es die kontinuierliche Synchronisation von Bildern und Metadaten, die während eines Experiments vom Mikroskop, Detektor und In-situ-Systemen erzeugt werden. Diese Konnektivität ermöglicht die Anwendung von Bildverarbeitungsalgorithmen, die eine Kombination aus räumlichen, Strahl- und digitalen Korrekturen anwenden, um einen interessierenden Bereich innerhalb des Sichtfelds zu zentrieren und zu verfolgen und eine sofortige Bildstabilisierung zu ermöglichen. Zusätzlich zu der erheblichen Verbesserung der Auflösung, die durch eine solche Stabilisierung ermöglicht wird, ermöglicht die Metadatensynchronisation die Anwendung von Berechnungs- und Bildanalysealgorithmen, die Variablen zwischen Bildern berechnen. Diese berechneten Metadaten können verwendet werden, um Trends zu analysieren oder wichtige Interessenbereiche innerhalb eines Datensatzes zu identifizieren, was zu neuen Erkenntnissen und der Entwicklung ausgefeilterer Bildverarbeitungsfunktionen in der Zukunft führt. Ein solches Modul, das auf diesen berechneten Metadaten aufbaut, ist die Dosiskalibrierung und -verwaltung. Das Dosismodul bietet modernste Kalibrierung, Verfolgung und Verwaltung sowohl der Elektronenfluenz (e-/Å 2·^s-1) als auch der kumulativen Dosis (e^-/Ų), die Pixel für Pixel an bestimmte Bereiche der Probe abgegeben wird. Dies ermöglicht einen umfassenden Überblick über die Wechselwirkung zwischen Elektronenstrahl und Probe. Die Analyse von Experimenten wird durch eine spezielle Analysesoftware optimiert, in der Datensätze, die aus Bildern und entsprechenden Metadaten bestehen, einfach visualisiert, sortiert, gefiltert und exportiert werden können. In Kombination erleichtern diese Tools eine effiziente Zusammenarbeit und experimentelle Analysen, fördern das Data Mining und verbessern die Mikroskopieerfahrung.

Einleitung

Transmissionselektronenmikroskope (TEMs) und ihre Fähigkeiten haben enorm von den Fortschritten bei Kameras, Detektoren, Probenhaltern und Computertechnologien profitiert. Diese Fortschritte werden jedoch durch unzusammenhängende Datenströme, Einschränkungen der menschlichen Bedienung und umständliche Datenanalyse behindert ^1,2. Darüber hinaus adaptieren In-situ- und Operando-Experimente TEMs in Echtzeit-Labore im Nanomaßstab, so dass Proben in gasförmigen oder flüssigen Umgebungen untersucht werden können, während gleichzeitig eine Reihe externer Reize angewendet werden ^3,4,5. Die Einführung solch komplexer Workflows hat diese Einschränkungen nur noch verstärkt, und die daraus resultierende Zunahme der Größe und Komplexität dieser Datenströme ist ein Bereich, der zunehmend Anlass zur Sorge gibt. Daher wird immer mehr Wert auf die Nutzung maschineller Handlungsfähigkeit gelegt, um Daten zu finden, darauf zuzugreifen, zu interagieren und wiederzuverwenden, eine Praxis, die als FAIR-Prinzipien⁶ bekannt ist. Die Veröffentlichung von Forschungsdaten in Übereinstimmung mit dem Konzept der FAIR-Prinzipien hat von Regierungsbehörden auf der ganzen Welt positive Aufmerksamkeit erhalten^7,8, und die Anwendung der FAIR-Prinzipien mit Hilfe von Bildverarbeitungssoftware ist ein wichtiger Schritt bei ihrer Einführung.

Eine Softwareplattform für die Synchronisierung des maschinellen Sehens (MVS) wurde als Antwort auf die spezifischen Probleme entwickelt, die mit der Durchführung und Analyse komplexer, metadatenintensiver TEM-Experimente (insbesondere In-situ - und Operando-Experimente^{) verbunden} sind9. Nach der Installation auf dem TEM stellt die MVS-Software eine Verbindung, Integration und Kommunikation mit der Mikroskopsäule, den Detektoren und den integrierten In-situ-Systemen her. Dies ermöglicht es, kontinuierlich Bilder zu sammeln und diese Bilder mit ihren experimentellen Metadaten abzugleichen, wodurch eine umfassende, durchsuchbare Datenbank entsteht, eine Zeitleiste des Experiments von Anfang bis Ende (Abbildung 1). Diese Konnektivität ermöglicht es der MVS-Software, Algorithmen anzuwenden, die eine Region of Interest (ROI) intelligent verfolgen und stabilisieren, selbst wenn Proben morphologischen Veränderungen unterliegen. Die Software nimmt bei Bedarf Anpassungen an Bühnen-, Strahl- und Digitalkorrekturen vor, um den ROI durch die Funktionen Drift Control und Focus Assist zu stabilisieren. Neben der Anreicherung der Bilder mit den Rohmetadaten, die von den verschiedenen experimentellen Systemen erzeugt werden, kann die Software mithilfe von Bildanalysealgorithmen neue, computergestützte Metadaten erstellen, um Variablen zwischen den Bildern zu berechnen, die es ihr ermöglichen, Probendrift oder Fokusänderungen automatisch zu korrigieren.

TEM-Bilder und die dazugehörigen Metadaten, die durch die MVS-Software gesammelt werden, sind als experimentelle Zeitleiste organisiert, die von jedem über die kostenlose Offline-Version der Analysesoftware Studio (im Folgenden als Analysesoftware bezeichnet) geöffnet und angesehen werden ^kann10. Während eines Experiments synchronisiert und zeichnet die MVS-Software drei Arten von Bildern von der Kamera oder dem Detektor des Mikroskops auf, die oben auf der Zeitleiste unter dem Bildbetrachter angezeigt werden: Einzelaufnahme (einzelne Einzelaufnahmebilder, die direkt von der TEM-Software aufgenommen wurden), Rohbilder (Bilder aus dem Detektor-/Kamera-Livestream, auf die keine digitalen Driftkorrekturen angewendet wurden; diese Bilder können physisch über B. Tischbewegung oder Strahlverschiebung) und driftkorrigiert (Bilder aus dem Detektor-/Kamera-Livestream, die digital driften). Daten, die während eines Experiments oder einer Sitzung gesammelt werden, können in kleinere Abschnitte oder Datenausschnitte, die als Sammlungen bezeichnet werden, weiter verfeinert werden, ohne dass eingebettete Metadaten verloren gehen. Aus der Analysesoftware können Bilder, Bildstapel und Metadaten direkt in eine Vielzahl von Bildern und Tabellenkalkulationen im offenen Format exportiert werden, um sie mit anderen Tools und Programmen zu analysieren.

Der Rahmen der Mikroskopsteuerung, Stabilisierung und Metadatenintegration, der durch die MVS-Software ermöglicht wird, ermöglicht auch die Implementierung zusätzlicher Bildverarbeitungsprogramme oder -module, die entwickelt wurden, um Einschränkungen in den aktuellen TEM-Arbeitsabläufen zu verringern. Eines der ersten Module, das entwickelt wurde, um die Vorteile dieser Synchronisationsplattform zu nutzen, ist die Kalibrierung der Elektronendosis und die räumliche Verfolgung von strahlexponierten Bereichen innerhalb der Probe. Alle TEM-Bilder entstehen aus der Wechselwirkung zwischen der Probe und dem Elektronenstrahl. Diese Wechselwirkungen können jedoch auch zu negativen, unausweichlichen Auswirkungen auf die Probe führen, wie z. B. Radiolyse und Folgeschäden 11,12, und erfordern ein sorgfältiges Gleichgewicht zwischen der Anwendung einer ausreichend hohen Elektronendosis zur Erzeugung des Bildes und der Minimierung der resultierenden Strahlschädigung ^13,14.

Obwohl sich viele Anwender auf Schirmstrommessungen verlassen, um die Elektronendosis abzuschätzen, hat sich gezeigt, dass diese Methode den tatsächlichen Strahlstrom weitgehend unterschätzt¹⁵. Qualitative Dosiswerte können über den Rasterstrom auf demselben Mikroskop mit den gleichen Einstellungen ermittelt werden, aber die Reproduktion dieser Dosisbedingungen mit unterschiedlichen Mikroskopen oder Einstellungen ist sehr subjektiv. Darüber hinaus erfordern alle Anpassungen der Bildgebungsparameter, die der Benutzer während des Experiments vornimmt, wie z. B. Spotgröße, Blende, Vergrößerung oder Intensität, eine separate Messung des Bildschirmstroms, um die resultierende Dosis zu berechnen. Der Benutzer muss entweder die Bildgebungsbedingungen, die während eines bestimmten Experiments verwendet werden, streng einschränken oder jede verwendete Linsenbedingung akribisch messen und aufzeichnen, wodurch das Experiment erheblich erschwert und über das hinausverlängert wird, was für den normalen Betrieb des Mikroskops machbar ist^16,17.

Dose, für dieses Protokoll als Dosissoftware bezeichnet, ist ein Dosiskalibrierungssoftwaremodul, das einen speziellen Kalibrierhalter verwendet, der automatisierte Strommessungen ermöglicht. Ein Faraday-Becher, der Goldstandard für die genaue Strahlstromkalibrierung¹⁵, ist in die Spitze des Kalibrierhalters integriert. Die MVS-Software führt eine Reihe von Kalibrierungen des Strahlstroms und der Strahlfläche für jeden Objektivzustand durch und bettet diese Werte auf Pixelebene in die Bilder ein.

In diesem Videoartikel werden MVS-Softwareprotokolle, die entwickelt wurden, um alle Bereiche des TEM-Arbeitsablaufs zu verbessern, anhand repräsentativer Nanomaterialproben vorgestellt. Eine strahlempfindliche Zeolith-Nanopartikelprobe¹⁴ wird verwendet, um die Arbeitsabläufe bei der Kalibrierung und dem Dosismanagement zu demonstrieren. Wir führen ein repräsentatives in situ Erwärmungsexperiment mit einer Au/FeO_{x Nanokatalysator} ^18,19 Probe durch^, die beim Erhitzen signifikante morphologische Veränderungen erfährt. Dieses In-situ-Experiment unterstreicht die Stabilisierungsalgorithmen der Software und ihre Fähigkeit, mehrere Ströme von Metadaten zusammenzuführen, was eine inhärente Herausforderung für In-situ- und Operando-Studien darstellt. Obwohl im Protokoll nicht beschrieben, diskutieren wir aufgrund ihrer einzigartigen Elektronendosisempfindlichkeit repräsentative Beispiele für den Nutzen der Software für Flüssig-EM-Studien (für die Protokolle bereits in der Literatur^20,21,22 berichtet wurden) und wie diese Techniken angewendet werden können^, um das Verständnis der Wirkung der Dosis auf Flüssig-EM-Experimente zu verbessern. Schließlich zeigen wir, wie die Datenanalyse mithilfe der Offline-Analysesoftware optimiert wird, um eine Vielzahl von Bild-, Video- und Datendateien zu visualisieren, zu filtern und in andere zugängliche Formate zu exportieren.

Abbildung 1: Beispiele für Benutzeroberflächen für MVS und Analysesoftware. (A) Bildanzeigebereich und Bedienfeld der Synchronisierungssoftware. Eine Verbindung zwischen dem TEM und der Synchronisationssoftware wird durch Betätigen der Schaltfläche Verbinden hergestellt, die die Bilder und Metadaten vom Mikroskop in die Synchronisationssoftware streamt. Über den Bildbetrachter kann der Bediener eine Vielzahl von bildverarbeitungsgestützten Vorgängen ausführen, wie z. B. Driftkorrektur und Fokus-Assistent. Es bietet auch die Möglichkeit, Tag-Bilder und Überprüfungssitzungen anzuwenden, ohne die Datenerfassung zu unterbrechen. (B) Screenshot der Bildanalysesoftware, in dem die Position des Bildansichtsfensters, der Zeitleiste und des Bedienfelds "Metadaten und Analyse" hervorgehoben ist. Die Analysesoftware kann jederzeit während eines Experiments aufgerufen werden, um die bis zu diesem Zeitpunkt aufgenommenen Bilder über die Schaltfläche "Review Session" zu überprüfen. Bitte klicken Sie hier, um eine größere Version dieser Abbildung zu sehen.

Protokoll

1. Methode 1: Dosiskalibrierung des Transmissionselektronenmikroskops für TEM- und Raster-TEM-Bildgebungsmodi (STEM)

1. Schalten Sie das Pikoamperemeter ein und lassen Sie es mindestens 30 Minuten lang aufwärmen, bevor Sie mit der Dosiskalibrierung beginnen. Setzen Sie den Dosiskalibrierhalter in das TEM ein und verbinden Sie den Kalibrierhalter mit dem Pikoamperemeter über das Schnellanschlusskabel.
2. Öffnen Sie bei einem Mikroskop im TEM-Modus die Säulenventile und suchen Sie die 35-μm-Passerbohrung am Dosishalter (Abbildung 2). Starten Sie die MVS-Softwareanwendung und wählen Sie Dose (Calibration Automation) aus den Experimentoptionen aus.
   HINWEIS: Die Position der Passerbohrung wird von der Software nach der ersten Kalibrierung gespeichert, sodass die Software ihre Position für zukünftige Kalibrierungen automatisch lokalisieren kann.
3. Klicken Sie auf das Symbol Verbinden (Abbildung 1A) und wählen Sie das Mikroskop aus, um die Verbindung zwischen dem TEM und der MVS-Software zu aktivieren. Sobald die Verbindung hergestellt ist, werden die Bilder der Kamera/des Detektors im Bildbetrachter der Software angezeigt.
   Anmerkungen: Es ist nicht erforderlich, die euzentrische Höhe zu optimieren, und der Rand des Passerbohrungslochs kann aufgrund der Dicke der Spitze verschwommen erscheinen. Dies hat keinen Einfluss auf die aktuellen Messungen.
4. Navigieren Sie zur Registerkarte " Dosis " und dann zu "Dosiskalibrierung". Wählen Sie Dosisbereichskalibrierung aus, befolgen Sie die Anweisungen der Software und geben Sie die angeforderten, vom Benutzer konfigurierbaren Werte ein (z. B. die Einstellungen für Blende und Monochromator). Nachdem die Kalibrierung des Dosisbereichs abgeschlossen ist, wählen Sie den Prozess der Dosisstromkalibrierung aus und befolgen Sie die Anweisungen der Software.
5. Wiederholen Sie den Kalibrierungsvorgang (Schritt 1.4) für jede Spotgröße, Blende oder Monochromatoreinstellung, die während des Experiments verwendet werden kann.
6. Wenn der Kalibrierungsprozess für den TEM-Modus abgeschlossen ist, kalibrieren Sie die Elektronendosis für den STEM-Modus , indem Sie Schritt 1.4 wiederholen.
   Anmerkungen: Im STEM-Modus muss die Dosisbereichskalibrierung nicht durchgeführt werden.
7. Wenn alle gewünschten Kalibrierungen abgeschlossen sind, klicken Sie auf Sitzung schließen, entfernen Sie den Dosiskalibrierungshalter und kehren Sie zum Startbildschirm der MVS-Software zurück.

2. Methode 2: Bestimmung der Dosisschwelle mit Hilfe des MVS und der Dosissoftware

1. Laden Sie ein Standard-TEM-Gitter mit einer Probe (in diesem Beispiel wurden handelsübliche ZSM-5-Zeolith-Nanopartikel verwendet) in einen Standard-TEM-Halter. Setzen Sie die Halterung in das TEM ein und lokalisieren Sie einen Bereich von Interesse (kristalline Zeolith-Nanopartikel).
2. Öffnen Sie die MVS-Softwareanwendung, und wählen Sie Andere aus.
   HINWEIS: Zusätzliche Informationen über die Probe (z. B. Probenkennung und -beschreibung, Name des Bedieners und Anmerkungen zu den Versuchsangaben) können dem Feld für die Versuchsparameter hinzugefügt werden.
3. Wiederholen Sie Schritt 1.3, um eine Verbindung zur MVS-Software herzustellen, und navigieren Sie zur Registerkarte "Bildmetadaten" in der Benutzeroberfläche der MVS-Software, um die folgenden Metadaten auszuwählen, die über den in der Live-Anzeige angezeigten Bildstream gelegt werden sollen: Vergrößerung, Maximale Dosis und Dosisleistung. Andere Metadaten können auf Wunsch des Benutzers eingefügt werden. Ein Screenshot der MVS-Softwareschnittstelle, der die Steuerelemente für das Dosismanagement zeigt, ist in der Zusatzdatei 1 enthalten.
4. Öffnen Sie die Registerkarte "Dosis" und wählen Sie "Dosismanagement" und "Dosisüberwachung aktivieren", um die automatische Verfolgung der Elektronendosis zu aktivieren. Wählen Sie Dosisebene anzeigen aus, um die Dosisfarbüberlagerung anzuzeigen.
5. Stellen Sie die Werte für die hohe Dosis und die hohe Dosisleistung ein und klicken Sie auf Speichern (in diesem Beispiel wurden Werte von 60.000 e-/Å 2 bzw. 500 e^-/Å ²·s verwendet).
6. Navigieren Sie zur Registerkarte Einstellungen , wählen Sie Dosis aus, und legen Sie die Werte für die Deckkraft der Dosisnavigationskarte und die Deckkraft der Bildüberlagerung für die Dosis fest (in diesem Beispiel wurden Werte von 0,50 bzw. 0,30 verwendet).
7. Aktivieren Sie im Live Image Viewer-Fenster die Driftkorrektur, indem Sie auf Driftkorrektur klicken.
8. Navigieren Sie zur Registerkarte Datenansicht , und zeichnen Sie die Metadatenwerte Unschärfe und Fokusquotient auf der Y-Achse.
   HINWEIS: Jeder der verfügbaren Metadatenwerte kann während des Experiments in Echtzeit aus der Datenansichtstabelle dargestellt werden.
9. Aktivieren Sie den Fokus-Assistenten, und wählen Sie dann Fokus kalibrieren aus, um die automatische Kalibrierung des Fokus-Assistenten auszuführen. Sobald die Routine "Fokus kalibrieren" abgeschlossen ist, schließen Sie die Registerkarte "Datenansicht".
10. Öffnen Sie die Registerkarte Bildanalyse in der MVS-Software und aktivieren Sie die Optionen Live-FFT und Quadranten 1 & 2 .
11. Stellen Sie mit den Softwaresteuerungen des Mikroskops die Strahlbedingungen so ein, dass der Elektronenfluss ~500 e-/Ų·s beträgt, und bewegen Sie sich zu einem neuen Bereich in der Probe und zentrieren Sie den ROI der Probe in der ^{Live-Ansicht der MVS-Software}.
    HINWEIS: Bei großen Bühnenbewegungen werden die Driftsteuerung und der Fokusassistent automatisch deaktiviert und müssen wieder aktiviert werden, sobald der neue ROI ausgewählt wurde.
12. Notieren Sie sich die Dosisbedingungen in der Software mit der Tag-Funktion . Markieren Sie das Tag-Symbol und geben Sie den gewünschten Text ein, um eine bestimmte Reihe von Bildern innerhalb der Zeitleiste zu kennzeichnen. Bilder werden mit diesem Text versehen, bis das Tag-Symbol deaktiviert wird.
13. Halten Sie eine konstante Dosisleistung aufrecht, während Sie kontinuierlich den gleichen ROI abbilden, bis die Peaks, die der atomaren Struktur im FFT-Diagramm entsprechen, verschwunden sind.
14. Verringern Sie die Vergrößerung, öffnen Sie die Registerkarte "Dosismanagement" und aktivieren Sie "Dosisebene anzeigen", um eine farbcodierte Dosiskarte zu überlagern.
    HINWEIS: Diese Funktion bietet eine visuelle Referenz der Bereiche der Probe, die dem Elektronenstrahl ausgesetzt wurden, und ihrer relativen Dosisexposition. Wenn Sie diese Bereiche in einzelnen Bildern mit dem Cursor markieren, werden die jeweiligen Dosiswerte angezeigt.
15. Trennen und beenden Sie die Sitzung, indem Sie die Option "Verbinden" deaktivieren und dann " Sitzung schließen" auswählen. Speichern Sie eine Kopie der Sitzungsdaten in einer externen Quelle, um zu verhindern, dass die in der MVS-Software gespeicherten Daten bei nachfolgenden Experimenten überschrieben werden (Ergänzungsdatei 2).

3. Methode 3: Metadaten- und Trendanalyse und Datenexport mit Hilfe der Analysesoftware

1. Starten Sie die Analysesoftware (die Offline-Software zum Anzeigen der vollständig synchronisierten Datasets), und öffnen Sie die Experimentsitzungsdatei, indem Sie sie aus der Dateibibliothek auswählen.
   HINWEIS: Benutzer können während eines Experiments auch über das Symbol "Überprüfungssitzung " in der MVS-Software auf die Analysesoftware zugreifen.
2. Zeigen Sie die driftkorrigierten Bilder an, indem Sie die Registerkarte DC unter dem Bildansichtsfenster aktivieren, und wählen Sie die gewünschten Datenüberlagerungen aus, indem Sie die entsprechenden Kontrollkästchen Überlagerungsdaten auf der Registerkarte Bildmetadaten aktivieren (in diesem Beispiel wurden Mikroskop, Datum/Uhrzeit, Dosisleistung, maximale Dosis und Vergrößerung verwendet). Andere Metadaten können nach Belieben des Benutzers dargestellt werden.
3. Aktivieren Sie das Kontrollkästchen Zeitachse für Maximale Dosis und Dosisleistung, um der Zeitachse ein grafisches Diagramm dieser Werte hinzuzufügen. Markieren Sie diese grafischen Diagramme oder scrollen Sie durch sie, um das im Ansichtsfenster angezeigte Bild zu aktualisieren. Greifen Sie über die Registerkarten "Notizen", "Bildanalyse", "Toolbox" und "Datenansicht" auf eine Vielzahl von Werkzeugen zu.
   1. Greifen Sie über die Registerkarte Bildanalyse auf die FFT für jedes Bild zu und klicken Sie auf Live-FFT , um die FFT zu aktualisieren, während Sie durch die Bilder scrollen.
   2. Verwenden Sie das Ausbleichen der FFT-Peaks, um den Zeitpunkt zu bestimmen, an dem die Zeolithstruktur an Kristallinität verliert. Notieren Sie den maximalen Dosiswert, der mit diesem Bild aufgezeichnet wurde.
4. Verwenden Sie die Option Filter , um große Datasets einfach in kleinere, gemeinsam nutzbare Datasets zu filtern, ohne die zugehörigen Metadaten zu verlieren. Öffnen Sie das Filterfenster und stellen Sie die Schieberegler so ein, dass nur Daten mit einer Dosisleistung von ~500 e^-/Ų·s oder mehr ausgewählt werden, und speichern Sie die neue Sammlung unter dem Namen Dosisschwellenstudie.
   HINWEIS: Filter können für jeden der zugeordneten Metadatentypen angewendet werden.
5. Exportieren Sie die Bilder und Metadaten aus der Sitzung in andere Dateitypen, die mit Maßstabsleisten und Metadatenüberlagerungen angereichert sind.
   1. Markieren Sie die Sammlung im Bibliotheksbereich, und wählen Sie Veröffentlichen aus, indem Sie mit der rechten Maustaste auf die Auswahl klicken. Wählen Sie im Fenster Veröffentlichen die gewünschten Optionen für den Dateityp Export aus.
   2. Wählen Sie die Registerkarte Driftkorrigierte Daten aus, und wenden Sie Überlagerungen aller gewünschten Metadaten und der FFT an (positionieren Sie die FFT-Überlagerung wie gewünscht; Beispiele für Bilder, die mit der FFT exportiert wurden, sind in Abbildung 3 dargestellt).
6. Exportieren Sie die Bildserie als Filmdatei mit derselben Option "Veröffentlichen ". Wählen Sie die Bilder aus, indem Sie sie in der Zeitleiste markieren, die Filteroptionen verwenden oder die vollständige Datenbankdatei exportieren. Wählen Sie das gewünschte Filmformat, die Bildrate und den Dateispeicherort aus. Ein Film des Zeolith-Abbauexperiments, das mit einem 200-kV-TEM aufgenommen wurde, ist in der Zusatzdatei 3 enthalten.
7. Exportieren Sie die Metadaten separat von den erfassten Bildern als CSV-Datei, indem Sie bei der Veröffentlichung die Option Metadaten (CSV) auswählen.
   HINWEIS: RAW- und driftkorrigierte Bilder werden als separate CSVs exportiert (Ergänzungsdatei 4 und Ergänzungsdatei 5).

4. Methode 4: In-situ-Erhitzungsuntersuchung von Gold auf Eisenoxid-Nanopartikeln

1. Gießen Sie einen in Ethanol suspendierten Nanokatalysator (Au/FeO_x) auf einen In-situ-Heizer-E-Chip, einen mikroelektromechanischen (MEM) Probenträger, und lassen Sie ihn an der Luft trocknen. Montieren Sie die Probe in den In-situ-Heizhalter, setzen Sie den Halter mit der Probe in das TEM ein und schließen Sie den Halter mit dem mitgelieferten Kabel an die Stromversorgung an. Suchen Sie einen Beispiel-ROI mit den TEM-Steuerelementen.
   HINWEIS: Bei diesem Experiment wurde ein Heizhalter verwendet, der vollständig in die MVS-Software integriert ist, sodass Temperaturmetadaten in die Bilder eingebettet werden können.
2. Wählen Sie die entsprechende Workflow-Option aus der MVS-Software aus (in diesem Beispiel wurde der Fusion-Workflow verwendet, aber es können auch Heizhalter anderer Hersteller verwendet werden, indem Sie Andere auswählen).
3. Befolgen Sie die Anweisungen des Arbeitsablaufs, um die elektrische Verbindung zwischen dem Halter und dem Heiz-E-Chip zu bestätigen, indem Sie die Kalibrierungsdatei laden und eine Geräteprüfung durchführen.
4. Verbinden Sie das Mikroskop mit der MVS-Software, wie zuvor in den Schritten 2.3 bis 2.10 gezeigt (in diesem Beispiel wurden die Metadatenwerte für Dosisleistung, maximale Dosis, Übereinstimmungskorrelation, Driftrate und Kanal-A-Temperatur ausgewählt), und zentrieren Sie den ROI der Probe im Sichtfeld.
5. Öffnen Sie die Registerkarte Fusion AX , und richten Sie eine Temperatur ein und wenden Sie sie an.
6. Klicken Sie auf die Schaltfläche Channel A Setup , um auf die Einstellungen für die Temperaturregelung zuzugreifen. Wählen Sie die Funktion Temperatur und den Modus Manuelle Steuerung.
7. Klicken Sie auf die Schaltfläche Experiment, um auf die experimentellen Steuerelemente zuzugreifen. Stellen Sie die Rampenrate auf 10 °C/s und das Ziel auf 600 °C ein. Klicken Sie auf Übernehmen , um das Experiment zu starten.
   HINWEIS: Das Experiment kann jederzeit über die Schnellzugriffsschaltflächen in der unteren rechten Ecke der MVS-Software angehalten oder gestoppt werden, ohne die Registerkarte Fusion AX zu öffnen.
8. Nachdem die eingestellte Temperatur von 600 °C erreicht ist, öffnen Sie die Registerkarte Fusion AX und wählen Sie Experimentieren. Ändern Sie die Rampenrate auf 2 °C und das Ziel auf 800 °C. Klicken Sie auf Übernehmen , um das Experiment zu starten.
   Anmerkungen: Das Verfahren zum Anbringen einer Heizrampe hängt vom verwendeten In-situ-Heizsystem ab. Die oben beschriebenen Schritte zum Anwenden der Temperaturrampe gelten für das in diesem Beispiel verwendete System.
9. Markieren Sie alle Ereignisse oder Points of Interest während des Experiments mithilfe der Tagging-Funktion, wie in Schritt 2.10 gezeigt. Fahren Sie mit der Abbildung der Probe fort und passen Sie das Temperaturprofil wie gewünscht an. Wenn Sie fertig sind, klicken Sie auf Sitzung beenden und speichern Sie die Datendatei mit der Analysesoftware (ein Teil der Datenbankdatei, die in den repräsentativen Ergebnissen besprochen wird, wird als Ergänzungsdatei 6 bereitgestellt).
10. Öffnen Sie die Analysesoftware, um die Sitzung zu überprüfen. Zeichnen Sie die Temperatur, den Template-Morphing-Faktor, die Dosisleistung und die kumulative Dosis in der Zeitleiste auf. Exportieren Sie Bilder und Filme wie gewünscht, indem Sie die in Schritt 3.6 und 3.7 beschriebenen Schritte ausführen. Bilder und Filme können mit oder ohne Dosiskarten-Überlagerungen exportiert werden (Abbildung 4).

Diskussion

Die Interpretation von TEM-Versuchsergebnissen hängt oft von vielen miteinander verbundenen experimentellen Parametern ab, wie z.B. Mikroskopeinstellungen, Bildgebungsbedingungen und im Falle von Operando- oder In-situ-Experimenten von Veränderungen der Umgebung oder der Stimuli ^1,23. Die genaue Analyse großer TEM-Datensätze, über die diese Parameter kontinuierlich modifiziert werden können, erfordert erhebliche Aufmerksamkeit des Bedieners, um jede Bedingung und Einstellung für jedes Bild in einem Laborjournal oder einer anderen externen Dokumentationsquelle genau aufzuzeichnen. Mit zunehmender Größe und Komplexität von TEM-Datensätzen wird die manuelle Buchführung unüberschaubar, und wichtige Informationen können übersehen oder ungenau aufgezeichnet werden. Die hier beschriebene MVS-Software konsolidiert die während eines Experiments erzeugten Metadaten aus dem Mikroskop, dem Detektor/der Kamera und anderen Systemen (z. B. In-situ-Probenhaltern) und gleicht sie mit ihren jeweiligen Bildern ab.

Zusätzlich zur Konsolidierung der Metadaten wendet die Software Machine-Vision-Algorithmen an, um das Sichtfeld durch eine Kombination aus räumlichen, Strahl- und digitalen Korrekturen mithilfe der Funktionen Drift Correct und Focus Assist zu verfolgen und zu stabilisieren. Wenn die Funktion " Driftkorrektur " aktiviert ist, wird ein Kreuzkorrelations-"Vorlagen"-Bild aus dem ersten Bild generiert, das in die MVS-Software gezogen wird. Die Vorlage wird dann mit eingehenden Bildern verglichen, um die Richtung und das Ausmaß der Probendrift oder -bewegung zu berechnen. Mit diesen Informationen wendet die MVS-Software automatisch die notwendigen Korrekturen an, um die Bildmerkmale an der gleichen Stelle zu halten, indem mindestens einer von drei Parametern angepasst wird: Bühnenposition, Strahl- oder Bildverschiebung und digitale Bildkorrektur. Die Focus Assist-Funktion verwendet eine Kombination von Algorithmen, um jedem Bild einen Fokuswert zuzuweisen, der als Fokuswert bezeichnet wird, und diese Werte werden verglichen, um das Ausmaß und die Richtung der Defokusanpassung zu bestimmen, die angewendet werden soll, um die Probe im Fokus zu halten. Im STEM-Bildgebungsmodus versucht die MVS-Software, den Kontrast durch eine proprietäre Version der normalisierten Varianz zu maximieren, um den Fokuswert zuzuweisen. Im TEM-Modus wird in der FFT eine radiale Summe der Intensität berechnet und zur Berechnung des Fokus-Scores verwendet. Einschränkungen bei der Fähigkeit der MVS-Software, den Fokus zu optimieren, treten auf, wenn sie den korrekten Fokuswert für ein Bild nicht genau berechnen kann. Dies tritt in der Regel auf, wenn das Mikroskop falsch ausgerichtet ist oder die Probe während der Kalibrierung erheblich unscharf ist, sodass die Software den korrekten Startwert für den Fokuswert nicht korrekt berechnen kann. Die MVS-Software kann Schwierigkeiten haben, den Fokus-Score für Samples mit wohldefinierten Gittersäumen zu berechnen, da die Gitterstreifen in der FFT den Fokus-Scoring-Algorithmus "überfordern" können. Wenn sich also eine Probe unscharf bewegt, spiegelt der Fokuswert die Fokusänderung möglicherweise nicht genau wider. Umgekehrt kann es bei der Arbeit mit niedrigen Vergrößerungen oder mit einer Probe mit einem niedrigen FFT-Signal auch schwierig sein, einen guten Fokuswert zu berechnen. Um diese Schwierigkeiten zu mildern, enthält die MVS-Software eine Reihe zusätzlicher Algorithmen, die vom Benutzer zur Berechnung des Fokus-Scores ausgewählt werden können, wenn die Standardeinstellungen für die Probe ungeeignet sind. Diese müssen von Fall zu Fall getestet und angewendet werden, um die besten Algorithmen für ein bestimmtes Experiment zu bestimmen.

Morphologische Veränderungen in der Probenstruktur im Zeitverlauf werden mit Hilfe eines Template-Morphing-Faktors berücksichtigt. Dieser Filter kann vom Bediener eingestellt werden, so dass Registrierungsalgorithmen morphologische Veränderungen im Laufe der Zeit berücksichtigen. Darüber hinaus überwacht die Software das kontinuierliche Bild, die Mikroskopeinstellungen und die Kamera- oder Detektoreinstellungen, um die Vorlage automatisch zu aktualisieren, wenn sie durch Änderungen der Probenstruktur ausgelöst wird und nach vom Bediener induzierten Änderungen der Mikroskop-, Kamera- oder Detektorparameter. Wie in Abbildung 4, Abbildung 5, Supplementary File 7 und Supplementary File 8 dargestellt, bietet die MVS-Software eine effektive, sofortige Stabilisierung und ermöglicht eine hochauflösende Bildgebung von sich dynamisch bewegenden oder sich ändernden Proben. Obwohl die Software in der Lage ist, sehr hohe Drift- oder Probenbewegungsraten zu steuern, wie sie z. B. beim Anlegen einer Heizrampe während eines In-situ-Experiments auftreten, gibt es Einschränkungen bei den maximalen Tischkorrekturen oder Strahlverschiebungen, die die Software steuern kann, wenn sich die Probe sehr schnell bewegt oder driftet. Dieser Grenzwert ist eine Funktion der Bildaktualisierungsrate, der Größe des Sichtfelds und der Driftrate. Für ein bestimmtes Sichtfeld und eine bestimmte Bildaktualisierungsrate gibt es eine maximale Driftrate, die korrigiert werden kann, und wenn die physischen Bewegungen nicht mithalten können, kann der Prozess enden oder instabil werden. Aus den Registrierungsvorlagen, die beim Anwenden von Features wie Abweichungskorrektur generiert werden, können zusätzliche berechnete Metadaten generiert werden. Die Übereinstimmungskorrelation ist beispielsweise ein numerischer Datensatz des Ausmaßes der Änderung zwischen Vorlagen in einer Reihe und wird verwendet, um Punkte in einer experimentellen Zeitachse zu identifizieren, in denen sich die Stichprobe geändert hat. Ein hoher Übereinstimmungskorrelationswert entspricht einer Stichprobe, deren Morphologie geändert wurde, und ein niedriger Übereinstimmungskorrelationswert entspricht einer Stichprobe, deren Struktur relativ statisch bleibt. Die Übereinstimmungskorrelation ist besonders wertvoll für In-situ-Studien, da sie grafisch dargestellt werden kann, sodass der Benutzer Bilder in der Serie, die einer signifikanten Probenänderung entsprechen, schnell lokalisieren kann. Es ist jedoch wichtig zu verstehen, dass hohe Übereinstimmungskorrelationswerte auch Änderungen der Bildgebungsbedingungen entsprechen können, wie z. B. das Verschieben des Tisches oder das Ändern der Vergrößerung, wenn diese Aktionen ausgeführt werden, während die Driftkorrekturfunktion aktiv bleibt.

Der hier vorgestellte Kalibrierungs-Workflow verwendet einen einzigartigen Kalibrierungshalter und eine halbautomatische Kalibrierungsroutine, um den Strahl unter einer Vielzahl von Linsenbedingungen mit minimalem Bedienereingriff genau zu kalibrieren. Der Zugriff auf die Dosiskalibrierungsroutine erfolgt über die auf dem TEM installierte MVS-Software. Die MVS-Software liest automatisch die relevanten Mikroskopeinstellungen aus, um alle Messungen als Referenz für spätere Experimente zu speichern. Bei einigen TEM ist es nicht möglich, die Blenden- oder Monochromatoreinstellungen abzulesen, und diese müssen vom Bediener während der Kalibrierung und während des Gebrauchs in die MVS-Softwareeinstellungen eingegeben werden. In die Software sind Erinnerungen integriert, um diese Bedienereingabeeinstellungen auf dem neuesten Stand zu halten, indem Sie den Programmanweisungen folgen. Die Entwicklung eines Halters mit eingebautem Stromabnehmer ist eine bewusste Designentscheidung, anstatt sich auf einen an anderer Stelle in der Mikroskopsäule integrierten Halter zu verlassen. Dadurch kann der Stromabnehmer auf der gleichen Ebene wie eine Probe positioniert werden, wodurch Fehler bei der Strommessung vermieden werden, die durch Strahlablenkung oder Unterschiede in der Absorption von Elektronen durch Aperturen an verschiedenen Strahlpositionen verursacht werden. Die MVS-Software folgt einer automatisierten Routine, um den Strahlstrom und die Strahlfläche für eine beliebige Kombination von Linsenbedingungen zu messen. Die Software kann diese gemessenen Kalibrierungen dann mit dem Kamera- oder Bildschirmstrom korrelieren und eventuelle Änderungen der Vergrößerung usw. auf die Strahlfläche während des Experiments extrapolieren. Einmal generiert, können diese Kalibrierungsdateien sofort verwendet werden und werden automatisch für die spätere Verwendung gespeichert, wenn die Software feststellt, dass die gleichen Einstellungen während einer zukünftigen Sitzung verwendet werden. Obwohl die Langlebigkeit der Kalibrierdatei von Mikroskop zu Mikroskop unterschiedlich ist, haben die Autoren festgestellt, dass sie in der Lage sind, dieselben Kalibrierdateien mehrere Monate lang zu verwenden, ohne wesentliche Änderungen der aktuellen Werte zu beobachten. Es gibt integrierte Routinen zur Überwachung des Emissionsprofils von Pistolen, um diese Kalibrierungen relevant zu halten, insbesondere bei Cold-FEG-Emissionspistolen.

Die Normalisierung von Dosismessungen zwischen Mikroskopen und die automatische Verfolgung der Strahlexposition einer Probe sind wichtige Funktionen der MVS-Software, da sie quantitative Vergleiche der Dosisbedingungen zwischen Experimenten ermöglichen, die auf verschiedenen Mikroskopsystemen durchgeführt werden können. Die dosisinduzierte Degradation einer Zeolithprobe (ZSM-5), die durch identische Experimente mit verschiedenen Mikroskopen erhalten wurde, führt zu einem vollständigen Verschwinden der ^FFT-Punkte nach einer maximalen kumulativen oder Schwellenelektronendosis (~60.000 e-/Ų bei Anwendung einer Dosisleistung von ~500 e^-/Ų·s) für beide Aufbauten. Diese Vergleichsergebnisse zeigen, dass die Dosissoftware reproduzierbare, quantitative Dosismessungen ermöglicht. Der kleine Unterschied in der kumulativen Dosis, bei der für jedes Experiment ein vollständiges Verschwinden des FFT-Spots beobachtet wird, ist wahrscheinlich auf die unterschiedlichen Beschleunigungsspannungen zurückzuführen, die von den beiden Mikroskopen verwendet werden, wobei niedrigere Beschleunigungsspannungen zu mehr Strahlungsschädigungspfaden führen und höhere Beschleunigungsspannungen typischerweise zu mehr Folgeschäden führen²⁴. Die Literaturergebnisse für die kritische Dosis von ZSM-5-Nanopartikeln reichen von 9.000-14.000 e-/Ų unter Verwendung des ersten FFT-Fleckenverschwindens und nicht des vollständigen Verschwindens aller ^{FFT-Flecken 25,26}. In unseren Ergebnissen entspricht das erste Verschwinden des FFT-Spots einer kumulativen Dosis von etwa 25.000 e^-/^Å2. Frühere Studien stützten sich auf Strommessungen, die mit einem Phosphorschirm durchgeführt wurden, was gut dokumentiert ist, um Strahlstrommessungen im Vergleich zu einem Faradayschen Becher zu unterschätzen¹⁵. Die ermittelte kritische Dosis kann um den Faktor zwei oder mehr variieren, je nachdem, welcher FFT-Peak zur Verfolgung der Dosis verwendet wird. Dies deutet darauf hin, dass sich die höheren Ortsfrequenzen zuerst verschlechtern und je nach dem während der Messungen verwendeten Zonenzugang zu unterschiedlichen Werten führen können (unsere Ergebnisse konzentrierten sich auf FFT-Punkte des gesamten Zeolithkristalls und nicht auf bestimmte strukturelle Merkmale)^25,26. Diese Unterschiede in den Techniken und der aktuellen Kalibrierung erklären den Unterschied in den Werten zwischen den beiden Experimenten, die in unseren Ergebnissen und früheren Literaturstudien berichtet wurden.

Obwohl die Wechselwirkungen mit der Elektronendosis ein bedeutender Faktor in vielen TEM-Experimenten sind, sind In-situ- und insbesondere Flüssig-EM-Studien besonders empfindlich gegenüber ihren Auswirkungen. Die Radiolyse von Flüssigkeiten durch den Elektronenstrahl führt zu einer Kaskade chemisch reaktiver Spezies, die mit der Probe interagieren können, was die Analyse erschwert. Sowohl die Dosisleistung oder Fluenz, die während eines Flüssig-EM-Experiments verwendet wird, als auch die kumulative Dosis können einen Einfluss auf die Konzentration der durch die Flüssigradiolyse erzeugten Radikalspezies haben^27,28. Daher ermöglicht das Sammeln und Aufzeichnen von Metadaten zur kumulativen Dosis und Dosisleistung während eines Experiments eine direkte Korrelation zwischen Bildern und dem Dosisverlauf einer Probe und ist eine genauere Möglichkeit, den Einfluss des Elektronenstrahls in diesen Experimenten aufzuklären und zu kontrollieren. Obwohl in diesem Protokoll nicht behandelt, ist ein Beispiel für den Nutzen der Dosismanagementfunktionen für Flüssig-EM in Abbildung 6 dargestellt.

Abbildung 6: Strahlinduziertes Wachstum von Gold-Nanopartikeln während eines in situ Flüssig-EM-Experiments. (A) STEM-Übersicht mit geringer Vergrößerung des resultierenden Partikelwachstums mit einer farbigen Überlagerung der kumulativen Dosiskarte über die Region. Rote Bereiche in der Überlagerung kennzeichnen Regionen mit hoher kumulativer Exposition und gelbe Bereiche zeigen Regionen mit geringerer Exposition an. Wenn Sie ein einzelnes Pixel mit dem Cursor markieren oder mit den mitgelieferten Zeichenwerkzeugen einen Rahmen über einen Bereich zeichnen, wird die kumulative Dosis für dieses Pixel oder diesen Bereich angezeigt. Der Maßstabsbalken beträgt 2 μm. (B,C) STEM-Bilder mit höherer Vergrößerung der Bereiche, die durch die orangefarbenen Kästchen (b,c) in A gekennzeichnet sind. Bereich b, der einer höheren kumulativen Dosis (10,811 e^-/Å2^{) ausgesetzt} war, enthält größere Partikel als die in Bereich c, der einer niedrigeren kumulativen Dosis (0,032 e^-/Å2) ausgesetzt^war. Bitte klicken Sie hier, um eine größere Version dieser Abbildung zu sehen.

Die angereicherte Dosisleistung und die kumulativen Dosismetadaten vereinfachen die Analyse dosisabhängiger Wachstums- und Abbauwege von Nanomaterialien. Abbildung 6 zeigt die strahlinduzierte Reduktion einer Lösung von Gold-Aurachlorid-Ionen (HAuCl₃) in Wasser während Flüssig-EM-Experimenten. Anhand der Farbdosiskarten-Überlagerung in Abbildung 6A lässt sich leicht visualisieren, dass die kumulative Elektronendosis die resultierende Größe und Form der Nanopartikel 29,30,31,32 beeinflusst. Die STEM-Übersicht mit geringer Vergrößerung zeigt Regionen, die einer hohen (rot) und niedrigen (gelb) kumulativen Dosis ausgesetzt sind. Die Partikel in der Region, die höheren Dosen ausgesetzt ist, sind größer als die in den Regionen, die niedrigeren kumulativen Dosen ausgesetzt sind. Da die Dosismetadaten direkt in jedes Bild auf Pixelebene eingebettet sind, können die komplexen Effekte der Elektronendosis in Flüssig-EM-Experimenten nun systematisch auf eine Weise analysiert werden, die bisher nicht erreichbar war.

In diesem Protokoll haben wir gezeigt, dass die MVS-Software eine umfassende Lösung für die Kalibrierung, Überwachung und Verfolgung sowohl der Elektronendosis als auch der Gesamtdosis bietet, die einer Probe auf Pixel-für-Pixel-Basis zugeführt werden. Diese Fähigkeit eröffnet ein neues Paradigma für die Bildgebung dosisempfindlicher Proben und das Verständnis der Elektronenstrahlwechselwirkungen. Dies ist besonders spannend für Flüssig-EM-Experimente, da es eine effektivere Untersuchung der Rolle der Elektronendosis ermöglicht und die experimentelle Reproduzierbarkeit verbessert. Es ist unsere Hoffnung, dass dieser neue Rahmen die genaue Erfassung von Dosisleistungs- und akkumulierten Dosisinformationen ermöglicht, den Austausch dieser Daten mit der Gemeinschaft für eine genauere Interpretation der TEM-Ergebnisse erleichtert und die wissenschaftliche Zusammenarbeit und den Datenaustausch vorantreibt, indem er die FAIR-Hauptberichterstattung und -analyse ermöglicht.

Materialien

Name	Company	Catalog Number	Comments
ARM200F CFEG	JEOL		Transmission Electron Microscope (200 kV)
AXON DOSE Calibration Holder	Protochips, Inc.	AXA-FC-TFS	Dose calibration and management hardware package for ThermoFisher ScientificTEM
AXON DOSE Software:  Version 10.6.5.3	Protochips, Inc.	AX-MOD-DOSE-01-1YR	Dose calibration and management software
AXON Studio Software: Version 10.6.5.3	Protochips, Inc.	No Part Number. Available to download at  success.protochips.com	Offline analysis software for AXON datasets.  A free copy of the AXON Studio software is available for down load at:  success.protochips.com
AXON Synchronicity Core	Protochips, Inc.	AXON-CORE	Hardware component of the synchronization software.
AXON Synchronicity Software:  Version 10.6.5.3	Protochips, Inc.	AX-MOD-SYNCPRO-01-1YR	Synchronization software
Fusion In-Situ Heating E-chip	Protochips, Inc.	E-FHDC-VO-10	Sample Support E-chip with carbon film.  Used with in situ heating system
Fusion Select In Situ Heating System	Protochips, Inc.	FFAD-6200-EXP	In-situ MEMs heating system for ThermoFisher Scientific TEM.
Gold(III) chloride (50% gold basis) hydrate 50790	Sigma Aldrich	27988-77-8	Used to prepare Au/FeOx nanocatalyst.  Coprecipitation synthesis procedure followed in C. Sze et al. Materials Letters. 36 (1–4), 11–16 (1998)
Iron (III) Oxide 310050 (Fe2O3)	Sigma Aldrich	1309-37-1	Used to prepare Au/FeOx nanocatalyst.  Coprecipitation synthesis procedure followed in C. Sze et al. Materials Letters. 36 (1–4), 11–16 (1998)
Titan ChemiSTEM	ThermoFisher Scientific		Transmission Electron Microscope (300 kV)
Zeolite ZSM-5	Zeolyst	CBV 8014	Nanocatalyst sample:  80 SiO2/Al2O3 Mole Ratio