Name: A Machine-Vision Approach to Transmission Electron Microscopy Workflows, Results Analysis and Data Management (Video) | JoVE
Uploaded: 2023-06-23T14:25:00
Duration: 2 min 37 s
Description: Watch this Scientific Journal Video about A Machine-Vision Approach to Transmission Electron Microscopy Workflows, Results Analysis and Data Management at JoVE.com

Este trabalho foi realizado em parte no Analytical Instrumentation Facility (AIF) da North Carolina State University, que é apoiado pelo Estado da Carolina do Norte e pela National Science Foundation (número de prêmio ECCS-2025064). O FIA é membro da North Carolina Research Triangle Nanotechnology Network (RTNN), um local na National Nanotechnology Coordinated Infrastructure (NNCI). Os autores gostariam de agradecer a Damien Alloyeau, Diretor de Pesquisa do CNRS na Universidade Paris Cité, por fornecer os resultados do estudo de limiar de dose de zeólita CFEG de 200 kV.

1. Método 1: Calibração da dose do microscópio eletrônico de transmissão para os modos de imagem MET e MET de varredura (STEM)
<ol><li>Ligue o picoammetro e deixe-o aquecer durante um mínimo de 30 minutos antes de iniciar uma calibração da dose. Coloque o suporte de calibração de dose no MET e conecte o suporte de calibração ao picoammetro usando o cabo de conexão rápida.</li>
	<li>Com o microscópio no modo MET , abra as válvulas da coluna e localize o orifício fiducial de 35 μm no porta-dose (Figura 2). Inicie o aplicativo de software MVS e selecione Dose (Automação de Calibração) nas opções de experimento. NOTA: A localização do furo fiducial é salva pelo software após a calibração inicial, permitindo que o software localize automaticamente sua posição para futuras calibrações.</li>
	<li>Clique no ícone Conectar (Figura 1A) e selecione o microscópio para ativar a conexão entre o ETM e o software MVS. Uma vez conectado, as imagens da câmera/detector serão visíveis no visualizador de imagens do software. OBS: Não é necessário otimizar a altura eucêntrica, podendo a borda do orifício fiducial parecer embaçada devido à espessura da ponta. Isso não afetará as medições atuais.</li>
	<li>Navegue até a guia Dose e, em seguida, para Calibração da dose. Selecione o processo de Calibração da Área de Dose , siga as instruções do software e insira os valores configuráveis pelo usuário solicitados (como as configurações de abertura e monocromador). Após a conclusão da Calibração da Área de Dose, selecione o processo de Calibração da Corrente de Dose e siga as instruções do software.</li>
	<li>Repetir o processo de calibração (passo 1.4) para cada tamanho de ponto, abertura ou configuração monocromática que possa ser utilizada durante o experimento.</li>
	<li>Quando o processo de calibração para o modo MET estiver concluído, calibre a dose de elétrons para o modo STEM repetindo a etapa 1.4. NOTA: O modo STEM não requer que a calibração da área de dose seja executada.</li>
	<li>Quando todas as calibrações desejadas estiverem concluídas, clique em Fechar Sessão, remova o suporte de calibração de dose e retorne à tela inicial do software MVS.</li>
</ol>2. Método 2: Determinação do limiar de dose usando o MVS e o software de dose
<ol><li>Carregue uma grade de MET padrão com uma amostra (nanopartículas de zeólita ZSM-5 disponíveis comercialmente foram usadas neste exemplo) em um suporte de MET padrão. Insira o suporte no ETM e localize uma região de interesse (nanopartículas de zeólita cristalina).</li>
	<li>Abra o aplicativo de software MVS e selecione Outro. NOTA: Informações adicionais sobre a amostra (por exemplo, identificador e descrição da amostra, o nome do operador e notas do experimento) podem ser adicionadas ao campo de parâmetros experimentais.</li>
	<li>Repita a etapa 1.3 para se conectar ao software MVS e navegue até a guia de metadados de imagem na interface do software MVS para selecionar os seguintes metadados a serem sobrepostos no fluxo de imagem mostrado na exibição ao vivo: Ampliação, Dose Máxima e Taxa de Dose. Outros metadados podem ser incluídos se o usuário desejar. Uma captura de tela da interface do software MVS mostrando os controles de gerenciamento de dose é fornecida no Arquivo Suplementar 1.</li>
	<li>Abra a guia Dose e selecione Gerenciamento de dose e Ativar monitoramento de dose para ativar o rastreamento automatizado de dose de elétrons. Selecione Mostrar camada de dose para exibir a sobreposição de cor de dose.</li>
	<li>Defina os valores para o nível de dose alta e a alta taxa de dose e pressione em Salvar (neste exemplo, foram usados valores de 60.000 e-/Å 2 e 500 e-/Å2·s, respectivamente).</li>
	<li>Navegue até a guia Configurações, selecione Dose e defina os valores de Opacidade do Mapa de Navegação de Dose e Opacidade de Sobreposição de Imagem de Dose (neste exemplo, foram usados valores de 0,50 e 0,30, respectivamente).</li>
	<li>Na janela Live Image Viewer, ative a correção de desvio clicando em Drift Correct.</li>
	<li>Navegue até a guia Exibição de Dados e plote os valores de metadados Desfocar e Quociente de Foco no eixo Y. Observação : qualquer um dos valores de metadados disponíveis pode ser plotado em tempo real durante o experimento a partir da tabela de exibição de dados.</li>
	<li>Ative o Focus Assist e selecione Calibrar o foco para executar a calibração automatizada do assistente de foco. Quando a rotina Calibrar Foco estiver concluída, feche a guia Exibição de Dados .</li>
	<li>Abra a guia Análise de Imagem no software MVS e ative as opções Live FFT e Quadrantes 1 & 2 .</li>
	<li>Usando os controles de software do microscópio, ajuste as condições do feixe para que o fluxo de elétrons seja de ~500 e-/Å2·s. e mova para uma nova região na amostra e centralize o ROI da amostra na visualização ao vivo do software MVS. NOTA: Ao fazer grandes movimentos de palco, o controle de deriva e o assistente de foco serão desativados automaticamente e devem ser reativados assim que o novo ROI for selecionado.</li>
	<li>Anote as condições de dose no software usando a função Tag . Realce o ícone Tag e insira o texto desejado para indicar uma série específica de imagens dentro da linha do tempo. As imagens serão marcadas com este texto até que o ícone Tag seja desmarcado.</li>
	<li>Mantenha uma taxa de dose constante enquanto obtém imagens contínuas da mesma ROI até que os picos correspondentes à estrutura atômica no gráfico FFT tenham desaparecido.</li>
	<li>Reduza a ampliação, abra a guia Gerenciamento de dose e ative Mostrar camada de dose para sobrepor um mapa de dose codificado por cores. NOTA: Esta característica fornece uma referência visual das áreas da amostra que foram expostas ao feixe de elétrons e sua exposição de dose relativa. Destacar essas áreas em imagens individuais com o cursor indicará seus respectivos valores de dose.</li>
	<li>Desconecte e encerre a sessão desmarcando Conectar e selecione Fechar Sessão. Salve uma cópia dos dados da sessão em uma fonte externa para evitar que os dados salvos no software MVS sejam substituídos durante experimentos subsequentes (Arquivo Suplementar 2).</li>
</ol>3. Método 3: Metadados e análise de tendências e exportação de dados usando o software de análise
<ol><li>Inicie o software de análise (o software offline para visualizar os conjuntos de dados totalmente sincronizados) e abra o arquivo de sessão de experimento selecionando-o na biblioteca de arquivos. NOTA: Os usuários também podem acessar o software de análise por meio do ícone Revisar sessão no software MVS durante um experimento.</li>
	<li>Exiba as imagens corrigidas de desvio ativando a guia DC abaixo da Porta de Exibição de Imagem e selecione as sobreposições de dados desejadas marcando suas respectivas caixas de Dados de Sobreposição na guia Metadados de Imagem (neste exemplo, Microscópio, Data/Hora, Taxa de Dose, Dose Máxima e Ampliação foram usados). Outros metadados podem ser plotados conforme o desejo do usuário.</li>
	<li>Marque a caixa Linha do tempo para Dose máxima e Taxa de dose para adicionar um gráfico desses valores à linha do tempo. Realce ou role por esses gráficos para atualizar a imagem exibida no visor. Acesse uma variedade de ferramentas por meio das guias Notas, Análise de Imagens, Caixa de Ferramentas e Exibição de Dados.<ol><li>Acesse o FFT de cada imagem através da aba Análise de Imagem e clique em FFT ao vivo para atualizar o FFT enquanto percorre as imagens.</li>
		<li>Use o desvanecimento dos picos de FFT para determinar o ponto de tempo em que a estrutura da zeólita perde cristalinidade. Registre o valor de dose máxima registrado com essa imagem.</li>
	</ol></li>
	<li>Use a opção Filtro para filtrar conjuntos de dados grandes facilmente em conjuntos de dados menores e compartilháveis sem perder seus metadados associados. Abra o painel de filtro e ajuste os controles deslizantes para que apenas os dados com uma taxa de dose igual ou superior a ~500 e-/Å2·s sejam selecionados e salve a nova coleção usando o nome Estudo de Limite de Dose. Observação : filtros podem ser aplicados para qualquer um dos tipos de metadados associados.</li>
	<li>Exporte as imagens e metadados da sessão para outros tipos de arquivo enriquecidos com barras de escala e sobreposições de metadados.<ol><li>Realce a coleção no painel da biblioteca e selecione Publicar clicando com o botão direito do mouse na seleção. Na janela Publicar , selecione as opções desejadas para a exportação do tipo de arquivo.</li>
		<li>Selecione a guia de dados corrigidos de desvio e aplique sobreposições de quaisquer metadados desejados e do FFT (posicione a sobreposição FFT conforme desejado; exemplos de imagens exportadas com o FFT são mostrados na Figura 3).</li>
	</ol></li>
	<li>Exporte a série de imagens como um arquivo de filme usando a mesma opção Publicar . Selecione as imagens destacando-as na linha do tempo, usando as opções de filtro ou exportando o arquivo de banco de dados completo. Selecione o formato de filme, a taxa de quadros e o local do arquivo desejados. Um filme do experimento de degradação de zeólita obtido usando um ETM de 200 kV é fornecido no Arquivo Suplementar 3.</li>
	<li>Exporte os metadados separadamente das imagens adquiridas como um arquivo CSV selecionando a opção Metadados (CSV) durante a publicação. Observação : imagens brutas e corrigidas de desvio são exportadas como CSVs separados (arquivo suplementar 4 e arquivo suplementar 5).</li>
</ol>4. Método 4: Estudo de aquecimento in situ de ouro em nanopartículas de óxido de ferro
<ol><li>Dropcast um nanocatalisador (Au/FeOx) suspenso em etanol em um aquecedor in situ E-chip, um suporte de amostra mico-eletroquímico (MEM), e deixá-lo secar ao ar. Monte a amostra no suporte de aquecimento in situ , insira o suporte com a amostra no MET e conecte o suporte à fonte de alimentação usando o cabo fornecido. Localize um ROI de amostra usando os controles TEM. NOTA: Este experimento usou um suporte de aquecimento que é totalmente integrado com o software MVS, permitindo que os metadados de temperatura sejam incorporados com as imagens.</li>
	<li>Selecione a opção de fluxo de trabalho apropriada no software MVS (neste exemplo, o fluxo de trabalho de fusão foi usado, mas outros suportes de aquecimento do fabricante podem ser usados selecionando Outro).</li>
	<li>Siga as instruções do fluxo de trabalho para confirmar a conexão elétrica entre o suporte e o E-chip de aquecimento, carregando o arquivo de calibração e executando uma verificação do dispositivo. </li>
	<li>Conecte o microscópio ao software MVS, como mostrado anteriormente nas etapas 2.3-2.10 (neste exemplo, os valores de metadados para taxa de dose, dose máxima, correlação de correspondência, taxa de deriva e temperatura do canal A foram selecionados) e centralize a ROI da amostra no campo de visão.</li>
	<li>Abra a guia Fusion AX e configure e aplique uma temperatura.</li>
	<li>Clique no botão Configuração do Canal A para acessar as configurações de controle de temperatura. Selecione a função Temperatura e o modo de controle manual .</li>
	<li>Clique no botão Experimentar para acessar os controles experimentais. Defina a taxa de rampa para 10 °C/s e a meta para 600 °C. Clique em Aplicar para iniciar o experimento. NOTA: O experimento pode ser pausado ou interrompido a qualquer momento usando os botões de acesso rápido no canto inferior direito do software MVS, sem abrir a guia Fusion AX .</li>
	<li>Depois que a temperatura definida de 600 °C for atingida, abra a guia Fusion AX e selecione Experimentar. Altere a taxa de rampa para 2 °C e a meta para 800 °C. Clique em Aplicar para iniciar o experimento. NOTA: O procedimento para aplicar uma rampa de aquecimento depende do sistema de aquecimento in situ utilizado. As etapas destacadas acima para aplicar a rampa de temperatura se aplicam ao sistema usado neste exemplo.</li>
	<li>Realce quaisquer eventos ou pontos de interesse durante o experimento usando o recurso de marcação, conforme mostrado na etapa 2.10. Continue a criar imagens da amostra e ajuste o perfil de temperatura conforme desejado. Quando terminar, clique em Encerrar Sessão e salve o arquivo de dados usando o software de análise (uma parte do arquivo de banco de dados discutido nos resultados representativos é fornecida como Arquivo Suplementar 6).</li>
	<li>Abra o software de análise para revisar a sessão. Plote a temperatura, o fator de transformação do modelo, a taxa de dose e a dose cumulativa na linha do tempo. Exporte imagens e filmes conforme desejado usando as etapas descritas nas etapas 3.6 e 3.7. Imagens e filmes podem ser exportados com ou sem as sobreposições do mapa de dose (Figura 4).</li>
</ol>

TEM Workflows, Results Analysis, and Data Management Using a Machine-Vision Approach

<ol>
	<li>Thomas, J. M., Leary, R. K., Eggeman, A. S., Midgley, P. A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=The+rapidly+changing+face+of+electron+microscopy.">The rapidly changing face of electron microscopy.</a> Chemical Physics Letters. 631, 103-113 (2015).</li><li>Spurgeon, S. R., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Towards+data-driven+next-generation+transmission+electron+microscopy.">Towards data-driven next-generation transmission electron microscopy.</a> Nature Materials. 20 (3), 274-279 (2021).</li><li>Gai, P. L., Boyes, E. D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=In+situ+visualisation+and+analysis+of+dynamic+single+atom+processes+in+heterogeneous+catalysts.">In situ visualisation and analysis of dynamic single atom processes in heterogeneous catalysts.</a> Journal of Materials Chemistry A. 10 (11), 5850-5862 (2022).</li><li>Zheng, H., Lu, X., He, K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=In+situ+transmission+electron+microscopy+and+artificial+intelligence+enabled+data+analytics+for+energy+materials.">In situ transmission electron microscopy and artificial intelligence enabled data analytics for energy materials.</a> Journal of Energy Chemistry. 68, 454-493 (2022).</li><li>Tops&#248;e, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Developments+in+operando+studies+and+in+situ+characterization+of+heterogeneous+catalysts.">Developments in operando studies and in situ characterization of heterogeneous catalysts.</a> Journal of Catalysis. 216 (1), 155-164 (2003).</li><li>Wilkinson, M. D., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=The+FAIR+Guiding+Principles+for+scientific+data+management+and+stewardship.">The FAIR Guiding Principles for scientific data management and stewardship.</a> Scientific Data. 3 (1), 160018 (2016).</li><li>FAIR Principles. Go Fair Available from: <a target="_blank" href="https://www.go-fair.org/fair-principles/">https://www.go-fair.org/fair-principles/</a> (2023)</li><li>Draxl, C., Scheffler, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=NOMAD:+The+FAIR+concept+for+big+data-driven+materials+science.">NOMAD: The FAIR concept for big data-driven materials science.</a> MRS Bulletin. 43 (9), 676-682 (2018).</li><li>Kelly, D. F., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Liquid-EM+goes+viral-visualizing+structure+and+dynamics.">Liquid-EM goes viral-visualizing structure and dynamics.</a> Current Opinion in Structural Biology. 75, 102426 (2022).</li><li>AXON Studio Software Download. Protochips, Inc Available from: <a target="_blank" href="https://success.protochips.com/s/?language=en_US">https://success.protochips.com/s/?language=en_US</a> (2023)</li><li>Egerton, R. F., Li, P., Malac, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Radiation+damage+in+the+TEM+and+SEM.">Radiation damage in the TEM and SEM.</a> Micron. 35 (6), 399-409 (2004).</li><li>Grubb, D. T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Radiation+damage+and+electron+microscopy+of+organic+polymers.">Radiation damage and electron microscopy of organic polymers.</a> Journal of Materials Science. 9 (10), 1715-1736 (1974).</li><li>Buban, J. P., Ramasse, Q., Gipson, B., Browning, N. D., Stahlberg, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=High-resolution+low-dose+scanning+transmission+electron+microscopy.">High-resolution low-dose scanning transmission electron microscopy.</a> Journal of Electron Microscopy. 59 (2), 103-112 (2010).</li><li>Chen, Q., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Imaging+beam-sensitive+materials+by+electron+microscopy.">Imaging beam-sensitive materials by electron microscopy.</a> Advanced Materials. 32 (16), 1907619 (2020).</li><li>Krause, F. F., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Precise+measurement+of+the+electron+beam+current+in+a+TEM.">Precise measurement of the electron beam current in a TEM.</a> Ultramicroscopy. 223, 113221 (2021).</li><li>&#379;ak, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Guide+to+controlling+the+electron+dose+to+improve+low-dose+imaging+of+sensitive+samples.">Guide to controlling the electron dose to improve low-dose imaging of sensitive samples.</a> Micron. 145, 103058 (2021).</li><li>Damiano, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=AXON+dose:+A+solution+for+measuring+and+managing+electron+dose+in+the+TEM.">AXON dose: A solution for measuring and managing electron dose in the TEM.</a> Microscopy Today. 30 (4), 22-25 (2022).</li><li>Allard, L. F., Flytzani-Stephanopoulos, M., Overbury, S. H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Behavior+of+Au+species+in+Au/Fe2O3+catalysts+characterized+by+novel+in+situ+heating+techniques+and+aberration-corrected+STEM+imaging.">Behavior of Au species in Au/Fe2O3 catalysts characterized by novel in situ heating techniques and aberration-corrected STEM imaging.</a> Microscopy and Microanalysis. 16 (4), 375-385 (2010).</li><li>Sze, C., Gulari, E., Demczyk, B. G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Structure+of+coprecipitated+gold-iron+oxide+catalyst+materials.">Structure of coprecipitated gold-iron oxide catalyst materials.</a> Materials Letters. 36 (1-4), 11-16 (1998).</li><li>DiCecco, L. A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Advancing+high-resolution+imaging+of+virus+assemblies+in+liquid+and+ice.">Advancing high-resolution imaging of virus assemblies in liquid and ice.</a> Journal of Visualized Experiments. (185), e63856 (2022).</li><li>Dukes, M. J., Gilmore, B. L., Tanner, J. R., McDonald, S. M., Kelly, D. F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=In+situ+TEM+of+biological+assemblies+in+liquid.">In situ TEM of biological assemblies in liquid.</a> Journal of Visualized Experiments. (82), e50936 (2013).</li><li>Scheutz, G. M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Probing+thermoresponsive+polymerization-induced+self-assembly+with+variable-temperature+liquid-cell+transmission+electron+microscopy.">Probing thermoresponsive polymerization-induced self-assembly with variable-temperature liquid-cell transmission electron microscopy.</a> Matter. 4 (2), 722-736 (2020).</li><li>Howe, J. Y., Allard, L. F., Bigelow, W. C., Demers, H., Overbury, S. H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Understanding+catalyst+behavior+during+in+situ+heating+through+simultaneous+secondary+and+transmitted+electron+imaging.">Understanding catalyst behavior during in situ heating through simultaneous secondary and transmitted electron imaging.</a> Nanoscale Research Letters. 9 (1), 614 (2014).</li><li>Egerton, R. F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Mechanisms+of+radiation+damage+in+beam-sensitive+specimens,+for+TEM+accelerating+voltages+between+10+and+300+kV.">Mechanisms of radiation damage in beam-sensitive specimens, for TEM accelerating voltages between 10 and 300 kV.</a> Microscopy Research and Technique. 75 (11), 1550-1556 (2012).</li><li>Yoshida, K., Sasaki, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Optimal+accelerating+voltage+for+HRTEM+imaging+of+zeolite.">Optimal accelerating voltage for HRTEM imaging of zeolite.</a> Microscopy. 62 (3), 369-375 (2013).</li><li>Yoshida, K., Sasaki, Y., Kurata, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=High-resolution+imaging+of+zeolite+with+aberration-corrected+transmission+electron+microscopy.">High-resolution imaging of zeolite with aberration-corrected transmission electron microscopy.</a> AIP Advances. 3 (4), 042113 (2013).</li><li>Lee, J., Nicholls, D., Browning, N. D., Mehdi, B. L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Controlling+radiolysis+chemistry+on+the+nanoscale+in+liquid+cell+scanning+transmission+electron+microscopy.">Controlling radiolysis chemistry on the nanoscale in liquid cell scanning transmission electron microscopy.</a> Physical Chemistry Chemical Physics. 23 (33), 17766-17773 (2021).</li><li>Schneider, N. M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Electron-water+interactions+and+implications+for+liquid+cell+electron+microscopy.">Electron-water interactions and implications for liquid cell electron microscopy.</a> The Journal of Physical Chemistry C. 118 (38), 22373-22382 (2014).</li><li>Fritsch, B., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Radiolysis-driven+evolution+of+gold+nanostructures+-+model+verification+by+scale+bridging+in+situ+liquid-phase+transmission+electron+microscopy+and+x-ray+diffraction.">Radiolysis-driven evolution of gold nanostructures - model verification by scale bridging in situ liquid-phase transmission electron microscopy and x-ray diffraction.</a> Advanced Science. 9 (25), e2202803 (2022).</li><li>Alloyeau, D., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Unravelling+kinetic+and+thermodynamic+effects+on+the+growth+of+gold+nanoplates+by+liquid+transmission+electron+microscopy.">Unravelling kinetic and thermodynamic effects on the growth of gold nanoplates by liquid transmission electron microscopy.</a> Nano Letters. 15 (4), 2574-2581 (2015).</li><li>Ahmad, N., Le Bouar, Y., Ricolleau, C., Alloyeau, D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Growth+of+dendritic+nanostructures+by+liquid-cell+transmission+electron+microscopy:+a+reflection+of+the+electron-irradiation+history.">Growth of dendritic nanostructures by liquid-cell transmission electron microscopy: a reflection of the electron-irradiation history.</a> Advanced Structural and Chemical Imaging. 2 (1), 9 (2016).</li><li>Zhang, Y., Keller, D., Rossell, M. D., Erni, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Formation+of+Au+nanoparticles+in+liquid+cell+transmission+electron+microscopy:+From+a+systematic+study+to+engineered+nanostructures.">Formation of Au nanoparticles in liquid cell transmission electron microscopy: From a systematic study to engineered nanostructures.</a> Chemistry of Materials. 29 (24), 10518-10525 (2017).</li></ol>

Todos os autores são funcionários da Protochips, Inc.

A interpretação dos resultados experimentais do ETM é frequentemente dependente de muitos parâmetros experimentais interconectados, tais como configurações do microscópio, condições de imagem e, no caso de experimentos operacionais ou in situ, mudanças no ambiente ou estímulos 1,23. A análise precisa de grandes conjuntos de dados de TEM, sobre os quais esses parâmetros podem ser continuamente modificados, requer atenção significativa do operador para registrar com precisão cada condição e configuração para cada imagem em um diário de laboratório ou outra fonte de documentação externa. À medida que os conjuntos de dados TEM crescem em tamanho e complexidade, a manutenção manual de registros se torna incontrolável e as principais informações podem ser perdidas ou registradas de forma imprecisa. O software MVS descrito aqui consolida os metadados gerados durante um experimento a partir do microscópio, do detector/câmera e de outros sistemas (como porta-amostras in situ) e os alinha com suas respectivas imagens.
Além da consolidação de metadados, o software aplica algoritmos de visão mecânica para rastrear e estabilizar o campo de visão por meio de uma combinação de correções espaciais, de feixe e digitais usando suas funções Drift Correct e Focus Assist . Quando a função Drift Correct é ativada, uma imagem de 'modelo' de correlação cruzada é gerada usando a primeira imagem puxada para o software MVS. O modelo é então comparado com as imagens recebidas para calcular a direção e a magnitude da deriva ou movimento da amostra. Com essas informações, o software MVS aplica automaticamente as correções necessárias para manter as características da imagem no mesmo lugar, ajustando pelo menos um dos três parâmetros: localização do palco, mudança do feixe ou da imagem e correção digital da imagem. A função Focus Assist utiliza uma combinação de algoritmos para atribuir um valor de foco, chamado de pontuação de foco a cada imagem, e essas pontuações são comparadas para determinar a magnitude e a direção do ajuste de desfocagem a ser aplicado para manter a amostra em foco. No modo de imagem STEM, o software MVS tenta maximizar o contraste por meio de uma versão proprietária da variância normalizada para atribuir a pontuação de foco. No modo ETM, uma soma radial de intensidade é calculada no FFT e usada para calcular o escore de foco. Limitações na capacidade do software MVS de otimizar o foco ocorrem quando ele não consegue calcular com precisão a pontuação de foco correta para uma imagem. Isso geralmente ocorre quando o microscópio está desalinhado ou a amostra está significativamente fora de foco durante a calibração, impedindo que o software calcule corretamente o valor correto do escore de foco inicial. O software MVS pode ter dificuldade em calcular o escore de foco para amostras com franjas de rede bem definidas, pois as franjas de rede no FFT podem "sobrecarregar" o algoritmo de pontuação de foco; Assim, se uma amostra sair do foco, o escore de foco pode não refletir com precisão a mudança de foco. Por outro lado, trabalhar em ampliações baixas ou com uma amostra que tem um sinal FFT baixo também pode tornar desafiador calcular uma boa pontuação de foco. Para mitigar essas dificuldades, o software MVS contém uma série de algoritmos adicionais que podem ser selecionados pelo usuário para calcular a pontuação de foco se as configurações padrão não forem adequadas para a amostra. Estes devem ser testados e aplicados caso a caso para determinar os melhores algoritmos para um determinado experimento.
Mudanças morfológicas na estrutura da amostra ao longo do tempo são explicadas usando um fator de morfização de molde. Esse filtro é ajustável pelo operador, de modo que os algoritmos de registro levem em conta as mudanças morfológicas ao longo do tempo. Além disso, o software monitora a imagem contínua, as configurações do microscópio e as configurações da câmera ou do detector para atualizar automaticamente o molde quando acionado por mudanças na estrutura da amostra e após quaisquer alterações induzidas pelo operador nos parâmetros do microscópio, câmera ou detector. Como mostrado na Figura 4, Figura 5, Arquivo Suplementar 7 e Arquivo Suplementar 8, o software MVS fornece estabilização efetiva e imediata, permitindo imagens de alta resolução de amostras em movimento ou mudança dinâmicas. Embora o software seja capaz de controlar taxas muito altas de deriva ou movimento da amostra, como as que ocorrem ao aplicar uma rampa de aquecimento durante um experimento in situ , existem limitações para as correções máximas de estágio ou deslocamentos de feixe que o software pode controlar se a amostra está se movendo ou derivando muito rapidamente. Esse limite é uma função da taxa de atualização da imagem, do tamanho do campo de visão e da taxa de desvio. Para um determinado campo de visão e taxa de atualização de imagem, há uma taxa máxima de deriva que pode ser corrigida, e se os movimentos físicos não conseguem acompanhar, o processo pode terminar ou se tornar instável. A partir dos modelos de registro gerados quando recursos como Drift Correct são aplicados, metadados calculados adicionais podem ser gerados. Por exemplo, Correlação de correspondência é um registro numérico da extensão da mudança entre modelos em uma série e é usado para identificar pontos em uma linha do tempo experimental em que a amostra mudou. Um alto valor de correlação de correspondência corresponde a uma amostra que sofreu alterações em sua morfologia, e um baixo valor de correlação de correspondência corresponde a uma amostra cuja estrutura permanece relativamente estática. A correlação de correspondência é particularmente valiosa para estudos in situ , pois pode ser plotada graficamente, permitindo que o usuário identifique rapidamente imagens na série correspondente a uma mudança significativa na amostra. É importante, no entanto, entender que altos valores de correlações de correspondência também podem corresponder a mudanças nas condições de imagem, como mover o estágio ou alterar a ampliação, se essas ações forem executadas enquanto a função Correção de Desvio permanecer ativa.
O fluxo de trabalho de calibração apresentado aqui utiliza um suporte de calibração exclusivo e uma rotina de calibração semi-automatizada para calibrar com precisão o feixe sob uma variedade de condições de lente com intervenção mínima do operador. A rotina de calibração de dose é acessada através do software MVS instalado no MET. O software MVS lê automaticamente as configurações relevantes do microscópio para salvar todas as medições para referência para experimentos posteriores. Em alguns METs, não é possível ler as configurações de abertura ou monocromador, e estas devem ser inseridas nas configurações do software MVS pelo operador durante as calibrações e durante o uso. Há lembretes embutidos no software para ajudar a manter essas configurações de entrada do operador atualizadas seguindo os prompts do programa. O desenvolvimento de um suporte com um coletor de corrente embutido, em vez de depender de um integrado em outro lugar na coluna do microscópio, é uma escolha deliberada de projeto. Isso permite que o coletor de corrente seja posicionado no mesmo plano de uma amostra, eliminando erros na medição de corrente causados pela deflexão do feixe ou diferenças na absorção de elétrons por aberturas em diferentes posições do feixe. O software MVS segue uma rotina automatizada para medir a corrente e a área do feixe para qualquer combinação de condições de lente. O software pode então correlacionar essas calibrações medidas com a corrente da câmera ou da tela e extrapolar quaisquer mudanças na ampliação, etc., para a área do feixe durante o experimento. Uma vez gerados, esses arquivos de calibração podem ser usados imediatamente e são salvos automaticamente para uso posterior se o software detectar as mesmas configurações sendo usadas durante uma sessão futura. Embora a longevidade do arquivo de calibração varie de microscópio para microscópio, os autores descobriram que eles são capazes de usar os mesmos arquivos de calibração por vários meses sem observar mudanças substanciais nos valores atuais. Existem rotinas integradas monitorando o perfil de emissão das pistolas para ajudar a manter essas calibrações relevantes, especialmente em pistolas de emissão FEG frias.
A normalização das medidas de dose entre microscópios e o rastreamento automatizado da exposição do feixe de uma amostra são funções críticas do software MVS, pois permitem comparações quantitativas das condições de dose entre experimentos a serem realizados em diferentes sistemas de microscópios. A degradação induzida por dose de uma amostra de zeólita (ZSM-5), obtida durante experimentos idênticos usando microscópios diferentes, resulta no desaparecimento completo dos pontos FFT após uma dose máxima cumulativa ou limiar de elétrons (~60.000 e-/Å 2 ao aplicar uma taxa de dose de ~500 e-/Å2·s) para ambas as configurações. Estes resultados comparativos demonstram que o software de dose facilita medidas quantitativas de dose reprodutíveis. A pequena diferença na dose cumulativa na qual o desaparecimento total do ponto FFT é observado para cada experimento é provavelmente resultado das diferentes tensões de aceleração empregadas pelos dois microscópios, com tensões de aceleração mais baixas resultando em mais vias de dano de radiação, e tensões de aceleração mais altas tipicamente resultando em mais danos de detonação24. Os resultados da literatura para a dose crítica de nanopartículas de ZSM-5 variam de 9.000-14.000 e-/Å2 usando os primeiros desaparecimentos de pontos de FFT, em vez do desaparecimento completo de todos os pontos de FFT25,26. Em nossos resultados, o primeiro desaparecimento do ponto FFT corresponde a uma dose cumulativa de cerca de 25.000 e-/Å2. Estudos anteriores basearam-se em medidas de corrente obtidas usando uma tela de fósforo, que é bem documentada para subestimar as medidas de corrente do feixe quando comparadas a uma xícara de Faraday15. A dose crítica determinada pode variar por um fator de dois ou mais, dependendo de qual pico de FFT é usado para rastrear a dose. Isso indica que as frequências espaciais mais altas degradam primeiro, e podem resultar em valores diferentes dependendo do acesso à zona usada durante as medições (nossos resultados se concentraram em pontos FFT de todo o cristal de zeólita, em vez de características estruturais específicas)25,26. Essas diferenças nas técnicas e na calibração atual explicam a diferença de valores entre os dois experimentos relatados em nossos resultados e estudos prévios da literatura.
Embora as interações de dose de elétrons sejam um fator significativo em muitos experimentos de MET, estudos in situ e especificamente líquido-EM são particularmente sensíveis aos seus efeitos. A radiólise de líquidos pelo feixe de elétrons resulta em uma cascata de espécies quimicamente reativas que podem interagir com a amostra, dificultando a análise. Tanto a taxa de dose ou fluência utilizada durante um experimento líquido-EM quanto a dose cumulativa podem influenciar na concentração de espécies de radicais geradas pela radiólise líquida27,28. Assim, coletar e registrar metadados cumulativos de dose e taxa de dose ao longo de um experimento permite uma correlação direta entre as imagens e o histórico de doses de uma amostra, sendo uma maneira mais precisa de elucidar e controlar o impacto do feixe de elétrons nesses experimentos. Embora não abordado neste protocolo, um exemplo da utilidade dos recursos de gerenciamento de dose para EM líquido é mostrado na Figura 6.
<img alt="Figure 6" class="xfigimg" src="/files/ftp_upload/65446/65446fig06.jpg"> Figura 6: Crescimento induzido por feixe de nanopartículas de ouro durante um experimento líquido-EM in situ. (A) Visão geral STEM de baixa ampliação do crescimento de partículas resultante com uma sobreposição de cores do mapa de dose cumulativa em toda a região. As áreas vermelhas na sobreposição indicam regiões de exposição cumulativa elevada à dose e as áreas amarelas indicam regiões de menor exposição. Realçar um pixel individual com o cursor ou desenhar uma caixa sobre uma área usando as ferramentas de desenho incluídas indica a dose cumulativa para esse pixel ou área. A barra de escala é de 2 μm. (B,C) Imagens STEM de maior ampliação das áreas indicadas pelas caixas laranjas (b,c) em A. A área b, exposta a uma dose cumulativa mais elevada (10,811 e-/Å 2) contém partículas maiores do que as encontradas na área c, que foi exposta a uma dose cumulativa mais baixa (0,032 e-/Å2). <a href="https://www.jove.com/files/ftp_upload/65446/65446fig06large.jpg" target="_blank">Clique aqui para ver uma versão maior desta figura.</a>
A taxa de dose enriquecida e os metadados de dose cumulativa simplificam a análise das vias de crescimento e degradação de nanomateriais dependentes da dose. A Figura 6 mostra a redução induzida por feixe de uma solução de íons cloreto áurico de ouro (HAuCl3) em água durante experimentos líquido-EM. A partir da sobreposição do mapa de dose colorido na Figura 6A, é fácil visualizar que a dose cumulativa de elétrons influencia o tamanho e a forma resultantes das nanopartículas 29,30,31,32. A visão geral STEM de baixa ampliação mostra regiões expostas a uma dose cumulativa alta (vermelha) e baixa (amarela). As partículas na região exposta a doses mais altas são maiores do que as das regiões expostas a doses cumulativas mais baixas. Como os metadados de dose são diretamente incorporados em cada imagem no nível de pixel, os efeitos complexos da dose de elétrons em experimentos de EM líquido podem agora ser sistematicamente analisados de uma maneira nunca antes alcançável.
Neste protocolo, demonstramos que o software MVS fornece uma solução abrangente para calibrar, monitorar e rastrear tanto a dose de elétrons quanto a dose total entregue a uma amostra pixel a pixel. Essa capacidade desbloqueia um novo paradigma para a obtenção de imagens de amostras sensíveis à dose e para a compreensão das interações do feixe de elétrons. É particularmente empolgante para experimentos líquido-EM, pois permitirá uma interrogação mais eficaz sobre o papel que a dose de elétrons desempenha e melhorará a reprodutibilidade experimental. Esperamos que esta nova estrutura permita a coleta precisa de informações sobre a taxa de dose e a dose acumulada, facilite o compartilhamento desses dados com a comunidade para uma interpretação mais precisa dos resultados da TEM e avance a colaboração científica e o compartilhamento de dados, permitindo o relato e a análise dos principais FAIR.

Os microscópios eletrônicos de transmissão (TEMs) e suas capacidades se beneficiaram enormemente dos avanços em câmeras, detectores, porta-amostras e tecnologias de computação. No entanto, esses avanços são dificultados por fluxos de dados desconectados, limitações da operação humana e análise de dados pesada 1,2. Além disso, experimentos in situ e operacionais adaptam METs em laboratórios de nanoescala em tempo real, permitindo que amostras sejam estudadas em ambientes gasosos ou líquidos, aplicando simultaneamente uma gama de estímulos externos 3,4,5. A adoção de fluxos de trabalho tão complexos apenas ampliou essas limitações, e o aumento resultante do tamanho e da complexidade desses fluxos de dados é uma área de crescente preocupação. Assim, há uma ênfase crescente na utilização da capacidade de ação da máquina para encontrar, acessar, interoperar e reutilizar dados, uma prática conhecida como princípios FAIR6. A publicação de dados de pesquisa de acordo com o conceito de princípios FAIR tem recebido atenção favorável de agências governamentais em todo o mundo7,8, e a aplicação dos princípios FAIR usando software de visão mecânica é um passo fundamental para sua adoção.
Uma plataforma de software de sincronização de visão mecânica (MVS) foi desenvolvida em resposta aos pontos problemáticos específicos inerentes à realização e análise de experimentos complexos e pesados em metadados (particularmente experimentos in situ e operacionais)9. Uma vez instalado no TEM, o software MVS conecta, integra e se comunica com a coluna do microscópio, detectores e sistemas integrados in situ . Isso permite coletar continuamente imagens e alinhá-las com seus metadados experimentais, formando um banco de dados abrangente pesquisável, uma linha do tempo do experimento do início ao fim (Figura 1). Essa conectividade permite que o software MVS aplique algoritmos que rastreiam e estabilizam de forma inteligente uma região de interesse (ROI), mesmo quando as amostras estão passando por mudanças morfológicas. O software aplica ajustes em correções de estágio, feixe e digital conforme necessário para estabilizar o ROI por meio de suas funções Drift Control e Focus Assist . Além de enriquecer as imagens com os metadados brutos produzidos a partir dos diferentes sistemas experimentais, o software pode produzir novos metadados computacionais usando algoritmos de análise de imagens para calcular variáveis entre imagens, o que permite corrigir automaticamente desvios de amostras ou mudanças de foco.
As imagens de ETM e seus metadados associados, coletados por meio do software MVS, são organizados como uma linha do tempo experimental que pode ser aberta e visualizada por qualquer pessoa por meio da versão off-line e gratuita do software de análise, Studio (doravante denominado software de análise)10. Durante um experimento, o software MVS sincroniza e grava três tipos de imagens da câmera ou detector do microscópio, que são exibidas no topo da linha do tempo abaixo do visualizador de imagens: aquisição única (imagens individuais de aquisição única adquiridas diretamente do software TEM), raw (imagens do detector/transmissão ao vivo da câmera que não tiveram nenhuma correção de deriva digital aplicada; essas imagens podem ter sido fisicamente corrigidas via movimento de palco ou mudança de feixe) e desvio corrigido (imagens do detector/câmera transmissão ao vivo que foram digitalmente derivadas). Os dados coletados durante um experimento ou sessão podem ser refinados em seções menores ou trechos de dados, conhecidos como coleções, sem perda de metadados incorporados. A partir do software de análise, imagens, pilhas de imagens e metadados podem ser exportados diretamente para uma variedade de imagens de formato aberto e tipos de planilhas para análise usando outras ferramentas e programas.
A estrutura de controle de microscópio, estabilização e integração de metadados habilitada pelo software MVS também permite a implementação de programas ou módulos adicionais de visão mecânica, projetados para aliviar as limitações nos fluxos de trabalho atuais de TEM. Um dos primeiros módulos desenvolvidos para aproveitar essa plataforma de sincronização é a calibração da dose de elétrons e o rastreamento espacial das áreas expostas do feixe dentro da amostra. Todas as imagens de MET são formadas a partir da interação entre a amostra e o feixe de elétrons. No entanto, essas interações também podem resultar em impactos negativos e inescapáveis na amostra, como radiólise e dano por knock-on11,12, e requerem um equilíbrio cuidadoso entre a aplicação de uma dose eletrônica alta o suficiente para gerar a imagem e a minimização do dano resultante do feixe13,14.
Embora muitos usuários confiem em medições de corrente de tela para estimar a dose de elétrons, este método tem sido mostrado para subestimar amplamente a corrente real do feixe15. Valores qualitativos de dose podem ser obtidos através da corrente de tela no mesmo microscópio com as mesmas configurações, mas reproduzir essas condições de dose usando microscópios ou configurações diferentes é altamente subjetivo. Além disso, quaisquer ajustes de parâmetros de imagem feitos pelo usuário durante o experimento, como tamanho do ponto, abertura, ampliação ou intensidade, requerem uma medição separada da corrente da tela para calcular a dose resultante. Os usuários devem limitar rigorosamente as condições de imagem usadas durante um determinado experimento ou medir e registrar meticulosamente cada condição de lente utilizada, complicando e estendendo significativamente o experimento além do que é viável para a operação normal do microscópio16,17.
Dose, referido como software de dose para este protocolo, é um módulo de software de calibração de dose que utiliza um suporte de calibração dedicado projetado para permitir medições automatizadas de corrente. Um copo Faraday, o padrão ouro para calibração precisa da corrente do feixe15, é integrado na ponta do suporte de calibração. O software MVS executa uma série de calibrações de corrente de feixe e área de feixe para cada condição de lente e incorpora esses valores nas imagens no nível de pixel.
Neste artigo em vídeo, os protocolos de software MVS projetados para melhorar todas as áreas do fluxo de trabalho do MET são apresentados usando amostras representativas de nanomateriais. Uma amostra de nanopartículas de zeólita sensível ao feixe14 é usada para demonstrar os fluxos de trabalho de calibração e gerenciamento de dose. Realizamos um experimento representativo de aquecimento in situ usando uma amostra de Au/FeOx nanocatalisador18,19 que sofre alterações morfológicas significativas quando aquecida. Este experimento in situ destaca os algoritmos de estabilização do software e sua capacidade de agrupar múltiplos fluxos de metadados, o que é um desafio inerente para estudos in situ e operacionais. Embora não descrito no protocolo, devido à sua sensibilidade única à dose eletrônica, discutimos exemplos representativos da utilidade do software para estudos de EM-líquido (protocolos para os quais já foram relatados na literatura20,21,22), e como essas técnicas podem ser aplicadas para melhorar a compreensão do efeito da dose em experimentos líquido-EM. Finalmente, mostramos como a análise de dados é simplificada usando o software de análise offline para visualizar, filtrar e exportar uma variedade de arquivos de imagem, vídeo e dados para outros formatos acessíveis.
<img alt="Figure 1" class="xfigimg" src="/files/ftp_upload/65446/65446fig01.jpg"> Figura 1: Exemplos de interface do usuário para MVS e software de análise. (A) O painel de visualização de imagens e o painel de controle do software de sincronização. Uma conexão entre o MET e o software de sincronização é estabelecida ativando o botão Conectar, que transmite as imagens e metadados do microscópio para o software de sincronização. A partir do visualizador de imagens, o operador pode realizar uma variedade de operações assistidas por visão mecânica, como Drift Correct e Focus Assist. Ele também fornece a capacidade de aplicar imagens de marca e sessão de revisão sem interromper a coleta de dados. (B) Captura de tela do software de análise de imagem destacando a localização da Porta de Visualização de Imagem, Linha do Tempo e o painel Metadados e Análise. O software de análise pode ser acessado a qualquer momento durante um experimento para revisar as imagens adquiridas até aquele momento usando o botão Sessão de Revisão. <a href="https://www.jove.com/files/ftp_upload/65446/65446fig01large.jpg" target="_blank">Clique aqui para ver uma versão maior desta figura.</a>

<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td>ARM200F CFEG</td>
			<td>JEOL</td>
			<td></td>
			<td>Transmission Electron Microscope (200 kV)</td>
		</tr>
		<tr>
			<td>AXON DOSE Calibration Holder</td>
			<td>Protochips, Inc.</td>
			<td>AXA-FC-TFS</td>
			<td>Dose calibration and management hardware package for ThermoFisher ScientificTEM</td>
		</tr>
		<tr>
			<td>AXON DOSE Software:&#160; Version 10.6.5.3</td>
			<td>Protochips, Inc.</td>
			<td>AX-MOD-DOSE-01-1YR</td>
			<td>Dose calibration and management software</td>
		</tr>
		<tr>
			<td>AXON Studio Software: Version 10.6.5.3</td>
			<td>Protochips, Inc.</td>
			<td>No Part Number. 
			Available to download at&#160; success.protochips.com</td>
			<td>Offline analysis software for AXON datasets.&#160; A free copy of the AXON Studio software is available for down load at:&#160; success.protochips.com</td>
		</tr>
		<tr>
			<td>AXON Synchronicity Core</td>
			<td>Protochips, Inc.</td>
			<td>AXON-CORE</td>
			<td>Hardware component of the synchronization software.</td>
		</tr>
		<tr>
			<td>AXON Synchronicity Software:&#160; Version 10.6.5.3</td>
			<td>Protochips, Inc.</td>
			<td>AX-MOD-SYNCPRO-01-1YR</td>
			<td>Synchronization software</td>
		</tr>
		<tr>
			<td>Fusion In-Situ Heating E-chip</td>
			<td>Protochips, Inc.</td>
			<td>E-FHDC-VO-10</td>
			<td>Sample Support E-chip with carbon film.&#160; Used with in situ heating system</td>
		</tr>
		<tr>
			<td>Fusion Select In Situ Heating System</td>
			<td>Protochips, Inc.</td>
			<td>FFAD-6200-EXP</td>
			<td>In-situ MEMs heating system for ThermoFisher Scientific TEM.</td>
		</tr>
		<tr>
			<td>Gold(III) chloride (50% gold basis) hydrate 50790</td>
			<td>Sigma Aldrich</td>
			<td>27988-77-8</td>
			<td>Used to prepare Au/FeOx nanocatalyst.&#160; Coprecipitation synthesis procedure followed in C. Sze et al. Materials Letters. 36 (1&#8211;4), 11&#8211;16 (1998)</td>
		</tr>
		<tr>
			<td>Iron (III) Oxide 310050 (Fe2O3)</td>
			<td>Sigma Aldrich</td>
			<td>1309-37-1</td>
			<td>Used to prepare Au/FeOx nanocatalyst.&#160; Coprecipitation synthesis procedure followed in C. Sze et al. Materials Letters. 36 (1&#8211;4), 11&#8211;16 (1998)</td>
		</tr>
		<tr>
			<td>Titan ChemiSTEM</td>
			<td>ThermoFisher Scientific</td>
			<td></td>
			<td>Transmission Electron Microscope (300 kV)</td>
		</tr>
		<tr>
			<td>Zeolite ZSM-5</td>
			<td>Zeolyst</td>
			<td>CBV 8014</td>
			<td>&#160;Nanocatalyst sample:&#160; 80 SiO2/Al2O3 Mole Ratio</td>
		</tr>
	</tbody>
</table>

a machine-vision approach to transmission electron microscopy workflows, results analysis and data management

A microscopia eletrônica de transmissão (MET) permite que os usuários estudem materiais em sua escala atômica fundamental. Experimentos complexos geram rotineiramente milhares de imagens com inúmeros parâmetros que exigem análises demoradas e complicadas. A sincronicidade AXON é uma solução de software de sincronização de visão mecânica (MVS) projetada para abordar os pontos problemáticos inerentes aos estudos de TEM. Uma vez instalado no microscópio, ele permite a sincronização contínua de imagens e metadados gerados pelo microscópio, detector e sistemas in situ durante um experimento. Essa conectividade permite a aplicação de algoritmos de visão mecânica que aplicam uma combinação de correções espaciais, de feixe e digitais para centralizar e rastrear uma região de interesse dentro do campo de visão e fornecer estabilização imediata da imagem. Além da melhora substancial na resolução proporcionada por essa estabilização, a sincronização de metadados permite a aplicação de algoritmos computacionais e de análise de imagens que calculam variáveis entre imagens. Esses metadados calculados podem ser usados para analisar tendências ou identificar áreas-chave de interesse dentro de um conjunto de dados, levando a novos insights e ao desenvolvimento de recursos de visão mecânica mais sofisticados no futuro. Um desses módulos que se baseia nesses metadados calculados é a calibração e o gerenciamento da dose. O módulo de dose fornece calibração, rastreamento e gerenciamento de última geração da fluência eletrônica (e-/Å 2·s-1) e da dose cumulativa (e-/Å2) que é entregue a áreas específicas da amostra em uma base pixel a pixel. Isso permite uma visão abrangente da interação entre o feixe de elétrons e a amostra. A análise de experimentos é simplificada por meio de um software de análise dedicado no qual conjuntos de dados que consistem em imagens e metadados correspondentes são facilmente visualizados, classificados, filtrados e exportados. Combinadas, essas ferramentas facilitam colaborações eficientes e análises experimentais, incentivam a mineração de dados e aprimoram a experiência de microscopia.

A Machine-Vision Approach to Transmission Electron Microscopy Workflows, Results Analysis and Data Management

Este trabalho destaca a utilidade da aquisição de dados usando o software MVS para imagens de TEM e experimentos in situ. O alinhamento do microscópio e a configuração da condição foram realizados e selecionados através dos controles padrão do fabricante do ETM. Após a configuração inicial, os protocolos apresentados neste artigo em vídeo foram conduzidos por meio do software MVS. Um ETM de 300 kV foi utilizado para todos os experimentos apresentados no protocolo de vídeo e dados representativos, exceto para os dados de comparação de zeólitas que foram adquiridos usando uma FEG fria de 200 kV (Figura 3D-F e Tabela 1). Todos os metadados foram coletados e alinhados às suas respectivas imagens automaticamente pelo software MVS.
Depois de iniciar o software e selecionar o fluxo de trabalho apropriado no menu, uma conexão com o microscópio é estabelecida ativando o botão Conectar na barra de ferramentas na extremidade esquerda do visualizador de imagens, como mostrado na Figura 1A. Quando o botão Conectar é realçado, as imagens e os metadados associados do microscópio são automaticamente transmitidos para o software MVS e aparecem no painel de visualização de imagens. Essas imagens e seus metadados associados são salvos cronologicamente em uma linha do tempo que pode ser aberta, revisada e analisada sem interromper o registro de novos dados na linha do tempo (Figura 1B). O streaming pode ser interrompido pelo usuário a qualquer momento, desativando o ícone Conectar .
Depois que a conexão é ativada, outros fluxos de trabalho que dependem da estrutura de software MVS podem ser acessados. Nos exemplos mostrados neste protocolo de vídeo, uma calibração de dose deve ser realizada antes de utilizar as outras funções do software MVS. A calibração da dose é um processo automatizado controlado pelo software MVS; ele usa um suporte de calibração de dose de copo Faraday dedicado para medir a corrente e a área do feixe para a combinação de parâmetros. O suporte de calibração do copo de Faraday, mostrado na Figura 2, conecta-se a um picoâmmetro externo, que mede com precisão a corrente do feixe. Uma vez inserido no microscópio, o orifício de alinhamento fiducial é centralizado e as condições de feixe desejadas a serem calibradas (tamanhos de pontos, aberturas e ampliações) são inseridas no software. O software executa uma série de etapas de calibração para cada combinação das condições selecionadas. Durante a calibração da dose, o suporte move-se automaticamente entre o copo coletor de corrente Faraday integrado e o orifício de passagem. A medição de corrente para cada combinação de condições de lente é medida no copo de Faraday pelo picoamperímetro. Em seguida, o software traduz o estágio para centralizar o feixe no furo transversal e a área do feixe é determinada através de algoritmos de visão mecânica. Esta série de medições constrói um perfil da relação entre a intensidade/brilho e a área do feixe. Isso permite que o software extrapole a área do feixe à medida que a configuração de intensidade/brilho é ajustada durante um experimento, independentemente do campo de visão. Os valores de dose cumulativa e taxa de dose são calculados usando essas medições de corrente e área do feixe e um arquivo de calibração de dose é gerado. Este processo define essencialmente uma "impressão digital" de dose para o ETM e suas condições individuais de lente. Uma vez calibrada a dose para o ETM, o usuário é capaz de operar normalmente e ajustar livremente a magnificação e a intensidade, sem perda de informação de dose ou anotação manual17. Após a conclusão da calibração, o suporte de calibração da dose é removido, permitindo que a amostra seja inserida normalmente. O processo de calibração para os modos MET e STEM normalmente leva menos de 10 min.
Depois de calibrar as condições de dose, uma amostra de nanopartícula de zeólita comprada comercialmente (ZSM-5) foi fotografada sob condições de alta taxa de dose para determinar a dose limite (cumulativa) na qual a amostra está muito danificada para fornecer informações estruturais. As nanopartículas ZSM-5 foram suspensas em etanol e dropcast em uma malha convencional de MET de cobre. Eles foram fotografados continuamente a 300 kV no modo MET usando um tamanho de ponto de 3 e uma abertura do condensador de 100 μm. A taxa de dose lida pelo software MVS em condições de alta taxa de dose foi de 519 e-/Å2·s. As nanopartículas no campo de visão foram fotografadas continuamente até que os picos na FFT desaparecessem, indicando degradação da estrutura cristalina, como mostrado na Figura 3A-C e Arquivo Suplementar 3. Sobreposições (que podem ser adicionadas durante um experimento ao vivo ou posteriormente no software de análise) foram aplicadas às imagens de ETM para mostrar a data e hora, taxa de dose, dose máxima (cumulativa) e magnificação. A taxa de dose manteve-se constante durante os experimentos, com a dose cumulativa (dose máx) aumentando em função do tempo. Os picos de FFT começaram a desaparecer após 42 s de imagem contínua (Figura 3B). Em 1 min e 20 s e uma dose cumulativa de ~60.000 e-/Å2, os picos de FFT desapareceram completamente (Figura 3C).
Para mostrar que este método de calibração gera medidas quantitativas de dose que podem ser aplicadas a outros microscópios operando sob diferentes configurações, o mesmo processo de calibração e experimento de degradação de zeólita foi conduzido usando um canhão de emissão de campo frio (FEG) de 200 kV MET e um tamanho de ponto de 1. Este microscópio foi calibrado usando o mesmo procedimento descrito no Método 1, e o mesmo experimento descrito no Método 2 foi realizado usando os novos ajustes de tamanho de ponto e abertura. As regulagens do feixe foram ajustadas de modo que a diferença na taxa de dose aplicada entre os dois experimentos fosse desprezível (499 e-/Å 2·s vs. 519 e-/Å2·s). Como mostrado na Figura 3D-F e resumido na Tabela 1, as manchas FFT desaparecem completamente após 1 min e 50 s de imagem contínua e uma dose cumulativa de 58.230 e-/Å2, o que se alinha com os valores obtidos no primeiro experimento.
Um exemplo de como o software MVS pode se beneficiar de experimentos in situ foi mostrado através da realização de um experimento de aquecimento. Uma amostra representativa de nanocatalisador, Au/FeOx (sintetizada seguindo um procedimento publicado19), foi selecionada como sistema de exemplo por sofrer mudanças morfológicas e estruturais dinâmicas em altas temperaturas. Essa mobilidade induzida pela temperatura torna desafiador manter a ROI centrada no campo de visão devido ao próprio movimento da amostra e à expansão térmica do próprio suporte da amostra durante as mudanças de temperatura18. Com os recursos Drift Correct e Focus Assist ativados, a amostra foi fotografada durante um período de ~30 s a 800 °C. Em temperaturas elevadas, as nanopartículas de ouro dentro do Au/FeOx migraram ao longo da superfície do suporte de óxido de ferro e sinterizaram para formar partículas maiores, como mostrado na Figura 4 e como um filme no Arquivo Suplementar 7. A Figura 5 mostra uma série de instantâneos de MET (Figura 5A-F) de uma região porosa dentro de um nanocatalisador Au/FeOx, registrados em vários pontos de tempo (Figura 5G) durante um experimento de aquecimento in situ. O valor de deriva coordenada da ROI foi calculado automaticamente pelo software. Os valores coordenados de deriva e temperatura das imagens ao longo da série são mostrados graficamente na Figura 5G. Como esperado, a deriva coordenada da amostra aumenta à medida que o perfil de temperatura aumenta, de uma taxa de ~9 nm/min para ~62 nm/min, e começa a diminuir em direção ao nivelamento à medida que a temperatura é mantida constante. Apesar dessa alta taxa de deriva e das alterações na morfologia da amostra, imagens de alta resolução são facilmente obtidas durante a rampa de temperatura, revelando movimento dentro da região porosa, como mostra o Arquivo Suplementar 8. Consulte o Arquivo Suplementar 9 para obter instruções de download e especificações do computador.
<img alt="Figure 2" class="xfigimg" src="/files/ftp_upload/65446/65446fig02.jpg"> Figura 2: Calibração e rastreamento da dose de elétrons . (A) A dose é calibrada usando um porta-amostra dedicado que contém um coletor de corrente posicionado no plano da amostra para medições da corrente do feixe. (B) Ilustração das características do desenho da ponta: Esquerda: copo Faraday; Meio: furo fiduciário; Direita: através do furo (C). A dose de elétrons aplicada pode ser visualizada no software usando mapas codificados por cores para denotar diferentes exposições de dose dentro de uma imagem. <a href="https://www.jove.com/files/ftp_upload/65446/65446fig02large.jpg" target="_blank">Clique aqui para ver uma versão maior desta figura.</a>
<img alt="Figure 3" class="xfigimg" src="/files/ftp_upload/65446/65446fig03.jpg"> Figura 3: Degradação induzida por dose de elétrons de nanopartículas de zeólita (ZSM-5). (A-C) Instantâneos tirados durante um período de 1 min e 20 s mostrando dados de degradação obtidos com uma FEG de 300 kV e uma taxa de dose medida de 519 e-/Å2·s; a zeólita degrada-se dentro de 1 min e 20 s. (D-E) Instantâneos tirados durante um período de tempo de 1 min e 50 s mostrando dados de degradação obtidos com um MET FEG frio de 200 kV e uma taxa de dose de elétrons de 499 e-/Å2·s; as inserções mostram o ponto FFT desaparecendo com o tempo. A barra de escala é de 60 nm. <a href="https://www.jove.com/files/ftp_upload/65446/65446fig03large.jpg" target="_blank">Clique aqui para ver uma versão maior desta figura.</a>
<img alt="Figure 4" class="xfigimg" src="/files/ftp_upload/65446/65446fig04.jpg"> Figura 4: A sincronicidade AXON aplica algoritmos de visão mecânica para rastrear e estabilizar amostras em evolução dinâmica. Os metadados gerados durante o experimento podem ser plotados ao longo da linha do tempo, permitindo que o usuário emparelhe rapidamente uma imagem com seus metadados associados enquanto percorre a série de imagens geradas durante o experimento. (A-H) Imagens de uma amostra de nanocatalisador (Au/FeOx) a 800 °C registradas durante um período de 28 s com (A-D) e sem (E-H) a sobreposição do mapa de dose. As áreas vermelhas na sobreposição indicam regiões de exposição cumulativa elevada à dose e as áreas amarelas indicam regiões de menor exposição. Realçar um pixel individual indica a dose cumulativa para esse pixel. As setas brancas nos painéis E-H indicam duas partículas que se fundem durante o experimento, e a seta laranja indica a trajetória de uma partícula de ouro em movimento. (I) A linha do tempo do experimento gerada pelo software de análise para as séries de imagens mostradas em A-H. Os pontos laranjas na parte superior da linha do tempo denotam imagens brutas (não corrigidas digitalmente) e os pontos azuis denotam imagens corrigidas por desvio. As barras verticais laranjas indicam os pontos na linha do tempo correspondentes às imagens mostradas nos painéis A-H. A barra de escala é de 40 nm. <a href="https://www.jove.com/files/ftp_upload/65446/65446fig04large.jpg" target="_blank">Clique aqui para ver uma versão maior desta figura.</a>
<img alt="Figure 5" class="xfigimg" src="/files/ftp_upload/65446/65446fig05.jpg"> Figura 5: Instantâneos de TEM de uma região porosa dentro de um nanocatalisador Au/FeOx em vários pontos de tempo. O software MVS estabiliza e centraliza a amostra mesmo durante altas taxas de deriva, como as que ocorrem durante uma rampa de temperatura através da aplicação de estágio, deslocamento do feixe e correções digitais, como indicado por algoritmos de visão mecânica. (A-F) Instantâneos de MET de uma região porosa dentro de um nanocatalisador Au/FeOx, registrados em vários pontos de tempo (G) durante um experimento de aquecimento in situ. A taxa de deriva do ROI é automaticamente calculada e registrada durante um experimento pelo software MVS. Conforme plotado em (G), à medida que o perfil de temperatura é alterado (a linha azul), a taxa de deriva (linha laranja) aumenta à medida que a temperatura aumenta e diminui à medida que a temperatura é mantida constante. <a href="https://www.jove.com/files/ftp_upload/65446/65446fig05large.jpg" target="_blank">Clique aqui para ver uma versão maior desta figura.</a>
<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always"><tbody><tr><td>Tipo de microscópio</td>
			<td>300 kV FEG TEM</td>
			<td>200 kV FEG TEM a Frio</td>
		</tr><tr><td>Tamanho do ponto/Abertura do condensador 2</td>
			<td>3/100 μm</td>
			<td>1/100 μm</td>
		</tr><tr><td>Taxa de Dose</td>
			<td>519 e-/A2•s1</td>
			<td>499 e-/A2•s1</td>
		</tr><tr><td>Perda de estrutura medida por FFT (Dose acumulada)</td>
			<td>60.270 e-/A2 </td>
			<td>58.230 e-/A2 </td>
		</tr></tbody></table>Tabela 1: Comparação sumária dos resultados de degradação de zeólitas obtidos de diferentes microscópios.
Arquivo suplementar 1: Captura de tela da interface do software MVS com a guia de gerenciamento de dose aberta. <a href="https://www.jove.com/files/ftp_upload/65446/Supplemental%20File%201%20-%20User%20Interface.pdf" target="_blank">Clique aqui para baixar este arquivo.</a>
Arquivo suplementar 2: arquivo de banco de dados do software MVS do experimento de degradação de zeólita induzida por feixe. Este software de visualização/análise está disponível para download gratuito. Consulte o Arquivo Suplementar 9 para obter instruções de download e especificações do computador. <a href="https://www.jove.com/files/ftp_upload/65446/Supplemental_File_2-Data_High_Dose_Zeolite_Degradation_TFS_compressed.zip" target="_blank">Clique aqui para baixar este arquivo.</a>
Arquivo Suplementar 3: Filme da degradação da zeólita induzida pelo feixe. <a href="https://www.jove.com/files/ftp_upload/65446/Supplemental%20File%203%20-%20Zeolite%20Degradation%20TFS.mp4" target="_blank">Clique aqui para baixar este arquivo.</a>
Arquivo suplementar 4: arquivo CSV 1 (degradação de zeólita: dados brutos [somente correção mecânica]) <a href="https://www.jove.com/files/ftp_upload/65446/Supplemental%20File%204%20-%20Zeolite%20CSV%20Raw.csv" target="_blank">Clique aqui para baixar este arquivo.</a>
Arquivo Suplementar 5: Arquivo CSV (degradação de zeólita: correção de deriva [correção mecânica + digital]) <a href="https://www.jove.com/files/ftp_upload/65446/Supplemental%20File%205%20-%20Zeolite%20CSV%20Drift%20Corrected.csv" target="_blank">Clique aqui para baixar este arquivo.</a>
Arquivo suplementar 6: Arquivo de banco de dados do software MVS Experimento de aquecimento in situ nanocatalyst. <a href="https://www.jove.com/files/ftp_upload/65446/Supplemental%20File%206%20-%20AuFeOx%20800C%20Madeline%20Dressel%20Dukes.zip" target="_blank">Clique aqui para baixar este arquivo.</a>
Arquivo suplementar 7: Filme do nanocatalisador a 800 °C com sobreposições de dose. <a href="https://www.jove.com/files/ftp_upload/65446/Supplemental%20File%207%20-%20AuFeOx%20Dose%20Map%20800.mp4" target="_blank">Clique aqui para baixar este arquivo.</a>
Arquivo Suplementar 8: Filme do nanocatalisador durante uma rampa de temperatura com valores de deriva coordenados. <a href="https://www.jove.com/files/ftp_upload/65446/Supplemental%20File%208%20-%20AuFeOx%20Temperature%20Ramp.mp4" target="_blank">Clique aqui para baixar este arquivo.</a>
Arquivo Suplementar 9: Instruções para baixar o software de análise gratuito. <a href="https://www.jove.com/files/ftp_upload/65446/Supplemental%20File%209%20-%20Download%20Instructions.pdf" target="_blank">Clique aqui para baixar este arquivo.</a>

Watch this Scientific Journal Video about A Machine-Vision Approach to Transmission Electron Microscopy Workflows, Results Analysis and Data Management at JoVE.com

A Machine-Vision Approach to Transmission Electron Microscopy Workflows, Results Analysis and Data Management (Video) | JoVE 

Aqui, apresentamos um protocolo para utilizar software de visão mecânica para estabilizar processos dinâmicos durante imagens de TEM, enquanto indexamos simultaneamente vários fluxos de metadados para cada imagem em uma linha do tempo navegável. Demonstramos como esta plataforma permite a calibração automatizada e o mapeamento da dose de elétrons ao longo de um experimento.

Uma abordagem de visão mecânica para fluxos de trabalho de microscopia eletrônica de transmissão, análise de resultados e gerenciamento de dados

Transmission electron microscopy (TEM) enables users to study materials at their fundamental, atomic scale. Complex experiments routinely generate ...

Essa tecnologia foi desenvolvida para tornar os estudos de ETM de alto desempenho acessíveis a usuários de todos os níveis de habilidade. Além disso, os avanços científicos exigem os esforços colaborativos de vários pesquisadores, portanto, uma plataforma eficiente para compartilhar e analisar grandes e complexos conjuntos de dados é essencial para pesquisas bem-sucedidas Estudos operacionais e in situ transformam um MET em um nanolaboratório em tempo real, permitindo que os pesquisadores explorem os processos dinâmicos em nanoescala que controlam as propriedades de crescimento dos materiais. Um dos maiores desafios para estudos in situ de ETM é isolar os efeitos da irradiação do feixe do comportamento intrínseco da amostra.A medição e o rastreamento precisos da dose de elétrons são essenciais, mas sem o software de gerenciamento de dose, pode-se apenas medir a taxa de dose de elétrons em vez da dose total ou crítica Fluxos de trabalho complexos de TEM geram grandes conjuntos de dados que devem ser alinhados manualmente e indexados às suas respectivas imagens. Nesse processo demorado, informações importantes, como ajustes nas condições de imagem ou no ambiente das amostras, podem ser perdidas, dificultando a análise e a reprodutibilidade. Desenvolvemos um fluxo de trabalho de visão mecânica para coletar e indexar as imagens e metadados produzidos durante um experimento em uma linha do tempo enriquecida em dados e pesquisável.Algoritmos computacionais e de análise de imagens podem calcular variáveis entre imagens, aplicar correções e identificar tendências ocultas. Ao calcular, sincronizar e indexar novos metadados em cada imagem, a análise multimodal é repentinamente uma nova possibilidade. Por exemplo, informações precisas de dose acumulada e taxa de dose nas imagens de zeólita permitem a avaliação quantitativa dos danos da amostra em milhares de imagens.Continuaremos a impulsionar as capacidades da MET in situ, tornando os resultados acessíveis e interpretáveis e melhorando a reprodutibilidade experimental. Este software é uma plataforma para desenvolver módulos orientados por fluxo de trabalho que visam aplicações específicas e historicamente difíceis para tornar os experimentos de TEM in situ mais fáceis e ricos em informações.