Name: deep learning-based segmentation of cryo-electron tomograms
Uploaded: 2022-11-11T14:00:00
Duration: 10 min 25 s
Description: Watch this Scientific Journal Video about Deep Learning-Based Segmentation of Cryo-Electron Tomograms at JoVE.com

这项研究得到了宾夕法尼亚州立大学医学院和生物化学与分子生物学系以及烟草结算基金（TSF）拨款4100079742-EXT的支持。该项目中使用的CryoEM和CryoET核心（RRID：SCR_021178）服务和仪器部分由宾夕法尼亚州立大学医学院通过研究和研究生副院长办公室以及宾夕法尼亚州卫生部 使用 烟草结算基金（CURE）资助。内容完全由作者负责，并不一定代表大学或医学院的官方观点。宾夕法尼亚州卫生部明确声明不对任何分析、解释或结论负责。

注意：蜻蜓 2022.1 需要高性能工作站。系统建议与用于此协议的工作站的硬件一起包含在 材料表中 。此协议中使用的所有断层图像都从 3.3 到 13.2 ang/pix 的像素大小进行 4 倍分箱。代表性结果中使用的样品来自一家遵循符合该机构道德标准的动物护理指南的公司（见 材料表）。该协议中使用的断层图和作为训练输入生成的多ROI已作为捆绑数据集包含在 补充文件1 中（可在 https://datadryad.org/stash/dataset/doi:10.5061/dryad.rxwdbrvct 中找到），因此用户可以根据需要跟踪相同的数据。Dragonfly还托管了一个名为Infinite Toolbox的开放访问数据库，用户可以在其中共享经过训练的网络。
1. 设置
<ol><li>更改默认工作区：<ol><li>要更改工作空间以镜像此协议中使用的工作空间，请在主面板的左侧向下滚动到场景的视图属性部分，然后取消选择显示图例。向下滚动到布局部分，然后选择单个场景和四个相等视图视图。</li>
		<li>要更新默认单位，请转至 “文件”|”首选项。在打开的窗口中，将 默认单位 从毫米更改为 纳米。</li>
	</ol></li>
	<li>有用的默认键绑定：<ol><li>按 Esc 键可在 2D 视图中显示十字准线，并允许在 3D 视图中旋转 3D 体积。按 X 可隐藏 2D 视图中的十字准线，并允许在 3D 视图中进行 2D 平移和 3D 体积平移。</li>
		<li>将鼠标悬停在 十字准线 上可查看小箭头，单击和拖动这些 小箭头 以更改其他 2D 视图中查看平面的角度。</li>
		<li>按 Z 在两个视图中进入 缩放状态 ，允许用户单击并拖动任意位置以放大和缩小。</li>
		<li>双击 四视图场景中 的视图以仅聚焦该视图;再次双击可返回到所有四个视图。</li>
	</ol></li>
	<li>通过将“ 属性 ”选项卡中的所有内容导出为 ORS 对象来定期保存进度，以便于导入。选择列表中的所有对象，然后右键单击 “导出 |作为 ORS 对象。命名文件并保存。或者，转到 “文件”|”保存会话。要使用软件中的自动保存功能，请通过 “文件”|”偏好 |自动保存。</li>
</ol>2. 图片导入
<ol><li>要 导入图像，请转到 “文件”|”导入图像文件。单击 添加，导航到图像文件，然后单击 打开 |下一页 |完成。 注：软件无法识别 .rec 文件。所有断层扫描必须具有 .mrc 后缀。如果使用提供的数据，请改为转到 “文件”|”导入对象。导航到 Training.ORSObject 文件 并单击“ 打开”，然后单击“ 确定”。</li>
</ol>3. 预处理（图 1.1）
<ol><li>创建自定义强度等级（用于跨数据集校准图像强度）。转到 实用程序 |维度单元管理器。在 左下角，单击 + 以创建新的 维度单位。</li>
	<li>选择所有感兴趣的断层图中的高强度（明亮）和低强度（暗）特征。为单位指定名称和缩写（例如，对于此刻度，将 基准磁珠 设置为 0.0 标准强度 ， 将背景 设置为 100.0）。 保存 自定义维度单位。 注意：自定义强度标度是创建并应用于数据的任意刻度，以确保所有数据都位于相同的强度标度上，尽管这些数据是在不同时间或不同设备上收集的。选择最能代表信号落入范围的明暗要素。如果数据中没有基准点，只需选择要分割的最暗特征（例如，蛋白质最暗的区域）。</li>
	<li>要将图像校准为自定义强度刻度，请右键单击屏幕右侧“属性”列中的数据集，然后选择“校准强度标度”。在屏幕左侧的“主要”选项卡上，向下滚动到“探测”部分。使用具有适当直径的圆形探针工具，单击断层扫描背景区域中的几个位置，然后在“原始强度”列中记录平均数;对基准标记重复此操作，然后单击校准。如有必要，请使用“主要”选项卡的“窗口调配”部分中的“区域”工具调整对比度以使结构再次可见。</li>
	<li>图像过滤： 注意：图像滤波可以降低噪声并增强信号。该协议使用软件中内置的三个过滤器，因为它们最适合此数据，但有许多过滤器可用。一旦确定了感兴趣数据的图像过滤协议，就必须在分割之前对所有断层图应用 完全相同的协议 。<ol><li>在左侧 的主选项卡中， 向下滚动到 图像处理面板。单击 高级 并等待新窗口打开。在 “属性 ”面板中，选择要筛选的数据集，并通过单击数据集左侧的 眼睛 图标使其可见。</li>
		<li>在 “ 操作”面板中，使用下拉菜单为第一个操作选择 直方图均衡 （在 “对比度 ”部分下）。选择 “添加操作”|”高斯（ 在 平滑 部分下）。将 内核尺寸 更改为 3D。</li>
		<li>添加第三个操作;然后，选择“ 取消锐 化”（在 “锐化 ”部分下）。将输出留给这个。应用于所有切片并让过滤运行，然后关闭 图像处理 窗口以返回主界面。</li>
	</ol></li>
</ol>4. 创建训练数据（图 1.2）
<ol><li>首先在“数据属性”面板中单击未筛选数据集左侧的眼睛图标来隐藏训练区域，从而识别训练区域。然后，显示新过滤的数据集（将自动命名为DataSet-HistEq-Gauss-Unsharp）。使用过滤后的数据集，确定包含所有感兴趣要素的断层影像子区域。</li>
	<li>若要在感兴趣区域周围创建框，请在左侧 的主选项卡中向下 滚动到 “形状 ”类别，然后选择“ 创建框”。在 “四视图 ”面板中，使用不同的 2D 平面 来帮助引导/拖动框的边缘，以仅包围所有维度的感兴趣区域。在 数据列表中，选择 Box 区域并通过单击眼睛符号旁边的 灰色方块 更改边框的颜色以便于查看。 注意：2D U-Net 的最小图块大小为 32 x 32 像素;400 x 400 x 50 像素是开始的合理框大小。</li>
	<li>要创建多投资回报率，请在左侧选择 细分 选项卡 |新建 并选中 创建为多投资回报率。确保类的数量与感兴趣的要素数量 + 背景类相对应。命名多 ROI 训练数据 并确保几何与数据集相对应，然后单击 确定。</li>
	<li>对训练数据进行分段<ol><li>滚动浏览数据，直到在框内的区域的边界内。在右侧的属性菜单中选择多投资回报率。双击多 ROI 中的第一个空白类名称以对其进行命名。</li>
		<li>使用 2D 画笔绘画。在左侧的 分割 选项卡中，向下滚动到 2D 工具 并选择 圆形画笔。然后，从下拉菜单中选择 自适应高斯 或 局部 OTSU 。要绘画，请按住 左键 并单击。要擦除，请按住 左移 键并单击。 注意：画笔将反映当前所选类的颜色。</li>
		<li>对多 ROI 中的每个对象类重复上一步。确保框内区域中的所有结构都已完全分段，否则它们将被网络视为背景。</li>
		<li>标记完所有结构后，右键单击多 ROI 中的背景类，然后选择将所有未标记的体素添加到类。</li>
	</ol></li>
	<li>创建一个名为 掩码的新单类 ROI。确保几何设置为过滤后的数据集，然后单击 应用。在右侧 的属性 选项卡中，右键单击 该框 ，然后选择添加到 ROI。将其添加到 掩码投资回报率。</li>
	<li>要使用掩码修剪训练数据，请在属性选项卡中，通过按住 Ctrl 并单击每个 ROI 来选择训练数据多 ROI 和掩码 ROI。接下来，单击标记为布尔运算的部分中的数据属性列表下方的相交。将新数据集命名为修剪训练输入，并确保几何与过滤后的数据集相对应，然后单击确定。</li>
</ol>5. 使用分割向导进行迭代训练（图 1.3）
<ol><li>首先右键单击“ 属性 ”选项卡中筛选的数据集，然后选择“分割向导”选项，将训练数据导入分段 向导 。当新窗口打开时，查找右侧的 输入 选项卡。单击 从多 ROI 导入帧 ，然后选择 修剪的训练输入。</li>
	<li>（可选）创建视觉反馈框架以实时监控培训进度。<ol><li>从未分割的数据中选择一个帧，然后单击 + 将其添加为新帧。双击帧右侧的 混合 标签并将其更改为 “监视”。</li>
	</ol></li>
	<li>要生成新的神经网络模型，请在模型选项卡的右侧单击 + 按钮以生成新模型。从列表中选择 U-Net，然后对于输入维度，选择 2.5D 和 5 个切片，然后单击生成。</li>
	<li>要训练网络，请单击 SegWiz 窗口右下角的训练。 注意：培训可以提前停止，而不会丢失进度。</li>
	<li>要使用经过训练的网络对新帧进行分段，请在 U-Net 训练完成后创建一个新帧，然后单击 预测 （右下角）。然后，单击预测帧右上角的向上箭头，将分割转移到真实帧。</li>
	<li>若要更正预测，请 按住 Ctrl 并单击两个 类以将一个类的分割像素更改为另一个类。选择这两个类并使用 画笔 进行绘画，以仅绘制属于任一类的像素。在至少五个新帧中更正分割。 注意：在选择两个类时，使用画笔工具绘画意味着它不会像往常那样按住 Shift 单击擦除，而是将第一个类的像素转换为第二个类。按住 Ctrl 并单击将完成相反的操作。</li>
	<li>对于迭代训练，再次单击 Train 按钮，并允许网络再训练 30-40 个 epoch，此时停止训练并重复步骤 4.5 和 4.6 进行另一轮训练。 注意：通过这种方式，可以使用单个数据集迭代训练和改进模型。</li>
	<li>要发布网络，如果对其性能感到满意，请退出分段向导。在自动弹出的对话框中，询问要发布（保存）哪些模型，选择成功的网络，为其命名，然后发布它以使网络可在分段向导之外使用。</li>
</ol>6. 应用网络（图 1.4）
<ol><li>要先应用于训练断层影像，请在 “属性 ”面板中选择筛选的数据集。在左侧的 细分 面板中，向下滚动到 使用 AI 的细分 部分。确保选择了正确的数据集，在下拉菜单中选择刚刚发布的模型，然后单击 分段 |所有切片。或者，选择 “ 预览”以查看细分的单切片预览。</li>
	<li>要应用于推理数据集，请导入新的断层影像。按照步骤3进行预处理（图1.1）。在“ 分段 ”面板中，转到 “使用 AI 进行分段 ”部分。确保新过滤的断层影像是所选数据集，选择之前训练的模型，然后单击 分段 |所有切片。</li>
</ol>7. 分段操作和清理
<ol><li>通过首先选择一个具有分段噪声和感兴趣特征的类来快速清除噪声。 右键单击 |工艺孤岛 |按体素计数删除 |选择体素大小。从小（~200）开始，逐渐增加计数以消除大部分噪音。</li>
	<li>对于分割校正，按住 Ctrl 并单击两个类以仅绘制属于这些类的像素。按住 Ctrl 并单击 + 使用分割工具拖动以将第二个类的像素更改为第一个类，按住 Shift 键并单击 + 拖动以完成相反的操作。继续执行此操作以快速更正错误标记的像素。</li>
	<li>单独的连接组件。<ol><li>选择一个班级。右键单击 多投资回报率中的类 |分离连接的 组件，为未连接到同一类的另一个组件的每个组件创建一个新类。使用 多ROI下方的按钮轻松合并类。</li>
	</ol></li>
	<li>将投资回报率导出为二进制/TIFF。<ol><li>在多 ROI 中选择一个类，然后右键单击并将类提取为 ROI。在上面的属性面板中，选择新的 ROI，右键单击 |出口 |ROI 为二进制（确保选中将所有图像导出到一个文件中的选项）。 注意：用户可以使用IMOD程序tif2mrc20轻松地从tiff转换为mrc格式。这对于灯丝跟踪很有用。</li>
	</ol></li>
</ol>8. 根据 ROI 生成子断层图平均值的坐标
<ol><li>提取类。<ol><li>右键单击要用于平均的类 |将类提取为 ROI。右键单击类投资回报率 |互联组件 |新的多投资回报率（已连接 26 个）。</li>
	</ol></li>
	<li>生成坐标。<ol><li>右键单击 新的多投资回报率 |标量生成器。使用 数据集展开基本测量 | 选中 加权质心 X、Y 和 Z。选择数据集并计算。右键单击 多投资回报率 |导出标量值。选中 选择所有标量插槽，然后 选中确定 ，以 CSV 文件的形式为多 ROI 中的每个类生成质心世界坐标。 注意：如果粒子靠近并且分割接触，则可能需要执行分水岭变换以将组件分离为多ROI。</li>
	</ol></li>
</ol>9. 流域变换
<ol><li>通过在 多ROI中右键单击类来提取类以用于平均 |将类提取为 ROI。将此 ROI 流域掩码命名为。</li>
	<li>（可选） 关闭孔。<ol><li>如果分割的颗粒有孔或开口，请关闭分水岭的孔或开口。单击“数据属性”中的 ROI。在“分割”选项卡（左侧）中，转到“形态学操作”，并使用“扩张”、“侵蚀”和“闭合”的任何必要组合来实现无孔的实心分割。</li>
	</ol></li>
	<li>通过单击投资回报率 |复制所选对象（在“数据属性”下方）。选择复制的 ROI，然后在左侧的“细分”选项卡中单击“反转”。</li>
	<li>通过右键单击 倒置的 ROI |创建映射 |距离图。供以后使用，请复制距离图并将其反转（右键单击 |修改和转换 |反转值 |申请）。将此倒置地图命名 为景观。</li>
	<li>创建种子点。<ol><li>隐藏 ROI 并显示 距离图。在 分割 选项卡中，单击定义范围并缩小 范围 ，直到每个点中心只有几个像素被突出显示，而没有一个像素连接到另一个点。在“ 范围 ”部分的底部，单击 “添加到新项”。将此新的 ROI 种子点命名为 种子点。</li>
	</ol></li>
	<li>执行流域变换。<ol><li>右键单击 种子点投资回报率 |互联组件 |新的多投资回报率（已连接 26 个）。右键单击 新生成的多投资回报率 |流域转型。选择名为 “横向 ”的距离地图，然后单击 “确定”;选择名为 “流域蒙版 ”的 ROI，然后单击 确定 以计算每个种子点的流域变换，并将单个粒子分离到多 ROI 中的单独类中。生成坐标，如步骤 8.2 所示。</li>
	</ol></li>
</ol><img alt="Figure 1" class="xfigimg" src="/files/ftp_upload/64435/64435fig01.jpg"> 图 1：工作流程。 1） 通过校准强度尺度和过滤数据集来预处理训练断层图。2） 通过手动分割断层图的一小部分来创建训练数据，其中包含用户希望识别的所有适当标签。3）使用过滤后的断层图作为输入，手部分割作为训练输出，在分割向导中训练五层多层U-Net。4）训练好的网络可以应用于完整的断层图以对其进行注释，并且可以从每个分段类生成3D渲染。 <a href="https://www.jove.com/files/ftp_upload/64435/64435fig01large.jpg" target="_blank">请点击此处查看此图的大图。</a>

<ol>
	<li>Bai, X. -. C., Mcmullan, G., Scheres, S. H. W. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=How+cryo-EM+is+revolutionizing+structural+biology.">How cryo-EM is revolutionizing structural biology.</a> Trends in Biochemical Sciences. 40 (1), 49-57 (2015).</li><li>de Oliveira, T. M., van Beek, L., Shilliday, F., Debreczeni, J., Phillips, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Cryo-EM:+The+resolution+revolution+and+drug+discovery.">Cryo-EM: The resolution revolution and drug discovery.</a> SLAS Discovery. 26 (1), 17-31 (2021).</li><li>Danev, R., Yanagisawa, H., Kikkawa, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Cryo-EM+performance+testing+of+hardware+and+data+acquisition+strategies.">Cryo-EM performance testing of hardware and data acquisition strategies.</a> Microscopy. 70 (6), 487-497 (2021).</li><li>Mastronarde, D. N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Automated+electron+microscope+tomography+using+robust+prediction+of+specimen+movements.">Automated electron microscope tomography using robust prediction of specimen movements.</a> Journal of Structural Biology. 152 (1), 36-51 (2005).</li><li>. Tomography 5 and Tomo Live Software User-friendly batch acquisition for and on-the-fly reconstruction for cryo-electron tomography Datasheet Available from: <a target="_blank" href="https://assets.thermofisher.com/TFS-Assets/MSD/Datasheets/tomography-5-software-ds0362.pdf">https://assets.thermofisher.com/TFS-Assets/MSD/Datasheets/tomography-5-software-ds0362.pdf</a> (2022)</li><li>Danev, R., Baumeister, W. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Expanding+the+boundaries+of+cryo-EM+with+phase+plates.">Expanding the boundaries of cryo-EM with phase plates.</a> Current Opinion in Structural Biology. 46, 87-94 (2017).</li><li>Hylton, R. K., Swulius, M. T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Challenges+and+triumphs+in+cryo-electron+tomography.">Challenges and triumphs in cryo-electron tomography.</a> iScience. 24 (9), (2021).</li><li>Turk, M., Baumeister, W. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=The+promise+and+the+challenges+of+cryo-electron+tomography.">The promise and the challenges of cryo-electron tomography.</a> FEBS Letters. 594 (20), 3243-3261 (2020).</li><li>Oikonomou, C. M., Jensen, G. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Cellular+electron+cryotomography:+Toward+structural+biology+in+situ.">Cellular electron cryotomography: Toward structural biology in situ.</a> Annual Review of Biochemistry. 86, 873-896 (2017).</li><li>Wagner, J., Schaffer, M., Fern&#225;ndez-Busnadiego, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Cryo-electron+tomography-the+cell+biology+that+came+in+from+the+cold.">Cryo-electron tomography-the cell biology that came in from the cold.</a> FEBS Letters. 591 (17), 2520-2533 (2017).</li><li>Lam, V., Villa, E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Practical+approaches+for+Cryo-FIB+milling+and+applications+for+cellular+cryo-electron+tomography.">Practical approaches for Cryo-FIB milling and applications for cellular cryo-electron tomography.</a> Methods in Molecular Biology. 2215, 49-82 (2021).</li><li>Chreifi, G., Chen, S., Metskas, L. A., Kaplan, M., Jensen, G. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Rapid+tilt-series+acquisition+for+electron+cryotomography.">Rapid tilt-series acquisition for electron cryotomography.</a> Journal of Structural Biology. 205 (2), 163-169 (2019).</li><li>Eisenstein, F., Danev, R., Pilhofer, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Improved+applicability+and+robustness+of+fast+cryo-electron+tomography+data+acquisition.">Improved applicability and robustness of fast cryo-electron tomography data acquisition.</a> Journal of Structural Biology. 208 (2), 107-114 (2019).</li><li>Esteva, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Deep+learning-enabled+medical+computer+vision.">Deep learning-enabled medical computer vision.</a> npj Digital Medicine. 4 (1), (2021).</li><li>Liu, Y. -. T., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Isotropic+reconstruction+of+electron+tomograms+with+deep+learning.">Isotropic reconstruction of electron tomograms with deep learning.</a> bioRxiv. , (2021).</li><li>Moebel, E., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Deep+learning+improves+macromolecule+identification+in+3D+cellular+cryo-electron+tomograms.">Deep learning improves macromolecule identification in 3D cellular cryo-electron tomograms.</a> Nature Methods. 18 (11), 1386-1394 (2021).</li><li>Chen, M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Convolutional+neural+networks+for+automated+annotation+of+cellular+cryo-electron+tomograms.">Convolutional neural networks for automated annotation of cellular cryo-electron tomograms.</a> Nature Methods. 14 (10), 983-985 (2017).</li><li>Ronneberger, O., Fischer, P., Brox, T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=U-net:+Convolutional+networks+for+biomedical+image+segmentation.">U-net: Convolutional networks for biomedical image segmentation.</a> Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). 9351, 234-241 (2015).</li><li>Kremer, J. R., Mastronarde, D. N., McIntosh, J. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Computer+visualization+of+three-dimensional+image+data+using+IMOD.">Computer visualization of three-dimensional image data using IMOD.</a> Journal of Structural Biology. 116 (1), 71-76 (1996).</li><li>Iancu, C. V., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+&amp;#34;flip-flop&amp;#34;+rotation+stage+for+routine+dual-axis+electron+cryotomography.">A &amp;#34;flip-flop&amp;#34; rotation stage for routine dual-axis electron cryotomography.</a> Journal of Structural Biology. 151 (3), 288-297 (2005).</li></ol>

该协议的开放获取许可证由Object Research Systems支付。

该协议列出了使用 Dragonfly 2022.1 软件从单个断层图训练多类 U-Net 的程序，以及如何将该网络推断为不需要来自同一数据集的其他断层图。训练相对较快（每个纪元可以快到3-5分钟，也可以慢到几个小时，完全取决于正在训练的网络和使用的硬件），并且重新训练网络以改善其学习是直观的。只要对每个断层扫描执行预处理步骤，推理通常是可靠的。
一致的预处理是深度学习推理最关键的一步。软件中有许多成像过滤器，用户可以尝试确定哪些过滤器最适合特定数据集;请注意，在训练断层图上使用的任何过滤都必须以相同的方式应用于推理断层图。还必须注意向网络提供准确和充分的培训信息。至关重要的是，训练切片中分割的所有特征都尽可能仔细和精确地分割。
复杂的商业级用户界面有助于图像分割。它为手部分割提供了所有必要的工具，并允许在训练和再训练之前将体素从任何一个类简单地重新分配到另一个类。允许用户在断层图的整个上下文中手动分割体素，并为他们提供多个视图并能够自由旋转体积。此外，该软件还提供了使用多类网络的能力，这些网络往往性能更好16 ，并且比使用多个单类网络分段更快。
当然，神经网络的能力是有局限性的。冷冻电子断层扫描数据本质上非常嘈杂且角度采样有限，这会导致相同物体中特定于方向的失真21。训练依赖于专家来准确地分割结构，一个成功的网络只与它给出的训练数据一样好（或坏）。图像滤波以增强信号对训练器很有帮助，但在许多情况下，准确识别给定结构的所有像素仍然很困难。因此，在创建训练分段时必须格外小心，以便网络在训练期间获得最佳信息。
可以根据每个用户的偏好轻松修改此工作流程。虽然必须以完全相同的方式预处理所有断层扫描图，但没有必要使用协议中使用的确切过滤器。该软件具有许多图像过滤选项，建议在开始跨越许多断层图的大型分割项目之前，针对用户的特定数据优化这些选项。还有相当多的网络架构可供使用：已发现多层 U-Net 最适合本实验室的数据，但其他用户可能会发现另一种架构（如 3D U-Net 或传感器 3D）效果更好。分段向导提供了一个方便的界面，用于比较使用相同的训练数据的多个网络的性能。
像这里介绍的工具将使全断层扫描的手工分割成为过去。有了训练有素且可可靠推断的神经网络，创建一个工作流程是完全可行的，在该工作流程中，断层扫描数据被重建、处理和完全分割的速度与显微镜可以收集数据的速度一样快。

过去十年的硬件和软件发展导致了冷冻电子显微镜（cryo-EM）的“分辨率革命”1，2。借助更好更快的探测器3、自动化数据收集的软件4、5 以及相位板6 等信号增强技术，收集大量高分辨率冷冻电镜数据相对简单。
冷冻电子断层扫描可对天然水合状态下的细胞超微结构提供前所未有的洞察力7，8，9，10。主要限制是样品厚度，但随着聚焦离子束 （FIB） 铣削等方法的采用，其中厚细胞和组织样品被减薄以进行断层扫描11，可以使用冷冻电子断层扫描成像的视野不断扩大。最新的显微镜每天能够产生超过50张断层扫描，由于快速数据收集方案的发展，这一速度预计只会增加12，13。分析冷冻电子断层扫描产生的大量数据仍然是这种成像模式的瓶颈。
断层扫描信息的定量分析要求首先对其进行注释。传统上，这需要专家进行手工分割，这很耗时;根据冷冻断层扫描中包含的分子复杂性，可能需要数小时到数天的专门关注。人工神经网络是解决这个问题的一个有吸引力的解决方案，因为它们可以被训练在很短的时间内完成大部分分割工作。卷积神经网络（CNN）特别适用于计算机视觉任务14，最近已被改编用于分析冷冻电子断层图15，16，17。
传统的CNN需要数千个带注释的训练样本，这对于生物图像分析任务来说通常是不可能的。因此，U-Net架构在这个领域表现出色18 ，因为它依赖于数据增强来成功训练网络，最大限度地减少了对大型训练集的依赖。例如，U-Net 架构可以只用单个断层图的几个切片（四个或五个切片）进行训练，并且无需重新训练即可可靠地推断到其他断层图。该协议为训练 U-Net 神经网络架构以在 Dragonfly 2022.119 中分割电子冷冻断层扫描提供了分步指南。
Dragonfly是商业开发的软件，用于深度学习模型的3D图像分割和分析，并且可以免费用于学术用途（适用某些地理限制）。它具有先进的图形界面，允许非专家充分利用深度学习的强大功能进行语义分割和图像去噪。该协议演示了如何在Dragonfly中预处理和注释冷冻电子断层图以训练人工神经网络，然后可以推断出快速分割大型数据集。它进一步讨论并简要演示了如何使用分段数据进行进一步分析，例如细丝追踪和坐标提取以进行子断层图平均。

<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td>Dragonfly 2022.1</td>
			<td>Object Research Systems</td>
			<td></td>
			<td>https://www.theobjects.com/dragonfly/index.html</td>
		</tr>
		<tr>
			<td>E18 Rat Dissociated Hippocampus</td>
			<td>Transnetyx Tissue</td>
			<td>KTSDEDHP</td>
			<td>https://tissue.transnetyx.com/faqs</td>
		</tr>
		<tr>
			<td>IMOD</td>
			<td>University of Colorado</td>
			<td></td>
			<td>https://bio3d.colorado.edu/imod/</td>
		</tr>
		<tr>
			<td>Intel&#174; Xeon&#174; Gold 6124 CPU 3.2GHz</td>
			<td>Intel</td>
			<td></td>
			<td>https://www.intel.com/content/www/us/en/products/sku/120493/intel-xeon-gold-6134-processor-24-75m-cache-3-20-ghz/specifications.html</td>
		</tr>
		<tr>
			<td>NVIDIA Quadro P4000</td>
			<td>NVIDIA</td>
			<td></td>
			<td>https://www.nvidia.com/content/dam/en-zz/Solutions/design-visualization/productspage/quadro/quadro-desktop/quadro-pascal-p4000-data-sheet-a4-nvidia-704358-r2-web.pdf</td>
		</tr>
		<tr>
			<td>Windows 10 Enterprise 2016</td>
			<td>Microsoft</td>
			<td></td>
			<td>https://www.microsoft.com/en-us/evalcenter/evaluate-windows-10-enterprise</td>
		</tr>
		<tr>
			<td>Workstation Minimum Requirements</td>
			<td></td>
			<td></td>
			<td>https://theobjects.com/dragonfly/system-requirements.html</td>
		</tr>
	</tbody>
</table>

deep learning-based segmentation of cryo-electron tomograms

冷冻电子断层扫描（cryo-ET）允许研究人员以目前可能的最高分辨率对天然水合状态的细胞进行成像。然而，该技术有几个局限性，使得分析它生成的数据既耗时又困难。手动分割单个断层扫描可能需要数小时到数天，但显微镜每天可以轻松生成 50 张或更多断层扫描。目前冷冻电子断层扫描的深度学习分割程序确实存在，但仅限于一次分割一个结构。在这里，多切片U-Net卷积神经网络被训练并应用于在冷冻断层图中同时自动分割多个结构。通过适当的预处理，这些网络可以可靠地推断出许多断层图，而无需为每个断层图训练单独的网络。在大多数情况下，该工作流程通过将分割时间缩短到30分钟以下，大大提高了冷冻电子断层扫描的分析速度。此外，分割可用于提高细胞环境中细丝追踪的准确性，并快速提取坐标以进行断层图平均。

按照该协议，在单个断层图（图2A）上训练五层U-Net以识别五类：膜，微管，肌动蛋白，基准标记和背景。该网络总共迭代训练了三次，然后应用于断层图以对其进行完全分割和注释（图2B，C）。使用步骤 7.1 和 7.2 执行了最小清理。接下来的三个感兴趣的断层扫描（图2D，G，J）被加载到软件中进行预处理。在导入图像之前，其中一个断层图像（图2J）需要将像素大小从17.22 Å / px调整到13.3 Å / px，因为它是在不同的显微镜上以略有不同的放大倍率收集的。IMOD 程序 squeezevol 用于通过以下命令调整大小：
'Squeezevol -F 0.772 inputfile.mrc outputfile.mrc'
在此命令中，-f 是指用于更改像素大小的因子（在本例中：13.3/17.22）。导入后，按照步骤3.2和3.3对3个推理目标进行预处理，然后应用五片U-Net。再次执行了最小的清理。最终的分割如图 2 所示。
来自每个断层图的微管分割导出为二进制（步骤7.4）TIF文件，转换为MRC（IMOD tif2mrc 程序），然后用于圆柱体相关和细丝追踪。与断层扫描相比，细丝的二进制分割可实现更强大的细丝追踪。来自细丝追踪的坐标图（图3）将用于进一步分析，例如最近邻测量（灯丝填料）和沿单丝平均螺旋断层扫描以确定微管方向。
不成功或训练不足的网络很容易确定。失败的网络根本无法分割任何结构，而训练不足的网络通常会正确分割某些结构，并具有大量的误报和漏报。这些网络可以进行校正和迭代训练，以提高其性能。分割向导在训练模型后自动计算模型的 骰子相似系数 （在SegWiz中称为 分数 ）。此统计数据估计了训练数据和 U-Net 分割之间的相似性。Dragonfly 2022.1 还有一个内置工具，用于评估模型的性能，可以在界面顶部的 “人工智能 ”选项卡中访问（有关用法，请参阅文档）。
<img alt="Figure 2" class="xfigimg" src="/files/ftp_upload/64435/64435fig02.jpg"> 图 2：推理。 （A-C） DIV 5 海马大鼠神经元的原始训练断层图，于 2019 年在泰坦克里奥斯上收集。这是IMOD中CTF校正的反向预测重建。（A） 黄色框表示对训练输入执行手部分割的区域。（B） 训练完成后从 U-Net 进行 2D 分割。（C）显示膜（蓝色），微管（绿色）和肌动蛋白（红色）的分段区域的3D渲染。（D-F）DIV 5 海马大鼠神经元与训练断层扫描相同的会话。（E） 从U-Net进行2D分割，无需额外培训和快速清理。膜（蓝色），微管（绿色），肌动蛋白（红色），基准点（粉红色）。（F） 分割区域的 3D 渲染。（G-I）来自 5 年会议的 DIV 2019 海马大鼠神经元。（H） 来自 U-Net 的 2D 分割，具有快速清理和 （I） 3D 渲染。（J-L）DIV 5 海马大鼠神经元，于 2021 年以不同的放大倍率在不同的泰坦克里奥斯上收集。像素大小已使用 IMOD 程序挤压卷更改，以匹配训练断层图。（K） 来自 U-Net 的 2D 分割，具有快速清理功能，通过适当的预处理和 （L） 分割的 3D 渲染，展示了跨数据集的稳健推理。比例尺 = 100 nm。缩写：DIV = 体外天数;CTF = 对比度传递函数。<a href="https://www.jove.com/files/ftp_upload/64435/64435fig02large.jpg" target="_blank">请点击此处查看此图的大图。</a>
<img alt="Figure 3" class="xfigimg" src="/files/ftp_upload/64435/64435fig03.jpg"> 图 3：灯丝追踪改进。 （A）在泰坦克里奥斯上收集的DIV 4大鼠海马神经元的断层图。（B）从肌动蛋白丝上的圆柱相关性生成的相关图。（C）使用相关图中肌动蛋白丝的强度来定义参数，对肌动蛋白进行细丝追踪。追踪捕获膜和微管以及噪音，同时试图追踪肌动蛋白。（D） 断层扫描的 U 网分割。膜以蓝色突出显示，微管以红色突出显示，核糖体以橙色突出显示，triC以紫色突出显示，肌动蛋白以绿色突出显示。（E）提取的肌动蛋白分割作为用于细丝追踪的二元掩码。（F） 从圆柱相关性生成的相关图，具有 （B） 中的相同参数。（G）显著改善了从断层图中仅对肌动蛋白丝的细丝追踪。缩写：DIV = 体外天数。 <a href="https://www.jove.com/files/ftp_upload/64435/64435fig03large.jpg" target="_blank">请点击此处查看此图的大图。</a>
补充文件1：该协议中使用的断层图和作为训练输入生成的多ROI作为捆绑数据集（Training.ORSObject）包含在内。 请参阅 https://datadryad.org/stash/dataset/doi:10.5061/dryad.rxwdbrvct。

Watch this Scientific Journal Video about Deep Learning-Based Segmentation of Cryo-Electron Tomograms at JoVE.com

Deep Learning-Based Segmentation of Cryo-Electron Tomograms

这是一种使用一个断层图的一部分作为训练输入来训练多层 U-Net 以对冷冻电子断层图进行多类分割的方法。我们描述了如何将该网络推断为其他断层图，以及如何提取分割以进行进一步分析，例如断层图平均和细丝追踪。

基于深度学习的冷冻电子断层扫描

Cryo-electron tomography (cryo-ET) allows researchers to image cells in their native, hydrated state at the highest resolution currently possible. The ...

我们的实验方案最令人兴奋的是，它允许任何实验室使用这些深度学习协议来分割大量冷冻电子断层扫描数据。我们工作流程的主要优点是Dragonfly提供了一个专业级的计算环境，用于训练多类神经网络进行分割，这实际上可以大大加快您的分割过程。图像分割需要时间来学习，因此请务必测试工具并了解关键绑定，以便随着时间的推移真正帮助简化您的工作流程。设置软件后，通过转到“文件”并选择“导入图像文件”来继续导入图像。然后单击“添加”，导航到图像文件，单击“打开”，然后选择“下一步”，然后选择“完成”。通过转到实用程序并选择维度单位管理器来创建自定义强度刻度。单击左下角的加号以创建新的维度单位。在所有感兴趣的断层图中选择高强度和低强度特征。为单位指定名称和缩写，并保存自定义尺寸单位。要将图像校准为自定义强度刻度，请右键单击屏幕右侧“属性”列中的数据集，然后选择“校准强度标度”。然后，转到屏幕左侧的主选项卡并向下滚动到探针部分。使用适当直径的圆形探头工具，单击断层扫描背景区域中的几个位置，然后在原始强度列中记录平均数。对基准标记重复此操作，然后单击校准。如有必要，使用主选项卡的窗口调平部分中的区域工具调整对比度以使结构再次可见。在主选项卡的左侧，向下滚动到图像处理面板。单击高级并等待新窗口打开。从“属性”面板中，选择要过滤的数据集，并通过单击数据集左侧的眼睛图标使其可见。接下来，使用操作面板中的下拉菜单为第一个操作选择直方图均衡。选择“添加操作”，单击“高斯”，然后将内核维度更改为 3D。添加第三个操作，然后选择“取消锐化”并保留此操作的输出。将均衡应用于所有切片并让过滤运行，然后关闭图像处理窗口以返回主界面。要识别训练区域，请转到数据属性面板，首先通过单击左侧的眼睛图标隐藏未过滤的数据集。然后，显示新筛选的数据集。使用过滤后的数据集，确定包含所有感兴趣要素的断层影像子区域。现在，通过向下滚动到“形状”类别并选择主选项卡左侧的“创建框”，在感兴趣区域周围创建一个框。在四视图面板上，使用不同的 2D 平面来帮助引导或拖动框的边缘，以仅包围所有维度的感兴趣区域。在数据列表中，选择框区域并通过单击眼睛符号旁边的灰色方块更改边框颜色以便于查看。要创建多投资回报率，请选择细分选项卡，单击左侧的新建，然后选中创建为多投资回报率。确保类数与感兴趣要素数加上背景类数相对应。命名多 ROI 训练数据并确保几何与数据集相对应，然后单击确定。然后，滚动浏览数据，直到在框内的区域的边界内。在右侧的“属性”菜单中选择“多投资回报率”。双击多ROI中的第一个空白类名以命名它。要使用 2D 画笔进行绘画，请向下滚动到左侧“分割”选项卡中的 2D 工具，然后选择一个圆形画笔。然后从下拉菜单中选择自适应高斯或局部 OTSU，按住左控加单击进行绘画，按住左移加单击擦除。标记所有结构后，右键单击多ROI中的背景类，然后选择将所有未标记的体素添加到类。接下来，创建一个名为掩码的新单类 ROI。确保几何设置为过滤后的数据集，然后单击应用。在右侧的属性选项卡中，右键单击该框，选择添加到 ROI，然后将其添加到掩码 ROI。要使用掩码修剪训练数据，请转到属性选项卡，然后按住控制权并单击每个数据来选择训练数据、多 ROI 和掩码 ROI。接下来，单击布尔运算部分中数据属性列表下方的相交。将新数据集命名为修剪的训练输入，并确保几何与过滤后的数据集相对应，然后单击确定。通过右键单击属性选项卡中筛选的数据集并选择分割向导选项，将训练数据导入分割向导。打开新窗口后，查找右侧的输入选项卡。单击从多 ROI 导入帧，然后选择修剪训练输入。要生成新的神经网络模型，请单击模型选项卡中右侧的加号按钮。 从列表中选择 U Net，选择 2.5 D 和 5 个切片作为输入维度，然后单击生成。要训练网络，请单击 Seg Wiz 窗口右下角的训练。单元训练完成后，使用训练的网络对新帧进行分段，创建新帧，然后单击预测。然后单击预测帧右上角的向上箭头，将分割转移到真实帧。若要更正预测，请按住 Control 并单击两个类以将一个类的分割像素更改为另一个类。选择这两个类并使用画笔进行绘画，以仅绘制属于任一类的像素。在至少五个新帧中更正分割。对于迭代训练，请再次单击“训练”按钮，并允许网络进一步训练另外 30 到 40 个史诗。此时，停止训练并开始另一轮训练。对网络性能满意后，通过退出分段向导发布网络。将弹出一个对话框，询问要发布的模型。选择成功的网络，为其命名，然后发布它以使网络可在分段向导之外使用。首先，在“属性”面板中选择要应用于训练断层扫描的筛选数据集。在左侧的细分面板中，向下滚动到带 AI 的细分部分。确保选择了正确的数据集。在下拉菜单中选择最近发布的模型，然后单击分段，然后单击所有切片。要应用于推理数据集，请导入新的断层影像并对其进行预处理，如前所述。在细分面板中，转到带 AI 的细分部分。确保新过滤的断层影像是所选的数据集，选择之前训练的模型，单击分段，然后选择所有切片。通过首先选择一个具有分割噪声和感兴趣要素的类来快速清除噪声。然后，右键单击“进程岛”，选择“按体素计数删除”，然后单击“选择体素大小”。从少量计数开始，然后逐渐增加计数以消除大部分噪音。对于分割校正，按住 Control 键单击两个类以绘制仅属于这些类的像素。按住 Control 键单击加拖动使用分割工具将第二个类的像素更改为第一个类，按住 Shift 键单击加拖动以完成相反的操作。在单个断层图上训练五层单元，并对训练输入进行手分割。显示了完成训练后单元的 2D 分割。分割区域的 3D 渲染显示了膜、微管和肌动蛋白丝。显示了与训练断层图相同的会话中的 DIV 5 海马大鼠神经元。从该单元进行 2D 分割，无需在快速清理显示膜、微管、肌动蛋白和基准点方面进行额外培训。分割区域的3D渲染也可视化。还观察到早期会话的DIV 5海马大鼠神经元。还通过快速清理和 3D 渲染对设备进行了 2D 分割。DIV 5海马大鼠神经元也在不同的泰坦克里奥斯上以不同的放大倍数观察到。像素大小已使用 IMOD 程序挤压库进行更改，以匹配训练断层扫描。通过快速清理从单元进行 2D 分割，通过适当的预处理，可以跨数据集进行稳健的推理，并执行了分割的 3D 渲染。以相同的方式预处理数据并校准直方图绝对是正确网络推理的最重要步骤。一旦在断层图中知道分子的位置，在 Dragonfly 中计算定量测量值或计算坐标并将其输入子断层图平均管道就变得微不足道了。我们才刚刚开始看到深度学习对冷冻电子断层扫描图像分析的影响，但这只是它显示出巨大前景的另一个领域。

Research

JoVE Journal

Biology

In vivo Imaging of Deep Cortical Layers using a Microprism

In vivo Imaging of Deep Cortical Layers using a Microprism

在使用微深皮质层的活体成像

We present a protocol for in vivo imaging of cortical tissue using a deep-brain imaging probe in the shape of a microprism.  Microprisms are 1-mm in size ...

科研

生物学

Generation of Dispersed Presomitic Mesoderm Cell Cultures for Imaging of the Zebrafish Segmentation Clock in Single Cells

的分散Presomitic中胚层细胞培养的斑马鱼分割时钟在单细胞成像代

Segmentation is a  periodic and sequential morphogenetic process in vertebrates. This rhythmic  formation of blocks of tissue called somites along the ...

Cryo-electron Microscopy Specimen Preparation By Means Of a Focused Ion Beam

低温电子显微镜样品制备借助于聚焦离子束

Here we present a protocol used to prepare cryo-TEM samples of Aspergillus niger spores, but which can easily be adapted for any number of microorganisms ...

Do's and Don'ts of Cryo-electron Microscopy: A Primer on Sample Preparation and High Quality Data Collection for Macromolecular 3D Reconstruction

该做什么和不该做什么低温电子显微镜的：入门样品制备和高质量的数据采集为大分子三维重建

Cryo-electron microscopy (cryoEM) entails flash-freezing a thin layer of sample on a support, and then visualizing the sample in its frozen hydrated state ...

Volume Segmentation and Analysis of Biological Materials Using SuRVoS (Super-region Volume Segmentation) Workbench

Volume Segmentation and Analysis of Biological Materials Using SuRVoS Super-region Volume Segmentation Workbench

利用 SuRVoS (超区域体积分割) 工作台进行生物材料的体积分割与分析

Segmentation is the process of isolating specific regions or objects within an imaged volume, so that further study can be undertaken on these areas of ...

Visualization of DNA Compaction in Cyanobacteria by High-voltage Cryo-electron Tomography

高压低温电子层析成像对蓝藻 DNA 压实的可视化研究

This protocol describes how to visualize the transient DNA compaction in cyanobacteria. DNA compaction is a dramatic cytoplasmic event recently found to ...

Cryo-Electron Microscopic Grid Preparation for Time-Resolved Studies using a Novel Robotic System, Spotiton

使用新型机器人系统 Spotiton 进行时间解决研究的低温电子微观网格准备

The capture of short-lived molecular states triggered by the early encounter of two or more interacting particles continues to be an experimental ...

Sample Preparation by 3D-Correlative Focused Ion Beam Milling for High-Resolution Cryo-Electron Tomography

通过 3D 相关聚焦离子束铣削制备样品，用于高分辨率冷冻电子断层扫描

Cryo-electron tomography (cryo-ET) has become the method of choice for investigating cellular ultrastructure and molecular complexes in their native, ...

Deep Vascular Imaging in the Eye with Flow-Enhanced Ultrasound

使用流量增强超声进行眼部深层血管成像

The retina within the eye is one of the most energy-demanding tissues in the body and thus requires high rates of oxygen delivery from a rich blood ...

Cryo-Electron Tomography Remote Data Collection and Subtomogram Averaging

冷冻电子断层扫描远程数据收集和断层扫描平均

Cryo-electron tomography (cryo-ET) has been gaining momentum in recent years, especially since the introduction of direct electron detectors, improved ...