Method Article
这是一种使用一个断层图的一部分作为训练输入来训练多层 U-Net 以对冷冻电子断层图进行多类分割的方法。我们描述了如何将该网络推断为其他断层图,以及如何提取分割以进行进一步分析,例如断层图平均和细丝追踪。
冷冻电子断层扫描(cryo-ET)允许研究人员以目前可能的最高分辨率对天然水合状态的细胞进行成像。然而,该技术有几个局限性,使得分析它生成的数据既耗时又困难。手动分割单个断层扫描可能需要数小时到数天,但显微镜每天可以轻松生成 50 张或更多断层扫描。目前冷冻电子断层扫描的深度学习分割程序确实存在,但仅限于一次分割一个结构。在这里,多切片U-Net卷积神经网络被训练并应用于在冷冻断层图中同时自动分割多个结构。通过适当的预处理,这些网络可以可靠地推断出许多断层图,而无需为每个断层图训练单独的网络。在大多数情况下,该工作流程通过将分割时间缩短到30分钟以下,大大提高了冷冻电子断层扫描的分析速度。此外,分割可用于提高细胞环境中细丝追踪的准确性,并快速提取坐标以进行断层图平均。
过去十年的硬件和软件发展导致了冷冻电子显微镜(cryo-EM)的"分辨率革命"1,2。借助更好更快的探测器3、自动化数据收集的软件4、5 以及相位板6 等信号增强技术,收集大量高分辨率冷冻电镜数据相对简单。
冷冻电子断层扫描可对天然水合状态下的细胞超微结构提供前所未有的洞察力7,8,9,10。主要限制是样品厚度,但随着聚焦离子束 (FIB) 铣削等方法的采用,其中厚细胞和组织样品被减薄以进行断层扫描11,可以使用冷冻电子断层扫描成像的视野不断扩大。最新的显微镜每天能够产生超过50张断层扫描,由于快速数据收集方案的发展,这一速度预计只会增加12,13。分析冷冻电子断层扫描产生的大量数据仍然是这种成像模式的瓶颈。
断层扫描信息的定量分析要求首先对其进行注释。传统上,这需要专家进行手工分割,这很耗时;根据冷冻断层扫描中包含的分子复杂性,可能需要数小时到数天的专门关注。人工神经网络是解决这个问题的一个有吸引力的解决方案,因为它们可以被训练在很短的时间内完成大部分分割工作。卷积神经网络(CNN)特别适用于计算机视觉任务14,最近已被改编用于分析冷冻电子断层图15,16,17。
传统的CNN需要数千个带注释的训练样本,这对于生物图像分析任务来说通常是不可能的。因此,U-Net架构在这个领域表现出色18 ,因为它依赖于数据增强来成功训练网络,最大限度地减少了对大型训练集的依赖。例如,U-Net 架构可以只用单个断层图的几个切片(四个或五个切片)进行训练,并且无需重新训练即可可靠地推断到其他断层图。该协议为训练 U-Net 神经网络架构以在 Dragonfly 2022.119 中分割电子冷冻断层扫描提供了分步指南。
Dragonfly是商业开发的软件,用于深度学习模型的3D图像分割和分析,并且可以免费用于学术用途(适用某些地理限制)。它具有先进的图形界面,允许非专家充分利用深度学习的强大功能进行语义分割和图像去噪。该协议演示了如何在Dragonfly中预处理和注释冷冻电子断层图以训练人工神经网络,然后可以推断出快速分割大型数据集。它进一步讨论并简要演示了如何使用分段数据进行进一步分析,例如细丝追踪和坐标提取以进行子断层图平均。
注意:蜻蜓 2022.1 需要高性能工作站。系统建议与用于此协议的工作站的硬件一起包含在 材料表中 。此协议中使用的所有断层图像都从 3.3 到 13.2 ang/pix 的像素大小进行 4 倍分箱。代表性结果中使用的样品来自一家遵循符合该机构道德标准的动物护理指南的公司(见 材料表)。该协议中使用的断层图和作为训练输入生成的多ROI已作为捆绑数据集包含在 补充文件1 中(可在 https://datadryad.org/stash/dataset/doi:10.5061/dryad.rxwdbrvct 中找到),因此用户可以根据需要跟踪相同的数据。Dragonfly还托管了一个名为Infinite Toolbox的开放访问数据库,用户可以在其中共享经过训练的网络。
1. 设置
2. 图片导入
3. 预处理(图 1.1)
4. 创建训练数据(图 1.2)
5. 使用分割向导进行迭代训练(图 1.3)
6. 应用网络(图 1.4)
7. 分段操作和清理
8. 根据 ROI 生成子断层图平均值的坐标
9. 流域变换
图 1:工作流程。 1) 通过校准强度尺度和过滤数据集来预处理训练断层图。2) 通过手动分割断层图的一小部分来创建训练数据,其中包含用户希望识别的所有适当标签。3)使用过滤后的断层图作为输入,手部分割作为训练输出,在分割向导中训练五层多层U-Net。4)训练好的网络可以应用于完整的断层图以对其进行注释,并且可以从每个分段类生成3D渲染。 请点击此处查看此图的大图。
按照该协议,在单个断层图(图2A)上训练五层U-Net以识别五类:膜,微管,肌动蛋白,基准标记和背景。该网络总共迭代训练了三次,然后应用于断层图以对其进行完全分割和注释(图2B,C)。使用步骤 7.1 和 7.2 执行了最小清理。接下来的三个感兴趣的断层扫描(图2D,G,J)被加载到软件中进行预处理。在导入图像之前,其中一个断层图像(图2J)需要将像素大小从17.22 Å / px调整到13.3 Å / px,因为它是在不同的显微镜上以略有不同的放大倍率收集的。IMOD 程序 squeezevol 用于通过以下命令调整大小:
'Squeezevol -F 0.772 inputfile.mrc outputfile.mrc'
在此命令中,-f 是指用于更改像素大小的因子(在本例中:13.3/17.22)。导入后,按照步骤3.2和3.3对3个推理目标进行预处理,然后应用五片U-Net。再次执行了最小的清理。最终的分割如图 2 所示。
来自每个断层图的微管分割导出为二进制(步骤7.4)TIF文件,转换为MRC(IMOD tif2mrc 程序),然后用于圆柱体相关和细丝追踪。与断层扫描相比,细丝的二进制分割可实现更强大的细丝追踪。来自细丝追踪的坐标图(图3)将用于进一步分析,例如最近邻测量(灯丝填料)和沿单丝平均螺旋断层扫描以确定微管方向。
不成功或训练不足的网络很容易确定。失败的网络根本无法分割任何结构,而训练不足的网络通常会正确分割某些结构,并具有大量的误报和漏报。这些网络可以进行校正和迭代训练,以提高其性能。分割向导在训练模型后自动计算模型的 骰子相似系数 (在SegWiz中称为 分数 )。此统计数据估计了训练数据和 U-Net 分割之间的相似性。Dragonfly 2022.1 还有一个内置工具,用于评估模型的性能,可以在界面顶部的 "人工智能 "选项卡中访问(有关用法,请参阅文档)。
图 2:推理。 (A-C) DIV 5 海马大鼠神经元的原始训练断层图,于 2019 年在泰坦克里奥斯上收集。这是IMOD中CTF校正的反向预测重建。(A) 黄色框表示对训练输入执行手部分割的区域。(B) 训练完成后从 U-Net 进行 2D 分割。(C)显示膜(蓝色),微管(绿色)和肌动蛋白(红色)的分段区域的3D渲染。(D-F)DIV 5 海马大鼠神经元与训练断层扫描相同的会话。(E) 从U-Net进行2D分割,无需额外培训和快速清理。膜(蓝色),微管(绿色),肌动蛋白(红色),基准点(粉红色)。(F) 分割区域的 3D 渲染。(G-I)来自 5 年会议的 DIV 2019 海马大鼠神经元。(H) 来自 U-Net 的 2D 分割,具有快速清理和 (I) 3D 渲染。(J-L)DIV 5 海马大鼠神经元,于 2021 年以不同的放大倍率在不同的泰坦克里奥斯上收集。像素大小已使用 IMOD 程序挤压卷更改,以匹配训练断层图。(K) 来自 U-Net 的 2D 分割,具有快速清理功能,通过适当的预处理和 (L) 分割的 3D 渲染,展示了跨数据集的稳健推理。比例尺 = 100 nm。缩写:DIV = 体外天数;CTF = 对比度传递函数。请点击此处查看此图的大图。
图 3:灯丝追踪改进。 (A)在泰坦克里奥斯上收集的DIV 4大鼠海马神经元的断层图。(B)从肌动蛋白丝上的圆柱相关性生成的相关图。(C)使用相关图中肌动蛋白丝的强度来定义参数,对肌动蛋白进行细丝追踪。追踪捕获膜和微管以及噪音,同时试图追踪肌动蛋白。(D) 断层扫描的 U 网分割。膜以蓝色突出显示,微管以红色突出显示,核糖体以橙色突出显示,triC以紫色突出显示,肌动蛋白以绿色突出显示。(E)提取的肌动蛋白分割作为用于细丝追踪的二元掩码。(F) 从圆柱相关性生成的相关图,具有 (B) 中的相同参数。(G)显著改善了从断层图中仅对肌动蛋白丝的细丝追踪。缩写:DIV = 体外天数。 请点击此处查看此图的大图。
补充文件1:该协议中使用的断层图和作为训练输入生成的多ROI作为捆绑数据集(Training.ORSObject)包含在内。 请参阅 https://datadryad.org/stash/dataset/doi:10.5061/dryad.rxwdbrvct。
该协议列出了使用 Dragonfly 2022.1 软件从单个断层图训练多类 U-Net 的程序,以及如何将该网络推断为不需要来自同一数据集的其他断层图。训练相对较快(每个纪元可以快到3-5分钟,也可以慢到几个小时,完全取决于正在训练的网络和使用的硬件),并且重新训练网络以改善其学习是直观的。只要对每个断层扫描执行预处理步骤,推理通常是可靠的。
一致的预处理是深度学习推理最关键的一步。软件中有许多成像过滤器,用户可以尝试确定哪些过滤器最适合特定数据集;请注意,在训练断层图上使用的任何过滤都必须以相同的方式应用于推理断层图。还必须注意向网络提供准确和充分的培训信息。至关重要的是,训练切片中分割的所有特征都尽可能仔细和精确地分割。
复杂的商业级用户界面有助于图像分割。它为手部分割提供了所有必要的工具,并允许在训练和再训练之前将体素从任何一个类简单地重新分配到另一个类。允许用户在断层图的整个上下文中手动分割体素,并为他们提供多个视图并能够自由旋转体积。此外,该软件还提供了使用多类网络的能力,这些网络往往性能更好16 ,并且比使用多个单类网络分段更快。
当然,神经网络的能力是有局限性的。冷冻电子断层扫描数据本质上非常嘈杂且角度采样有限,这会导致相同物体中特定于方向的失真21。训练依赖于专家来准确地分割结构,一个成功的网络只与它给出的训练数据一样好(或坏)。图像滤波以增强信号对训练器很有帮助,但在许多情况下,准确识别给定结构的所有像素仍然很困难。因此,在创建训练分段时必须格外小心,以便网络在训练期间获得最佳信息。
可以根据每个用户的偏好轻松修改此工作流程。虽然必须以完全相同的方式预处理所有断层扫描图,但没有必要使用协议中使用的确切过滤器。该软件具有许多图像过滤选项,建议在开始跨越许多断层图的大型分割项目之前,针对用户的特定数据优化这些选项。还有相当多的网络架构可供使用:已发现多层 U-Net 最适合本实验室的数据,但其他用户可能会发现另一种架构(如 3D U-Net 或传感器 3D)效果更好。分段向导提供了一个方便的界面,用于比较使用相同的训练数据的多个网络的性能。
像这里介绍的工具将使全断层扫描的手工分割成为过去。有了训练有素且可可靠推断的神经网络,创建一个工作流程是完全可行的,在该工作流程中,断层扫描数据被重建、处理和完全分割的速度与显微镜可以收集数据的速度一样快。
该协议的开放获取许可证由Object Research Systems支付。
这项研究得到了宾夕法尼亚州立大学医学院和生物化学与分子生物学系以及烟草结算基金(TSF)拨款4100079742-EXT的支持。该项目中使用的CryoEM和CryoET核心(RRID:SCR_021178)服务和仪器部分由宾夕法尼亚州立大学医学院通过研究和研究生副院长办公室以及宾夕法尼亚州卫生部 使用 烟草结算基金(CURE)资助。内容完全由作者负责,并不一定代表大学或医学院的官方观点。宾夕法尼亚州卫生部明确声明不对任何分析、解释或结论负责。
Name | Company | Catalog Number | Comments |
Dragonfly 2022.1 | Object Research Systems | https://www.theobjects.com/dragonfly/index.html | |
E18 Rat Dissociated Hippocampus | Transnetyx Tissue | KTSDEDHP | https://tissue.transnetyx.com/faqs |
IMOD | University of Colorado | https://bio3d.colorado.edu/imod/ | |
Intel® Xeon® Gold 6124 CPU 3.2GHz | Intel | https://www.intel.com/content/www/us/en/products/sku/120493/intel-xeon-gold-6134-processor-24-75m-cache-3-20-ghz/specifications.html | |
NVIDIA Quadro P4000 | NVIDIA | https://www.nvidia.com/content/dam/en-zz/Solutions/design-visualization/productspage/quadro/quadro-desktop/quadro-pascal-p4000-data-sheet-a4-nvidia-704358-r2-web.pdf | |
Windows 10 Enterprise 2016 | Microsoft | https://www.microsoft.com/en-us/evalcenter/evaluate-windows-10-enterprise | |
Workstation Minimum Requirements | https://theobjects.com/dragonfly/system-requirements.html |
请求许可使用此 JoVE 文章的文本或图形
请求许可This article has been published
Video Coming Soon
版权所属 © 2025 MyJoVE 公司版权所有,本公司不涉及任何医疗业务和医疗服务。