开创性地使用成像和虚拟现实进行精准手术的患者特定方法

摘要

血管内治疗的进步已经用微创选择取代了复杂的开放外科手术，如瓣膜置换术和动脉瘤修复术。本文建议使用三维 （3D） 建模和虚拟现实来帮助 C 臂定位、角度测量和路线图生成，用于神经介入导管插入术实验室的程序规划，从而最大限度地减少手术时间。

摘要

复杂血管异常的血管内治疗将开放性外科手术的风险转移到微创血管内手术解决方案的益处上。复杂的开放外科手术曾经是治疗肺动脉瓣和主动脉瓣置换术以及脑动脉瘤修复等无数疾病的唯一选择。然而，由于导管输送装置和操作者专业知识的进步，这些手术（以及许多其他手术）现在可以通过通过中央或外周静脉或动脉输送的微创手术来执行。从开放手术转向血管内入路的决定基于多模态成像，通常包括 3D 数字成像和医学通信 （DICOM） 成像数据集。利用这些 3D 图像，我们的实验室生成病理解剖结构的 3D 模型，从而可以进行必要的术前分析，以预先计划导管插入术实验室程序的关键组成部分，即 C 臂定位、3D 测量和理想化路线图生成。本文介绍了如何获取患者特定病理学的分段 3D 模型并预测广义 C 臂位置，如何测量与 2D 透视投影相关的 3D 结构的关键二维 （2D） 测量，以及如何生成 2D 透视路线图类似物，以帮助在导管插入术实验室程序中正确定位 C 臂。

引言

颅内动脉瘤的治疗是神经介入手术的一个具有挑战性的方面，需要精确的手术计划以确保最佳的患者预后。近年来，虚拟现实 （VR） 技术已成为一种很有前途的工具，通过让外科医生在虚拟 3D 环境中访问身临其境的、特定于患者的解剖模型 1,2,3,4,5,6,7,8 .本文介绍了使用医学成像和分割、3D 建模、VR 手术计划和理想化虚拟路线图生成的综合方案，以帮助制定动脉瘤治疗的手术计划。

这些步骤的结合最终形成了一种虚拟手术计划方法，使医生能够沉浸在虚拟环境中，并在手术前全面了解患者的独特解剖结构。这种身临其境的方法使外科医生能够探索最佳定位并模拟各种手术场景。记录这些场景可以深入了解真实世界手术设备的放置，例如 C 臂定位。

除了定位角度外，还可以使用专为 3D 空间设计的测量工具在虚拟环境中测量解剖结构。这些测量可以深入了解用于颅内动脉瘤病例^的设备的正确尺寸和形状 9.

该协议提供了一个全面的过程，无缝结合了医学成像、图像分割、VR 模型准备和虚拟手术路线图生成，以增强手术计划过程。该协议使用尖端技术的组合，提供了节省手术室¹⁰宝贵时间的机会，并增强了外科医生对复杂手术病例^{的信心和理解11,12,13}。

研究方案

根据患者护理机构指南、1996 年健康保险流通与责任法案 （HIPAA） 以及在适当时与机构审查委员会 （IRB） 合作，使用去识别化的人类 DICOM 或用于患者护理的 DICOM。

1. 特定解剖学

1. 获取医学扫描
   1. 从医生或外科医生订购医学扫描开始分割过程。这些扫描是标准患者护理方案的一部分，不会引入额外的程序。
   2. 如果医生知道他们会要求分割，请确保他们要求从 MRI 或 CT 扫描仪导出切片的数据集。在大多数情况下，这些薄片的厚度小于 1 毫米;但是，此分辨率可能因扫描仪而异。进行造影剂CTA扫描，以确保正确分割脉管系统和血池。
      1. 对于数据采集，使用以下建议参数获取 MRI 3D 序列：轴向运行，确保切片厚度和切片之间的间距为 0.625 mm 或更小，间距为零。获取具有以下建议参数的 CT 3D 系列：螺旋模式下的切片扫描仪、切片厚度和切片之间的间距为 0.625mm，例如，Neuro：Kvp 为 120，Smart mA 范围为 100-740，旋转速度为 .5ms，或 Cardiac：Kvp 为 70，Smart mA 范围为 201-227（智能 MA 模式 226），0.28 ms 时的旋转速度^{为 14}。遵循机构对每个身体部位的螺旋参数。
         注意：应获取 3D 序列，以便在重建中，轴向、日冕和矢状面具有近乎各向同性的分辨率。在大多数情况下，应获取最薄的切片。3D 序列是在该机构的标准成像协议之外运行的。但是，它是同时运行的，因此临床团队和患者的额外工作、辐射暴露和费用最少。
2. 要求医生请求对模型进行分割，并指定分割过程的中心焦点（通常由医生或外科医生完成此步骤）。
3. 下载扫描数据并将其保存在本地。
   1. 如果进行了多次扫描，请确保比较扫描中的 DICOM 数据集，以确定哪个扫描集具有最薄的切片设置和最佳对比度，因为这将在分割时提供最高分辨率的 3D 模型。
   2. 确定最佳图像集后，从图像数据库下载它以进行分割、匿名化或保留受保护健康信息 （PHI） 的数据。该协议将与匿名的 DICOM 一起使用。
4. 将 DICOM 数据集导入分割软件。
   注意：以下指令集使用特定于 Materialise Mimics 分割软件的术语。虽然 Materialise Suite 是基于订阅的软件，但也有开源替代品，例如 3DSlicer。工具名称和术语可能因其他细分工具而异。
5. 创建目标解剖结构的粗略掩模，例如骨骼、血池、动脉瘤等。
   1. 在 “细分 ”选项卡下，选择 “新建蒙版 工具”。
   2. 通过单击和拖动两者来设置上限和下限阈值边界，以尽可能多地捕获相关的目标解剖结构，同时限制对周围组织的捕获。单击并拖动阈值工具中的边界，或输入所需的豪斯菲尔德单位 （胡）。
   3. 设置阈值时，裁剪到扫描的特定区域，以避免过度选择周围组织。阈值上限和下限因扫描类型、序列类型、造影量和患者而异。
   4. 单击“确定”（ OK ） 完成粗略蒙版。
6. 使用 “段 段”选项卡中的其他工具删除口罩的不必要部分或根据需要添加缺失的组织。
   1. 使用 “区域增长 ”工具分离直接连接到用户选择的体素的蒙版的所有体素;使用 “编辑蒙版”（Edit Mask ） 通过 2D 和 3D 窗口在蒙版中添加或删除体素;使用 “多切片编辑”（Multiple Slices Edit ） 通过在相距较远的切片之间进行插值来添加或删除体素;，然后使用 “填充孔 ”或 “智能填充 ”来填充蒙版中用户定义大小的孔。
   2. 使用选项卡中的工具继续优化蒙版，直到 2D 到 3D 插值尽可能准确。
7. 对所有目标解剖结构重复步骤 1.5 和 1.6。
8. 就完成的分割问题咨询医生，以确保准确性。
   1. 向医生出示完成的面具，以确保没有遗漏重要的解剖结构，并且没有包括多余的解剖结构。在大多数情况下，请咨询要求进行分割以进行质量控制的医生。医生确保每个切片上面罩突出显示的DICOM部分尽可能准确（见 图1）。
9. 出口分段以进行进一步处理。
   1. 使用位于右侧“项目管理”菜单中的“计算零件”工具将最终蒙版转换为零件。
   2. 通过右键单击 “零件”（The Part ） 并选择 “导出 STL”（Export STL），将计算零件导出为 3D 文件。

2. 为虚拟现实准备模型

1. 创建一个新的 Blender 项目并删除默认场景元素。按 a 键突出显示所有可见元素，然后 按 x 键，按 Enter 键将其从场景中移除。
   注意：Blender 是一款免费的开源建模软件。虽然其他建模软件可能能够完成相同的任务，但此步骤中使用的术语将特定于 Blender。
2. 通过 文件>导入> Stl （.stl） 导入解剖文件。
3. 使患者的解剖结构与世界的起源保持一致。
   1. 选择所有患者解剖结构以保持相对位置。为此，请在导入所有文件后按 a 键。
   2. 使用 “移动 ”和 “旋转 ”工具将解剖结构与世界原点对齐。确保患者的鼻子与一个轴对齐，垂直轴分别接触耳朵区域和颅骨顶部。使用正交视图，可以通过 Blender 界面右上角的小部件激活。
4. 导入 VR 量角器并将其与患者的解剖结构对齐。该量角器由 OSF 工程团队专门设计，用于根据 3D 空间中的角度帮助获取 VR 中的 C 臂角度。
   1. 从 补充文件 1 导入量角器 .stl 文件。
   2. 将量角器上的 （0,0） 与患者的鼻子对齐，由最长的测量标记表示。将量角器臂的间隙朝向患者的脚。
   3. 相应地缩放量角器。在大多数情况下，将量角器缩放得非常小，以确保在 VR 中缩放后易于测量。在动脉瘤的情况下，尝试以位于动脉瘤区域之外的方式缩放量角器。
5. 将解剖学起源与世界起源对齐。
   1. 在主视口中单击鼠标右键，然后选择“ 捕捉>光标到世界原点”。这可确保 3D 光标与全局原点对齐。
   2. 使用 a 键选择所有可见模型。
   3. 单击鼠标右键，在视口中单击，然后选择“ 将原点>原点设置为 3D 光标”。这会将所有模型的 3D 原点对齐到同一点，确保它们在导入 VR 时正确排列和缩放。
6. 根据需要为模型添加纹理或颜色，以便在 VR 中更好地区分。
   1. 这是一个可选步骤。选择各个 .stl 文件，然后单击屏幕右侧的 “材质属性 ”选项卡。在此选项卡下，可以将基色调整为所需的颜色。对每个对象重复此步骤以添加颜色。
7. 将最终模型导出为单个模型。glb/.gltf 文件。确保未选中导出窗口的“包含”选项卡下的“限制”选项。
   注意：的。glb/.gltf 文件格式反映了在 VR 软件中使用以及上传到 NIH 3D 库所需的文件类型。不同的软件可能需要其他导出类型。

3. 在虚拟现实中培训医疗专业人员

注意： 以下说明是为与 Enduvo 数字教室软件一起使用而编写的。虽然可以使用其他 3D 查看软件，但移动模型、放置相机和记录医生定位的能力是使该软件成为此手术的理想选择的一些功能。不同的 VR 头戴式设备、控制器和软件组合可能具有不同的控件。

1. 创建新课程。
   1. 在课程创建菜单中导入在步骤 2.7 中导出的 .gltf 文件。该软件可能会生成一条消息，指出：您尝试上传的文件类型 （GLB） 当前不完全受支持。忽略此消息，然后单击 “确认 ”按钮。
2. 在 VR 中打开课程以进行最终确定。
   1. 使用通过按下一个控制器的拇指板或操纵杆访问的透明菜单，隐藏除目标解剖结构之外的所有模型。动脉瘤应该是唯一可见的模型。
3. 将外科医生或内科医生置于 VR 中，让他们有时间熟悉课程中的 3D 空间和功能以及解剖结构。
4. 一旦外科医生对解剖结构感到满意，就开始记录。
   1. 使用 VR 空间中的虚拟按钮或辅助显示器上的录制按钮启动录制功能。
   2. 让外科医生旋转目标解剖结构，为前后 （AP） 和侧向透视视图找到首选视角。找到首选角度后，请外科医生短暂停顿并说明他们找到了首选角度以及当前视角是 AP 还是横向。
   3. 找到所有首选角度后，停止使用 VR 按钮或外接显示器进行录制。

4. VR中透视路线图的生成

1. 使用记录的外科医生放置获取透视类似物。
   1. 在虚拟空间中，将模拟透视图像的灰色色调背景的图像放在模型后面。使用控制器上的选择按钮（通常是控制器背面的触发器）根据需要操作图像。这创造了一个一致的背景颜色，使观察解剖结构更容易，并且更能代表透视。
   2. 将相机放置在指定为首选视角的时间与外科医生的视野一致，确保相机大致指向目标解剖结构的中心。外科医生将在VR中以一组浮动眼镜和两个控制器的形式出现。
   3. 将相机置于所需位置拍摄 2D 快照。对每个首选角度重复该步骤。
2. 使用外科医生的动作和量角器获得 C 臂角度。
   1. 当外科医生宣布首选视角时，暂停录制的课程。
   2. 单击 触控板 以打开快捷菜单，然后选中“ 开/关 ”复选框以取消隐藏连接到模型的量角器。
   3. 使用控制器的抓取按钮选择和操作符合外科医生视点的指针或直尺，同时穿过量角器的原点。
   4. 从模型中退后一步，从与 C 臂运动相对应的正交视点查看角度。
   5. 对于患者鼻子在所有 C 臂轴上朝向 0° 的神经内科病例，请从矢状面和轴向平面取 AP 角。取日冕平面和轴向平面的侧角。在这两种情况下，轴平面对应于 C 臂的左右角，而矢状面和冠状面对应于颅角和尾角。
   6. 对每个首选角度重复上述步骤。

讨论

随着 3D 打印技术^{2、3、4、6、7、9、11} 的出现，3D 建模被引入医疗工作流程，但 VR 提供了 3D 技术在物理 3D 对象之外的新应用。在虚拟世界中复制解剖学和场景的努力允许对个体患者进行个性化的医疗实践 1,2,3,4,9,11,13,16。这项工作展示了在数字世界中以最小的努力创建新的术前模拟的广泛能力。

在整个提出的协议中，有几个步骤对案件的成功至关重要。以适当的分辨率产生足够的结果的最重要因素是获得正确的医学成像。所呈现的过程不需要对患者进行额外的扫描，使用为每个颅内动脉瘤病例安排的标准 CTA 扫描。大多数扫描仪会将扫描内容存储很短的时间，具体取决于扫描仪型号和卫生系统协议，允许成像技术人员上传采集的扫描薄片，通常小于 1 毫米厚的薄片由于存储大小，通常不会存储超过几天。这些薄片允许更多的细节和更小的解剖结构，如血管。分割完成后，必须完成医生质量控制，以确保生成的 3D 模型在未来的步骤中尽可能准确地代表患者的解剖结构。所有模型的质量控制应成为分割过程的一部分，以尽量减少在协议的其余部分传播错误的可能性。质量控制包括血管边界和将动脉瘤与周围血管分开分割，类似于造影剂的表现方式。医生的质量控制至关重要，因为医生对模型的准确性负有全部责任，特别是当模型要用于患者治疗的进一步决策时。在某些情况下，医生自己完成分割步骤可能是可行或实用的。

该协议的下一个重要步骤是在集成量角器测量工具的同时保持空间模型对齐。事实证明，Blender 是完成此步骤的一个非常有用的工具，因为它允许将多种 STL 文件类型组合成一个具有多个图层的组合文件，每个图层在空间上都是对齐的，并且可以着色或纹理以增加清晰度。此外，在此步骤中，将添加量角器 STL，以便在 VR 中收集角度数据。此量角器模型是使用计算机辅助设计 （CAD） 工具 SolidWorks 专门开发的。利用软件中的高精度尺寸标注工具，创建了一个带有抽动标记的弧线，表示所有三个轴中每 5° 一次。量角器还具有十字准线，表示该模型的真正中心，并允许与患者解剖结构的中心对齐。模型中还有一个大条表示 （0,0），并且要与患者的鼻子对齐。此外，需要注意的是，这是手动完成的，可能会增加错误百分比。对准对于确保所有潜在角度测量的准确性至关重要。正确对齐后，模型就可以用于 VR，其中记录模型的医生位置允许将来确定模型的放置角度。在录制过程中，虚拟空间中的所有内容都会相互参考，最重要的是医生的视角 （POV） 以及模特的运动和旋转。充分利用此记录和暂停功能，从医生的 POV 通过量角器模型的十字准线放置一条直边，并且可以以与使用实际量角器非常相似的方式观察测量值。

这种方法确实有一些局限性。其中一个局限性是，在透视中观察动脉瘤时，不一定有一个正确的方向。这仅仅是由于视角不同而导致的多次验证尝试。从以下角度来看，这种限制可以被视为一种可能的好处，即与当前在手术室中确定角度的方法相比，通过操作 3D 模型而获得额外的熟悉，医生可能会找到最佳视图。该协议的另一个潜在局限性是，可以在VR中确定C臂实际上无法达到的视角。在VR中，医生将考虑并了解这一限制，因此如果这成为手术计划的一部分，则可以制定规范。另一个证明质量控制步骤重要性的局限性是，在某些情况下，动脉瘤远端的血管实际上在透视程序中并不像在VR模型中那样突出。这可能会迫使医生注意在VR手术过程中不一定会妨碍的血管，从而导致在VR中产生次优视角。在分割中，可以分割出大部分血管和感兴趣区域;干预者可以选择在船舶模型之间切换，以确保在其视角内不会有额外的船只，使用合同也可以将这种风险降至最低。

开发 3D 模型量角器和可以在 VR 中提供多轴角度测量的协议具有极其重要的意义，并有望实现广泛的潜在应用。这些好处可能被证明是多方面的，可能会增强从建筑和工程到制造和军事应用的各个行业。然而，如该协议所示，它的真正潜力在医疗保健领域大放异彩，直接在患者护理的手术计划部分。外科医生可以利用此工具直接在 VR 中可视化和测量角度，从而仔细评估和计划所有类型的手术。该技术类似于心导管插入术¹⁹ 所做的工作。术前了解特定角度的一个直接好处是，在透视过程中显着减少了对 360 度全旋转的需求，这是动脉瘤修复过程中常用的成像技术。通过确定模拟虚拟手术路线图所需的角度，外科医生可以更准确地定位设备，从而最大限度地减少对患者的辐射暴露。这不仅有助于通过最大限度地降低与辐射暴露相关的风险来确保患者安全，而且还简化了外科手术。由于减少了用于透视调整的时间，手术团队可以更高效地运作，最终缩短手术时间。

3D建模和虚拟现实技术的最新进展使医务人员能够在手术前深入了解患者的内部解剖结构，从而避免在手术过程中即兴思考，除了最紧急的情况外，其他所有病例1,2,3,4,6,9,11,13,16 .如果时间允许，医务人员应利用医学图像分割和VR诊断技术，在将患者放在手术台上之前进一步了解病例。这最终将导致更好地了解每个独特的患者，并减少手术时间和麻醉时间。

材料

Name	Company	Catalog Number	Comments
3D Slicer		N/A	Open source segmentation software
Blender		N/A	Open-source CAD software that can import and edit organic models created through segmentation
Enduvo	Enduvo	N/A	A proprietary VR viewer built for education, and our VR viewer of choice
McKesson PACS Change Healthcare Radiology Solution	McKesson	N/A	Any Picture Archiving and Communication System should be suffiecient, McKessen is simply our PACS software solution of choice.
Mimics	Materialise	N/A	Segmentation software
Quest	Oculus	N/A	Virtual Reality Headset
Steam VR	Steam	N/A	Computer to headset connection software.
VR capable computer			See Steam VR for minimal requirements.
VR-STL-Viewer	GitHub	N/A	A open-source VR viewer capable of importing and viewing .stl and can be used, however we cannot guarantee all functionalities mentioned in this paper will be available