该协议为没有经验的用户提供工具,通过构建自己的智能手机应用程序,将增强现实解决方案引入医疗领域。此方法结合了增强现实和 3D 打印,从而可以快速轻松地可视化基于 3D 打印参考标记的数据创建的 3D 模型。此技术可应用于任何医疗场景中,其中 3D 打印参考可以硬性地附加到患者。
可视化 3D 模型的可视化模型创建基于数据本地化,该模型是有针对性的,也可以改善患者此协议是专门为没有医学成像或软件开发知识的用户设计的,以帮助在医疗领域使用增强现实。要创建患者解剖的 3D 模型,请先将医疗图像文件跟踪到 3D 切片器软件窗口中,然后单击"确定"。要分割患者的解剖结构,请转到 3D 切片器中的段编辑器模块。进入模块后将自动创建分段项。
在主音量部分中选择所需的音量,右键单击图像下方以选择"添加"以创建段。在效果面板中,为目标选择最方便的工具,并分割患者的医疗图像。要以 3D 模型文件格式导出分段,请打开分段模块。
在导出/导入模型和标签图中,选择导出和模型,然后单击导出以从分段区域创建 3D 模型。单击"保存"并选择要保存的元素。然后将 3D 模型的文件格式更改为 OBJ。
可以重复分割以创建不同解剖区域的其他 3D 模型。要将 3D 患者模型定位到任何位置,请打开 AR 健康模型位置模块并选择可视化模式。单击加载标记模型加载此选项的标记,单击省略号按钮选择保存的 3D 模型的路径,单击加载模型以在 3D 切片器中加载模型。
单击"完成"和"居中"以居中标记内的所有模型。使用滑柱根据需要调整 3D 模型的位置、方向和缩放。然后选择存储文件的路径,然后单击"保存模型"以在此位置保存模型。
要将增强现实标记与任何所需位置的 3D 生物模型相结合,请打开 AR Health 模型位置模块,并在初始化部分选择注册模式。单击加载标记模型以加载此选项的标记,并移动 3D 模型,直到它们与立方体标记的支撑结构相交,根据需要修改标记基的高度。若要在此位置保存模型,请选择存储文件的路径,然后单击"保存模型"。
如果解剖模型太大,在网格混频器软件中加载立方体标记模型的生物模型和支持结构。在对象浏览器窗口中选择两个模型以组合模型,并使用编辑菜单中的纯切割工具删除不会打印模型的任何不需要的部分。要将模型保存为 3D 打印,请选择文件并导出并选择所需的格式。
要 3D 打印最终增强现实应用所需的物理模型,请在 3D 打印软件中为应用选择白色TwoColorCuebMarker_white。obj 文件和黑色材料的TwoColorCubeMarker_white。obj 文件。
然后使用双挤出机 3D 打印机在具有小图层高度的高质量模式下以黑白打印立方标记。若要在 Unity 引擎中设计包含 3D 模型的智能手机应用,请打开 Vuforia 开发人员并创建一个帐户。选择获取开发密钥以获取免费的开发许可证密钥,并在许可证管理器菜单中选择并复制密钥。
要设置智能手机,在 Unity 版本 2019 应用程序中,在文件菜单中的生成设置下,选择适用于设备的平台。要将 Vuforia 启用到项目中,请选择编辑、项目设置、播放器设置和 XR 设置,然后选中标记为 Vuforia 增强现实支持的复选框。要创建增强现实相机,请选择菜单栏、游戏对象、Vuforia 引擎和 AR 摄像机,并在提示时导入 Vuforia 组件。
要将 Vuforia 许可证密钥添加到 Vuforia 配置设置中,请选择资源文件夹,单击 Vuforia 配置,然后将许可证密钥粘贴到应用许可证密钥部分。导入 Vuforia 目标文件,其中包含 Vuforia 需要检测标记的文件到 Unity 中,并选择菜单栏、游戏对象、Vuforia 引擎和多图像来创建 Vuforia 多目标。单击多目标以选择将用于检测的标记类型,并在多目标行为下的数据库选项中,选择ARHealth_3dPrintedCube_30x30x30。
在多目标行为下的多目标选项中,根据标记选择"双色立方体标记"或"贴纸立方体标记"。将 3D 模型拖动到模型文件夹中,然后将文件夹拖动到多目标项下。模型应在 Unity 3D 视图场景中可见。
要更改 3D 模型的颜色,请创建新材质并将新材料分配给模型。如果网络摄像头可用,请单击"播放"以在计算机上测试应用程序。如果标记对网络摄像头可见,则应检测到该标记,并且应在现场显示 3D 模型。
如果 Android 智能手机将用于应用开发,请在 Unity 中选择生成设置,然后从列表中选择插入的手机。然后使用 apk 扩展名保存文件,并允许完成该过程。如果应用将在 iOS 设备上部署,请在生成设置中选择文件并保存该文件。
要可视化应用程序,请打开智能手机上的应用程序,并使用智能手机摄像头在 40 厘米的最小距离内查看应用内的标记。一旦应用检测到标记,以前创建的 3D 模型应显示在智能手机屏幕上,在过程中定义的确切位置。使用如所证明的方法,从患者的CT扫描中分离出来自远腿肉瘤和肿瘤的患者的这部分受影响的头骨和纤维。
使用分割工具,为骨骼创建一个生物模型,为肿瘤创建一个生物模型。对于可视化模式,模型位于标记的上相中。对于注册模式,标记适配器位于头骨中,并且选择 Tibia 的一小部分使用 3D 标记适配器进行 3D 打印。
聚乳酸可用于创建 3D 打印标记、标记支架底座和骨骼部分,如所演示。此处将标记附加到可视化模式 3D 打印底座,此处显示附件与注册模式 3D 打印生物模型。此表示形式显示应用在可视化模式下的工作方式,而全息图准确位于多维数据集的上部(如前所述)。
在注册模式下,完整的骨骼模型可以放置在 3D 打印部分的顶部,并在骨骼站点上清晰、逼真的标记可视化。要使用增强现实来可视化重要的患者信息,您需要多种免费可用的软件工具,以及访问 3D 打印机和智能手机。此过程可应用于从医学成像获得的任何模型。
其用途可扩展到其他干预措施,如针头插入的放射治疗定位。我们现在正在将这一开发的应用扩展到新的临床领域,包括骨科或骨科手术。我们最初的研究是有希望的,外科医生的反馈是非常积极的。