증강 현실을 사용한 경피적 대동맥 판막 치환술의 자동 수술

요약

이 기사에서는 증강 현실(AR) 기반 3D 재구성을 기반으로 하는 자동 수술 모듈의 설계 및 구현을 소개합니다. 이 시스템은 외과의가 복원된 특징을 검사하고 마치 가까운 거리에서 수술을 수행하는 것처럼 수술의 손 움직임을 복제할 수 있도록 하여 원격 수술을 가능하게 합니다.

초록

증강 현실(AR)은 의료 응용 분야에서 수요가 많습니다. 이 논문의 목적은 경피적 대동맥 판막 치환술(TAVR)을 위해 AR을 사용한 자동 수술을 제공하는 것입니다. TAVR은 심장 절개 수술을 위한 대체 의료 시술입니다. TAVR은 카테터를 사용하여 손상된 판막을 새 판막으로 교체합니다. 기존 모델에서는 원격 안내가 이뤄지고, AR 기반의 수술은 자동화되지 않는다. 이 기사에서는 수술 환경에서 이미지 캡처를 자동화하기 위해 모터에 연결된 공간적으로 정렬된 카메라를 배포했습니다. 카메라는 카테터 테스트베드와 함께 환자 심장의 2D 고해상도 이미지를 추적합니다. 이렇게 캡처된 이미지는 모바일 앱을 사용하여 심장학 전문가인 원격 외과의에게 업로드됩니다. 이 이미지는 2D 이미지 추적에서 3D 재구성에 사용됩니다. 이는 랩톱의 에뮬레이터처럼 HoloLens 표시됩니다. 외과의는 회전 및 크기 조정과 같은 추가 변형 기능을 사용하여 재구성된 3D 이미지를 원격으로 검사할 수 있습니다. 이러한 변형 기능은 손 제스처를 통해 사용할 수 있습니다. 외과의의 안내는 수술 환경으로 전송되어 실시간 시나리오에서 프로세스를 자동화합니다. 수술 분야의 카테터 테스트베드는 원격 외과의의 손 제스처 안내에 의해 제어됩니다. 개발된 프로토타입 모델은 AR을 통한 원격 수술 지도의 효과를 보여줍니다.

서문

AR은 실제 환경에서 3D 모델을 중첩할 수 있습니다. AR을 향한 기술 발전은 교육¹, 의료², 제조업³, 엔터테인먼트⁴ 등 많은 분야에서 패러다임의 변화를 가져왔다. AR 기술은 매우 안정적인 저지연 통신과 함께 의료 분야에서 불가피한 역할을 입증합니다. 인체 해부학의 학습 단계부터 수술 지도에 이르기까지, AR 기반 소프트웨어^5,6 및 하드웨어를 사용하여 학습 단계를 시각화할 수 있습니다. AR은 수술 환경에서 의사에게 중요하고 신뢰할 수 있는 솔루션을 제공합니다 ^7,8.

대동맥 판막 협착증은 인류에게 가장 흔한 심장 판막 질환입니다⁹. 이 질병의 근본 원인은 잘못된 식습관과 불규칙한 일상 생활에 있습니다. 이 질병의 증상과 결과는 심장 판막이 좁아지고 혈류가 감소하는 것입니다. 이 문제는 인간의 심장에 손상이 발생하기 전에 해결되어야 합니다. 따라서 심장은 혈류를 처리해야 하는 부담이 과도하게 가중됩니다. 따라서 손상이 발생하기 전에 수술을 수행해야 하며, 최근 기술 발전으로 인해 TAVR 절차를 사용하여 수술을 수행할 수도 있습니다. 이 절차는 환자의 심장 및 기타 신체 부위의 상태에 따라 채택할 수 있습니다. 이 TAVR^10,11에서는 손상된 심장 판막을 대체하기 위해 카테터를 삽입합니다. 그러나 판막을 교체하기 위해 카테터 위치¹²를 배치하는 것은 시술자에게 지루한 일입니다. 이 아이디어는 AR^13,14를 기반으로 하는 자동 수술 모델을 설계하도록 동기를 부여했으며, 이는 외과의가 교체 과정에서 판막을 정확하게 배치하는 데 도움이 됩니다. 또한 원격 위치에서 캡처한 외과의의 움직임을 로봇 팔에 매핑하는 모션 매핑 알고리즘으로 수술을 수행할 수 있습니다.

기존 작업 15,16,17에서 TAVR ¹⁸ 절차의 시각화는 형광 투시를 통해 모니터링됩니다. 따라서 심장 판막을 분석하기 어렵고 교체 위치를 찾는 것이 지루합니다. 이것은 카테터를 인간의 심장에 배치하는 데 장벽을 설정합니다. 또한 원격 모션을 수술 필드에 매핑하여 프로세스를 자동화합니다. 그러나 연구 격차를 극복하기 위해 AR 보조 기술을 사용하여 판막 치환술을 위한 자동화된 로봇 기반 수술을 제안합니다.

이 프로토콜은 모든 수술 환경에 적용할 수 있는 일반 모델입니다. 작업 초기 단계에서는 가장 자유도가 높은 최대 공간 해상도로 수술 환경 곳곳에서 2D 이미지를 캡처합니다. 이는 3D 재구성⁽¹⁹ ) 목적을 위해 충분한 이미지가 캡처된 후 손 제스처 추적⁽²⁰)을 통한 모션 매핑이 뒤따른다는 것을 의미한다.

프로토콜

1. 수술 환경

1. 그림 1과 같이 수술 환경을 설계합니다. 환경에 물체를 운반하는 플래터, 로봇 팔, 측면으로 매달린 두 개의 암이 있는지 확인하고, 하나는 카메라 플레이스홀더를 고정하고 다른 하나는 저울을 위한 계량 모듈과 함께 일관된 흰색 배경을 갖도록 합니다.
2. 2.1 - 2.10 단계에서 언급 한 것처럼 실제 수술 환경의 스냅 샷을위한 드라이버와 3.1 - 3.4 단계에서 언급 한 것처럼 360 ° 감시를 지원하는 회전 메커니즘을 제어하기 위해 두 개의 드라이버를 개발합니다.
3. 위의 두 모듈을 구현하기 전에 외과 의사의 HoloLens 에뮬레이터 역할을 하는 모바일 장치와 노트북의 Bluetooth를 활성화합니다.
4. 중단 없는 이미지 전송을 위해 장치를 페어링합니다.

2. 두 개의 매달린 팔을 제어하도록 드라이버 설정

1. 행잉 암이 360°의 완벽한 회전을 위해 그림 2 와 같이 배열된 스테퍼 모터로 제어되는지 확인하십시오.
2. TB 6600 드라이버를 사용하여 모터를 마이크로 컨트롤러 보드에 연결합니다. 모터를 실행하려면 브라우저에서 마이크로 컨트롤러 IDE를 설치하십시오.
3. 다운로드 버튼을 클릭하여 소프트웨어를 다운로드합니다. 그런 다음 마이크로 컨트롤러 IDE에서 파일 > 새 스케치 열기로 이동하여 코드를 작성합니다.
4. 전용 연결 포트(예: COM 4)를 통해 새 스케치와 인터페이스하도록 마이크로 컨트롤러 보드를 연결해야 합니다. Com 포트를 확인하고 마이크로 컨트롤러 보드가 표시되는지 확인합니다.
5. 스테퍼 모터 드라이버 TB 6600의 하드웨어 스위치 설정을 확인하십시오. 전류 흐름이 SW2 ON과 SW4 및 SW5 및 SW6 OFF로 설정할 수 있는 6A가 되도록 설정되어 있는지 확인하십시오.
6. SW1, SW2 및 SW3의 스위치 위치가 요구 사항에 따라 회전 단계를 달성하기 위해 마이크로 단계가 1/8 단계가 되도록 설정되어 있는지 확인합니다. TB1에서 설정이 SW2 OFF, SW3 ON 및 SW6600 OFF인지 확인합니다.
7. RTC 3231을 마이크로 컨트롤러와 연결하여 실시간 글로벌 시간 동기화를 수행합니다. 회전 단계 크기가 12°이고 실시간 단위, 즉 RTC 모듈에서 읽은 초가 홀수일 때만 모터 단계 증가가 트리거되는지 확인하십시오.
8. 마이크로 컨트롤러 보드의 5V 핀을 RTC VCC에 연결하고 마이크로 컨트롤러의 GND를 RTC의 GND에 연결합니다.
9. RTC의 SCL 핀을 A0 핀에 연결하고 SDA를 마이크로 컨트롤러의 A1 핀에 연결합니다. 이 모듈은 12°의 스텝 크기를 보장할 수 있어 한 회전에 30스텝을 만들 수 있습니다. 걸음 수 증가가 홀수 초마다 발생하는지 확인합니다. 이 소프트웨어 모듈이 스테퍼 모터²¹을 구동하도록 하십시오.
10. GitHub 페이지 https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR 에서 사용할 수 있는 코드를 실행하여 설정이 올바르게 작동하는지 확인합니다.
11. Android 스튜디오를 다운로드하여 자동 카메라 앱을 개발합니다. 시스템 요구 사항이 충족되었는지 확인한 다음 웹 사이트에서 소프트웨어를 다운로드합니다.

3. 모바일 기반 장면 감시 및 영상 전송을 위한 드라이버를 클라이언트 모듈로 개발

1. Android 운영 체제에서 특히 초가 홀수인 경우 2초마다 스냅샷을 찍을 수 있는 카메라 애플리케이션을 개발합니다.
2. 휴대폰을 시스템에 연결합니다. Android 스튜디오에서 New > New Project 를 클릭하고 Empty Views Activity를 선택합니다. 다음을 클릭하여 https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR 에서 사용할 수 있는 Android 코드를 개발합니다.
3. 앱이 이미지를 자동으로 캡처하고 원격 장치로 일관되게 전송하는지 확인합니다.
4. 스냅샷을 촬영한 직후 모바일 앱에서 페어링된 장치로, 즉 Bluetooth를 통해 원격 외과의의 시스템으로 스냅샷을 전송합니다.
   참고: 섹션 2와 3에 언급된 모듈이 시간 동기화에서 실행되는지 확인하고, 하나는 짝수 초마다, 다른 하나는 홀수 초마다 실행합니다.

4. 감시 이미지를 수신하고 처리하기 위한 클라이언트 모듈 개발

1. 그래픽 사용자 인터페이스인 서버 모듈을 엽니다.
2. 텍스트 필드 VVID에 VVID 포트 번호를 입력합니다. 기본값은 94f39d29 7d6d 437d 973b fba39e49d4ee입니다.
3. Create Socket 을 클릭하여 소켓을 생성하고 바인딩합니다. Connect(연결)를 클릭하여 모바일 앱과 연결합니다.
4. Capture( 캡처 )를 클릭하여 현장 감시 이미지를 캡처하고 로컬 폴더에 저장합니다.
5. 언급된 기본 폴더 이름 이외의 다른 이름이어야 하는 경우 필드 폴더 이름에 로컬 폴더 이름을 입력합니다.

5. 로봇 팔 작동

1. 클라이언트 모듈에 로봇 팔도 포함되도록 합니다. 팔의 밑부분, 어깨, 팔꿈치, 손목 및 손가락이 회전 움직임을 갖도록 디자인합니다.
2. MG 996R 서보가 베이스, 숄더 및 엘보우의 회전 운동을 제어하는 데 사용되는지 확인하십시오. SG 90 서보 모터를 사용하여 엘보우와 핑거의 회전 운동을 제어해야 합니다.
3. 마이크로컨트롤러 IDE에서 https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR 제공된 코드를 컴파일하여 원격 외과의로부터 받은 명령에 따라 로봇 팔을 구동합니다.

증강 현실을 위한 6. 3D 재구성

1. 로컬 폴더에서 한 번에 두 개의 이미지를 하나씩 순서대로 읽어 두 이미지 간의 가능한 겹침(이미지가 가까운 거리에서 수집되므로 연속된 이미지 간에 겹침이 있음)을 얻습니다.
2. DITF(Tertiary Filtering²² ) 알고리즘을 사용하여 Directional Intensified Feature Description의 요구 사항에 따라 3차 필터를 설계하여 그래디언트와 방향을 얻습니다.
3. 그림 3과 같이 DITF 방법²²를 사용하여 특징을 추출합니다.
4. SFM²³을 사용하여 수집된 특징에서 3D 이미지를 재구성합니다.

7. 외과 의사의 위치에서 손 제스처 인식

1. 외과의가 손 제스처 기반 회전 및 재구성된 특징의 확대/축소를 제공하여 모든 관점에서 환경을 시각화할 수 있도록 하여 외과의가 3D로 재구성된 이미지 특징을 검사할 수 있도록 합니다.
2. 외과 의사의 엄지 손가락 끝과 오른손 검지 사이의 거리를 정규화하고 해당 회전 각도로 매핑합니다. 최소 거리가 0°에 해당하고 최대 거리가 180°에 해당하도록 정규화를 수행합니다.
3. Bluetooth를 통해 손 제스처 제어를 원격 수술 환경으로 전송하고 물체 플래터의 회전을 위해 물체 플래터를 회전시켜 3D 재구성된 기능이 외과의의 끝에서 회전할 때 플레이트가 축을 따라 회전하도록 합니다.
4. 외과 의사의 왼손 끝과 엄지 사이의 거리를 찾아 로봇 팔의 손가락 움직임을 제어합니다.
5. 외과 의사의 왼손 엄지 끝과 검지 사이의 공간적 거리에서 가상의 x-y 지표면을 기준으로 상승 각도를 측정하여 상승 각도를 결정합니다. 이 각도를 로봇 팔이 x-y 평면으로 만들 수 있는 고도각에 매핑합니다.
6. 외과 의사의 손이 가상 y-z 평면의 손과 만드는 방위각을 찾으십시오. 손 제스처 기반 인식을 통해 이러한 각도를 식별합니다.
7. 거리, 고도 및 방위각을 매핑하여 로봇의 손가락 움직임과 팔 회전을 제어하며, 둘 다 고도 및 방위각에 해당합니다.
8. 외과의가 확대/축소 및 회전을 통해 재구성된 특징을 검사하도록 합니다. 외과의가 로봇 팔에 명령을 전송하여 원격 위치에서 수술을 수행할 수 있도록 합니다.
9. 수술 명령이 문자열 concurrence로 시작하는 시퀀스의 제어 문자열로 전송되고 그 뒤에 플래터 회전 및 로봇 팔 컨트롤러를 제어하는 값이 오는지 확인하십시오. [θ_b, θ_s, θ_e, θ_w, θ_f]를 로봇 팔의 베이스, 어깨, 팔꿈치, 손목 및 손가락에 해당하는 제어 신호에 해당하는 값으로 구성된 벡터의 각도라고 합니다.
   참고: GitHub 링크는 수술 분야에서 손 제스처 제어를 활성화하는 코드를 제공합니다. https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR.

결과

이 프로토콜은 하트 팬텀 모델로 테스트되었습니다. 그림 2 는 공간적으로 분산된 카메라를 사용하여 수술 현장을 실시간으로 감시하기 위한 예상 설정을 보여줍니다. 그림 2에서 볼 수 있듯이 분산된 카메라는 효과적인 3D 재구성을 위해 필드의 공간 해상도를 높이는 데 도움이 됩니다. 그러나 다양한 공간 위치에 이러한 카메라를 물리적으로 배치하?...

토론

기존 작업⁽¹⁵)에서는 심장에서 카테터를 찾기 위해 X선 및 CT 스캔을 검사합니다. 그러나 AR TAVR 대체는 3D 재구성을 사용한 자동 모델의 구현으로 TAVR¹⁸ 수술 절차의 새로운 가능성을 제시합니다. 프로토콜 섹션에서 언급했듯이 이 작업은 5단계로 설계해야 합니다. 이전 작업²²에서 제안한 섹션 6에서 언급한 DITF²²의 첫 번째 단계?...

자료

Name	Company	Catalog Number	Comments
android IDE	software	https://developer.android.com/studio	software can be downloaded from this link
Arduino Board	Ardunio Uno	Ardunio Uno	Microcontroller for processing
arduino software	software	https://www.arduino.cc/en/software.	software can be downloaded from this link
Human Heart phantom model	Biology Lab Equipment Manufacturer and Exporter	B071YBLX2V(8B-ZB2Q-H3MS-1)	light weight model with 3parts to the deep analysis of heart.
mobile holder	Humble universal monopoad holder	B07S9KNGVS	To carry the mobile in surgical field
pycharm IDE	software	https://www.jetbrains.com/pycharm/	software can be downloaded from this link
Robot arm	Printed-bots	B08R2JLKYM(P0-E2UT-JSOU)	arm can be controlled through control signal.it has 5 degree of freedom to access.
servo motor	Kollmorgen Co-Engineers Motors	MG-966R	high-torque servo motor,servo pulses ranging from 500 to 2500 microseconds (µs), with a frequency of 50Hz to 333Hz.
servomotor	Kollmorgen Co-Engineers Motors	SG-90R	1.8 kg-cm to 2.5 kg-cm load can be applied to SG-90R servo.
Stepper Motor	28BYJ-48	28BYJ-48	Steper motor, 5V DC, 100 Hz frequency, torque 1200 Gf.cm
Stepper Motor	Nema 23	Nema	Steper motor, 9V - 42 V DC, 100 Hz frequency