Test robotizzati delle posizioni della telecamera per determinare la configurazione ideale per la visualizzazione 3D stereo della chirurgia a cuore aperto

Riepilogo

La percezione della profondità umana dei video stereo 3D dipende dalla separazione della telecamera, dal punto di convergenza, dalla distanza e dalla familiarità dell'oggetto. Questo documento presenta un metodo robotizzato per la raccolta rapida e affidabile dei dati di test durante la chirurgia a cuore aperto dal vivo per determinare la configurazione ideale della telecamera.

Abstract

Il video 3D stereo delle procedure chirurgiche può essere molto prezioso per l'educazione medica e migliorare la comunicazione clinica. Ma l'accesso alla sala operatoria e al campo chirurgico è limitato. È un ambiente sterile e lo spazio fisico è affollato di personale chirurgico e attrezzature tecniche. In questo contesto, la cattura non oscurata e la riproduzione realistica delle procedure chirurgiche sono difficili. Questo documento presenta un metodo per la raccolta rapida e affidabile di dati di video 3D stereoscopici a diverse distanze di base della telecamera e distanze di convergenza. Per raccogliere i dati dei test con interferenze minime durante l'intervento chirurgico, con alta precisione e ripetibilità, le telecamere sono state collegate a ciascuna mano di un robot a doppio braccio. Il robot era montato a soffitto in sala operatoria. È stato programmato per eseguire una sequenza temporizzata di movimenti sincronizzati della telecamera che attraversano una serie di posizioni di prova con distanza di base compresa tra 50-240 mm a passi incrementali di 10 mm e a due distanze di convergenza di 1100 mm e 1400 mm. L'intervento chirurgico è stato sospeso per consentire 40 campioni video consecutivi da 5 s. Sono stati registrati un totale di 10 scenari chirurgici.

Introduzione

In chirurgia, la visualizzazione 3D può essere utilizzata per l'istruzione, le diagnosi, la pianificazione pre-operatoria e la valutazione post-operatoria1,2. La percezione realistica della profondità può migliorare la comprensione3,4,5,6 di anatomie normali e anormali. Semplici registrazioni video 2D di procedure chirurgiche sono un buon inizio. Tuttavia, la mancanza di percezione della profondità può rendere difficile per i colleghi non chirurgici comprendere appieno le relazioni a....

Protocollo

Gli esperimenti sono stati approvati dal Comitato Etico locale di Lund, in Svezia. La partecipazione è stata volontaria e i tutori legali dei pazienti hanno fornito un consenso scritto informato.

1. Configurazione e configurazione del robot

NOTA: questo esperimento ha utilizzato un robot industriale collaborativo a doppio braccio e il pannello di controllo standard con display touch. Il robot è controllato con il software di controllo RobotWare 6.10.01 e l'ambiente di sviluppo integrato robot (IDE) RobotStudio 2019.525. Il software sviluppato dagli autori, tra cui l'applicazione robot, l'app....

Risultati

Un video di valutazione accettabile con l'immagine giusta posizionata in alto nel 3D stereoscopico superiore-inferiore viene mostrato in Video1. Una sequenza riuscita deve essere nitida, focalizzata e senza fotogrammi di immagine non sincronizzati. I flussi video non sincronizzati causeranno sfocature, come mostrato nel file Video 2. Il punto di convergenza deve essere centrato orizzontalmente, indipendentemente dalla separazione della telecamera, come mostrato nella

Discussione

Durante la chirurgia dal vivo, il tempo totale dell'esperimento utilizzato per la raccolta di dati video 3D è stato limitato per essere sicuro per il paziente. Se l'oggetto non è focalizzato o sovraesposto, i dati non possono essere utilizzati. I passaggi critici sono durante la calibrazione e la configurazione dello strumento della fotocamera (passaggio 2). L'apertura e la messa a fuoco della fotocamera non possono essere modificate quando l'intervento chirurgico è iniziato; le stesse condizioni di illuminazione e di.......

Materiali

Name	Company	Catalog Number	Comments
2 C-mount lenses (35 mm F2.1, 5 M pixel)	Tamron	M112FM35	Rated for 5 Mpixel
3D glasses (DLP-link active shutter)	Celexon	G1000	Any compatible 3D glasses can be used
3D Projector	Viewsonic	X10-4K	Displays 3D in 1080, can be exchanged for other 3D projectors
6 M2 x 8 screws			To attach the cXimea cameras to the camera adaptor plates
8 M2.5 x 8 screws			To attach the circular mounting plates to the robot wrist
8 M5 x 40 screws			To mount the robot
8 M6 x 10 screws with flat heads			For attaching the circular mounting plate and the camera adaptor plates
Calibration checker board plate (25 by 25 mm)			Any standard checkerboard can be used, including printed, as long as the grid is clearly visible in the cameras
Camera adaptor plates, x2			Designed by the authors in robot_camera_adaptor_plates.dwg, milled in aluminium.
Circular mounting plates, x2			Distributed with the permission of the designer Julius Klein and printed with ABS plastic on an FDM 3D printer. License Tecnalia Research & Innovation 2017. Attached as Mountingplate_ROBOT_SIDE_ NewDesign_4.stl
Fix focus usb cameras, x2 (5 Mpixel)	Ximea	MC050CG-SY-UB	With Sony IMX250LQR sensor
Flexpendant	ABB	3HAC028357-001	robot touch display
Liveview			recording application
RobotStudio			robot integrated development environment (IDE)
USB3 active cables (10.0 m), x2			Thumbscrew lock connector, water proofed.
YuMi dual-arm robot	ABB	IRB14000