Robotisiertes Testen von Kamerapositionen zur Bestimmung der idealen Konfiguration für die Stereo-3D-Visualisierung von Operationen am offenen Herzen

Zusammenfassung

Die menschliche Tiefenwahrnehmung von 3D-Stereovideos hängt von der Kameratrennung, dem Konvergenzpunkt, der Entfernung und der Vertrautheit des Objekts ab. Dieses Papier stellt eine robotisierte Methode zur schnellen und zuverlässigen Testdatenerfassung während einer Live-Operation am offenen Herzen vor, um die ideale Kamerakonfiguration zu bestimmen.

Zusammenfassung

Stereo-3D-Video von chirurgischen Eingriffen kann für die medizinische Ausbildung sehr wertvoll sein und die klinische Kommunikation verbessern. Aber der Zugang zum Operationssaal und zum Operationsfeld ist eingeschränkt. Es ist eine sterile Umgebung, und der physische Raum ist mit chirurgischem Personal und technischer Ausrüstung überfüllt. In diesem Setting sind eine ungesicherte Erfassung und realistische Reproduktion der chirurgischen Eingriffe schwierig. Dieser Artikel stellt eine Methode zur schnellen und zuverlässigen Datenerfassung von stereoskopischen 3D-Videos bei verschiedenen Kamera-Baseline-Entfernungen und Konvergenzabständen vor. Um Testdaten mit minimalen Störungen während der Operation, mit hoher Präzision und Wiederholbarkeit zu sammeln, wurden die Kameras an jeder Hand eines zweiarmigen Roboters befestigt. Der Roboter wurde im Operationssaal an der Decke montiert. Es wurde programmiert, um eine zeitgesteuerte Sequenz synchronisierter Kamerabewegungen durchzuführen, die durch einen Bereich von Testpositionen mit einem Basislinienabstand zwischen 50-240 mm bei inkrementellen Schritten von 10 mm und bei zwei Konvergenzabständen von 1100 mm und 1400 mm schritten. Die Operation wurde angehalten, um 40 aufeinanderfolgende 5-s-Videoproben zu ermöglichen. Insgesamt wurden 10 Operationsszenarien erfasst.

Einleitung

In der Chirurgie kann die 3D-Visualisierung für Bildung, Diagnosen, präoperative Planung und postoperative Bewertung verwendet ^werden1,2. Realistische Tiefenwahrnehmung kann das Verständnis ^von normalen und abnormalen Anatomien ^{verbessern3,4,5,6}. Einfache 2D-Videoaufnahmen von chirurgischen Eingriffen sind ein guter Anfang. Die fehlende Tiefenwahrnehmung kann es den nicht-chirurgischen Kollegen jedoch erschweren, die antero-posterioren Beziehungen zwischen verschiedenen anatomischen ....

Protokoll

Die Experimente wurden von der örtlichen Ethikkommission in Lund, Schweden, genehmigt. Die Teilnahme war freiwillig, und die Erziehungsberechtigten der Patienten gaben eine schriftliche Einwilligung.

1. Einrichtung und Konfiguration des Roboters

HINWEIS: Bei diesem Experiment wurden ein zweiarmiger kollaborativer Industrieroboter und das Standard-Bedienfeld mit einem Touch-Display verwendet. Gesteuert wird der Roboter mit der Steuerungssoftware RobotWare 6.10.01 und robot integrated development environment (IDE) RobotStudio 2019.525. Von den Autoren entwickelte Software, einschließlich der R....

Ergebnisse

Ein akzeptables Auswertungsvideo mit dem rechten Bild oben in stereoskopischem 3D oben und unten wird in Video1 gezeigt. Eine erfolgreiche Sequenz sollte scharf, fokussiert und ohne unsynchronisierte Bildrahmen sein. Nicht synchronisierte Videostreams verursachen Unschärfe, wie in der Datei Video 2 gezeigt. Der Konvergenzpunkt sollte horizontal zentriert sein, unabhängig von der Kameratrennung, wie in Abbildung 9A,B dargestellt. Wenn der R.......

Diskussion

Während der Live-Operation war die Gesamtzeit des Experiments, das für die 3D-Videodatenerfassung verwendet wurde, begrenzt, um für den Patienten sicher zu sein. Wenn das Objekt nicht fokussiert oder überbelichtet ist, können die Daten nicht verwendet werden. Die kritischen Schritte sind während der Kalibrierung und Einrichtung des Kamerawerkzeugs (Schritt 2). Die Kamerablende und der Fokus können nicht geändert werden, wenn die Operation begonnen hat. Die gleichen Lichtverhältnisse und Abstände sollten währen.......

Materialien

Name	Company	Catalog Number	Comments
2 C-mount lenses (35 mm F2.1, 5 M pixel)	Tamron	M112FM35	Rated for 5 Mpixel
3D glasses (DLP-link active shutter)	Celexon	G1000	Any compatible 3D glasses can be used
3D Projector	Viewsonic	X10-4K	Displays 3D in 1080, can be exchanged for other 3D projectors
6 M2 x 8 screws			To attach the cXimea cameras to the camera adaptor plates
8 M2.5 x 8 screws			To attach the circular mounting plates to the robot wrist
8 M5 x 40 screws			To mount the robot
8 M6 x 10 screws with flat heads			For attaching the circular mounting plate and the camera adaptor plates
Calibration checker board plate (25 by 25 mm)			Any standard checkerboard can be used, including printed, as long as the grid is clearly visible in the cameras
Camera adaptor plates, x2			Designed by the authors in robot_camera_adaptor_plates.dwg, milled in aluminium.
Circular mounting plates, x2			Distributed with the permission of the designer Julius Klein and printed with ABS plastic on an FDM 3D printer. License Tecnalia Research & Innovation 2017. Attached as Mountingplate_ROBOT_SIDE_ NewDesign_4.stl
Fix focus usb cameras, x2 (5 Mpixel)	Ximea	MC050CG-SY-UB	With Sony IMX250LQR sensor
Flexpendant	ABB	3HAC028357-001	robot touch display
Liveview			recording application
RobotStudio			robot integrated development environment (IDE)
USB3 active cables (10.0 m), x2			Thumbscrew lock connector, water proofed.
YuMi dual-arm robot	ABB	IRB14000