開胸手術のステレオ3D可視化のための理想的な構成を決定するためのカメラ位置のロボット化試験

要約

3D ステレオ ビデオの人間の深度の認識は、カメラの分離、収束点、距離、およびオブジェクトの親しみやすさに依存します。本論文では、ライブの開胸手術中に迅速かつ信頼性の高いテストデータ収集を行い、理想的なカメラ構成を決定するロボット化された方法を紹介する。

要約

手術によるステレオ3Dビデオは、医学教育に非常に価値があり、臨床コミュニケーションを改善します。しかし、手術室と外科分野へのアクセスは制限されています。滅菌環境で、外科スタッフや技術機器で身体の空間が混雑しています。この設定では、外科的処置の不明瞭な捕獲および現実的な再現は困難である。本論文では、異なるカメラベースライン距離と収束距離における立体3Dビデオの迅速かつ信頼性の高いデータ収集方法を紹介する。高精度と再現性を備えた手術中の干渉を最小限に抑えたテストデータを収集するために、デュアルアームロボットの各手にカメラを取り付けました。ロボットは手術室に天井に取り付けられました。10 mmの増分ステップで50~240mmの間のベースライン距離を持つテスト位置の範囲を、1100 mmと1400 mmの2つの収束距離で、同期カメラの動きのタイミングシーケンスを実行するようにプログラムされました。手術は40連続5sビデオサンプルを可能にするために一時停止されました。合計10の外科シナリオが記録された。

概要

手術では、3D可視化を教育、診断、術前計画、術後評価に使用できます^1,2。現実的な深さの知覚は正常および異常な解剖学の理解^{3、4、5、6}を改善することができる。外科的処置の簡単な2Dビデオ録画は良いスタートです。しかし、深度知覚の欠如は、非外科的同僚が異なる解剖学的構造間の後方関係を完全に理解するのを困難にし、解剖学の誤解のリスクを引き起こす^{可能性があります7,8,9,10}。

3D 表示エクスペリエンスは、(1) カメラの構成は、図 1、(2) ベースライン距離 (カメラ間の分離) に示すように、平行または引き離すことができます。(3) 対象とするオブジェクトまでの距離や、背景などの他のシーン特性。(4) 画面サイズや視聴位置などの表示装置の特性 ^1,11,12,13.(5)視聴者の個人の好み^14,15。

3D カメラの設定の設計は、主観的または自動評価に使用するさまざまなカメラベースライン距離および構成で記録されたテストビデオのキャプチャから始まります16,17,18,19,20。シャープな画像をキャプチャするには、カメラの距離は外科分野に一定でなければなりません。オートフォーカスは、手、楽器、または頭部に合わせて調整されるため、固定フォーカスが優先されます。しかし、関心のあるシーンが外科分野である場合、これは容易には達成できない。これらの施設は清潔で無菌に保たれなければならないので、手術室はアクセスエリアが制限されています。技術機器、外科医、スクラブ看護師は、多くの場合、良好な視覚的概要と効率的なワークフローを確保するために、患者の周りに密接に集められております。3D 表示エクスペリエンスに対するカメラ位置の効果を比較して評価するには、形状、サイズ、色などのオブジェクト特性が 3D 表示エクスペリエンス^に影響を与える可能性があるため、カメラ位置のテスト範囲を 1 つ完全に記録する必要があります。

同じ理由で、カメラ位置の完全なテスト範囲は、異なる外科的処置で繰り返されるべきです。ポジションのシーケンス全体を高精度に繰り返す必要があります。外科環境では、ベースライン距離²² の手動調整または固定ベースライン距離²³ を持つ異なるカメラペアのいずれかを必要とする既存の方法は、空間と時間の両方の制約のために実現不可能である。この課題に対処するために、このロボットソリューションは設計されました。

データは、手術室の天井に取り付けられたデュアルアーム共同産業用ロボットで収集されました。カメラはロボットの手首に取り付けられ、 図2に示すように、ベースライン距離が増加して円弧状の軌道に沿って移動しました。

このアプローチを実証するために、10の試験系列は4つの異なる先天性心不全を有する4つの異なる患者から記録された。手術の一時停止が可能な場合、シーンは選択されました:外科的修復の直前と直後に心臓を鼓動する。シリーズはまた、心が逮捕されたときに作られました。手術は3分と20 sのために一時停止され、異なるカメラ収束距離とベースライン距離を持つ40の5sシーケンスを収集してシーンをキャプチャしました。ビデオは後処理され、臨床チームのために3Dで表示され、3Dビデオが0-5のスケールに沿ってどれほど現実的であるかを評価しました。

トードイン ステレオ カメラの収束点は、両方のイメージの中心点が交点する場所です。収束点は、原則として、オブジェクトの前方、内側、または後方のいずれかに配置することができます。.収束ポイントがオブジェクトの前にある場合、オブジェクトは、右のカメラ イメージの左カメラ イメージの中間線の左、右のカメラ イメージの右の右側にキャプチャされ、表示されます(図 1A)。逆の場合は、収束ポイントがオブジェクトの背後にある場合に適用されます(図 1B)。収束点がオブジェクト上にある場合、オブジェクトはカメラ画像の中線にも表示されます(図1C)。画像をマージするためにスクイントが必要とされないので、おそらく最も快適な表示を得るはずです。快適なステレオ3Dビデオを実現するには、収束点が対象物の上に位置するか、または少し後ろにある必要があります。

データは、デュアルアームの協調産業用ロボットを使用してカメラを配置して収集しました(図2A-B)。ロボットは装置なしで38のkgの重量を量る。ロボットは本質的に安全です。予期しない影響を検出すると、移動が停止します。ロボットは、所定のベースライン距離で停止する円弧状の軌道に沿ってCマウントレンズを備えた5メガピクセルのカメラを配置するようにプログラムされました(図2C)。図3に示すように、カメラはアダプタプレートを使用してロボットハンドに取り付けられました。各カメラは毎秒25フレームで記録されています。レンズは、対象物(心臓の近似幾何学的中心)に焦点を合わせたfストップ1/8に設定された。すべてのイメージ フレームには、2 つのビデオ ストリームを同期するために使用されたタイムスタンプがありました。

ロボット手首とカメラの間のオフセットを較正しました。 これは、図 4 に示すように、カメライメージの十字線を揃えて配置することで実現できます。この設定では、ロボット手首の取り付け点とカメライメージセンサの中心からの総移動オフセットは、X方向で55.3mm、Z方向に21.2mmであったと 、図5に示す。回転オフセットは、収束距離1100mm、ベースライン距離50mmでキャリブレーションされ、ロボットコントロールパネルのジョイスティックで手動で調整されました。この研究のロボットは、デカルト空間で0.02mm、回転解像度0.01度^の精度を指定しました。半径 1100 m では、角度差が 0.01 度の場合、中心点 0.2 mm がオフセットされます。50-240 mmの分離からの完全なロボットの動きの間に、各カメラの十字線は収束の理想的な中心から2mm以内であった。

ベースライン距離は、視野の中心を中心にカメラを50~240mmの10mmずつ対称的に分離することで段階的に増加しました(図2)。カメラは各位置で5sの停止状態に保たれ、50mm/sの速度で位置間を移動しました。コンバージェンスポイントは、グラフィカルユーザーインターフェイスを使用してX方向とZ方向で調整できます(図6)。ロボットは、その作業範囲内でそれに従って続いた。

収束点の精度は、 図7A と Bの均一三角形と変数名を使用して推定した。高さ 'z' は、ピタゴラス定理を持つ収束距離 'R' から計算された

実際の収束点が目的のポイントよりも近い場合、図 7A に示すように、誤差距離 '_f1' は次のように計算されました。

同様に、収束点が目的の点まで遠位した場合、誤差距離 '_f2' は次のように計算されました。

ここで、'e'は 十字線間の最大分離であり、キャリブレーション中の最大ベースライン分離で最大2mm(D= 240mm)であった。 R = 1100 mm (z = 1093 mm) の場合、誤差は ± 9.2 mm 未満でした。 R = 1400 mm (z = 1395 mm) の場合、エラーは 11.7 mm ±。すなわち、収束点の配置の誤差は所望の1%以内であった。1100 mm と 1400 mm の 2 つのテスト距離は、このように十分に分離されていました。

Access restricted. Please log in or start a trial to view this content.

プロトコル

実験は、スウェーデンのルンドにある地元の倫理委員会によって承認されました。参加は自発的であり、患者の法的保護者はインフォームド・コンセントを提供しました。

1. ロボットのセットアップと構成

注:この実験では、デュアルアームの協調型産業用ロボットと、タッチディスプレイ付きの標準コントロールパネルを使用しました。ロボットはロボットウェア6.10.01コントローラソフトウェアとロボット統合開発環境(IDE)RobotStudio 2019.525で制御^されます。ロボットアプリケーション、記録アプリケーション、ポストプロセッシングスクリプトなど、著者が開発したソフトウェアは、GitHubリポジトリ²⁶で入手できます。

注意:ロボットプログラムのセットアップとテスト中に保護眼鏡と速度の低下を使用してください。

1. 製品仕様²⁴の25ページに記載されているとおり、100kgの寸法の付いたボルトを使用して、天井またはテーブルにロボットを取り付けます。腕が自由に動き、視野への視線が不明瞭であることを確認します。
   注意: 高い位置にロボットを取り付ける場合は、リフトまたは安全ロープを使用してください。
2. ロボットのベースにあるスタートスイッチを回してロボットを起動します。47-5625ページの操作マニュアルに記載されている手順に従って、ロボットを較正^します。
3. Windows コンピューターでロボット IDE を起動します。
4. 物理ロボットシステム(操作マニュアル¹⁴⁰²⁷)に接続します。
5. ロボットプログラムのコードと、ユーザーインターフェイスのアプリケーションライブラリをロボットにロードします。
   1. 天井に取り付けられたロボットのロボットコードは、 フォルダロボット/反転コード と ロボット/テーブルマウントコードのテーブルマウントロボットです。各ファイルの左/データ.mod、左/メインモジュール.mod、右/データ.modと右/メインモジュール.mod:
   2. ファイルと同じ名前 (Data または MainModule) を使用して新しいプログラム モジュール (操作マニュアルページ ³¹⁸²⁷ を参照) を作成し、ファイルの内容を新しいモジュールにコピーします。
   3. ロボット IDE で [適用] を押して、ファイルをロボットに保存します。
6. FPAppフォルダにあるTpSViewStereo2.dll、TpsViewStereo2.gtpu.dll、およびTpsViewStereo2のロボットアプリケーションファイルをロボットに転送するには.pdb、ファイル転送(操作マニュアル34627)を使用します。このステップの後、ロボット IDE は今後使用されません。
7. ロボットタッチディスプレイ(FlexPendant)の背面にある リセット ボタンを押して、グラフィカルインタフェースをリロードします。ロボットアプリケーションStereo2がタッチディスプレイメニューの下に表示されるようになりました。
8. Github リポジトリのルート フォルダーにあるスクリプト install_all_linux.shを実行して、Ubuntu 20.04 コンピューターに記録アプリケーション (Liveview) と後処理アプリケーションをインストールします。
9. 各カメラをロボットに取り付けます。取り付けに必要なコンポーネントは 、図3Aに表示されます。
   1. レンズをカメラに取り付けます。
   2. カメラを3本のM2ネジでカメラアダプタプレートに取り付けます。
   3. カメラの反対側に 4 本の M6 ネジを使用して、円形の取り付けプレートをカメラ アダプタ プレートに取り付けます。
10. 他のカメラについても、手順 1.9.1 ~ 1.9.3 を繰り返します。結果のアセンブリは、 図 3B および 図 3C に示すように、ミラー化されます。
11. 図 3D に示すように、アダプタープレートを 4 本の M2.5 ねじでロボット手首に取り付けます。
    1. 天井に取り付けられたロボットの場合:図2Aに示すように、図3Cの左カメラを左ロボットアームに取り付けます。
    2. テーブル取り付けロボットの場合: 図3C の左カメラを右のロボットアームに取り付けます。
12. 図 3E に示すように、USB ケーブルをカメラと Ubuntu コンピュータに接続します。

2. カメラのキャリブレーションを確認する

1. ロボットタッチディスプレイで、 メニュー ボタンを押して Stereo2 を選択し、ロボットアプリケーションを起動します。 これにより、図 6A に示すように、メイン画面が開きます。
   1. メイン画面で、[Go]を押してロボットアプリケーションで1100mmの スタートを切 り、ロボットが開始位置に移動するのを待ちます。
   2. カメラから保護レンズキャップを取り外し、USBケーブルをUbuntuコンピュータに接続します。
   3. カメラセンサーから印刷されたキャリブレーショングリッド(キャリブレーショングリッド.pngをリポジトリに1100mm配置します。対応する正方形の正確な識別を容易にするために、小さなネジナットまたはマークをグリッドの中央のどこかに配置します。
2. Ubuntu コンピュータで記録アプリケーションを起動します (Github リポジトリ内のライブビュー フォルダにあるスクリプト start.sh を実行します)。 図 4 に示すように、インターフェイスが起動します。
   1. 絞りを調整し、絞りとフォーカスリングでレンズに焦点を合わせます。
   2. 記録アプリケーションで、[ 十字線] をオンにして十字線を視覚化します。
3. 記録アプリケーションでは、 図 4 に示すように、両方のカメラ イメージで、両方のカメラ イメージで同じ位置にあるキャリブレーション グリッドに十字線が揃っていることを確認します。ほとんどの場合、次のような調整が必要になります。
   1. 十字が重ならない場合は、ロボットタッチディスプレイのロボットアプリケーションの 歯車 アイコン(左下の 図6A)を押して、図 6Bに示すように設定画面を開きます。
   2. 1 を押します。図 6B に示すように、[開始] の [Pos] に移動します。
   3. ジョイスティックでロボットをジョギングして、カメラの位置を調整します(操作マニュアルページ³¹²³)。
   4. 各ロボットアームの工具位置を更新します。3 を押します 。左ツールを更新 し、 4.右ツールを更新 して、左と右の腕のキャリブレーションを保存します。
   5. [戻る] アイコン (右上、図 6B) を押して、メイン画面に戻ります。
4. ロボットアプリケーションで 実行実験 (図6A)を押し、十字線が揃っていることを確認します。それ以外の場合は、手順 2.3 から 2.3.5 を繰り返します。
5. この時点で、距離や時間に対する変更を追加してテストします。これには、ロボットプログラムコードの変更と高度なロボットプログラミングスキルが必要です。左タスクの Data モジュールで次の変数を変更します(アーム):整数配列変数の 距離、収束距離、整数配列 ConvergencePos の収束距離、変数 Nwaittime (秒単位の値) を編集して各ステップの時間を編集します。
   注意:ライブ手術中にテストされていないロボットプログラムを実行しないでください。
6. キャリブレーションが完了したら、 レイズ を押してロボットアームをスタンバイ位置に上げます。
7. 必要に応じて、ロボットの電源を切ります。
   注: 手順は、上記の手順の間に一時停止することができます。

3. 手術開始時の準備

1. ロボットをほこり。
   1. ロボットの電源がオフになっている場合は、ロボットのベースにある スタート スイッチをオンにして起動します。
2. ステップ 2.1 および 2.2 で説明されているタッチディスプレイおよび記録アプリケーションでロボットアプリケーションを起動します。
3. 録画アプリケーションで、ビデオを保存するフォルダを作成して選択 します([フォルダの変更]をクリックします)。
4. ロボットアプリケーションで:ギアアイコンを押し、患者に対してカメラを配置します。X 方向と Z 方向を変更するには、 それぞれ [ロボットからの手の距離 ] と [ 高さ] を押して、画像が外科フィールドをキャプチャするようにします。手動でロボットまたは患者を移動させることにより、Y方向に位置決めを行います。
   注: 準備ステップ 3.1 から 3.4 の間で準備を一時停止できます。

4. 実験

注意: すべての担当者は、事前に実験について通知する必要があります。

1. 手術を一時停止します。
   1. 実験が開始されたことを OR 担当者に通知します。
2. 記録アプリケーションで [録音 ]を押します。
3. ロボットアプリケーションで 実験を実行 を押します。
4. プログラムの実行中に待機します。ロボットは、終了するとタッチディスプレイ上のロボットアプリケーションに「Done」と表示されます。
5. [終了]を押して、記録アプリケーションでの録画を停止します。
   1. 実験が完了したことを OR 担当者に通知します。
6. 手術を再開します。
   注: 手順 4.1 ~ 4.6 では、実験を一時停止できません。

5. 繰り返し

1. ステップ 4.1 から 4.6 を繰り返して、別のシーケンスとステップ 3.1-3.4 およびステップ 4.1~4.6 を取り込み、異なる手術のシーケンスをキャプチャします。10個のフルシーケンスをキャプチャします。

6. 後処理

注: 以下の手順は、ほとんどのビデオ編集ソフトウェアまたは後処理フォルダ内の提供されたスクリプトを使用して実行できます。

1. この場合、RAW形式で保存されるビデオをデベイヤします。
   1. スクリプトの後処理/デバイエル/実行を実行.sh図 8A に示す debayer アプリケーションを開きます。
   2. 入力ディレクトリを参照を押して、RAWビデオを持つフォルダを選択します。
   3. 出力ディレクトリの参照を押して、結果として得られるビデオファイルとカラー調整されたビデオファイルのフォルダを選択します。
   4. デバイエルを押せ!プロセスが完了するまで待ちます - 図 8B に示すように、両方の進行状況バーがいっぱいです。
2. 左右の同期ビデオを3Dステレオフォーマット²⁸にマージします。
   1. スクリプトの後処理/merge_tb/実行を実行して.shマージ アプリケーションを開始します。 図 8C に示すグラフィカル ユーザー インターフェイスが開きます。
   2. [入力ディレクトリを参照]を押して、ビデオファイルを取り込んだフォルダを選択します。
   3. 出力ディレクトリの参照を押して、マージされた 3D ステレオファイルのフォルダを選択します。
   4. プレスマージ! をクリックし、図 8D の終了画面が表示されるまで待ちます。
3. Premiere Pro などの既製のビデオ編集ソフトウェアを使用して、ビデオの各カメラ距離にテキストラベルを追加します。
   注:ビデオでは、ロボットが動くたびに目に見える揺れがあり、カメラの距離が長くなります。この実験では、カメラ距離にラベルA-Tを使用しました。

7. 評価

1. アクティブな 3D プロジェクターで、ビデオを上底 3D 形式で表示します。
2. 視聴の経験は、視野角と画面までの距離に依存します。対象の対象者と設定を使用してビデオを評価します。

Access restricted. Please log in or start a trial to view this content.

結果

右上の立体3Dの上部に配置された右の画像を持つ許容評価ビデオがVideo1に表示されます。成功したシーケンスは、鮮明で、フォーカスを設定し、同期されていないイメージ フレームを使用しない必要があります。同期されていないビデオストリームは、ファイルビデオ2に示すように、ぼかしを引き起こします。コンバージェンス ポイントは、図 9A,B

Access restricted. Please log in or start a trial to view this content.

ディスカッション

ライブ手術中、3Dビデオデータ収集に使用された実験の合計時間は、患者にとって安全であると制限されていました。オブジェクトがフォーカスされていないか、または露出し過ぎる場合、データは使用できません。重要なステップは、カメラツールのキャリブレーションとセットアップ中です(ステップ2)。手術開始時にカメラの絞りと焦点を変更することはできません。セットアップと手?...

Access restricted. Please log in or start a trial to view this content.

資料

Name	Company	Catalog Number	Comments
2 C-mount lenses (35 mm F2.1, 5 M pixel)	Tamron	M112FM35	Rated for 5 Mpixel
3D glasses (DLP-link active shutter)	Celexon	G1000	Any compatible 3D glasses can be used
3D Projector	Viewsonic	X10-4K	Displays 3D in 1080, can be exchanged for other 3D projectors
6 M2 x 8 screws			To attach the cXimea cameras to the camera adaptor plates
8 M2.5 x 8 screws			To attach the circular mounting plates to the robot wrist
8 M5 x 40 screws			To mount the robot
8 M6 x 10 screws with flat heads			For attaching the circular mounting plate and the camera adaptor plates
Calibration checker board plate (25 by 25 mm)			Any standard checkerboard can be used, including printed, as long as the grid is clearly visible in the cameras
Camera adaptor plates, x2			Designed by the authors in robot_camera_adaptor_plates.dwg, milled in aluminium.
Circular mounting plates, x2			Distributed with the permission of the designer Julius Klein and printed with ABS plastic on an FDM 3D printer. License Tecnalia Research & Innovation 2017. Attached as Mountingplate_ROBOT_SIDE_ NewDesign_4.stl
Fix focus usb cameras, x2 (5 Mpixel)	Ximea	MC050CG-SY-UB	With Sony IMX250LQR sensor
Flexpendant	ABB	3HAC028357-001	robot touch display
Liveview			recording application
RobotStudio			robot integrated development environment (IDE)
USB3 active cables (10.0 m), x2			Thumbscrew lock connector, water proofed.
YuMi dual-arm robot	ABB	IRB14000