Name: robotized testing of camera positions to determine ideal configuration for stereo 3d visualization of open-heart surgery
Uploaded: 2021-08-12T14:45:00
Description: Watch this Scientific Journal Video about Robotized Testing of Camera Positions to Determine Ideal Configuration for Stereo 3D Visualization of Open-Heart Surgery at JoVE.com

研究は、ヴィンノバ(2017-03728、2018-05302、2018-03651)、心臓肺財団(20180390)、ファミリーカンプラード財団(20190194)、アンナ・リサとスヴェン・エリック・ルンドグレン財団(2017年と2018年)からの資金で行われました。

実験は、スウェーデンのルンドにある地元の倫理委員会によって承認されました。参加は自発的であり、患者の法的保護者はインフォームド・コンセントを提供しました。
1. ロボットのセットアップと構成
注:この実験では、デュアルアームの協調型産業用ロボットと、タッチディスプレイ付きの標準コントロールパネルを使用しました。ロボットは?...

<ol>
	<li>Held, R. T., Hui, T. T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+guide+to+stereoscopic+3D+displays+in+medicine.">A guide to stereoscopic 3D displays in medicine.</a> Academic Radiology. 18 (8), 1035-1048 (2011).</li><li>van Beurden, M. H. P. H., IJsselsteijn, W. A., Juola, J. F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Effectiveness+of+stereoscopic+displays+in+medicine:+A+review.">Effectiveness of stereoscopic displays in medicine: A review.</a> 3D Research. 3 (1), 1-13 (2012).</li><li>Luursema, J. M., Verwey, W. B., Kommers, P. A. M., Geelkerken, R. H., Vos, H. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Optimizing+conditions+for+computer-assisted+anatomical+learning.">Optimizing conditions for computer-assisted anatomical learning.</a> Interacting with Computers. 18 (5), 1123-1138 (2006).</li><li>Takano, M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Usefulness+and+capability+of+three-dimensional,+full+high-definition+movies+for+surgical+education.">Usefulness and capability of three-dimensional, full high-definition movies for surgical education.</a> Maxillofacial Plastic and Reconstructive Surgery. 39 (1), 10 (2017).</li><li>Triepels, C. P. R., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Does+three-dimensional+anatomy+improve+student+understanding.">Does three-dimensional anatomy improve student understanding.</a> Clinical Anatomy. 33 (1), 25-33 (2020).</li><li>Beermann, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Three-dimensional+visualisation+improves+understanding+of+surgical+liver+anatomy.">Three-dimensional visualisation improves understanding of surgical liver anatomy.</a> Medical Education. 44 (9), 936-940 (2010).</li><li>Battulga, B., Konishi, T., Tamura, Y., Moriguchi, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=The+Effectiveness+of+an+interactive+3-dimensional+computer+graphics+model+for+medical+education.">The Effectiveness of an interactive 3-dimensional computer graphics model for medical education.</a> Interactive Journal of Medical Research. 1 (2), (2012).</li><li>Yammine, K., Violato, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+meta-analysis+of+the+educational+effectiveness+of+three-dimensional+visualization+technologies+in+teaching+anatomy.">A meta-analysis of the educational effectiveness of three-dimensional visualization technologies in teaching anatomy.</a> Anatomical Sciences Education. 8 (6), 525-538 (2015).</li><li>Fitzgerald, J. E. F., White, M. J., Tang, S. W., Maxwell-Armstrong, C. A., James, D. K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Are+we+teaching+sufficient+anatomy+at+medical+school?+The+opinions+of+newly+qualified+doctors.">Are we teaching sufficient anatomy at medical school? The opinions of newly qualified doctors.</a> Clinical Anatomy. 21 (7), 718-724 (2008).</li><li>Bergman, E. M., Van Der Vleuten, C. P. M., Scherpbier, A. J. J. A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Why+don't+they+know+enough+about+anatomy?+A+narrative+review.">Why don't they know enough about anatomy? A narrative review.</a> Medical Teacher. 33 (5), 403-409 (2011).</li><li>Terzi&#263;, K., Hansard, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Methods+for+reducing+visual+discomfort+in+stereoscopic+3D:+A+review.">Methods for reducing visual discomfort in stereoscopic 3D: A review.</a> Signal Processing: Image Communication. 47, 402-416 (2016).</li><li>Fan, Z., Weng, Y., Chen, G., Liao, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=3D+interactive+surgical+visualization+system+using+mobile+spatial+information+acquisition+and+autostereoscopic+display.">3D interactive surgical visualization system using mobile spatial information acquisition and autostereoscopic display.</a> Journal of Biomedical Informatics. 71, 154-164 (2017).</li><li>Fan, Z., Zhang, S., Weng, Y., Chen, G., Liao, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=3D+quantitative+evaluation+system+for+autostereoscopic+display.">3D quantitative evaluation system for autostereoscopic display.</a> Journal of Display Technology. 12 (10), 1185-1196 (2016).</li><li>McIntire, J. P., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Binocular+fusion+ranges+and+stereoacuity+predict+positional+and+rotational+spatial+task+performance+on+a+stereoscopic+3D+display.">Binocular fusion ranges and stereoacuity predict positional and rotational spatial task performance on a stereoscopic 3D display.</a> Journal of Display Technology. 11 (11), 959-966 (2015).</li><li>Kalia, M., Navab, N., Fels, S. S., Salcudean, T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+method+to+introduce+&amp;+evaluate+motion+parallax+with+stereo+for+medical+AR/MR.">A method to introduce &amp; evaluate motion parallax with stereo for medical AR/MR.</a> IEEE Conference on Virtual Reality and 3D User Interfaces. , 1755-1759 (2019).</li><li>Kyt&#246;, M., Hakala, J., Oittinen, P., H&#228;kkinen, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Effect+of+camera+separation+on+the+viewing+experience+of+stereoscopic+photographs.">Effect of camera separation on the viewing experience of stereoscopic photographs.</a> Journal of Electronic Imaging. 21 (1), 1-9 (2012).</li><li>Moorthy, A. K., Su, C. C., Mittal, A., Bovik, A. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Subjective+evaluation+of+stereoscopic+image+quality.">Subjective evaluation of stereoscopic image quality.</a> Signal Processing: Image Communication. 28 (8), 870-883 (2013).</li><li>Yilmaz, G. N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+depth+perception+evaluation+metric+for+immersive+3D+video+services.">A depth perception evaluation metric for immersive 3D video services.</a> 3DTV Conference: The True Vision - Capture, Transmission and Display of 3D Video. , 1-4 (2017).</li><li>Lebreton, P., Raake, A., Barkowsky, M., Le Callet, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Evaluating+depth+perception+of+3D+stereoscopic+videos.">Evaluating depth perception of 3D stereoscopic videos.</a> IEEE Journal on Selected Topics in Signal Processing. 6, 710-720 (2012).</li><li>L&#243;pez, J. P., Rodrigo, J. A., Jim&#233;nez, D., Men&#233;ndez, J. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Stereoscopic+3D+video+quality+assessment+based+on+depth+maps+and+video+motion.">Stereoscopic 3D video quality assessment based on depth maps and video motion.</a> EURASIP Journal on Image and Video Processing. 2013 (1), 62 (2013).</li><li>Banks, M. S., Read, J. C., Allison, R. S., Watt, S. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Stereoscopy+and+the+human+visual+system.">Stereoscopy and the human visual system.</a> SMPTE Motion Imaging Journal. 121 (4), 24-43 (2012).</li><li>Kyt&#246;, M., Nuutinen, M., Oittinen, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Method+for+measuring+stereo+camera+depth+accuracy+based+on+stereoscopic+vision.">Method for measuring stereo camera depth accuracy based on stereoscopic vision.</a> Three-Dimensional Imaging, Interaction, and Measurement. 7864, 168-176 (2011).</li><li>Kang, Y. S., Ho, Y. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Geometrical+compensation+algorithm+of+multiview+image+for+arc+multi-camera+arrays.">Geometrical compensation algorithm of multiview image for arc multi-camera arrays.</a> Advances in Multimedia Information Processing. 2008, 543-552 (2008).</li><li>Product Specification IRB 14000. DocumentID: 3HAC052982-001 Revision J. ABB Robotics Available from: <a target="_blank" href="https://library.abb.com/en/results">https://library.abb.com/en/results</a> (2018)</li><li>Operating Manual IRB 14000. Document ID: 3HAC052986-001 Revision F. ABB Robotics Available from: <a target="_blank" href="https://library.abb.com/en/results">https://library.abb.com/en/results</a> (2019)</li><li>. Github repository Available from: <a target="_blank" href="https://github.com/majstenmark/stereo2">https://github.com/majstenmark/stereo2</a> (2021)</li><li>Operating manual RobotStudio. Document ID: 3HAC032104-001 Revision Y. ABB Robotics Available from: <a target="_blank" href="https://library.abb.com/en/results">https://library.abb.com/en/results</a> (2019)</li><li>Won, C. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Adaptive+interpolation+for+3D+stereoscopic+video+in+frame-compatible+top-bottom+packing.">Adaptive interpolation for 3D stereoscopic video in frame-compatible top-bottom packing.</a> IEEE International Conference on Consumer Electronics. 2011, 179-180 (2011).</li><li>Kim, S. K., Lee, C., Kim, K. T., Javidi, B., Okano, F., Son, J. Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Multi-view+image+acquisition+and+display.">Multi-view image acquisition and display.</a> Three-Dimensional Imaging, Visualization, and Display. , 227-249 (2009).</li><li>Liu, F., Niu, Y., Jin, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Keystone+correction+for+stereoscopic+cinematography.">Keystone correction for stereoscopic cinematography.</a> IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops. 2012, 1-7 (2012).</li><li>Kang, W., Lee, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Horizontal+parallax+distortion+correction+method+in+toed-in+camera+with+wide-angle+lens.">Horizontal parallax distortion correction method in toed-in camera with wide-angle lens.</a> 3DTV Conference: The True Vision - Capture, Transmission and Display of 3D Video. 2009, 1-4 (2009).</li></ol>

ライブ手術中、3Dビデオデータ収集に使用された実験の合計時間は、患者にとって安全であると制限されていました。オブジェクトがフォーカスされていないか、または露出し過ぎる場合、データは使用できません。重要なステップは、カメラツールのキャリブレーションとセットアップ中です(ステップ2)。手術開始時にカメラの絞りと焦点を変更することはできません。セットアップと手?...

手術では、3D可視化を教育、診断、術前計画、術後評価に使用できます1,2。現実的な深さの知覚は正常および異常な解剖学の理解3、4、5、6を改善することができる。外科的処置の簡単な2Dビデオ録画は良いスタートです。しかし、深度知覚の欠如は、非外科的同僚が異なる解剖学的構造間の後方関係を完全に理解するのを困難にし、解剖学の誤解のリスクを引き起こす可能性があります7,8,9,10。
3D 表示エクスペリエンスは、(1) カメラの構成は、図 1、(2) ベースライン距離 (カメラ間の分離) に示すように、平行または引き離すことができます。(3) 対象とするオブジェクトまでの距離や、背景などの他のシーン特性。(4) 画面サイズや視聴位置などの表示装置の特性 1,11,12,13.(5)視聴者の個人の好み14,15。
3D カメラの設定の設計は、主観的または自動評価に使用するさまざまなカメラベースライン距離および構成で記録されたテストビデオのキャプチャから始まります16,17,18,19,20。シャープな画像をキャプチャするには、カメラの距離は外科分野に一定でなければなりません。オートフォーカスは、手、楽器、または頭部に合わせて調整されるため、固定フォーカスが優先されます。しかし、関心のあるシーンが外科分野である場合、これは容易には達成できない。これらの施設は清潔で無菌に保たれなければならないので、手術室はアクセスエリアが制限されています。技術機器、外科医、スクラブ看護師は、多くの場合、良好な視覚的概要と効率的なワークフローを確保するために、患者の周りに密接に集められております。3D 表示エクスペリエンスに対するカメラ位置の効果を比較して評価するには、形状、サイズ、色などのオブジェクト特性が 3D 表示エクスペリエンスに影響を与える可能性があるため、カメラ位置のテスト範囲を 1 つ完全に記録する必要があります。
同じ理由で、カメラ位置の完全なテスト範囲は、異なる外科的処置で繰り返されるべきです。ポジションのシーケンス全体を高精度に繰り返す必要があります。外科環境では、ベースライン距離22 の手動調整または固定ベースライン距離23 を持つ異なるカメラペアのいずれかを必要とする既存の方法は、空間と時間の両方の制約のために実現不可能である。この課題に対処するために、このロボットソリューションは設計されました。
データは、手術室の天井に取り付けられたデュアルアーム共同産業用ロボットで収集されました。カメラはロボットの手首に取り付けられ、 図2に示すように、ベースライン距離が増加して円弧状の軌道に沿って移動しました。
このアプローチを実証するために、10の試験系列は4つの異なる先天性心不全を有する4つの異なる患者から記録された。手術の一時停止が可能な場合、シーンは選択されました:外科的修復の直前と直後に心臓を鼓動する。シリーズはまた、心が逮捕されたときに作られました。手術は3分と20 sのために一時停止され、異なるカメラ収束距離とベースライン距離を持つ40の5sシーケンスを収集してシーンをキャプチャしました。ビデオは後処理され、臨床チームのために3Dで表示され、3Dビデオが0-5のスケールに沿ってどれほど現実的であるかを評価しました。
トードイン ステレオ カメラの収束点は、両方のイメージの中心点が交点する場所です。収束点は、原則として、オブジェクトの前方、内側、または後方のいずれかに配置することができます。.収束ポイントがオブジェクトの前にある場合、オブジェクトは、右のカメラ イメージの左カメラ イメージの中間線の左、右のカメラ イメージの右の右側にキャプチャされ、表示されます(図 1A)。逆の場合は、収束ポイントがオブジェクトの背後にある場合に適用されます(図 1B)。収束点がオブジェクト上にある場合、オブジェクトはカメラ画像の中線にも表示されます(図1C)。画像をマージするためにスクイントが必要とされないので、おそらく最も快適な表示を得るはずです。快適なステレオ3Dビデオを実現するには、収束点が対象物の上に位置するか、または少し後ろにある必要があります。
データは、デュアルアームの協調産業用ロボットを使用してカメラを配置して収集しました(図2A-B)。ロボットは装置なしで38のkgの重量を量る。ロボットは本質的に安全です。予期しない影響を検出すると、移動が停止します。ロボットは、所定のベースライン距離で停止する円弧状の軌道に沿ってCマウントレンズを備えた5メガピクセルのカメラを配置するようにプログラムされました(図2C)。図3に示すように、カメラはアダプタプレートを使用してロボットハンドに取り付けられました。各カメラは毎秒25フレームで記録されています。レンズは、対象物(心臓の近似幾何学的中心)に焦点を合わせたfストップ1/8に設定された。すべてのイメージ フレームには、2 つのビデオ ストリームを同期するために使用されたタイムスタンプがありました。
ロボット手首とカメラの間のオフセットを較正しました。 これは、図 4 に示すように、カメライメージの十字線を揃えて配置することで実現できます。この設定では、ロボット手首の取り付け点とカメライメージセンサの中心からの総移動オフセットは、X方向で55.3mm、Z方向に21.2mmであったと 、図5に示す。回転オフセットは、収束距離1100mm、ベースライン距離50mmでキャリブレーションされ、ロボットコントロールパネルのジョイスティックで手動で調整されました。この研究のロボットは、デカルト空間で0.02mm、回転解像度0.01度の精度を指定しました。半径 1100 m では、角度差が 0.01 度の場合、中心点 0.2 mm がオフセットされます。50-240 mmの分離からの完全なロボットの動きの間に、各カメラの十字線は収束の理想的な中心から2mm以内であった。
ベースライン距離は、視野の中心を中心にカメラを50~240mmの10mmずつ対称的に分離することで段階的に増加しました(図2)。カメラは各位置で5sの停止状態に保たれ、50mm/sの速度で位置間を移動しました。コンバージェンスポイントは、グラフィカルユーザーインターフェイスを使用してX方向とZ方向で調整できます(図6)。ロボットは、その作業範囲内でそれに従って続いた。
収束点の精度は、 図7A と Bの均一三角形と変数名を使用して推定した。高さ 'z' は、ピタゴラス定理を持つ収束距離 'R' から計算された
<img alt="Equation 1" src="/files/ftp_upload/62786/62786eq01.jpg">
実際の収束点が目的のポイントよりも近い場合、図 7A に示すように、誤差距離 'f1' は次のように計算されました。
<img alt="Equation 2" src="/files/ftp_upload/62786/62786eq02.jpg">
同様に、収束点が目的の点まで遠位した場合、誤差距離 'f2' は次のように計算されました。
<img alt="Equation 3" src="/files/ftp_upload/62786/62786eq03.jpg">
ここで、'e'は 十字線間の最大分離であり、キャリブレーション中の最大ベースライン分離で最大2mm(D= 240mm)であった。 R = 1100 mm (z = 1093 mm) の場合、誤差は ± 9.2 mm 未満でした。 R = 1400 mm (z = 1395 mm) の場合、エラーは 11.7 mm ±。すなわち、収束点の配置の誤差は所望の1%以内であった。1100 mm と 1400 mm の 2 つのテスト距離は、このように十分に分離されていました。

<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td>2 C-mount lenses (35 mm F2.1, 5 M pixel)</td>
			<td>Tamron</td>
			<td>M112FM35</td>
			<td>Rated for 5 Mpixel</td>
		</tr>
		<tr>
			<td>3D glasses (DLP-link active shutter)</td>
			<td>Celexon</td>
			<td>G1000</td>
			<td>Any compatible 3D glasses can be used</td>
		</tr>
		<tr>
			<td>3D Projector</td>
			<td>Viewsonic</td>
			<td>X10-4K</td>
			<td>Displays 3D in 1080, can be exchanged for other 3D projectors</td>
		</tr>
		<tr>
			<td>6 M2 x 8 screws</td>
			<td></td>
			<td></td>
			<td>To attach the cXimea cameras to the camera adaptor plates</td>
		</tr>
		<tr>
			<td>8 M2.5 x 8 screws</td>
			<td></td>
			<td></td>
			<td>To attach the circular mounting plates to the robot wrist</td>
		</tr>
		<tr>
			<td>8 M5 x 40 screws</td>
			<td></td>
			<td></td>
			<td>To mount the robot</td>
		</tr>
		<tr>
			<td>8 M6 x 10 screws with flat heads</td>
			<td></td>
			<td></td>
			<td>For attaching the circular mounting plate and the camera adaptor plates</td>
		</tr>
		<tr>
			<td>Calibration checker board plate (25 by 25 mm)</td>
			<td></td>
			<td></td>
			<td>Any standard checkerboard can be used, including printed, as long as the grid is clearly visible in the cameras</td>
		</tr>
		<tr>
			<td>Camera adaptor plates, x2</td>
			<td></td>
			<td></td>
			<td>Designed by the authors in robot_camera_adaptor_plates.dwg, milled in aluminium.</td>
		</tr>
		<tr>
			<td>Circular mounting plates, x2</td>
			<td></td>
			<td></td>
			<td>Distributed with the permission of the designer Julius Klein and printed with ABS plastic on an FDM 3D printer. License Tecnalia Research &#38; Innovation 2017. Attached as Mountingplate_ROBOT_SIDE_ 
			NewDesign_4.stl</td>
		</tr>
		<tr>
			<td>Fix focus usb cameras, x2 (5 Mpixel)</td>
			<td>Ximea</td>
			<td>MC050CG-SY-UB</td>
			<td>With Sony IMX250LQR sensor</td>
		</tr>
		<tr>
			<td>Flexpendant</td>
			<td>ABB</td>
			<td>3HAC028357-001</td>
			<td>robot touch display</td>
		</tr>
		<tr>
			<td>Liveview</td>
			<td></td>
			<td></td>
			<td>recording application</td>
		</tr>
		<tr>
			<td>RobotStudio</td>
			<td></td>
			<td></td>
			<td>&#160;robot integrated development environment (IDE)</td>
		</tr>
		<tr>
			<td>USB3 active cables (10.0 m), x2</td>
			<td></td>
			<td></td>
			<td>Thumbscrew lock connector, water proofed.</td>
		</tr>
		<tr>
			<td>YuMi dual-arm robot</td>
			<td>ABB</td>
			<td>IRB14000</td>
			<td></td>
		</tr>
	</tbody>
</table>

robotized testing of camera positions to determine ideal configuration for stereo 3d visualization of open-heart surgery

手術によるステレオ3Dビデオは、医学教育に非常に価値があり、臨床コミュニケーションを改善します。しかし、手術室と外科分野へのアクセスは制限されています。滅菌環境で、外科スタッフや技術機器で身体の空間が混雑しています。この設定では、外科的処置の不明瞭な捕獲および現実的な再現は困難である。本論文では、異なるカメラベースライン距離と収束距離における立体3Dビデオの迅速かつ信頼性の高いデータ収集方法を紹介する。高精度と再現性を備えた手術中の干渉を最小限に抑えたテストデータを収集するために、デュアルアームロボットの各手にカメラを取り付けました。ロボットは手術室に天井に取り付けられました。10 mmの増分ステップで50~240mmの間のベースライン距離を持つテスト位置の範囲を、1100 mmと1400 mmの2つの収束距離で、同期カメラの動きのタイミングシーケンスを実行するようにプログラムされました。手術は40連続5sビデオサンプルを可能にするために一時停止されました。合計10の外科シナリオが記録された。

右上の立体3Dの上部に配置された右の画像を持つ許容評価ビデオがVideo1に表示されます。成功したシーケンスは、鮮明で、フォーカスを設定し、同期されていないイメージ フレームを使用しない必要があります。同期されていないビデオストリームは、ファイルビデオ2に示すように、ぼかしを引き起こします。コンバージェンス ポイントは、図 9A,B</...

Watch this Scientific Journal Video about Robotized Testing of Camera Positions to Determine Ideal Configuration for Stereo 3D Visualization of Open-Heart Surgery at JoVE.com

Robotized Testing of Camera Positions to Determine Ideal Configuration for Stereo 3D Visualization of Open-Heart Surgery

3D ステレオ ビデオの人間の深度の認識は、カメラの分離、収束点、距離、およびオブジェクトの親しみやすさに依存します。本論文では、ライブの開胸手術中に迅速かつ信頼性の高いテストデータ収集を行い、理想的なカメラ構成を決定するロボット化された方法を紹介する。

開胸手術のステレオ3D可視化のための理想的な構成を決定するためのカメラ位置のロボット化試験

Stereo 3D video from surgical procedures can be highly valuable for medical education and improve clinical communication. But access to the operating room ...

トレーニングと教育のための高品質な3Dビデオのキャプチャを可能にします。これは、開いた手術でほとんどの手術室の設定に適用することができます。ロボット化されたアプローチにより、データを迅速かつ正確に収集して、カメラの位置を評価することができます。この方法は、3Dビジョンアプリケーションのカメラ構成を迅速にテストするために使用されます。また、異なる被験者が深さを認識する方法を調査するためにも使用できます。カメラをロボットに取り付けるには、まずレンズをカメラに取り付け、次に3本のM2ネジでカメラをアダプタプレートに取り付けます。次に、カメラの反対側に4本のM4ネジを使用して、円形の取り付けプレートをカメラアダプタプレートに取り付けます。すべてのカメラをロボットに取り付けたら、結果のアセンブリのミラーリングを観察します。アダプタープレートを4本のM2.5ネジでロボットの手首に取り付けます。テーブルに取り付けられたロボットの場合は、左のカメラを右のロボットアームに取り付けます。USBケーブルをカメラとUbuntuコンピュータに接続します。ロボットタッチディスプレイで、メニューボタンを押してステレオ2を選択し、ロボットアプリケーションを起動します。メイン画面で、Go キーを押してロボットアプリケーションで1,100ミリメートルの開始を開始し、ロボットが開始位置に移動するのを待ちます。カメラから保護レンズキャップを取り外します。カメラセンサーから 1,100 ミリメートルの位置に印刷されたキャリブレーション グリッドを配置します。対応する正方形を正しく識別するには、グリッドの入力に小さなねじナットまたはマークを配置します。Ubuntu コンピュータで記録アプリケーションを起動し、インターフェイスを起動します。そして、絞りを調整し、絞りとフォーカスリングでレンズに焦点を合わせます。記録アプリケーションで、[十字線] をオンにして十字線を視覚化します。記録アプリケーションでは、両方のカメラ画像で、十字線がキャリブレーショングリッドと同じ位置に揃っていることを確認します。ロボットアプリケーションで歯車アイコンを押した後、カメラを患者に対して相対的に配置します。ロボットからのハンド距離のプラスまたはマイナスを押してX方向を変更し、高さのプラスまたはマイナスを押して画像の外科フィールドをキャプチャしてZ方向を変更します。手動でロボットまたは患者を動かしてY方向を変更します。手術を一時停止し、OR担当者に実験の開始を通知した後、記録アプリケーションで[記録]を押し、ロボットアプリケーションで[実験を実行]を押します。しばらくすると、実験が終了すると、タッチディスプレイに「完了」と表示されます。次に、録画を停止する記録アプリケーションで[記録を停止]を押します。実験が終了したことを OR 担当者に通知し、手術を再開します。評価のために、アクティブな 3D プロジェクターを使用して、ビデオを上底 3D 形式で表示します。右上の立体3Dの上に配置された右の画像を持つ正しい評価ビデオが表示されます。成功したシーケンスは、鮮明で、フォーカスを設定し、同期されていないイメージ フレームを使用しない必要があります。同期されていないビデオストリームはぼかしを作成します。収束ポイントは、カメラの分離とは無関係に水平方向に中央に配置する必要があります。左右の画像の間に非常に大きな分離がある場合、脳は画像を1つの3D画像に融合させることはできません。収束点から心臓までの距離など、心臓の中心位置に障害が発生する可能性があります。カメラ ツールの座標系を正しく構成するには、記録アプリケーションの十字線が同じオブジェクト、キャリブレーション オブジェクトが中央の位置にあり、正しい色のデベイア形式であることを確認します。ベースライン距離の変化を伴う3Dビデオは、深度情報が医療スタッフの解剖学的理解にどのような影響を与えるかを研究することを可能にします。

Research

JoVE Journal

Medicine

Rat Heterotopic Abdominal Heart/Single-lung Transplantation in a Volume-loaded Configuration

ラット異腹部ボリュームにロードされた構成でのハート/シングル肺移植

Herein, we describe a novel technique for heterotopic abdominal heart-lung transplantation (HAHLT) in rats. The configuration of the transplant graft ...

A Pipeline for 3D Multimodality Image Integration and Computer-assisted Planning in Epilepsy Surgery

てんかん手術における3Dマルチモダリティ画像の統合とコンピュータ支援計画のためのパイプライン

Epilepsy surgery is challenging and the use of 3D multimodality image integration (3DMMI) to aid presurgical planning is well-established. Multimodality ...

A Quantitative Sensory Testing Paradigm to Obtain Measures of Pain Processing in Patients Undergoing Breast Cancer Surgery

乳がんの手術を受けている患者における痛みの処理の措置を取得する定量的感覚テスト パラダイム

Chronic pain following surgery, persistent postsurgical pain, is an important highly prevalent condition contributing to significant symptom burden and ...

A Clinical Trial Assessing the Safety, Efficacy, and Delivery of Olive-Oil-Based Three-Chamber Bags for Parenteral Nutrition

非経た栄養のためのオリーブオイルベースの3チャンバーバッグの安全性、有効性、および送達を評価する臨床試験

Limited evidence exists to precisely estimate efficacy and safety differences between parenteral nutrition (PN) prepared using olive-oil-based ...

A Training and Testing System for Performing Vascular Reconstruction In Vitro

インビトロにおける血管再建を行うためのトレーニングと検査システム

Manual vascular reconstruction training is essential for a beginner surgeon. However, an optimal training system for vascular reconstruction in vitro has ...

A Postoperative Evaluation Guideline for Computer-Assisted Reconstruction of the Mandible

コンピュータ支援型下述者再建のための術後評価ガイドライン

Valid comparisons of postoperative accuracy results in computer-assisted reconstruction of the mandible are difficult due to heterogeneity in imaging ...

3D Planning and Printing of Patient Specific Implants for Reconstruction of Bony Defects

骨の欠陥の再構築のための患者特有のインプラントの3D計画と印刷

We are in the midst of the 3D era in most aspects of life, and especially in medicine. The surgical discipline is one of the major players in the medical ...

Implantation of Combined Telemetric ECG and Blood Pressure Transmitters to Determine Spontaneous Baroreflex Sensitivity in Conscious Mice

意識のあるマウスにおける自発的な圧反射感受性を決定するための遠隔ECGと血圧伝達器の組み合わせの埋め込み

Blood pressure (BP) and heart rate (HR) are both controlled by the autonomic nervous system (ANS) and are closely intertwined due to reflex mechanisms. ...

Use of 3D Robotic Ultrasound for In Vivo Analysis of Mouse Kidneys

Use of 3D Robotic Ultrasound for In Vivo Analysis of Mouse Kidneys

マウス腎臓の インビボ 分析のための3Dロボット超音波の使用

Common modalities for in vivo imaging of rodents include positron emission tomography (PET), computed tomography (CT), magnetic resonance imaging (MRI), ...

Combining 3D-Printing and Electrospinning to Manufacture Biomimetic Heart Valve Leaflets

3Dプリンティングとエレクトロスピニングを組み合わせて、生体模倣心臓弁リーフレットを製造

Electrospinning has become a widely used technique in cardiovascular tissue engineering as it offers the possibility to create (micro-)fibrous scaffolds ...