Name: robotized testing of camera positions to determine ideal configuration for stereo 3d visualization of open-heart surgery
Uploaded: 2021-08-12T14:45:00
Description: Watch this Scientific Journal Video about Robotized Testing of Camera Positions to Determine Ideal Configuration for Stereo 3D Visualization of Open-Heart Surgery at JoVE.com

이 연구는 Vinnova (2017-03728, 2018-05302 및 2018-03651), 심장 폐 재단 (20180390), 가족 캄프라드 재단 (20190194), 안나 리사와 스벤 에릭 룬드그렌 재단 (2017 및 2018)의 자금으로 수행되었습니다.

실험은 스웨덴 룬드의 지역 윤리위원회의 승인을 받았습니다. 참여는 자발적이었고, 환자의 법적 보호자는 서면 동의를 통보했다.
1. 로봇 설정 및 구성
참고: 이 실험은 듀얼 암 협업 산업용 로봇과 터치 디스플레이가 있는 표준 제어판을 사용했습니다. 로봇웨어 6.10.01 컨트롤러 소프트웨어 및 로봇 통합 개발 환경(IDE) RobotStudio 2019.525로 제어됩니다<sup class=...

<ol>
	<li>Held, R. T., Hui, T. T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+guide+to+stereoscopic+3D+displays+in+medicine.">A guide to stereoscopic 3D displays in medicine.</a> Academic Radiology. 18 (8), 1035-1048 (2011).</li><li>van Beurden, M. H. P. H., IJsselsteijn, W. A., Juola, J. F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Effectiveness+of+stereoscopic+displays+in+medicine:+A+review.">Effectiveness of stereoscopic displays in medicine: A review.</a> 3D Research. 3 (1), 1-13 (2012).</li><li>Luursema, J. M., Verwey, W. B., Kommers, P. A. M., Geelkerken, R. H., Vos, H. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Optimizing+conditions+for+computer-assisted+anatomical+learning.">Optimizing conditions for computer-assisted anatomical learning.</a> Interacting with Computers. 18 (5), 1123-1138 (2006).</li><li>Takano, M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Usefulness+and+capability+of+three-dimensional,+full+high-definition+movies+for+surgical+education.">Usefulness and capability of three-dimensional, full high-definition movies for surgical education.</a> Maxillofacial Plastic and Reconstructive Surgery. 39 (1), 10 (2017).</li><li>Triepels, C. P. R., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Does+three-dimensional+anatomy+improve+student+understanding.">Does three-dimensional anatomy improve student understanding.</a> Clinical Anatomy. 33 (1), 25-33 (2020).</li><li>Beermann, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Three-dimensional+visualisation+improves+understanding+of+surgical+liver+anatomy.">Three-dimensional visualisation improves understanding of surgical liver anatomy.</a> Medical Education. 44 (9), 936-940 (2010).</li><li>Battulga, B., Konishi, T., Tamura, Y., Moriguchi, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=The+Effectiveness+of+an+interactive+3-dimensional+computer+graphics+model+for+medical+education.">The Effectiveness of an interactive 3-dimensional computer graphics model for medical education.</a> Interactive Journal of Medical Research. 1 (2), (2012).</li><li>Yammine, K., Violato, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+meta-analysis+of+the+educational+effectiveness+of+three-dimensional+visualization+technologies+in+teaching+anatomy.">A meta-analysis of the educational effectiveness of three-dimensional visualization technologies in teaching anatomy.</a> Anatomical Sciences Education. 8 (6), 525-538 (2015).</li><li>Fitzgerald, J. E. F., White, M. J., Tang, S. W., Maxwell-Armstrong, C. A., James, D. K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Are+we+teaching+sufficient+anatomy+at+medical+school?+The+opinions+of+newly+qualified+doctors.">Are we teaching sufficient anatomy at medical school? The opinions of newly qualified doctors.</a> Clinical Anatomy. 21 (7), 718-724 (2008).</li><li>Bergman, E. M., Van Der Vleuten, C. P. M., Scherpbier, A. J. J. A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Why+don't+they+know+enough+about+anatomy?+A+narrative+review.">Why don't they know enough about anatomy? A narrative review.</a> Medical Teacher. 33 (5), 403-409 (2011).</li><li>Terzi&#263;, K., Hansard, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Methods+for+reducing+visual+discomfort+in+stereoscopic+3D:+A+review.">Methods for reducing visual discomfort in stereoscopic 3D: A review.</a> Signal Processing: Image Communication. 47, 402-416 (2016).</li><li>Fan, Z., Weng, Y., Chen, G., Liao, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=3D+interactive+surgical+visualization+system+using+mobile+spatial+information+acquisition+and+autostereoscopic+display.">3D interactive surgical visualization system using mobile spatial information acquisition and autostereoscopic display.</a> Journal of Biomedical Informatics. 71, 154-164 (2017).</li><li>Fan, Z., Zhang, S., Weng, Y., Chen, G., Liao, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=3D+quantitative+evaluation+system+for+autostereoscopic+display.">3D quantitative evaluation system for autostereoscopic display.</a> Journal of Display Technology. 12 (10), 1185-1196 (2016).</li><li>McIntire, J. P., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Binocular+fusion+ranges+and+stereoacuity+predict+positional+and+rotational+spatial+task+performance+on+a+stereoscopic+3D+display.">Binocular fusion ranges and stereoacuity predict positional and rotational spatial task performance on a stereoscopic 3D display.</a> Journal of Display Technology. 11 (11), 959-966 (2015).</li><li>Kalia, M., Navab, N., Fels, S. S., Salcudean, T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+method+to+introduce+&amp;+evaluate+motion+parallax+with+stereo+for+medical+AR/MR.">A method to introduce &amp; evaluate motion parallax with stereo for medical AR/MR.</a> IEEE Conference on Virtual Reality and 3D User Interfaces. , 1755-1759 (2019).</li><li>Kyt&#246;, M., Hakala, J., Oittinen, P., H&#228;kkinen, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Effect+of+camera+separation+on+the+viewing+experience+of+stereoscopic+photographs.">Effect of camera separation on the viewing experience of stereoscopic photographs.</a> Journal of Electronic Imaging. 21 (1), 1-9 (2012).</li><li>Moorthy, A. K., Su, C. C., Mittal, A., Bovik, A. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Subjective+evaluation+of+stereoscopic+image+quality.">Subjective evaluation of stereoscopic image quality.</a> Signal Processing: Image Communication. 28 (8), 870-883 (2013).</li><li>Yilmaz, G. N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+depth+perception+evaluation+metric+for+immersive+3D+video+services.">A depth perception evaluation metric for immersive 3D video services.</a> 3DTV Conference: The True Vision - Capture, Transmission and Display of 3D Video. , 1-4 (2017).</li><li>Lebreton, P., Raake, A., Barkowsky, M., Le Callet, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Evaluating+depth+perception+of+3D+stereoscopic+videos.">Evaluating depth perception of 3D stereoscopic videos.</a> IEEE Journal on Selected Topics in Signal Processing. 6, 710-720 (2012).</li><li>L&#243;pez, J. P., Rodrigo, J. A., Jim&#233;nez, D., Men&#233;ndez, J. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Stereoscopic+3D+video+quality+assessment+based+on+depth+maps+and+video+motion.">Stereoscopic 3D video quality assessment based on depth maps and video motion.</a> EURASIP Journal on Image and Video Processing. 2013 (1), 62 (2013).</li><li>Banks, M. S., Read, J. C., Allison, R. S., Watt, S. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Stereoscopy+and+the+human+visual+system.">Stereoscopy and the human visual system.</a> SMPTE Motion Imaging Journal. 121 (4), 24-43 (2012).</li><li>Kyt&#246;, M., Nuutinen, M., Oittinen, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Method+for+measuring+stereo+camera+depth+accuracy+based+on+stereoscopic+vision.">Method for measuring stereo camera depth accuracy based on stereoscopic vision.</a> Three-Dimensional Imaging, Interaction, and Measurement. 7864, 168-176 (2011).</li><li>Kang, Y. S., Ho, Y. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Geometrical+compensation+algorithm+of+multiview+image+for+arc+multi-camera+arrays.">Geometrical compensation algorithm of multiview image for arc multi-camera arrays.</a> Advances in Multimedia Information Processing. 2008, 543-552 (2008).</li><li>Product Specification IRB 14000. DocumentID: 3HAC052982-001 Revision J. ABB Robotics Available from: <a target="_blank" href="https://library.abb.com/en/results">https://library.abb.com/en/results</a> (2018)</li><li>Operating Manual IRB 14000. Document ID: 3HAC052986-001 Revision F. ABB Robotics Available from: <a target="_blank" href="https://library.abb.com/en/results">https://library.abb.com/en/results</a> (2019)</li><li>. Github repository Available from: <a target="_blank" href="https://github.com/majstenmark/stereo2">https://github.com/majstenmark/stereo2</a> (2021)</li><li>Operating manual RobotStudio. Document ID: 3HAC032104-001 Revision Y. ABB Robotics Available from: <a target="_blank" href="https://library.abb.com/en/results">https://library.abb.com/en/results</a> (2019)</li><li>Won, C. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Adaptive+interpolation+for+3D+stereoscopic+video+in+frame-compatible+top-bottom+packing.">Adaptive interpolation for 3D stereoscopic video in frame-compatible top-bottom packing.</a> IEEE International Conference on Consumer Electronics. 2011, 179-180 (2011).</li><li>Kim, S. K., Lee, C., Kim, K. T., Javidi, B., Okano, F., Son, J. Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Multi-view+image+acquisition+and+display.">Multi-view image acquisition and display.</a> Three-Dimensional Imaging, Visualization, and Display. , 227-249 (2009).</li><li>Liu, F., Niu, Y., Jin, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Keystone+correction+for+stereoscopic+cinematography.">Keystone correction for stereoscopic cinematography.</a> IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops. 2012, 1-7 (2012).</li><li>Kang, W., Lee, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Horizontal+parallax+distortion+correction+method+in+toed-in+camera+with+wide-angle+lens.">Horizontal parallax distortion correction method in toed-in camera with wide-angle lens.</a> 3DTV Conference: The True Vision - Capture, Transmission and Display of 3D Video. 2009, 1-4 (2009).</li></ol>

라이브 수술 중, 3D 비디오 데이터 수집에 사용되는 실험의 총 시간은 환자에게 안전한 것으로 제한되었다. 개체가 초점이 맞지 않거나 과도하게 노출된 경우 데이터를 사용할 수 없습니다. 중요한 단계는 카메라 도구 교정 및 설정(2단계)입니다. 수술이 시작되면 카메라 조리개와 포커스를 변경할 수 없습니다. 설치 및 수술 중에 동일한 조명 조건과 거리를 사용해야 합니다. 2.1-2.4 단계의 카메라 ?...

수술에서 3D 시각화는 교육, 진단, 수술 전 계획 및 수술 후 평가1,2에 사용할 수 있습니다. 현실적인 깊이 지각은 정상 및 비정상적인 해부학의 이해3,4,5,6을 향상시킬 수 있습니다. 외과 적 수술의 간단한 2D 비디오 녹화는 좋은 시작입니다. 그러나, 깊이 지각의 부족은 비 외과 동료가 다른 해부학 구조 사이 antero 후방 관계를 완전히 이해하기 어렵게 만들 수 있고 그러므로 또한 해부학7,8,9,10의 오해의 리스크를 소개합니다.
3D 보기 환경은 (1) 카메라 구성이 도 1, (2) 기준 거리(카메라 간의 분리)에 도시된 대로 평행또는 토인일 수 있습니다. (3) 관심 있는 대상과 배경 등의 기타 장면 특성에 대한 거리. (4) 화면 크기 및 보기 위치와 같은 보기 장치의 특성1,11,12,13. (5) 시청자의 개별 선호도14,15.
3D 카메라 설정 설계는 주관적이거나 자동 평가에 사용되는 다양한 카메라 기준 거리 및 구성에서 녹화된 테스트 비디오를 캡처하는 것으로 시작됩니다16,17,18,19,20. 카메라 거리는 선명한 이미지를 캡처하기 위해 수술장에 일정해야합니다. 자동 초점이 손에 초점을 맞추기 위해 조정되기 때문에 고정 초점이 바람직합니다. 그러나 관심있는 장면이 수술 장일 때 이것은 쉽게 달성 할 수 없습니다. 운영실은 이러한 시설을 깨끗하게 유지하고 멸균해야 하기 때문에 접근 이 공간이 제한되어 있습니다. 기술 장비, 외과 의사 및 스크럽 간호사는 종종 좋은 시각적 개요와 효율적인 워크플로우를 확보하기 위해 환자 주위에 밀접하게 클러스터됩니다. 카메라 위치가 3D 시청 경험에 미치는 영향을 비교하고 평가하기 위해 모양, 크기 및 색상과 같은 개체 특성이 3D 시청 경험에 영향을 줄 수 있으므로 카메라 위치의 전체 테스트 범위가 동일한 장면을 기록해야 합니다.
같은 이유로, 카메라 위치의 완전한 테스트 범위는 다른 수술 절차에 반복되어야한다. 전체 위치 시퀀스는 높은 정확도로 반복되어야 합니다. 수술 환경에서는 기준기 거리의 수동 조정이 필요한 기존 방법22 또는 고정 기준 거리23 이 있는 다른 카메라 쌍을 공간 및 시간 제약 으로 인해 사용할 수 없습니다. 이 문제를 해결하기 위해 이 로봇 화된 솔루션이 설계되었습니다.
이 데이터는 수술실 천장에 장착된 듀얼 암 협업 산업용 로봇으로 수집되었습니다. 카메라는 로봇의 손목에 부착되어 그림 2와 같이 기준거리가 증가하는 아크 모양의 궤적을 따라 움직였다.
접근법을 보여주기 위하여는, 4개의 다른 선천적인 심장 결함을 가진 4명의 다른 환자에서 10개의 시험 시리즈가 기록되었습니다. 수술 이 중단이 가능할 때 장면이 선택되었습니다: 수술 수리 직전과 후에 박동하는 하트가 있습니다. 하트가 체포되었을 때도 시리즈가 만들어졌습니다. 수술은 3 분 및 20 초 동안 일시 중지되어 40 개의 5 ssequences를 수집하여 다양한 카메라 수렴 거리와 기준 거리의 40 개5 ssequences를 수집하여 장면을 캡처했습니다. 이 동영상은 나중에 처리 후 3D로 임상 팀을 위해 표시되었으며, 3D 비디오가 0-5에서 얼마나 현실적인지 평가했습니다.
토에이드 인 스테레오 카메라의 수렴 지점은 두 이미지의 중심점이 만나는 곳입니다. 수렴 지점은 원칙적으로 개체 앞, 내부 또는 뒤에 배치할 수 있으며 그림 1A-C를 참조할 수 있습니다. 수렴점이 오브젝트 앞에 있을 때, 오브젝트가 왼쪽 카메라 이미지에 대한 중간선 왼쪽과 오른쪽 카메라 이미지의 중간선 오른쪽에 표시됩니다(그림 1A). 반대로 수렴점이 오브젝트 뒤에 있을 때 적용됩니다(그림 1B). 수렴점이 오브젝트에 있을 때, 객체는 카메라를 이미지(그림 1C)의 중간선에도 표시하며, 이미지를 병합하는 데 가늘게 뜨지 않으므로 가장 편안하게 볼 수 있을 것입니다. 편안한 스테레오 3D 비디오를 얻으려면 수렴 지점에 위치해야 하며, 관심 있는 대상은 시청자가 자발적으로 외측(exotropia)을 가늘게 뜨게 해야 합니다.
이 데이터는 듀얼 암 협업 산업용 로봇을 사용하여 수집하여 카메라를 배치하였다(그림 2A-B). 로봇의 무게는 장비 없이 38kg입니다. 로봇은 본질적으로 안전합니다. 예기치 않은 영향을 감지하면 이동이 중지됩니다. 이 로봇은 5메가픽셀 카메라를 C-마운트 렌즈로 배치하도록 프로그래밍되었으며, 미리 정해진 기준선 거리(그림 2C)에서 정지하는 아크 모양의 궤적을 따라 배치했습니다. 도 3에 도시된 바와 같이 카메라가 어댑터 플레이트를 사용하여 로봇 손에 부착되었습니다. 각 카메라는 초당 25프레임으로 녹화되었습니다. 렌즈는 관심 있는 대상(심장의 대략적인 기하학적 중심)에 초점을 맞춘 f-stop 1/8에서 설정되었습니다. 모든 이미지 프레임에는 두 비디오 스트림을 동기화하는 데 사용되는 타임스탬프가 있었습니다.
로봇 손목과 카메라 사이의 오프셋이 보정되었습니다. 이는 도 4에 도시된 바와 같이 카메라 이미지의 십자선을 정렬하여 달성할 수 있다. 이 설정에서, 로봇 손목의 장착 지점에서 총 번역 오프셋과 카메라 이미지 센서의 중심은 X 방향에서 55.3mm, Z 방향에서 21.2mm였으며 , 도 5에 표시되었다. 회전 오프셋은 1,100mm의 수렴 거리와 50mm의 기준거리에서 보정되고 로봇 제어판의 조이스틱으로 수동으로 조정되었습니다. 이 연구의 로봇은 카르테시안 공간에서 0.02mm, 회전 해상도24의 정확도가 0.02mm로 지정되었습니다. 반경 1,100m에서 각도 차이는 0.01도로 중심점 0.2mm를 상쇄합니다. 50-240mm 분리에서 전체 로봇 모션 동안, 각 카메라에 대한 십자선은 수렴의 이상적인 중심에서 2mm 이내였다.
기준선 거리는 50-240mm(도 2)에 이르는 10mm 단위로 시야 의 중심 주위 카메라의 대칭 분리에 의해 단계적으로 증가하였다. 카메라는 각 위치에서 5s에 대한 정지 에 보관하고 50mm / s의 속도로 위치 사이를 이동했다. 수렴 점은 그래픽 사용자 인터페이스(그림 6)를 사용하여 X 및 Z 방향으로 조정할 수 있습니다. 로봇은 그에 따라 작동 범위 내에서 따랐다.
수렴점의 정확도는 도 7A 및 B의 균일한 삼각형과 가변 이름을 사용하여 추정되었다. 높이 'z' 는 피타고라스 정리와 수렴 거리 'R' 에서 계산되었다
<img alt="Equation 1" src="/files/ftp_upload/62786/62786eq01.jpg">
도 7A와 같이 실제 수렴점이 원하는 점보다 가까웠을 때, 오차 거리 'f1'은
<img alt="Equation 2" src="/files/ftp_upload/62786/62786eq02.jpg">
마찬가지로, 수렴점이 원하는 지점에 단종되었을 때, 오차 거리 'f2'는
<img alt="Equation 3" src="/files/ftp_upload/62786/62786eq03.jpg">
여기서,'e' 는 교정 시 최대 기준선 분리에서 십자선 사이의 최대 분리(D = 240mm)였다. R = 1100mm(z = 1093mm)의 경우 오차는 ± 9.2mm 미만이었습니다. R = 1400mm(z = 1395mm)의 경우 오차가 11.7mm ±. 즉, 수렴점배치의 오차는 원하는 것의 1% 이내였다. 따라서 1100mm와 1400mm의 두 테스트 거리가 잘 분리되었습니다.

<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td>2 C-mount lenses (35 mm F2.1, 5 M pixel)</td>
			<td>Tamron</td>
			<td>M112FM35</td>
			<td>Rated for 5 Mpixel</td>
		</tr>
		<tr>
			<td>3D glasses (DLP-link active shutter)</td>
			<td>Celexon</td>
			<td>G1000</td>
			<td>Any compatible 3D glasses can be used</td>
		</tr>
		<tr>
			<td>3D Projector</td>
			<td>Viewsonic</td>
			<td>X10-4K</td>
			<td>Displays 3D in 1080, can be exchanged for other 3D projectors</td>
		</tr>
		<tr>
			<td>6 M2 x 8 screws</td>
			<td></td>
			<td></td>
			<td>To attach the cXimea cameras to the camera adaptor plates</td>
		</tr>
		<tr>
			<td>8 M2.5 x 8 screws</td>
			<td></td>
			<td></td>
			<td>To attach the circular mounting plates to the robot wrist</td>
		</tr>
		<tr>
			<td>8 M5 x 40 screws</td>
			<td></td>
			<td></td>
			<td>To mount the robot</td>
		</tr>
		<tr>
			<td>8 M6 x 10 screws with flat heads</td>
			<td></td>
			<td></td>
			<td>For attaching the circular mounting plate and the camera adaptor plates</td>
		</tr>
		<tr>
			<td>Calibration checker board plate (25 by 25 mm)</td>
			<td></td>
			<td></td>
			<td>Any standard checkerboard can be used, including printed, as long as the grid is clearly visible in the cameras</td>
		</tr>
		<tr>
			<td>Camera adaptor plates, x2</td>
			<td></td>
			<td></td>
			<td>Designed by the authors in robot_camera_adaptor_plates.dwg, milled in aluminium.</td>
		</tr>
		<tr>
			<td>Circular mounting plates, x2</td>
			<td></td>
			<td></td>
			<td>Distributed with the permission of the designer Julius Klein and printed with ABS plastic on an FDM 3D printer. License Tecnalia Research &#38; Innovation 2017. Attached as Mountingplate_ROBOT_SIDE_ 
			NewDesign_4.stl</td>
		</tr>
		<tr>
			<td>Fix focus usb cameras, x2 (5 Mpixel)</td>
			<td>Ximea</td>
			<td>MC050CG-SY-UB</td>
			<td>With Sony IMX250LQR sensor</td>
		</tr>
		<tr>
			<td>Flexpendant</td>
			<td>ABB</td>
			<td>3HAC028357-001</td>
			<td>robot touch display</td>
		</tr>
		<tr>
			<td>Liveview</td>
			<td></td>
			<td></td>
			<td>recording application</td>
		</tr>
		<tr>
			<td>RobotStudio</td>
			<td></td>
			<td></td>
			<td>&#160;robot integrated development environment (IDE)</td>
		</tr>
		<tr>
			<td>USB3 active cables (10.0 m), x2</td>
			<td></td>
			<td></td>
			<td>Thumbscrew lock connector, water proofed.</td>
		</tr>
		<tr>
			<td>YuMi dual-arm robot</td>
			<td>ABB</td>
			<td>IRB14000</td>
			<td></td>
		</tr>
	</tbody>
</table>

robotized testing of camera positions to determine ideal configuration for stereo 3d visualization of open-heart surgery

외과 적 절차의 스테레오 3D 비디오는 의학 교육에 매우 유용하고 임상 의사 소통을 향상시킬 수 있습니다. 그러나 수술실과 수술장에 대한 접근이 제한됩니다. 그것은 멸균 환경이며, 물리적 공간은 외과 직원과 기술 장비로 붐비고 있습니다. 이 설정에서, 가려지지 않은 캡처 및 수술 절차의 현실적인 재현은 어렵습니다. 이 백서는 다양한 카메라 기준 거리와 수렴 거리에서 입체 3D 비디오의 신속하고 신뢰할 수 있는 데이터 수집방법을 제시합니다. 수술 중 최소한의 간섭으로 테스트 데이터를 수집하기 위해 높은 정밀도와 반복성으로 카메라가 듀얼 암 로봇의 각 손에 부착되었습니다. 로봇은 수술실에 천장에 장착되었습니다. 10mm의 증분 단계에서 50-240mm 사이의 기준거리와 1100mm 및 1400mm의 두 수렴 거리에서 다양한 테스트 위치를 통과하는 동기화된 카메라 움직임시퀀스를 수행하도록 프로그래밍되었습니다. 수술은 40 연속 5s 비디오 샘플을 허용하기 위해 일시 중지되었다. 총 10개의 수술 시나리오가 기록되었습니다.

오른쪽 이미지가 상단 하단 입체 3D의 상단에 배치된 허용 가능한 평가 비디오가 Video1에 표시됩니다. 성공적인 시퀀스는 날카롭고, 집중적이며, 비동기 이미지 프레임이 없어야 합니다. 비동기화된 비디오 스트림은 파일 Video 2에 나와 같이 흐림을 일으킵니다. 수렴 점은 그림 9A, B에서 볼 수 있듯이 카메라 분리와 는 별개로 수평으로 중?...

Watch this Scientific Journal Video about Robotized Testing of Camera Positions to Determine Ideal Configuration for Stereo 3D Visualization of Open-Heart Surgery at JoVE.com

Robotized Testing of Camera Positions to Determine Ideal Configuration for Stereo 3D Visualization of Open-Heart Surgery

3D 스테레오 비디오의 인간의 깊이 인식은 카메라 분리, 수렴 지점, 물체의 거리 및 친숙도에 따라 달라집니다. 이 백서는 이상적인 카메라 구성을 결정하기 위해 살아있는 오픈 하트 수술 중 신속하고 신뢰할 수 있는 테스트 데이터 수집을 위한 로봇화된 방법을 제시합니다.

오픈-심장 수술의 스테레오 3D 시각화를 위한 이상적인 구성을 결정하기 위해 카메라 위치의 로봇화 테스트

Stereo 3D video from surgical procedures can be highly valuable for medical education and improve clinical communication. But access to the operating room ...

이를 통해 교육 및 교육을 위한 고품질 3D 비디오를 캡처할 수 있습니다. 그것은 오픈 수술과 대부분의 수술실 설정에 적용 할 수 있습니다. 로봇화된 접근 방식을 통해 데이터를 빠르고 정확하게 수집하여 카메라 위치를 평가할 수 있습니다.이 방법은 3D 비전 응용 프로그램에 대한 카메라 구성을 신속하게 테스트하는 데 사용됩니다. 또한 다른 피사체가 깊이를 인식하는 방법을 조사하는 데 사용할 수 있습니다. 먼저 카메라를 로봇에 장착하려면 먼저 렌즈를 카메라에 장착한 다음 카메라를 3개의 M2 나사로 어댑터 플레이트에 장착합니다.다음으로, 카메라의 반대편에 4개의 M4 나사가 있는 원형 장착 플레이트를 카메라 어댑터 플레이트에 장착합니다. 모든 카메라가 로봇에 장착되면 결과 어셈블리의 미러링을 관찰합니다. 4개의 M2.5 나사로 어댑터 플레이트를 로봇 손목에 장착합니다.테이블 장착 로봇의 경우 왼쪽 카메라를 오른쪽 로봇 암에 부착합니다. USB 케이블을 카메라와 우분투 컴퓨터에 연결합니다. 로봇 터치 디스플레이에서 메뉴 버튼을 누르고 스테레오 2를 선택하여 로봇 응용 프로그램을 시작합니다.메인 화면에서 로봇 응용 프로그램에서 1, 100밀리미터를 시작하고 로봇이 시작 위치로 이동할 때까지 기다립니다. 카메라에서 보호 렌즈 캡을 제거합니다. 카메라 센서에서 1, 100밀리미터에 인쇄된 교정 그리드를 배치합니다.해당 사각형을 올바르게 식별하려면 작은 나사 너트를 배치하거나 그리드의 입력어딘가에 표시합니다. 우분투 컴퓨터에서 레코딩 응용 프로그램을 시작하여 인터페이스를 시작합니다. 그런 다음 조리개를 조정하고 조리개와 초점 링으로 렌즈에 집중합니다.녹음 응용 프로그램에서 십자선을 확인하여 십자선을 시각화합니다. 레코딩 응용 프로그램에서 십자선이 두 카메라 이미지에서 동일한 위치에서 교정 그리드와 정렬되도록 합니다. 로봇 응용 프로그램에서 기어 아이콘을 누른 후 카메라를 환자를 기준으로 배치합니다.로봇으로부터의 손 거리용 플러스 또는 마이너스를 누르고 높이에 대한 플러스 또는 마이너스를 눌러 X 방향을 변경하여 이미지에서 수술 장을 캡처합니다. 로봇이나 환자를 수동으로 이동하여 Y 방향을 변경합니다. 수술을 일시 중지하고 OR 직원에게 실험을 시작하거나, 기록 응용 프로그램에서 기록을 누간 다음, 로봇 응용 프로그램에서 실행 실험을 누릅니다.잠시 후 실험이 완료되면 터치 디스플레이에 완료가 나타납니다. 그런 다음 녹음 응용 프로그램에서 녹화 중지를 눌러 녹화를 중지합니다. OR 직원에게 실험이 완료되었음을 알리고 수술을 재개합니다.평가를 위해 활성 3D 프로젝터로 상위 아래 3D 형식으로 비디오를 표시합니다. 오른쪽 이미지가 상단 하단 입체 3D의 상단에 배치된 올바른 평가 비디오가 표시됩니다. 성공적인 시퀀스는 날카롭고, 집중적이며, 비동기 이미지 프레임이 없어야 합니다.동기화되지 않은 비디오 스트림은 흐림 효과를 만듭니다. 수렴 점은 카메라 분리와 는 별개로 수평으로 중심을 두어야 합니다. 오른쪽 이미지와 왼쪽 이미지 사이에 매우 큰 분리로 뇌는 이미지를 하나의 3D 이미지로 융합할 수 없습니다.여러 가지 이유로 수렴 지점에서 심장까지의 거리와 같은 심장의 중심 위치 지정에 실패를 일으킬 수 있습니다. 카메라 도구 좌표 시스템의 올바른 구성을 위해 동일한 개체의 기록 응용 점의 십자선이 중앙 위치에 있는지 확인하고 올바른 탈원화 형식의 색상이 있는지 확인합니다. 기준 거리를 변경하는 3D 비디오를 사용하면 깊이 정보가 의료진간의 해부학적 이해에 미치는 영향을 연구할 수 있습니다.

Research

JoVE Journal

Medicine

Rat Heterotopic Abdominal Heart/Single-lung Transplantation in a Volume-loaded Configuration

쥐 이소성 복부 심장 / 볼륨로드 구성에서 단일 폐 이식

Herein, we describe a novel technique for heterotopic abdominal heart-lung transplantation (HAHLT) in rats. The configuration of the transplant graft ...

연구

의학

A Pipeline for 3D Multimodality Image Integration and Computer-assisted Planning in Epilepsy Surgery

간질 수술에 3D Multimodality 이미지 통합 및 컴퓨터 지원 계​​획에 대한 파이프 라인

Epilepsy surgery is challenging and the use of 3D multimodality image integration (3DMMI) to aid presurgical planning is well-established. Multimodality ...

A Quantitative Sensory Testing Paradigm to Obtain Measures of Pain Processing in Patients Undergoing Breast Cancer Surgery

유 방 암 수술을 받은 환자에서 처리 하는 고통의 측정을 얻기 위해 양적 감각 테스트 패러다임

Chronic pain following surgery, persistent postsurgical pain, is an important highly prevalent condition contributing to significant symptom burden and ...

A Clinical Trial Assessing the Safety, Efficacy, and Delivery of Olive-Oil-Based Three-Chamber Bags for Parenteral Nutrition

비경구 영양을 위한 올리브 오일 기반 3챔버 백의 안전성, 효능 및 전달을 평가하는 임상 시험

Limited evidence exists to precisely estimate efficacy and safety differences between parenteral nutrition (PN) prepared using olive-oil-based ...

A Training and Testing System for Performing Vascular Reconstruction In Vitro

체외에서 혈관 재건을 수행하기 위한 교육 및 테스트 시스템

Manual vascular reconstruction training is essential for a beginner surgeon. However, an optimal training system for vascular reconstruction in vitro has ...

A Postoperative Evaluation Guideline for Computer-Assisted Reconstruction of the Mandible

하악골의 컴퓨터 지원 재건을 위한 수술 후 평가 지침

Valid comparisons of postoperative accuracy results in computer-assisted reconstruction of the mandible are difficult due to heterogeneity in imaging ...

3D Planning and Printing of Patient Specific Implants for Reconstruction of Bony Defects

뼈 결함의 재건을위한 환자 특정 임플란트의 3D 계획 및 인쇄

We are in the midst of the 3D era in most aspects of life, and especially in medicine. The surgical discipline is one of the major players in the medical ...

Implantation of Combined Telemetric ECG and Blood Pressure Transmitters to Determine Spontaneous Baroreflex Sensitivity in Conscious Mice

의식이 있는 마우스에서 자발적인 압력반사 민감도를 결정하기 위해 결합된 원격 측정 ECG 및 혈압 전송기 이식

Blood pressure (BP) and heart rate (HR) are both controlled by the autonomic nervous system (ANS) and are closely intertwined due to reflex mechanisms. ...

Use of 3D Robotic Ultrasound for In Vivo Analysis of Mouse Kidneys

Use of 3D Robotic Ultrasound for In Vivo Analysis of Mouse Kidneys

마우스 신장의 생체 내 분석을 위한 3D 로봇 초음파 사용

Common modalities for in vivo imaging of rodents include positron emission tomography (PET), computed tomography (CT), magnetic resonance imaging (MRI), ...

Combining 3D-Printing and Electrospinning to Manufacture Biomimetic Heart Valve Leaflets

3D 프린팅과 전기방사를 결합하여 생체모방 심장 판막 전단지 제조

Electrospinning has become a widely used technique in cardiovascular tissue engineering as it offers the possibility to create (micro-)fibrous scaffolds ...