Name: robotized testing of camera positions to determine ideal configuration for stereo 3d visualization of open-heart surgery
Uploaded: 2021-08-12T14:45:00
Description: Watch this Scientific Journal Video about Robotized Testing of Camera Positions to Determine Ideal Configuration for Stereo 3D Visualization of Open-Heart Surgery at JoVE.com

Исследование проводилось при финансировании Vinnova (2017-03728, 2018-05302 и 2018-03651), Heart-Lung Foundation (20180390), Family Kamprad Foundation (20190194) и Anna-Lisa and Sven Eric Lundgren Foundation (2017 и 2018).

Эксперименты были одобрены местным Комитетом по этике в Лунде, Швеция. Участие было добровольным, и законные опекуны пациентов предоставили информированное письменное согласие.
1. Настройка и настройка робота
ПРИМЕЧАНИЕ: В этом эксперименте использовался ...

<ol>
	<li>Held, R. T., Hui, T. T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+guide+to+stereoscopic+3D+displays+in+medicine.">A guide to stereoscopic 3D displays in medicine.</a> Academic Radiology. 18 (8), 1035-1048 (2011).</li><li>van Beurden, M. H. P. H., IJsselsteijn, W. A., Juola, J. F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Effectiveness+of+stereoscopic+displays+in+medicine:+A+review.">Effectiveness of stereoscopic displays in medicine: A review.</a> 3D Research. 3 (1), 1-13 (2012).</li><li>Luursema, J. M., Verwey, W. B., Kommers, P. A. M., Geelkerken, R. H., Vos, H. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Optimizing+conditions+for+computer-assisted+anatomical+learning.">Optimizing conditions for computer-assisted anatomical learning.</a> Interacting with Computers. 18 (5), 1123-1138 (2006).</li><li>Takano, M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Usefulness+and+capability+of+three-dimensional,+full+high-definition+movies+for+surgical+education.">Usefulness and capability of three-dimensional, full high-definition movies for surgical education.</a> Maxillofacial Plastic and Reconstructive Surgery. 39 (1), 10 (2017).</li><li>Triepels, C. P. R., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Does+three-dimensional+anatomy+improve+student+understanding.">Does three-dimensional anatomy improve student understanding.</a> Clinical Anatomy. 33 (1), 25-33 (2020).</li><li>Beermann, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Three-dimensional+visualisation+improves+understanding+of+surgical+liver+anatomy.">Three-dimensional visualisation improves understanding of surgical liver anatomy.</a> Medical Education. 44 (9), 936-940 (2010).</li><li>Battulga, B., Konishi, T., Tamura, Y., Moriguchi, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=The+Effectiveness+of+an+interactive+3-dimensional+computer+graphics+model+for+medical+education.">The Effectiveness of an interactive 3-dimensional computer graphics model for medical education.</a> Interactive Journal of Medical Research. 1 (2), (2012).</li><li>Yammine, K., Violato, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+meta-analysis+of+the+educational+effectiveness+of+three-dimensional+visualization+technologies+in+teaching+anatomy.">A meta-analysis of the educational effectiveness of three-dimensional visualization technologies in teaching anatomy.</a> Anatomical Sciences Education. 8 (6), 525-538 (2015).</li><li>Fitzgerald, J. E. F., White, M. J., Tang, S. W., Maxwell-Armstrong, C. A., James, D. K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Are+we+teaching+sufficient+anatomy+at+medical+school?+The+opinions+of+newly+qualified+doctors.">Are we teaching sufficient anatomy at medical school? The opinions of newly qualified doctors.</a> Clinical Anatomy. 21 (7), 718-724 (2008).</li><li>Bergman, E. M., Van Der Vleuten, C. P. M., Scherpbier, A. J. J. A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Why+don't+they+know+enough+about+anatomy?+A+narrative+review.">Why don't they know enough about anatomy? A narrative review.</a> Medical Teacher. 33 (5), 403-409 (2011).</li><li>Terzi&#263;, K., Hansard, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Methods+for+reducing+visual+discomfort+in+stereoscopic+3D:+A+review.">Methods for reducing visual discomfort in stereoscopic 3D: A review.</a> Signal Processing: Image Communication. 47, 402-416 (2016).</li><li>Fan, Z., Weng, Y., Chen, G., Liao, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=3D+interactive+surgical+visualization+system+using+mobile+spatial+information+acquisition+and+autostereoscopic+display.">3D interactive surgical visualization system using mobile spatial information acquisition and autostereoscopic display.</a> Journal of Biomedical Informatics. 71, 154-164 (2017).</li><li>Fan, Z., Zhang, S., Weng, Y., Chen, G., Liao, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=3D+quantitative+evaluation+system+for+autostereoscopic+display.">3D quantitative evaluation system for autostereoscopic display.</a> Journal of Display Technology. 12 (10), 1185-1196 (2016).</li><li>McIntire, J. P., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Binocular+fusion+ranges+and+stereoacuity+predict+positional+and+rotational+spatial+task+performance+on+a+stereoscopic+3D+display.">Binocular fusion ranges and stereoacuity predict positional and rotational spatial task performance on a stereoscopic 3D display.</a> Journal of Display Technology. 11 (11), 959-966 (2015).</li><li>Kalia, M., Navab, N., Fels, S. S., Salcudean, T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+method+to+introduce+&amp;+evaluate+motion+parallax+with+stereo+for+medical+AR/MR.">A method to introduce &amp; evaluate motion parallax with stereo for medical AR/MR.</a> IEEE Conference on Virtual Reality and 3D User Interfaces. , 1755-1759 (2019).</li><li>Kyt&#246;, M., Hakala, J., Oittinen, P., H&#228;kkinen, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Effect+of+camera+separation+on+the+viewing+experience+of+stereoscopic+photographs.">Effect of camera separation on the viewing experience of stereoscopic photographs.</a> Journal of Electronic Imaging. 21 (1), 1-9 (2012).</li><li>Moorthy, A. K., Su, C. C., Mittal, A., Bovik, A. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Subjective+evaluation+of+stereoscopic+image+quality.">Subjective evaluation of stereoscopic image quality.</a> Signal Processing: Image Communication. 28 (8), 870-883 (2013).</li><li>Yilmaz, G. N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+depth+perception+evaluation+metric+for+immersive+3D+video+services.">A depth perception evaluation metric for immersive 3D video services.</a> 3DTV Conference: The True Vision - Capture, Transmission and Display of 3D Video. , 1-4 (2017).</li><li>Lebreton, P., Raake, A., Barkowsky, M., Le Callet, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Evaluating+depth+perception+of+3D+stereoscopic+videos.">Evaluating depth perception of 3D stereoscopic videos.</a> IEEE Journal on Selected Topics in Signal Processing. 6, 710-720 (2012).</li><li>L&#243;pez, J. P., Rodrigo, J. A., Jim&#233;nez, D., Men&#233;ndez, J. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Stereoscopic+3D+video+quality+assessment+based+on+depth+maps+and+video+motion.">Stereoscopic 3D video quality assessment based on depth maps and video motion.</a> EURASIP Journal on Image and Video Processing. 2013 (1), 62 (2013).</li><li>Banks, M. S., Read, J. C., Allison, R. S., Watt, S. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Stereoscopy+and+the+human+visual+system.">Stereoscopy and the human visual system.</a> SMPTE Motion Imaging Journal. 121 (4), 24-43 (2012).</li><li>Kyt&#246;, M., Nuutinen, M., Oittinen, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Method+for+measuring+stereo+camera+depth+accuracy+based+on+stereoscopic+vision.">Method for measuring stereo camera depth accuracy based on stereoscopic vision.</a> Three-Dimensional Imaging, Interaction, and Measurement. 7864, 168-176 (2011).</li><li>Kang, Y. S., Ho, Y. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Geometrical+compensation+algorithm+of+multiview+image+for+arc+multi-camera+arrays.">Geometrical compensation algorithm of multiview image for arc multi-camera arrays.</a> Advances in Multimedia Information Processing. 2008, 543-552 (2008).</li><li>Product Specification IRB 14000. DocumentID: 3HAC052982-001 Revision J. ABB Robotics Available from: <a target="_blank" href="https://library.abb.com/en/results">https://library.abb.com/en/results</a> (2018)</li><li>Operating Manual IRB 14000. Document ID: 3HAC052986-001 Revision F. ABB Robotics Available from: <a target="_blank" href="https://library.abb.com/en/results">https://library.abb.com/en/results</a> (2019)</li><li>. Github repository Available from: <a target="_blank" href="https://github.com/majstenmark/stereo2">https://github.com/majstenmark/stereo2</a> (2021)</li><li>Operating manual RobotStudio. Document ID: 3HAC032104-001 Revision Y. ABB Robotics Available from: <a target="_blank" href="https://library.abb.com/en/results">https://library.abb.com/en/results</a> (2019)</li><li>Won, C. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Adaptive+interpolation+for+3D+stereoscopic+video+in+frame-compatible+top-bottom+packing.">Adaptive interpolation for 3D stereoscopic video in frame-compatible top-bottom packing.</a> IEEE International Conference on Consumer Electronics. 2011, 179-180 (2011).</li><li>Kim, S. K., Lee, C., Kim, K. T., Javidi, B., Okano, F., Son, J. Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Multi-view+image+acquisition+and+display.">Multi-view image acquisition and display.</a> Three-Dimensional Imaging, Visualization, and Display. , 227-249 (2009).</li><li>Liu, F., Niu, Y., Jin, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Keystone+correction+for+stereoscopic+cinematography.">Keystone correction for stereoscopic cinematography.</a> IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops. 2012, 1-7 (2012).</li><li>Kang, W., Lee, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Horizontal+parallax+distortion+correction+method+in+toed-in+camera+with+wide-angle+lens.">Horizontal parallax distortion correction method in toed-in camera with wide-angle lens.</a> 3DTV Conference: The True Vision - Capture, Transmission and Display of 3D Video. 2009, 1-4 (2009).</li></ol>

Во время живой хирургии общее время эксперимента, используемого для сбора 3D-видеоданных, было ограничено, чтобы быть безопасным для пациента. Если объект не сфокусирован или переэкспонирован, данные не могут быть использованы. Критические шаги выполняются во время калибровки и настро?...

В хирургии 3D-визуализация может использоваться для обучения, диагностики, предоперационного планирования и послеоперационной оценки1,2. Реалистичное восприятие глубины может улучшить понимание3,4,5,6 нормальных и аномальных анатомий. Простые 2D-видеозаписи хирургических процедур являются хорошим началом. Тем не менее, отсутствие восприятия глубины может затруднить для нехирургических коллег полное понимание передне-задних отношений между различными анатомическими структурами и, следовательно, также создает риск неправильного толкования анатомии7,8,9,10.
На качество 3D-просмотра влияют пять факторов: (1) Конфигурация камеры может быть параллельной или наклонной, как показано на рисунке 1, (2) Базовое расстояние (расстояние между камерами). (3) Расстояние до интересующего объекта и другие характеристики сцены, такие как фон. (4) Характеристики устройств просмотра, такие как размер экрана и положение просмотра1,11,12,13. (5) Индивидуальные предпочтения зрителей14,15.
Проектирование настройки 3D-камеры начинается с захвата тестовых видео, записанных на различных базовых расстояниях и конфигурациях камеры, которые будут использоваться для субъективной или автоматической оценки16,17,18,19,20. Расстояние от камеры должно быть постоянным до хирургического поля, чтобы захватывать четкие изображения. Фиксированный фокус предпочтительнее, потому что автофокус будет настраиваться на фокусировку на руках, инструментах или головах, которые могут попасть в поле зрения. Однако это нелегко достичь, когда интересной сценой является хирургическая область. Операционные являются зонами с ограниченным доступом, потому что эти помещения должны содержаться в чистоте и стерильности. Техническое оборудование, хирурги и медсестры-скрабы часто группируются вокруг пациента, чтобы обеспечить хороший визуальный обзор и эффективный рабочий процесс. Чтобы сравнить и оценить влияние положений камеры на опыт 3D-просмотра, один полный тестовый диапазон положений камеры должен записывать одну и ту же сцену, поскольку характеристики объекта, такие как форма, размер и цвет, могут повлиять на опыт 3D-просмотра21.
По той же причине полные диапазоны тестов положения камеры должны быть повторены на разных хирургических процедурах. Вся последовательность позиций должна повторяться с высокой точностью. В хирургических условиях существующие методы, требующие либо ручной регулировки базового расстояния22 , либо различных пар камер с фиксированными базовыми расстояниями23 , невозможны из-за как пространственных, так и временных ограничений. Для решения этой проблемы было разработано это роботизированное решение.
Данные были собраны с помощью двухрукого коллаборативного промышленного робота, установленного в потолке в операционной. Камеры были прикреплены к запястьям робота и двигались по дугообразной траектории с увеличением базового расстояния, как показано на рисунке 2.
Чтобы продемонстрировать подход, было зарегистрировано 10 серий тестов у 4 разных пациентов с 4 различными врожденными пороками сердца. Сцены были выбраны, когда пауза в операции была возможна: с бьющимися сердцами непосредственно до и после хирургического ремонта. Сериалы также были сделаны, когда сердца были арестованы. Операции были приостановлены на 3 минуты и 20 с, чтобы собрать сорок 5-секундных последовательностей с различными расстояниями конвергенции камеры и базовыми расстояниями для захвата сцены. Позже видео были обработаны, показаны в 3D для клинической команды, которая оценила, насколько реалистичным было 3D-видео по шкале от 0 до 5.
Точка конвергенции для стереокамер с носком — это место, где встречаются центральные точки обоих изображений. Точка сходимости в принципе может быть размещена либо спереди, внутри или позади объекта, см. рисунок 1A-C. Когда точка сходимости находится перед объектом, объект будет захвачен и отображен слева от средней линии для изображения левой камеры и справа от средней линии для изображения правой камеры (рисунок 1A). Обратное применимо, когда точка сходимости находится позади объекта (рисунок 1B). Когда точка сходимости находится на объекте, объект также появится в средней линии изображений камеры (рисунок 1C), что, по-видимому, должно обеспечить наиболее комфортный просмотр, поскольку для слияния изображений не требуется прищуривание. Для достижения комфортного стерео 3D-видео точка конвергенции должна быть расположена на интересующем объекте или немного позади него, в противном случае зритель должен добровольно прищуриться наружу (экзотропия).
Данные были собраны с использованием двухрукого коллаборативного промышленного робота для позиционирования камер (рисунок 2A-B). Робот весит 38 кг без оборудования. Робот искробезопасен; когда он обнаруживает неожиданное воздействие, он перестает двигаться. Робот был запрограммирован на позиционирование 5-мегапиксельных камер с объективами c-mount вдоль дугообразной траектории, останавливаясь на заданных базовых расстояниях (рисунок 2C). Камеры были прикреплены к рукам робота с помощью пластин адаптера, как показано на рисунке 3. Каждая камера записывает со скоростью 25 кадров в секунду. Линзы устанавливались на диафрагме 1/8 с фокусом, зафиксированным на интересующем объекте (приближенный геометрический центр сердца). Каждый кадр изображения имел метку времени, которая использовалась для синхронизации двух видеопотоков.
Смещения между запястьем робота и камерой были откалиброваны. Это может быть достигнуто путем выравнивания перекрестия изображений камеры, как показано на рисунке 4. В этой установке общее трансляционное смещение от точки крепления на запястье робота и центра датчика изображения камеры составило 55,3 мм в направлении X и 21,2 мм в Z-направлении, показанное на рисунке 5. Вращательные смещения калибровались на расстоянии сходимости 1100 мм и базовом расстоянии 50 мм и регулировались вручную с помощью джойстика на панели управления робота. Робот в этом исследовании имел заданную точность 0,02 мм в декартовом пространстве и 0,01 градуса вращательного разрешения24. При радиусе 1100 м разность углов 0,01 градуса смещает центральную точку на 0,2 мм. Во время полного движения робота с расстояния 50-240 мм перекрестие для каждой камеры находилось в пределах 2 мм от идеального центра конвергенции.
Базовое расстояние увеличивалось поэтапно за счет симметричного разделения камер вокруг центра поля зрения с шагом 10 мм в пределах 50-240 мм (рисунок 2). Камеры держались в режиме ожидания в течение 5 с в каждом положении и перемещались между позициями со скоростью 50 мм/с. Точка сходимости может быть отрегулирована в направлениях X и Z с помощью графического интерфейса пользователя (рисунок 6). Робот следовал соответственно в пределах своего рабочего диапазона.
Точность точки сходимости оценивалась с использованием однородных треугольников и названий переменных на рисунках 7A и B. Высота 'z' была вычислена из расстояния сходимости 'R' с теоремой Пифагора как
<img alt="Equation 1" src="/files/ftp_upload/62786/62786eq01.jpg">
Когда реальная точка сходимости была ближе желаемой точки, как показано на рисунке 7A, расстояние ошибки 'f1' вычислялось как
<img alt="Equation 2" src="/files/ftp_upload/62786/62786eq02.jpg">
Аналогичным образом, когда точка сходимости была дистальна к желаемой точке, расстояние ошибки «f2» вычислялось как
<img alt="Equation 3" src="/files/ftp_upload/62786/62786eq03.jpg">
Здесь 'e' представляло собой максимальное расстояние между перекрестиями, не более 2 мм при максимальном базовом расстоянии во время калибровки (D = 240 мм). Для R = 1100 мм (z = 1093 мм) погрешность составляла менее ± 9,2 мм. Для R = 1400 мм (z = 1395 мм) погрешность составила ± 11,7 мм. То есть погрешность размещения точки сходимости оказалась в пределах 1% от желаемой. Таким образом, два испытательных расстояния в 1100 мм и 1400 мм были хорошо разделены.

<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td>2 C-mount lenses (35 mm F2.1, 5 M pixel)</td>
			<td>Tamron</td>
			<td>M112FM35</td>
			<td>Rated for 5 Mpixel</td>
		</tr>
		<tr>
			<td>3D glasses (DLP-link active shutter)</td>
			<td>Celexon</td>
			<td>G1000</td>
			<td>Any compatible 3D glasses can be used</td>
		</tr>
		<tr>
			<td>3D Projector</td>
			<td>Viewsonic</td>
			<td>X10-4K</td>
			<td>Displays 3D in 1080, can be exchanged for other 3D projectors</td>
		</tr>
		<tr>
			<td>6 M2 x 8 screws</td>
			<td></td>
			<td></td>
			<td>To attach the cXimea cameras to the camera adaptor plates</td>
		</tr>
		<tr>
			<td>8 M2.5 x 8 screws</td>
			<td></td>
			<td></td>
			<td>To attach the circular mounting plates to the robot wrist</td>
		</tr>
		<tr>
			<td>8 M5 x 40 screws</td>
			<td></td>
			<td></td>
			<td>To mount the robot</td>
		</tr>
		<tr>
			<td>8 M6 x 10 screws with flat heads</td>
			<td></td>
			<td></td>
			<td>For attaching the circular mounting plate and the camera adaptor plates</td>
		</tr>
		<tr>
			<td>Calibration checker board plate (25 by 25 mm)</td>
			<td></td>
			<td></td>
			<td>Any standard checkerboard can be used, including printed, as long as the grid is clearly visible in the cameras</td>
		</tr>
		<tr>
			<td>Camera adaptor plates, x2</td>
			<td></td>
			<td></td>
			<td>Designed by the authors in robot_camera_adaptor_plates.dwg, milled in aluminium.</td>
		</tr>
		<tr>
			<td>Circular mounting plates, x2</td>
			<td></td>
			<td></td>
			<td>Distributed with the permission of the designer Julius Klein and printed with ABS plastic on an FDM 3D printer. License Tecnalia Research &#38; Innovation 2017. Attached as Mountingplate_ROBOT_SIDE_ 
			NewDesign_4.stl</td>
		</tr>
		<tr>
			<td>Fix focus usb cameras, x2 (5 Mpixel)</td>
			<td>Ximea</td>
			<td>MC050CG-SY-UB</td>
			<td>With Sony IMX250LQR sensor</td>
		</tr>
		<tr>
			<td>Flexpendant</td>
			<td>ABB</td>
			<td>3HAC028357-001</td>
			<td>robot touch display</td>
		</tr>
		<tr>
			<td>Liveview</td>
			<td></td>
			<td></td>
			<td>recording application</td>
		</tr>
		<tr>
			<td>RobotStudio</td>
			<td></td>
			<td></td>
			<td>&#160;robot integrated development environment (IDE)</td>
		</tr>
		<tr>
			<td>USB3 active cables (10.0 m), x2</td>
			<td></td>
			<td></td>
			<td>Thumbscrew lock connector, water proofed.</td>
		</tr>
		<tr>
			<td>YuMi dual-arm robot</td>
			<td>ABB</td>
			<td>IRB14000</td>
			<td></td>
		</tr>
	</tbody>
</table>

robotized testing of camera positions to determine ideal configuration for stereo 3d visualization of open-heart surgery

Стерео 3D-видео с хирургических процедур может быть очень ценным для медицинского образования и улучшения клинической коммуникации. Но доступ в операционную и хирургическое поле ограничен. Это стерильная среда, а физическое пространство переполнено хирургическим персоналом и техническим оборудованием. В этой обстановке незатененный захват и реалистичное воспроизведение хирургических процедур затруднены. В данной работе представлен метод быстрого и надежного сбора данных стереоскопических 3D-видео на различных базовых расстояниях камеры и расстояниях конвергенции. Для сбора тестовых данных с минимальным вмешательством во время операции, с высокой точностью и повторяемостью, камеры были прикреплены к каждой руке двухрукого робота. Робот был установлен на потолке в операционной. Он был запрограммирован на выполнение синхронизированной последовательности синхронизированных движений камеры, проходящих через диапазон испытательных позиций с базовым расстоянием между 50-240 мм при шаге 10 мм и на двух расстояниях сходимости 1100 мм и 1400 мм. Операция была приостановлена, чтобы позволить 40 последовательных 5-х сэмплов видео. Всего было зафиксировано 10 хирургических сценариев.

Приемлемое оценочное видео с правильным изображением, размещенным вверху в стереоскопическом 3D сверху вниз, показано в Video1. Успешная последовательность должна быть четкой, сфокусированной и без несинхронизированных кадров изображения. Несинхронизированные видеопотоки выз?...

Watch this Scientific Journal Video about Robotized Testing of Camera Positions to Determine Ideal Configuration for Stereo 3D Visualization of Open-Heart Surgery at JoVE.com

Robotized Testing of Camera Positions to Determine Ideal Configuration for Stereo 3D Visualization of Open-Heart Surgery

Восприятие человеком глубины 3D-стерео видео зависит от разделения камеры, точки сходимости, расстояния до объекта и знакомства с ним. В этой статье представлен роботизированный метод быстрого и надежного сбора тестовых данных во время операции на открытом сердце в реальном времени для определения идеальной конфигурации камеры.

Роботизированное тестирование положения камеры для определения идеальной конфигурации для стерео 3D-визуализации операции на открытом сердце

Stereo 3D video from surgical procedures can be highly valuable for medical education and improve clinical communication. But access to the operating room ...

Это позволяет захватывать высококачественные 3D-видео для обучения и образования. Он может быть применен к большинству операционных с открытой хирургией. С помощью роботизированного подхода мы можем быстро и точно собирать данные для оценки положения камеры.Этот метод используется для быстрого тестирования конфигурации камеры для приложений 3D-зрения. Он также может быть использован для исследования того, как различные субъекты воспринимают глубину. Чтобы начать крепление камеры к роботу, сначала прикрепите объектив к камере, а затем камеру к переходной пластине с тремя винтами M2.Затем установите круглую монтажную пластину на пластину адаптера камеры четырьмя винтами M4 на противоположной стороне камеры. После того, как все камеры будут установлены на роботе, наблюдайте за зеркальным отображением полученных сборок. Установите переходную пластину на запястье робота с помощью четырех винтов M2.5.Для настольного робота прикрепите левую камеру к правой руке робота. Подключите USB-кабели к камерам и компьютеру Ubuntu. На сенсорном дисплее робота нажмите кнопку Меню и выберите Stereo 2, чтобы запустить приложение робота.На главном экране нажмите Go, чтобы запустить 1, 100 миллиметров в приложении робота, и подождите, пока робот перейдет в исходное положение. Снимите защитный колпачок объектива с камер. Поместите печатную калибровочную сетку на расстоянии 1 100 миллиметров от датчиков камеры.Чтобы правильно определить соответствующие квадраты, поместите небольшую винтовую гайку или отметьте где-нибудь в сетке. Запустите приложение записи на компьютере Ubuntu, чтобы запустить интерфейс. А затем отрегулируйте диафрагму и сфокусируйтесь на объективе с помощью колец диафрагмы и фокусировки.В приложении записи проверьте Перекрестие, чтобы визуализировать перекрестие. В записывающем приложении убедитесь, что перекрестие совпадает с калибровочной сеткой в одном и том же положении на обоих изображениях камеры. После нажатия на значок шестеренки в приложении робота расположите камеры относительно пациента.Измените направление X, нажав плюс или минус для расстояния руки от робота, и направление Z, нажав плюс или минус для высоты, чтобы захватить хирургическое поле на изображениях. Измените направление Y, вручную переместив робота или пациента. После приостановки операции и информирования персонала операционной о начале эксперимента нажмите Кнопка записи в записывающем приложении, а затем нажмите Кнопка "Выполнить эксперимент" в приложении робота.Через некоторое время, когда эксперимент будет завершен, на сенсорном дисплее появится Готово. Затем нажмите Остановить запись в приложении записи, чтобы остановить запись. Сообщите персоналу операционной, что эксперимент завершен и возобновите операцию.Для оценки отобразите видео в 3D-формате сверху вниз с активным 3D-проектором. Показано правильное оценочное видео с правильным изображением, размещенным вверху в стереоскопическом 3D сверху внизу. Успешная последовательность должна быть четкой, сфокусированной и без несинхронизированных кадров изображения.Несинхронизированные видеопотоки создают размытие. Точка сходимости должна быть центрирована горизонтально, независимо от разделения камеры. При очень большом разделении между правым и левым изображениями мозг не может объединить изображения в одно 3D-изображение.Несколько причин могут вызвать сбой в центральном расположении сердца, например, расстояние от точки конвергенции до сердца. Для правильной настройки системы координат инструмента камеры убедитесь, что перекрестие в записывающем приложении указывает на один и тот же объект, объект калибровки находится в центральном положении, и правильный формат обесценивания цветов. 3D-видео с изменяющимися базовыми расстояниями позволяют изучить, как глубинная информация влияет на анатомическое понимание среди медицинского персонала.

Research

JoVE Journal

Medicine

Rat Heterotopic Abdominal Heart/Single-lung Transplantation in a Volume-loaded Configuration

Крыса Гетеротопическая животе Сердце / Трансплантация одного легкого в объеме загружены Configuration

Herein, we describe a novel technique for heterotopic abdominal heart-lung transplantation (HAHLT) in rats. The configuration of the transplant graft ...

A Pipeline for 3D Multimodality Image Integration and Computer-assisted Planning in Epilepsy Surgery

Трубопровод для 3D мультимодальности интеграции изображений и компьютерное планирование в хирургии эпилепсии

Epilepsy surgery is challenging and the use of 3D multimodality image integration (3DMMI) to aid presurgical planning is well-established. Multimodality ...

A Quantitative Sensory Testing Paradigm to Obtain Measures of Pain Processing in Patients Undergoing Breast Cancer Surgery

Количественные сенсорные тестирования парадигмы для получения мер боль обработки у пациентов, перенесших рак груди

Chronic pain following surgery, persistent postsurgical pain, is an important highly prevalent condition contributing to significant symptom burden and ...

A Clinical Trial Assessing the Safety, Efficacy, and Delivery of Olive-Oil-Based Three-Chamber Bags for Parenteral Nutrition

Клиническое испытание Оценка безопасности, эффективности и доставки оливкового масла основе трехкамерных мешков для парентерального питания

Limited evidence exists to precisely estimate efficacy and safety differences between parenteral nutrition (PN) prepared using olive-oil-based ...

A Training and Testing System for Performing Vascular Reconstruction In Vitro

Система обучения и тестирования для выполнения сосудистой реконструкции в Vitro

Manual vascular reconstruction training is essential for a beginner surgeon. However, an optimal training system for vascular reconstruction in vitro has ...

A Postoperative Evaluation Guideline for Computer-Assisted Reconstruction of the Mandible

Послеоперационная оценка Руководство по компьютерной реконструкции mandible

Valid comparisons of postoperative accuracy results in computer-assisted reconstruction of the mandible are difficult due to heterogeneity in imaging ...

3D Planning and Printing of Patient Specific Implants for Reconstruction of Bony Defects

3D планирование и печать конкретных имплантатов пациента для восстановления дефектов Бони

We are in the midst of the 3D era in most aspects of life, and especially in medicine. The surgical discipline is one of the major players in the medical ...

Implantation of Combined Telemetric ECG and Blood Pressure Transmitters to Determine Spontaneous Baroreflex Sensitivity in Conscious Mice

Имплантация комбинированных телеметрических трансмиттеров ЭКГ и артериального давления для определения спонтанной барорефлексной чувствительности у мышей в сознании

Blood pressure (BP) and heart rate (HR) are both controlled by the autonomic nervous system (ANS) and are closely intertwined due to reflex mechanisms. ...

Use of 3D Robotic Ultrasound for In Vivo Analysis of Mouse Kidneys

Use of 3D Robotic Ultrasound for In Vivo Analysis of Mouse Kidneys

Использование 3D роботизированного ультразвука для анализа почек мыши in vivo

Common modalities for in vivo imaging of rodents include positron emission tomography (PET), computed tomography (CT), magnetic resonance imaging (MRI), ...

Combining 3D-Printing and Electrospinning to Manufacture Biomimetic Heart Valve Leaflets

Сочетание 3D-печати и электроспиннинга для производства биомиметических листовок сердечного клапана

Electrospinning has become a widely used technique in cardiovascular tissue engineering as it offers the possibility to create (micro-)fibrous scaffolds ...