Gli autori non riconoscono alcun finanziamento per questa ricerca.

1. Ambiente chirurgico
<ol><li>Progettare un ambiente chirurgico come mostrato nella Figura 1. Assicurati che l'ambiente abbia un piatto portaoggetti, un braccio robotico e due bracci sospesi lateralmente, uno per contenere un segnaposto della fotocamera e l'altro per avere uno sfondo bianco uniforme insieme al modulo di pesatura per la bilancia.</li>
	<li>Sviluppare due driver, uno per l'istantanea dell'ambiente chirurgico in tempo reale, come indicato nei passaggi da 2.1 a 2.10, e l'altro per controllare il meccanismo di rotazione che supporta la sorveglianza a 360°, come indicato nei passaggi da 3.1 a 3.4.</li>
	<li>Prima di implementare i due moduli precedenti, abilitare il Bluetooth del dispositivo mobile e del laptop, che fungono da emulatore HoloLens del chirurgo.</li>
	<li>Associa i dispositivi per una trasmissione ininterrotta delle immagini.</li>
</ol>2. Impostazione del driver per controllare i due bracci sospesi
<ol><li>Assicurarsi che i bracci di sospensione siano controllati da un motore passo-passo con la disposizione come mostrato in Figura 2 per una rotazione impeccabile di 360°.</li>
	<li>Collegare il motore alla scheda del microcontrollore utilizzando il driver TB 6600. Per far funzionare il motore, installare l'IDE del microcontrollore dal browser.</li>
	<li>Fare clic sul pulsante Download per scaricare il software. Quindi, nell'IDE del microcontrollore, vai su File > Apri un nuovo schizzo per scrivere il codice.</li>
	<li>Assicurati di collegare la scheda del microcontrollore per interfacciarti con il nuovo schizzo tramite una porta di connessione dedicata, ad esempio COM 4. Controllare la porta Com e verificare che mostri la scheda del microcontrollore.</li>
	<li>Controllare le impostazioni dell'interruttore hardware del driver del motore passo-passo TB 6600. Assicurarsi che le impostazioni siano tali che il flusso di corrente sia di 2 A, che può essere ottenuto impostando SW4 ON e SW5 e SW6 OFF.</li>
	<li>Assicurarsi che le posizioni degli interruttori di SW1, SW2 e SW3 siano impostate in modo che il micro-passo sia di 1/8 di passo per raggiungere i passi di rivoluzione secondo il requisito. Assicurarsi che le impostazioni siano SW1 OFF, SW2 ON e SW3 OFF in TB6600.</li>
	<li>Collega RTC 3231 con il microcontrollore per avere una sincronizzazione dell'ora globale reale. Assicurarsi che la dimensione del passo di giro sia di 12° e che l'incremento del passo del motore venga attivato solo quando l'unità di misura in tempo reale, cioè i secondi letti dal modulo RTC, è in numero dispari.</li>
	<li>Collegare il pin da 5 V della scheda del microcontrollore al VCC dell'RTC e la GND del microcontrollore alla GND dell'RTC.</li>
	<li>Collegare il pin SCL di RTC al pin A0 e l'SDA al pin A1 del microcontrollore. Questo modulo può garantire una dimensione del passo di 12°, effettuando 30 passi in un giro. Assicurati che l'incremento del passaggio avvenga ogni secondo dispari. Lascia che questo modulo software guidi il motore passo-passo21.</li>
	<li>Verificare che l'installazione funzioni correttamente eseguendo il codice, disponibile nella pagina GitHub: https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR.</li>
	<li>Scarica Android Studio per sviluppare l'app della fotocamera automatica. Assicurati che i requisiti di sistema siano soddisfatti, quindi scarica il software dal sito web.</li>
</ol>3. Sviluppo di un driver per la sorveglianza delle scene basata su dispositivi mobili e la trasmissione di immagini come modulo client
<ol><li>Sviluppa un'applicazione fotocamera nel sistema operativo Android in grado di scattare istantanee ogni 2 s, soprattutto quando i secondi sono numeri dispari.</li>
	<li>Collegare il telefono cellulare al sistema. In Android Studio, fai clic su Nuovo > Nuovo progetto e scegli Attività visualizzazioni vuote. Fare clic su Avanti per sviluppare un codice Android, disponibile all'indirizzo https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR.</li>
	<li>Assicurati che l'app acquisisca automaticamente le immagini e le invii in modo coerente a un dispositivo remoto.</li>
	<li>Trasmetti le istantanee dall'app mobile subito dopo aver scattato l'istantanea al dispositivo associato, ovvero al sistema del chirurgo remoto, tramite Bluetooth. NOTA: Assicurarsi che i moduli menzionati nelle sezioni 2 e 3 vengano eseguiti in sincronizzazione dell'ora, uno per ogni numero pari di secondi e l'altro per ogni numero dispari di secondi.</li>
</ol>4. Sviluppo di un modulo client per la ricezione e la gestione delle immagini di sorveglianza
<ol><li>Aprire il modulo server, che è un'interfaccia utente grafica.</li>
	<li>Immettere il numero di porta VVID nel campo di testo VVID, il cui valore predefinito è 94f39d29 7d6d 437d 973b fba39e49d4ee.</li>
	<li>Fare clic su Crea socket per creare e associare il socket. Fare clic su Connetti per stabilire una connessione con l'app mobile.</li>
	<li>Fare clic su Acquisisci per acquisire e salvare le immagini di sorveglianza della scena nella cartella locale</li>
	<li>Immettere il nome della cartella locale nel campo nome della cartella se deve essere diverso da quello predefinito menzionato.</li>
</ol>5. Azionamento del braccio robotico
<ol><li>Lascia che il modulo client includa anche un braccio robotico. Progetta il braccio in modo che abbia un movimento rotatorio alla base, alla spalla, al gomito, al polso e alle dita.</li>
	<li>Assicurarsi che i servi MG 996R vengano utilizzati per regolare il movimento rotatorio alla base, alla spalla e al gomito. Assicurarsi che il servomotore SG 90 venga utilizzato per controllare il movimento rotatorio sul gomito e sulle dita.</li>
	<li>Compilare il codice fornito in https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR nell'IDE del microcontrollore per pilotare il braccio robotico in base ai comandi ricevuti dal chirurgo remoto.</li>
</ol>Ricostruzione 6. 3D per la realtà aumentata
<ol><li>Leggere due immagini alla volta in sequenza, una per una, dalla cartella locale per ottenere l'eventuale sovrapposizione (poiché le immagini vengono raccolte in stretta prossimità, ci sarà una sovrapposizione tra le immagini consecutive) tra di esse.</li>
	<li>Progettare un filtro terziario secondo i requisiti della descrizione delle funzioni intensificate direzionali utilizzando l'algoritmo DITF (Tertiary Filtering22 ) per ottenere il gradiente e l'orientamento.</li>
	<li>Estrarre le feature utilizzando il metodo DITF22, come mostrato nella Figura 3.</li>
	<li>Ricostruisci le immagini 3D dalle caratteristiche raccolte utilizzando SFM23.</li>
</ol>7. Riconoscimento dei gesti delle mani presso la sede del chirurgo
<ol><li>Facilita il chirurgo nell'ispezione delle caratteristiche dell'immagine ricostruita in 3D consentendogli di visualizzare l'ambiente da tutte le prospettive fornendo una rotazione basata sui gesti della mano e lo zoom avanti/indietro delle caratteristiche ricostruite.</li>
	<li>Normalizza e mappa la distanza tra la punta del pollice del chirurgo e l'indice della mano destra in un angolo di rotazione corrispondente. Sia la normalizzazione tale che la distanza minima nuda corrisponda a 0° e la massima a 180°.</li>
	<li>Trasmetti il controllo gestuale della mano, tramite Bluetooth, all'ambiente chirurgico remoto e alla rotazione del piatto dell'oggetto, che lo fa ruotare sul proprio asse mentre le caratteristiche ricostruite in 3D ruotano all'estremità del chirurgo.</li>
	<li>Trova la distanza tra la punta e il pollice della mano sinistra del chirurgo per controllare il movimento delle dita del braccio robotico.</li>
	<li>Misurare l'angolo di elevazione dalla distanza spaziale tra la punta del pollice e l'indice della mano sinistra del chirurgo rispetto a un piano di base x-y immaginario per determinare l'angolo di elevazione. Mappa questo angolo in un angolo di elevazione che il braccio del robot può fare con il piano x-y.</li>
	<li>Trova l'angolo di azimut che la mano del chirurgo fa con quella del piano y-z virtuale. Identifica questi angoli attraverso il riconoscimento basato sui gesti delle mani.</li>
	<li>Mappare la distanza, l'elevazione e gli angoli di azimut per controllare il movimento delle dita del robot e la rotazione del braccio, che corrispondono entrambi agli angoli di elevazione e azimut.</li>
	<li>Lascia che il chirurgo ispezioni le caratteristiche ricostruite ingrandendo e ruotando. Lascia che il chirurgo trasmetta i comandi al braccio robotico per eseguire l'intervento chirurgico da una postazione remota.</li>
	<li>Assicurarsi che i comandi chirurgici vengano trasmessi come una stringa di controllo della sequenza che inizia con una concomitanza di stringa seguita dai valori per controllare la rotazione del piatto e il controller del braccio robotico. Sia [θb, θs, θe, θw, θf] l'angolo del vettore costituito da valori, ciascuno corrispondente al segnale di controllo corrispondente alla base, alla spalla, al gomito, al polso e al dito del braccio del robot. NOTA: Il link GitHub fornisce il codice per abilitare il controllo dei gesti delle mani in campo chirurgico. https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR.</li>
</ol>

Ricostruzione 3D ottimizzata e mappatura del movimento per la chirurgia remota assistita da AR

<ol>
	<li>Wang, L. J., Casto, B., Reyes-Molyneux, N., Chance, W. W., Wang, S. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Smartphone-based+augmented+reality+patient+education+in+radiation+oncology.">Smartphone-based augmented reality patient education in radiation oncology.</a> Tech Innov Patient Supp Radiation Oncol. 29, 100229 (2024).</li><li>Guerroudji, M. A., Amara, K., Lichouri, M., Zenati, N., Masmoudi, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+3D+visualization-based+augmented+reality+application+for+brain+tumor+segmentation.">A 3D visualization-based augmented reality application for brain tumor segmentation.</a> Comput Anim Virtual Worlds. 35 (1), e2223 (2024).</li><li>Xia, L., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Augmented+reality+and+indoor+positioning+based+mobile+production+monitoring+system+to+support+workers+with+human-in-the-loop.">Augmented reality and indoor positioning based mobile production monitoring system to support workers with human-in-the-loop.</a> Robotic Comput Integ Manufac. 86, 102664 (2024).</li><li>Preece, C., Skandalis, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Time+to+imagine+an+escape:+investigating+the+consumer+timework+at+play+in+augmented+reality.">Time to imagine an escape: investigating the consumer timework at play in augmented reality.</a> Eur J Market. 58, 92-118 (2024).</li><li>Suresh, D., Aydin, A., James, S., Ahmed, K., Dasgupta, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=The+role+of+augmented+reality+in+surgical+training:+a+systematic+review.">The role of augmented reality in surgical training: a systematic review.</a> Surg Innov. 30, 366-382 (2023).</li><li>Moreta-Martinez, R., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Combining+augmented+reality+and+3D+printing+to+display+patient+models+on+a+smartphone.">Combining augmented reality and 3D printing to display patient models on a smartphone.</a> J Vis Exp. (155), 60618 (2020).</li><li>Ma, L., Huang, T., Wang, J., Liao, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Visualization,+registration+and+tracking+techniques+for+augmented+reality+guided+surgery:+a+review.">Visualization, registration and tracking techniques for augmented reality guided surgery: a review.</a> Phys Med Biol. 68, 04TR02 (2023).</li><li>Hofman, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=First-in-human+real-time+ai-assisted+instrument+deocclusion+during+augmented+reality+robotic+surgery.">First-in-human real-time ai-assisted instrument deocclusion during augmented reality robotic surgery.</a> Healthc Technol Lett. 11 (2-3), 33-39 (2023).</li><li>Thiene, G., Rizzo, S., Basso, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Bicuspid+aortic+valve:+The+most+frequent+and+not+so+benign+congenital+heart+disease.">Bicuspid aortic valve: The most frequent and not so benign congenital heart disease.</a> Cardiovasc Pathol. 70, 107604 (2024).</li><li>Mack, M. J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Transcatheter+aortic-valve+replacement+in+low-risk+patients+at+five+years.">Transcatheter aortic-valve replacement in low-risk patients at five years.</a> New Engl J Med. 389, 1949-1960 (2023).</li><li>Vitanova, K., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Aortic+valve+versus+root+surgery+after+failed+transcatheter+aortic+valve+replacement.">Aortic valve versus root surgery after failed transcatheter aortic valve replacement.</a> J Thorac Cardiovas Surg. 166, 1418-1430 (2023).</li><li>Bydlon, T. M., Torjesen, A., Fokkenrood, S., Di Tullio, A., Flexman, M. L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=3d+visualisation+of+navigation+catheters+for+endovascular+procedures+using+a+3d+hub+and+fiber+optic+realshape+technology:+phantom+study+results.">3d visualisation of navigation catheters for endovascular procedures using a 3d hub and fiber optic realshape technology: phantom study results.</a> EJVES Vascular Forum. 59, 24-30 (2023).</li><li>Faris, H., Harfouche, C., Bandle, J., Wisbach, G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Surgical+tele-mentoring+using+a+robotic+platform:+initial+experience+in+a+military+institution.">Surgical tele-mentoring using a robotic platform: initial experience in a military institution.</a> Surg Endosc. 37, 9159-9166 (2023).</li><li>Fitzgerald, L., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Mentoring+approaches+in+a+safe+surgery+program+in+tanzania:+Lessons+learned+during+covid-19+and+recommendations+for+the+future.">Mentoring approaches in a safe surgery program in tanzania: Lessons learned during covid-19 and recommendations for the future.</a> Surg Open Sci. 14, 109-113 (2023).</li><li>de Turenne, A., Eug&#232;ne, F., Blanc, R., Szewczyk, J., Haigron, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Catheter+navigation+support+for+mechanical+thrombectomy+guidance:+3d/2d+multimodal+catheter-based+registration+with+no+contrast+dye+fluoroscopy.">Catheter navigation support for mechanical thrombectomy guidance: 3d/2d multimodal catheter-based registration with no contrast dye fluoroscopy.</a> Int J Comput Assist Radiol Surg. 19 (3), 459-468 (2023).</li><li>Tang, H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+multiple+catheter+tips+tracking+method+in+x-ray+fluoroscopy+images+by+a+new+lightweight+segmentation+network+and+bayesian+filtering.">A multiple catheter tips tracking method in x-ray fluoroscopy images by a new lightweight segmentation network and bayesian filtering.</a> Int J Med Robotics Comput Assist Surg. 19, e2569 (2023).</li><li>Annabestani, M., Caprio, A., Wong, S. C., Mosadegh, B. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+machine+learning-based+roll+angle+prediction+for+intracardiac+echocardiography+catheter+during+bi-plane+fluoroscopy.">A machine learning-based roll angle prediction for intracardiac echocardiography catheter during bi-plane fluoroscopy.</a> Appl Sci. 13, 3483 (2023).</li><li>Thourani, V. H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Survival+after+surgical+aortic+valve+replacement+in+low-risk+patients:+a+contemporary+trial+benchmark.">Survival after surgical aortic valve replacement in low-risk patients: a contemporary trial benchmark.</a> Ann Thorac Surg. 117, 106-112 (2024).</li><li>Dom&#237;nguez-Velasco, C. F., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Augmented+reality+simulation+as+training+model+of+ventricular+puncture:+Evidence+in+the+improvement+of+the+quality+of+punctures.">Augmented reality simulation as training model of ventricular puncture: Evidence in the improvement of the quality of punctures.</a> Int J Med Robotics Comput Assist Surg. 19, e2529 (2023).</li><li>Wang, Q., Xie, Z. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Arias:+An+ar-based+interactive+advertising+system.">Arias: An ar-based interactive advertising system.</a> Plos One. 18, e0285838 (2023).</li><li>Ji, F., Chong, F., Wang, F., Bai, D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Augmented+reality+platform+for+the+unmanned+mining+process+in+underground+mines.">Augmented reality platform for the unmanned mining process in underground mines.</a> Mining,Metal Explor. 39 (2), 385-395 (2022).</li><li>Indhumathi, S., Clement, J. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Directional+intensified+feature+description+using+tertiary+filtering+for+augmented+reality+tracking.">Directional intensified feature description using tertiary filtering for augmented reality tracking.</a> Sci Rep. 13, 20311 (2023).</li><li>Gao, L., Zhao, Y., Han, J., Liu, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Research+on+multi-view+3D+reconstruction+technology+based+on+SFM.">Research on multi-view 3D reconstruction technology based on SFM.</a> Sensors. 22 (12), 4366 (2022).</li><li>Su&#225;rez, I., Sfeir, G., Buenaposada, J. M., Baumela, L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=BEBLID:+Boosted+efficient+binary+local+image+descriptor.">BEBLID: Boosted efficient binary local image descriptor.</a> Pattern Recog Lett. 133, 366-372 (2020).</li><li>Borman, R. I., Harjoko, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Improved+ORB+algorithm+through+feature+point+optimization+and+Gaussian+pyramid.">Improved ORB algorithm through feature point optimization and Gaussian pyramid.</a> Int J Adv Comp Sci Appl. 15 (2), 268-275 (2024).</li></ol>

Gli autori dichiarano di non avere conflitti di interesse.

In un lavoro esistente15, vengono esaminate le scansioni a raggi X e TC per localizzare il catetere nel cuore. Tuttavia, la sostituzione della TAVR AR stabilisce una nuova possibilità nella procedura chirurgica TAVR18 mediante l'implementazione di un modello automatizzato che utilizza la ricostruzione 3D. Come accennato nella sezione del protocollo, questo lavoro prevede cinque fasi di progettazione. La prima fase del DITF22, menzionata nella sezion...

L'AR può sovrapporre il modello 3D in un ambiente reale. Lo sviluppo tecnologico verso l'AR ha fatto un cambiamento di paradigma in molti campi, vale a dire l'istruzione1, la medicina2, la produzione3 e l'intrattenimento4. La tecnologia AR, insieme alla comunicazione ultra-affidabile a bassa latenza, dimostra il suo ruolo inevitabile in campo medico. Dalla fase di apprendimento dell'anatomia umana alla guida chirurgica, le fasi di apprendimento possono essere visualizzate con software e hardware basati su AR 5,6. L'AR fornisce una soluzione cruciale e affidabile per il medico in un ambiente chirurgico 7,8.
La stenosi della valvola aortica è la malattia delle valvole cardiache, che è più comune tra l'umanità9. La causa principale della malattia sono le cattive abitudini alimentari e le routine irregolari della vita quotidiana. Il sintomo e il risultato della malattia è il restringimento della valvola cardiaca, seguito da una riduzione del flusso sanguigno. Questo problema deve essere affrontato prima che si verifichi un danno al cuore umano. Pertanto, il cuore è sovraccaricato per elaborare il flusso sanguigno. Quindi, prima che si verifichino danni, è necessario eseguire un intervento chirurgico che, a causa degli sviluppi tecnologici degli ultimi giorni, può essere eseguito anche con la procedura TAVR. La procedura può essere adottata in base alle condizioni del cuore e di altre parti del corpo dei pazienti. In questa TAVR10,11, il catetere viene inserito per sostituire la valvola danneggiata nel cuore. Tuttavia, posizionare la posizione12 del catetere per sostituire la valvola è noioso per il professionista. Questa idea ci ha motivato a progettare un modello di chirurgia automatizzata basato su AR13,14, che aiuta il chirurgo a posizionare con precisione la valvola durante il processo di sostituzione. Inoltre, l'intervento chirurgico può essere eseguito da un algoritmo di mappatura del movimento, che mappa il movimento del chirurgo catturato da una posizione remota al braccio robotico.
Nel lavoro esistente 15,16,17, la visualizzazione della procedura TAVR18 è monitorata attraverso la fluoroscopia. Pertanto, è difficile analizzare la valvola cardiaca e noioso trovare la posizione di sostituzione. Questo crea una barriera al posizionamento del catetere nel cuore umano. Inoltre, il movimento remoto è mappato sul campo chirurgico per automatizzare il processo. Tuttavia, per superare il divario di ricerca, proponiamo una chirurgia robotica automatizzata per la sostituzione delle valvole utilizzando la tecnologia assistita da AR.
Il protocollo è un modello generico che può essere applicato a tutti gli ambienti chirurgici. Nella fase iniziale del lavoro, le immagini 2D vengono catturate in tutto l'ambiente chirurgico con la massima risoluzione spaziale del massimo grado di libertà. Ciò significa che viene catturato un numero sufficiente di immagini per la ricostruzione 3D19 , seguita dalla mappatura del movimento attraverso il tracciamento dei gesti delle mani20.

<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td>android IDE</td>
			<td>software</td>
			<td>https://developer.android.com/studio</td>
			<td>software can be downloaded from this link</td>
		</tr>
		<tr>
			<td>Arduino Board</td>
			<td>Ardunio Uno</td>
			<td>Ardunio Uno</td>
			<td>Microcontroller for processing</td>
		</tr>
		<tr>
			<td>arduino software</td>
			<td>software</td>
			<td>https://www.arduino.cc/en/software.</td>
			<td>software can be downloaded from this link</td>
		</tr>
		<tr>
			<td>Human Heart phantom model</td>
			<td>Biology Lab Equipment Manufacturer and Exporter</td>
			<td>B071YBLX2V(8B-ZB2Q-H3MS-1)</td>
			<td>light weight model with 3parts to the deep analysis of heart.</td>
		</tr>
		<tr>
			<td>mobile holder</td>
			<td>Humble universal monopoad holder</td>
			<td>B07S9KNGVS</td>
			<td>To carry the mobile in surgical field</td>
		</tr>
		<tr>
			<td>pycharm IDE</td>
			<td>software</td>
			<td>https://www.jetbrains.com/pycharm/</td>
			<td>software can be downloaded from this link</td>
		</tr>
		<tr>
			<td>Robot arm</td>
			<td>Printed-bots</td>
			<td>B08R2JLKYM(P0-E2UT-JSOU)</td>
			<td>arm can be controlled through control signal.it has 5 degree of freedom to access.</td>
		</tr>
		<tr>
			<td>servo motor</td>
			<td>Kollmorgen Co-Engineers Motors</td>
			<td>MG-966R</td>
			<td>high-torque servo motor,servo pulses ranging from 500 to 2500 microseconds (&#181;s), with a frequency of 50Hz to 333Hz.&#160;</td>
		</tr>
		<tr>
			<td>servomotor</td>
			<td>Kollmorgen Co-Engineers&#160;Motors</td>
			<td>SG-90R</td>
			<td>1.8 kg-cm to 2.5 kg-cm load can be applied to SG-90R servo.</td>
		</tr>
		<tr>
			<td>Stepper Motor</td>
			<td>28BYJ-48</td>
			<td>28BYJ-48</td>
			<td>Steper motor, 5V DC, 100 Hz frequency, torque 1200 Gf.cm</td>
		</tr>
		<tr>
			<td>Stepper Motor</td>
			<td>Nema 23</td>
			<td>Nema</td>
			<td>Steper motor, 9V - 42 V DC, 100 Hz frequency</td>
		</tr>
	</tbody>
</table>

automatic surgery in transcatheter aortic valve replacement using augmented reality

La realtà aumentata (AR) è molto richiesta nelle applicazioni mediche. L'obiettivo del documento è quello di fornire la chirurgia automatica utilizzando l'AR per la sostituzione transcatetere della valvola aortica (TAVR). La TAVR è la procedura medica alternativa per la chirurgia a cuore aperto. La TAVR sostituisce la valvola danneggiata con quella nuova utilizzando un catetere. Nel modello esistente, viene fornita la guida remota, mentre l'intervento chirurgico non è automatizzato in base all'AR. In questo articolo, abbiamo implementato una telecamera spazialmente allineata collegata a un motore per l'automazione dell'acquisizione delle immagini nell'ambiente chirurgico. La telecamera traccia l'immagine 2D ad alta risoluzione del cuore del paziente insieme al banco di prova del catetere. Queste immagini acquisite vengono caricate utilizzando l'app mobile su un chirurgo remoto esperto di cardiologia. Questa immagine viene utilizzata per la ricostruzione 3D dal tracciamento delle immagini 2D. Questo viene visualizzato in un HoloLens come un emulatore in un laptop. Il chirurgo può ispezionare in remoto le immagini ricostruite in 3D con funzioni di trasformazione aggiuntive come la rotazione e il ridimensionamento. Queste funzioni di trasformazione vengono abilitate tramite i gesti delle mani. La guida del chirurgo viene trasmessa all'ambiente chirurgico per automatizzare il processo in scenari in tempo reale. Il banco di prova del catetere in campo chirurgico è controllato dalla guida gestuale della mano del chirurgo remoto. Il prototipo sviluppato dimostra l'efficacia della guida chirurgica remota attraverso l'AR.

AR can superimpose the 3D model in a real-world environment. The technological development towards AR has made a paradigm shift in many fields, namely education1, medical2, manufacturing3, and entertainment4. AR technology, along with ultra-reliable low-latency communication, proves its inevitable role in the medical field. From the learning stage of human anatomy to surgical guidance, the stages of learning can be visualized with AR-powered software5,6 and hardware. AR provides a crucial and reliable solution to the medical practitioner in a surgical environment7,8.
Aortic valve stenosis is the heart valve disease, which is most common among mankind9. The root cause of the disease is poor food habits and irregular routines of day-to-day life. The symptom and result of the disease is the narrowing of the heart valve, followed by a reduction in the blood flow. This problem needs to be addressed before any damage takes place to the human heart. Thus, the heart is overburdened to process the blood flow. So, before any damage happens, surgery needs to be done, which, owing to technological developments in recent days, can also be done using the TAVR procedure. The procedure can be adopted based on the condition of the heart and other body parts of patients. In this TAVR10,11, the catheter is inserted to replace the damaged valve in the heart. However, placing the catheter position12 to replace the valve is tedious for the practitioner. This idea motivated us to design an automated surgery model based on AR13,14, which helps the surgeon to precisely position the valve during the replacement process. Moreover, the surgery can be performed by a motion mapping algorithm, which maps the surgeon&#39;s movement captured from a remote location to the robotic arm.
In the existing work15,16,17, the visualization of the TAVR18 procedure is monitored through fluoroscopy. Hence, it is difficult to analyze the heart valve and tedious to find the replacement location. This sets up a barrier to positioning the catheter in the human heart. In addition, the remote motion is mapped to the surgical field to make the process automated. However, to overcome the research gap, we propose an automated robotic-based surgery for valve replacement using AR-assisted technology.
The protocol is a generic model that can be applied to all surgical environments. In the beginning stage of the work, 2D images are captured all around the surgical environment with the fullest spatial resolution of the largest degree of freedom. This means that enough images are captured for 3D reconstruction19 purpose, followed by motion mapping through hand gesture tracking20.

Autore in primo piano: Rivoluzionare la chirurgia remota con la realtà aumentata e la robotica per una maggiore precisione e accessibilità

Chirurgia automatica nella sostituzione transcatetere della valvola aortica utilizzando la realtà aumentata

Our research focuses on revolutionizing remote surgery through augmented reality and robotics, aiming to enhance precision and accessibility in medical procedures. We are exploring how real-time 3D reconstruction and feature extraction can provide surgeons with unprecedented control and visualization, even from a distance. We have implemented our own directional intensified feature extraction to ensure precise and accurate detection of surgical features, enhancing the surgeon's control over the robotic arm.By using 3D reconstruction from minimal 2D images, we have significantly reduced the hardware complexity and improved the efficiency of our system. Our system provides the best surveillance of the surgical environment using a single mobile camera synchronized to take snaps every two seconds, ensuring real-time updates for the remote surgeon. We have developed seamless communication protocols with low latency and high reliability using Bluetooth and LAN, ensuring uninterrupted and accurate data transmission.Our approach to achieve precise, real-time synchronization between video feeds and robotic arm responses can serve as a benchmark for future research in remote surgery and telemedicine. It offers a model for integrating real-time data with robotic control systems. Our approach to achieve precise real-time synchronization between video feeds and robotic arm responses can serve as a benchmark for future research in remote surgery and telemedicine.It offers a model for integrating real-time data with robotic control systems.

Il protocollo è stato testato con il modello del fantasma del cuore. La Figura 2 mostra la configurazione prevista per la sorveglianza in tempo reale del campo chirurgico con l'aiuto di telecamere distribuite spazialmente. Le telecamere distribuite, come mostrato nella Figura 2, aiutano ad aumentare la risoluzione spaziale del campo per un'efficace ricostruzione 3D. Tuttavia, la realizzazione del posizionamento fisico di tali telecamere in varie posizioni spazi...

Questo articolo presenta la progettazione e l'implementazione di un modulo di chirurgia automatica basato sulla ricostruzione 3D basata sulla realtà aumentata (AR). Il sistema consente la chirurgia remota consentendo ai chirurghi di ispezionare le caratteristiche ricostruite e replicare i movimenti chirurgici della mano come se stessero eseguendo l'intervento chirurgico nelle immediate vicinanze.

Augmented Reality (AR) is in high demand in medical applications. The aim of the paper is to provide automatic surgery using AR for the Transcatheter ...

automatic-surgery-transcatheter-aortic-valve-replacement-using

Research

JoVE Journal

Medicine

Automatic Surgery in Transcatheter Aortic Valve Replacement Using Augmented Reality

346 Views.  Vellore Institute of Technology, Vellore. La nostra ricerca si concentra sulla rivoluzione della chirurgia remota attraverso la realtà aumentata e la robotica, con l'obiettivo di migliorare la precisione e l'accessibilità nelle procedure mediche. Stiamo esplorando come la ricostruzione 3D in tempo reale e l'estrazione delle caratteristiche possano fornire ai chirurghi un controllo e una visualizzazione senza precedenti, anche a distanza. Abbiamo implementato la nostra estrazione direzionale intensi...

Video: Autore in primo piano: Rivoluzionare la chirurgia remota con la realtà aumentata e la robotica per una maggiore precisione e accessibilità

Augmented Reality (AR) is in high demand in medical applications. The aim of the paper is to provide automatic surgery using AR for the Transcatheter Aortic Valve Replacement (TAVR). TAVR is the alternate medical procedure for open-heart surgery. TAVR replaces the injured valve with the new one using a catheter. In the existing model, remote guidance is given, while the surgery is not automated based on AR. In this article, we deployed a spatially aligned camera that is connected to a motor for the automation of image capture in the surgical environment. The camera tracks the 2D high-resolution image of the patient's heart along with the catheter testbed. These captured images are uploaded using the mobile app to a remote surgeon who is a cardiology expert. This image is utilized for the 3D reconstruction from 2D image tracking. This is viewed in a HoloLens like an emulator in a laptop. The surgeon can remotely inspect the 3D reconstructed images with additional transformation features such as rotation and scaling. These transformation features are enabled through hand gestures. The surgeon's guidance is transmitted to the surgical environment to automate the process in real-time scenarios. The catheter testbed in the surgical field is controlled by the hand gesture guidance of the remote surgeon. The developed prototype model demonstrates the effectiveness of remote surgical guidance through AR.

This article presents the design and implementation of an automatic surgery module based on augmented reality (AR)- based 3D reconstruction. The system enables remote surgery by allowing surgeons to inspect reconstructed features and replicate surgical hand movements as if they were performing the surgery in close proximity.

Ricerca

Medicina

Creating an Advanced Automated Surgical Environment with Surveillance and Real-Time Image Transmission

To prepare the surgery environment, arrange an object-carrying platter, a robotic arm, and two side-hanging arms on a working platform. After locking the mobile in the mobile holder, enable Bluetooth of the mobile device and the laptop, which serve as the surgeon's HoloLens emulator. Pair the devices for uninterrupted image transmission.Ensure that the hanging arms are controlled by a stepper motor for a flawless revolution of 360 degrees. Connect the motor to the microcontroller board using the TB6600 driver. Click the Download button to download the microcontroller integrated development environment from the browser.Then go to File and open a new sketch to write the code. Connect the microcontroller board to interface with the new sketch through a communication port number for connection port. Check the communication port and verify that it shows the microcontroller board.Check the hardware switch settings of the stepper motor driver TB6600 to ensure a current flow of two amperes. Set SW4 to on and SW5 and SW6 to off. Set SW1 and SW3 to off and SW2 to on to achieve 1/8 micro steps, meeting the required revolution steps.Connect RTC 3231 with the microcontroller to have real global time synchronization. Ensure the revolution step size is 12 degrees and the motor step increments only when the seconds read from the RTC module are odd. Connect the 5-volt pin of the microcontroller board to the RTCVCC and the microcontroller's ground to the RTC's ground.Connect the SCL pin of RTC to the A0 pin and the SDA to the A1 pin of the microcontroller. This module ensures a 12-degree step size, completing 30 steps per revolution with increments occurring every odd second. Run the code available on the GitHub page to verify the setup is working correctly.Download Android Studio to develop the automatic camera application. Connect the mobile phone to the system. In Android Studio, click New, New Project, and choose Empty Views Activity.Click on Next to develop an Android code available at the given site. Confirm that the app captures the images automatically and sends them to a remote device consistently. Transmit snapshots from the mobile app immediately to the remote surgeon system through Bluetooth.

Creazione di un ambiente chirurgico automatizzato avanzato con sorveglianza e trasmissione di immagini in tempo reale

Developing Interactive Surgery Environment with Real-Time Surveillance and Augmented Reality Integration

To begin, open the graphical user interface server module. Enter the VVID port number in the VVID text field. Click on Create Socket to create and bind the socket.Then click on Connect to establish a connection with the mobile app. Now click on Capture to capture and save the scene surveillance images in the local folder. Let the client module include a robotic arm designed to have rotational movement in its base, shoulder, elbow, wrist, and fingers.Ensure that MG996R servos are used to govern the rotational movement at the base, shoulder, and elbow. Use the SG90 servo motor to control the rotational movement at the wrist and fingers. Compile the code given in the microcontroller integrated development environment to drive the robotic arm based on the commands received from the remote surgeon.Read two images at a time in a sequence, one by one, from the local folder to identify the possible overlapping between them. Extract the features using the DITF method. Reconstruct three-dimensional images from the collected features using SFM.Enable the surgeon to inspect the three-dimensional reconstructed image features using hand gesture controls for rotation and zoom in or out, allowing visualization from all perspectives. Normalize and map the distance between the tip of the surgeon's thumb and the index finger of the right hand into a corresponding angle of rotation. Transmit the hand gesture control through Bluetooth to the remote surgery environment.Ensure that the rotation of the object platter at the remote site mirrors the rotation of the three-dimensional reconstructed features at the surgeon's end. The accuracy of motion mapping decreased as the distance between two fingers increased. The DITF algorithm achieved the lowest latency compared to ORB and BEBLID.