Name: design and analysis for fall detection system simplification
Uploaded: 2020-04-06T13:00:00
Duration: 8 min 5 s
Description: Watch this Scientific Journal Video about Design and Analysis for Fall Detection System Simplification at JoVE.com

Dit onderzoek is gefinancierd door Universidad Panamericana via de subsidie "Fomento a la Investigación UP 2018", onder projectcode UP-CI-2018-ING-MX-04.

Alle hier beschreven methoden zijn goedgekeurd door de Onderzoekscommissie van de School of Engineering van Universidad Panamericana.
OPMERKING: Deze methodologie is gebaseerd op de configuratie van de specifieke typen sensoren, machine learning-methoden en procedures om een eenvoudig, snel en multimodaal valdetectie- en human activity recognition-systeem te configureren. Hierdoor wordt het volgende protocol gefaseerd verdeeld: (1) databasecreatie (2) gegevensanalyse (3) systeemvereenvoudiging en (4) evaluatie.
1. Database maken
<ol><li>Het systeem voor gegevensverwerving instellen. Dit verzamelt alle gegevens van proefpersonen en slaat de informatie op in een database met ophalen.<ol>
<li>Selecteer de soorten draagbare sensoren, omgevingssensoren en op het gezichtsvermogen gebaseerde apparaten die nodig zijn als informatiebronnen. Wijs voor elke informatiebron een identiteitsbewijs toe, het aantal kanalen per bron, de technische specificaties en de bemonsteringsfrequentie van elk van hen.</li>
		<li>Verbind alle informatiebronnen (d.w.z. wearables en omgevingssensoren en op zicht gebaseerde apparaten) met een centrale computer of een gedistribueerd computersysteem:<ol>
<li>Controleer of bekabelde apparaten goed zijn verbonden met één clientcomputer. Controleer of draadloze apparaten volledig zijn opgeladen. Bedenk dat een lage batterij van invloed kan zijn op draadloze verbindingen of sensorwaarden. Bovendien zal het verlies van gegevens met tussenpozen of verloren verbindingen toenemen.</li>
		</ol>
</li>
		<li>Stel elk van de apparaten in om gegevens op te halen.</li>
		<li>Stel het systeem voor gegevensverwerving in voor het opslaan van gegevens in de cloud. Vanwege de grote hoeveelheid gegevens die moet worden opgeslagen, wordt cloud computing in dit protocol overwogen.</li>
		<li>Valideren dat het systeem voor gegevensverwerving voldoet aan gegevenssynchronisatie en gegevensconsistentie20 eigenschappen. Dit behoudt de integriteit van gegevensopslag uit alle informatiebronnen. Het vereist mogelijk nieuwe benaderingen in gegevenssynchronisatie. Zie bijvoorbeeld Peñafort-Asturiano et al.20.<ol>
<li>Begin met het verzamelen van bepaalde gegevens met de informatiebronnen en sla gegevens op in een voorkeurssysteem. Neem tijdstempels op in alle gegevens.</li>
			<li>Bevraag de database en bepaal of alle informatiebronnen worden verzameld tegen dezelfde steekproefsnelheden. Ga naar Stap 1.1.6 als u dit goed doet. Anders voert u upsampling of downsampling uit aan de hand van in Peñafort-Asturiano, et.20genoemde criteria .</li>
		</ol>
</li>
		<li>Het milieu (of laboratorium) instellen door rekening te houden met de vereiste voorwaarden en de beperkingen die door het doel van het systeem worden opgelegd. Stel voorwaarden in voor de demping van de botskracht in de gesimuleerde watervallen als conforme vloersystemen die in Lachance, et.23 worden voorgesteld om de veiligheid van de deelnemers te garanderen.<ol>
<li>Gebruik een matras of een ander compatibel vloersysteem en plaats het in het midden van de omgeving (of laboratorium).</li>
			<li>Houd alle voorwerpen uit de buurt van de matras om ten minste een meter van de veilige ruimte rondom te geven. Bereid indien nodig persoonlijke beschermingsmiddelen voor deelnemers (bijvoorbeeld handschoenen, pet, bril, kniesteun, enz.). LET OP: Het protocol kan hier worden onderbroken.</li>
		</ol>
</li>
	</ol></li>
	<li>Bepaal de menselijke activiteiten en vallen die het systeem zal detecteren na configuratie. Het is belangrijk om rekening te houden met het doel van de val detectie en menselijke activiteit erkenning systeem, evenals de doelgroep.<ol>
<li>Definieer het doel van het valdetectie- en human activity recognition-systeem. Schrijf het op in een planningsblad. Voor deze case study, het doel is om de soorten menselijke valpartijen en activiteiten uitgevoerd in een overdekte dagelijkse basis van ouderen te classificeren.</li>
		<li>Definieer de doelpopulatie van het experiment in overeenstemming met het doel van het systeem. Schrijf het op in het planningsblad. In de studie, beschouw ouderen als de doelgroep.</li>
		<li>Bepaal het type dagelijkse activiteiten. Neem een aantal niet-val activiteiten die eruit zien als valt om echte valdetectie te verbeteren. Wijs een ID toe voor alle van hen en beschrijf ze zo gedetailleerd mogelijk. Stel de periode in voor elke activiteit die moet worden uitgevoerd. Schrijf al deze informatie op in het planningsblad.</li>
		<li>Bepaal het type menselijke valpartijen. Wijs een ID toe voor alle van hen en beschrijf ze zo gedetailleerd mogelijk. Stel de tijdsperiode in voor elke val die moet worden uitgevoerd. Bedenk of de watervallen zelf gegenereerd worden door de proefpersonen of gegenereerd door anderen (bijvoorbeeld door het onderwerp te duwen). Schrijf al deze informatie op in het planningsblad.</li>
		<li>Noteer in het planningsblad de reeksen van activiteiten en vallen die een onderwerp zal uitvoeren. Geef de periode, het aantal proeven per activiteit/herfst, de beschrijving voor het uitvoeren van de activiteit/herfst en de activiteit/val-id's op. LET OP: Het protocol kan hier worden onderbroken.</li>
	</ol></li>
	<li>Selecteer de relevante onderwerpen aan de studie die de sequenties van activiteiten en vallen zal uitvoeren. Falls zijn zeldzame gebeurtenissen te vangen in het echte leven en meestal optreden bij oude personen. Niettemin, om veiligheidsredenen, omvatten geen bejaarde en gehandicapte mensen in dalingssimulatie onder medisch advies. Stunts zijn gebruikt om verwondingen te voorkomen22.<ol>
<li>Bepaal het geslacht, de leeftijdscategorie, het gewicht en de lengte van de proefpersonen. Definieer eventuele randvoorwaarden die nodig zijn. Definieer ook het minimumaantal onderwerpen dat nodig is voor het experiment.</li>
		<li>Selecteer willekeurig de vereiste set onderwerpen, volgens de voorwaarden die in de vorige stap zijn vermeld. Gebruik een oproep voor vrijwilligers om hen te werven. Voldoe aan alle ethische richtlijnen die van toepassing zijn vanuit de instelling en het land, evenals elke internationale regelgeving bij het experimenteren met mensen. LET OP: Het protocol kan hier worden onderbroken.</li>
	</ol></li>
	<li>Gegevens van proefpersonen ophalen en opslaan. Deze informatie zal nuttig zijn voor verdere experimentele analyse. Voer de volgende stappen uit onder supervisie van een klinisch expert of een verantwoordelijke onderzoeker.<ol>
<li>Begin met het verzamelen van gegevens met het systeem voor gegevensverwerving dat is geconfigureerd in stap 1.1.</li>
		<li>Vraag elk van de proefpersonen om de sequenties van activiteiten en vallen uit te voeren die in stap 1.2 zijn aangegeven. Sla duidelijk de tijdstempels van het begin en het einde van elke activiteit/daling op. Controleer of gegevens uit alle informatiebronnen in de cloud worden opgeslagen.</li>
		<li>Als de activiteiten niet goed zijn uitgevoerd of als er problemen waren met apparaten (bijvoorbeeld verloren verbinding, lage batterij, intermitterende verbinding), gooi de monsters weg en herhaal stap 1.4.1 totdat er geen apparaatproblemen zijn gevonden. Herhaal stap 1.4.2 voor elke proef, per onderwerp, aangegeven in de volgorde van stap 1.2. LET OP: Het protocol kan hier worden onderbroken.</li>
	</ol></li>
	<li>Verwerk alle verkregen gegevens vooraf. Pas up-sampling en downsampling toe voor elk van de informatiebronnen. Zie details over pre-processing gegevens voor valdetectie en menselijke activiteitsherkenning in Martínez-Villaseñor et al.21. LET OP: Het protocol kan hier worden onderbroken.</li>
</ol>2. Gegevensanalyse
<ol><li>Selecteer de wijze van gegevensbehandeling. Selecteer Ruwe gegevens als de gegevens die in de database zijn opgeslagen, worden volledig gebruikt (d.w.z. met deep learning voor automatische functieextractie) en ga naar Stap 2.2. Selecteer Functiegegevens als functieextractie wordt gebruikt voor verdere analyse en ga naar Stap 2.3.</li>
	<li>Voor Raw Datazijn geen extra stappen nodig, dus ga naar Stap 2.5.</li>
	<li>Haal voor functiegegevensfuncties uit de ruwe gegevens.<ol>
<li>Segmenteer ruwe gegevens in tijdvensters. Bepaal en bevestig de lengte van het tijdvenster (bijvoorbeeld frames van een seconde grootte). Bepaal bovendien of deze tijdvensters elkaar overlappen of niet. Een goede praktijk is om te kiezen voor 50% overlappende.</li>
		<li>Functies uit elk segment van gegevens extraheren. Bepaal de set tijdelijke en frequente functies die uit de segmenten moeten worden geëxtraheerd. Zie Martínez-Villaseñor et al.21 voor gemeenschappelijke functieextractie.</li>
		<li>Sla de functieextractiegegevensset op in de cloud, in een onafhankelijke database.</li>
		<li>Als er verschillende tijdvensters worden geselecteerd, herhaalt u de stappen 2.3.1 tot en met 2.3.3 en slaat u elke functiegegevensset op in onafhankelijke databases. LET OP: Het protocol kan hier worden onderbroken.</li>
	</ol></li>
	<li>Selecteer de belangrijkste uitgepakte functies en verminder de functiegegevensset. Pas een aantal veelgebruikte functieselectiemethoden, toe (bijvoorbeeld univariate selectie, hoofdcomponentenanalyse, recursieve functieeliminatie, functiebelang, correlatiematrix, enz.).<ol>
<li>Selecteer een methode voor het selecteren van functies. Hier gebruikten we functie belang.</li>
		<li>Gebruik elke functie om een bepaald model te trainen (we gebruikten RF) en meet de nauwkeurigheid (zie Vergelijking 1).</li>
		<li>Rangschik de functies door te sorteren in volgorde van de nauwkeurigheid.</li>
		<li>Selecteer de belangrijkste functies. Hier gebruikten we de best gerangschikte eerste tien functies. LET OP: Het protocol kan hier worden onderbroken.</li>
	</ol></li>
	<li>Selecteer een classificatiemethode voor machine learning en train een model. Er zijn bekende machine learning-methoden16,17,18,21, zoals: support vector machines (SVM), random forest (RF), multilayer perceptron (MLP) en k-nearest neighbors (KNN), onder vele anderen.<ol><li>Optioneel, als een deep learning benadering is geselecteerd, overweeg dan21: convolutional neurale netwerken (CNN), lange korte termijn geheugen neurale netwerken (LSTM), onder anderen.</li>
		<li>Selecteer een set machine learning-methoden. Hier gebruikten we de volgende methoden: SVM, RF, MLP en KNN.</li>
		<li>Fix de parameters van elk van de machine learning methoden, zoals voorgesteld in literatuur21.</li>
		<li>Maak een gecombineerde functiegegevensset (of onbewerkte gegevensset) met behulp van de onafhankelijke functiegegevenssets (of ruwe gegevenssets) om soorten informatiebronnen te combineren. Als er bijvoorbeeld een combinatie van één draagbare sensor en één camera nodig is, combineerdan de functiegegevenssets van elk van deze bronnen.</li>
		<li>Splits de functiegegevensset (of onbewerkte gegevensset) in trainings- en testsets. Een goede keuze is om willekeurig te verdelen 70% voor de opleiding en 30% voor het testen.</li>
		<li>Voer een k-fold cross-validatie21 uit met behulp van de functiegegevensset (of ruwe gegevensset), voor elke machine learning-methode. Gebruik een gemeenschappelijke statistiek van evaluatie, zoals nauwkeurigheid (zie Vergelijking 1)om het beste model te selecteren dat per methode is getraind. Leave-one subject-out (LOSO) experimenten3 zijn ook aan te bevelen.<ol>
<li>Open de gegevensset voor trainingsfuncties (of onbewerkte gegevensset) in de gewenste programmeertaalsoftware. Python wordt aanbevolen. Gebruik voor deze stap de panda'sbibliotheek om een CSV-bestand als volgt te lezen: training_set = pandas.csv(<filename.csv>).
</li>
			<li>Splits de functiegegevensset (of onbewerkte gegevensset) in paren van ingangen-uitgangen. Gebruik Python bijvoorbeeld om de x-waarden (ingangen) en de y-waarden (uitgangen) te declareren: training_set_X = training_set.drop('tag',axis=1), training_set_Y = training_set.tag waar tag de kolom van de functiegegevensset vertegenwoordigt die de doelwaarden bevat.</li>
			<li>Selecteer één machine learning-methode en stel de parameters in. Gebruik bijvoorbeeld SVM in Python met de bibliotheek, zoals de volgende opdracht: classifier = sklearn. SVC(kernel = 'poly') waarin de kernelfunctie is geselecteerd als polynomial.</li>
			<li>Train het machine learning model. Gebruik bijvoorbeeld de bovenstaande classificatie in Python om het SVM-model te trainen: classifier.fit(training_set_X, training_set_Y).</li>
			<li>Bereken de schattingenwaarden van het model met behulp van de gegevensset testfunctie (of de onbewerkte gegevensset). Gebruik bijvoorbeeld de schattingsfunctie in Python als volgt: schattingen = classificatie.voorspellen(testing_set_X) waarbij testing_set_X de x-waarden van de testset vertegenwoordigt.</li>
			<li>Herhaal stap 2.5.6.1 tot en met 2.5.6.5, het aantal keren k opgegeven in de k-fold cross validatie (of het aantal keren dat nodig is voor de LOSO-aanpak).</li>
			<li>Herhaal stap 2.5.6.1 tot en met 2.5.6.6 voor elk geselecteerd machine learning-model. LET OP: Het protocol kan hier worden onderbroken.</li>
		</ol></li>
		<li>Vergelijk de machine learning-methoden door de geselecteerde modellen te testen met de testgegevensset. Andere meetgegevens van de evaluatie kunnen worden gebruikt: nauwkeurigheid (Vergelijking 1), precisie (Vergelijking 2), gevoeligheid ( Vergelijking3), specificiteit (Vergelijking 4) of F1-score (Vergelijking 5), waar TP zijn de echte positieven, TN zijn de echte negatieven, FP zijn de valse positieven en FN zijn de valse negatieven. <img alt="Equation 1" src="/files/ftp_upload/60361/60361equ01.jpg"> <img alt="Equation 2" src="/files/ftp_upload/60361/60361equ02.jpg"> <img alt="Equation 3" src="/files/ftp_upload/60361/60361equ03.jpg"> <img alt="Equation 4" src="/files/ftp_upload/60361/60361equ04.jpg"> <img alt="Equation 5" src="/files/ftp_upload/60361/60361equ05.jpg"></li>
		<li>Gebruik andere voordelige prestatiestatistieken, zoals de verwarringsmatrix9, om de classificatietaak van de machine learning-modellen te evalueren, of een beslissingsonafhankelijke precisie-recall9 (PR) of ontvanger operating characteristic9 (ROC) curves. In deze methodologie worden terugroep en gevoeligheid als gelijkwaardig beschouwd.</li>
		<li>Gebruik kwalitatieve kenmerken van de machine learning-modellen om ze te vergelijken, zoals: gemak van machine learning-interpretatie; real-time prestaties; beperkte tijds-, geheugen- en verwerkingsgegevens; en het gemak van machine learning-implementatie in randapparaten of ingesloten systemen.</li>
		<li>Selecteer het beste machine learning-model aan de hand van de informatie uit: De kwaliteitsstatistieken (Vergelijkingen 1–5),de prestatiestatistieken en de kwalitatieve kenmerken van de haalbaarheid van machine learning van stappen 2.5.6, 2.5.7 en 2.5.8. LET OP: Het protocol kan hier worden onderbroken.</li>
	</ol></li>
</ol>3. Vereenvoudiging van het systeem
<ol><li>Selecteer de geschikte plaatsingen van informatiebronnen. Soms is het noodzakelijk om de beste plaatsing van bronnen van informatie te bepalen (bijvoorbeeld welke locatie van een draagbare sensor beter is).<ol>
<li>Bepaal de subset van informatiebronnen die worden geanalyseerd. Bijvoorbeeld, als er vijf draagbare sensoren in het lichaam en slechts een moet worden geselecteerd als de beste sensor geplaatst, elk van deze sensoren zal deel uitmaken van de subset.</li>
		<li>Maak voor elke bron van informatie in deze subset een aparte gegevensset en sla deze apart op. Houd er rekening mee dat deze gegevensset de vorige functiegegevensset of de onbewerkte gegevensset kan zijn. LET OP: Het protocol kan hier worden onderbroken.</li>
	</ol>
</li>
	<li>Selecteer een classificatiemethode voor machine learning en train een model voor één bron van informatieplaatsing. De stappen van 2.5.1 tot 2.5.6 uitvoeren met elk van de gegevenssets die zijn gemaakt in stap 3.1.2. Detecteer de meest geschikte bron van informatie plaatsing door ranking. Voor deze casestudy gebruiken we de volgende methoden: SVM, RF, MLP en KNN. Opmerking: Het protocol kan hier worden onderbroken.</li>
	<li>Selecteer de geschikte plaatsingen in een multimodale benadering als een combinatie van twee of meer informatiebronnen nodig is voor het systeem (bijvoorbeeld een combinatie van één draagbare sensor en één camera). Gebruik in dit geval de taille-draagbare sensor en camera 1 (laterale weergave) als modaliteiten.<ol>
<li>Selecteer de beste bron van informatie van elke modaliteit in het systeem en maak een gecombineerde functiegegevensset (of onbewerkte gegevensset) met behulp van de onafhankelijke gegevenssets van deze informatiebronnen.</li>
		<li>Selecteer een classificatiemethode voor machine learning en train een model voor deze gecombineerde informatiebronnen. Voltooi stappen 2.5.1 tot en met 2.5.6 met behulp van de gecombineerde functiegegevensset (of onbewerkte gegevensset). Gebruik in deze studie de volgende methoden: SVM, RF, MLP en KNN. LET OP: Het protocol kan hier worden onderbroken.</li>
	</ol>
</li>
</ol>4. Evaluatie
<ol><li>Bereid een nieuwe gegevensset voor met gebruikers in meer realistische omstandigheden. Gebruik alleen de bronnen van informatie die in de vorige stap zijn geselecteerd. Bij voorkeur het systeem implementeren in de doelgroep (bijvoorbeeld ouderen). Gegevens verzamelen in langere perioden.<ol>
<li>Als de doelgroep alleen wordt gebruikt, maakt u eventueel een selectiegroepsprotocol met uitzonderingsvoorwaarden (bijvoorbeeld een lichamelijke of psychische beperking) en stop criteriapreventie (bijvoorbeeld het detecteren van lichamelijk letsel tijdens de proeven; het lijden van misselijkheid, duizeligheid en/of braken; flauwvallen). Denk ook aan ethische kwesties en gegevensprivacykwesties.</li>
	</ol>
</li>
	<li>Evalueer de prestaties van het tot nu toe ontwikkelde valdetectie- en human activity recognition-systeem. Gebruik vergelijkingen 1–5 om de nauwkeurigheid en voorspellende kracht van het systeem of andere prestatiestatistieken te bepalen.</li>
	<li>Bespreek de bevindingen over de experimentele resultaten.</li>
</ol>

<ol>
	<li>United Nations. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=World+Population+Prospects:+The+2017+Revision,+Key+Findings+and+Advance+Tables.">World Population Prospects: The 2017 Revision, Key Findings and Advance Tables.</a> United Nations. Department of Economic and Social Affairs, Population Division. , (2017).</li><li>World Health Organization. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Ageing,+and+Life+Course+Unit.">Ageing, and Life Course Unit.</a> WHO Global Report on Falls Prevention in Older Age. , (2008).</li><li>Igual, R., Medrano, C., Plaza, I. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Challenges,+Issues+and+Trends+in+Fall+Detection+Systems.">Challenges, Issues and Trends in Fall Detection Systems.</a> Biomedical Engineering Online. 12 (1), 66 (2013).</li><li>Noury, N., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Fall+Detection-Principles+and+Methods.">Fall Detection-Principles and Methods.</a> 2007 29th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. , 1663-1666 (2007).</li><li>Mubashir, M., Shao, L., Seed, L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+Survey+on+Fall+Detection:+Principles+and+Approaches.">A Survey on Fall Detection: Principles and Approaches.</a> Neurocomputing. 100, 144-152 (2002).</li><li>Perry, J. T., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Survey+and+Evaluation+of+Real-Time+Fall+Detection+Approaches.">Survey and Evaluation of Real-Time Fall Detection Approaches.</a> Proceedings of the 6th International Symposium High-Capacity Optical Networks and Enabling Technologies. , 158-164 (2009).</li><li>Xu, T., Zhou, Y., Zhu, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=New+Advances+and+Challenges+of+Fall+Detection+Systems:+A+Survey.">New Advances and Challenges of Fall Detection Systems: A Survey.</a> Applied Sciences. 8 (3), 418 (2018).</li><li>Rougier, C., Meunier, J., St-Arnaud, A., Rousseau, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Robust+Video+Surveillance+for+Fall+Detection+Based+on+Human+Shape+Deformation.">Robust Video Surveillance for Fall Detection Based on Human Shape Deformation.</a> IEEE Transactions on Circuit Systems for Video Technologies. 21, 611-622 (2011).</li><li>Bulling, A., Blanke, U., Schiele, B. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+Tutorial+on+Human+Activity+Recognition+Using+Body-Worn+Inertial+Sensors.">A Tutorial on Human Activity Recognition Using Body-Worn Inertial Sensors.</a> ACM Computing Surveys. 46 (3), 33 (2014).</li><li>Kwolek, B., Kepski, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Human+Fall+Detection+on+Embedded+Platform+Using+Depth+Maps+and+Wireless+Accelerometer.">Human Fall Detection on Embedded Platform Using Depth Maps and Wireless Accelerometer.</a> Computational Methods and Programs in Biomedicine. 117, 489-501 (2014).</li><li>Ofli, F., Chaudhry, R., Kurillo, G., Vidal, R., Bajcsy, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Berkeley+MHAD:+A+Comprehensive+Multimodal+Human+Action+Database.">Berkeley MHAD: A Comprehensive Multimodal Human Action Database.</a> Proceedings of the 2013 IEEE Workshop on Applications of Computer Vision. , 53-60 (2013).</li><li>Dovgan, E., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Intelligent+Elderly-Care+Prototype+for+Fall+and+Disease+Detection.">Intelligent Elderly-Care Prototype for Fall and Disease Detection.</a> Slovenian Medical Journal. 80, 824-831 (2011).</li><li>Santoyo-Ram&#243;n, J., Casilari, E., Cano-Garc&#237;a, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Analysis+of+a+Smartphone-Based+Architecture+With+Multiple+Mobility+Sensors+for+Fall+Detection+With+Supervised+Learning.">Analysis of a Smartphone-Based Architecture With Multiple Mobility Sensors for Fall Detection With Supervised Learning.</a> Sensors. 18 (4), 1155 (2018).</li><li>&#214;zdemir, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=An+Analysis+on+Sensor+Locations+of+the+Human+Body+for+Wearable+Fall+Detection+Devices:+Principles+and+Practice.">An Analysis on Sensor Locations of the Human Body for Wearable Fall Detection Devices: Principles and Practice.</a> Sensors. 16 (8), 1161 (2016).</li><li>Ntanasis, P., Pippa, E., &#214;zdemir, A. T., Barshan, B., Megalooikonomou, V. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Investigation+of+Sensor+Placement+for+Accurate+Fall+Detection.">Investigation of Sensor Placement for Accurate Fall Detection.</a> International Conference on Wireless Mobile Communication and Healthcare. , 225-232 (2016).</li><li>Bagala, F., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Evaluation+of+Accelerometer-Based+Fall+Detection+Algorithms+on+Real-World+Falls.">Evaluation of Accelerometer-Based Fall Detection Algorithms on Real-World Falls.</a> PLoS One. 7, 37062 (2012).</li><li>Bourke, A. K., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Assessment+of+Waist-Worn+Tri-Axial+Accelerometer+Based+Fall-detection+Algorithms+Using+Continuous+Unsupervised+Activities.">Assessment of Waist-Worn Tri-Axial Accelerometer Based Fall-detection Algorithms Using Continuous Unsupervised Activities.</a> Proceedings of the Annual International Conference of the IEEE Engineering in Medicine and Biology Society. , 2782-2785 (2010).</li><li>Kerdegari, H., Samsudin, K., Ramli, A. R., Mokaram, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Evaluation+of+Fall+Detection+Classification+Approaches.">Evaluation of Fall Detection Classification Approaches.</a> 4th International Conference on Intelligent and Advanced Systems. , 131-136 (2012).</li><li>Alazrai, R., Mowafi, Y., Hamad, E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+Fall+Prediction+Methodology+for+Elderly+Based+on+a+Depth+Camera.">A Fall Prediction Methodology for Elderly Based on a Depth Camera.</a> 37th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. , 4990-4993 (2015).</li><li>Pe&#241;afort-Asturiano, C. J., Santiago, N., N&#250;&#241;ez-Mart&#237;nez, J. P., Ponce, H., Mart&#237;nez-Villase&#241;or, L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Challenges+in+Data+Acquisition+Systems:+Lessons+Learned+from+Fall+Detection+to+Nanosensors.">Challenges in Data Acquisition Systems: Lessons Learned from Fall Detection to Nanosensors.</a> 2018 Nanotechnology for Instrumentation and Measurement. , 1-8 (2018).</li><li>Mart&#237;nez-Villase&#241;or, L., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=UP-Fall+Detection+Dataset:+A+Multimodal+Approach.">UP-Fall Detection Dataset: A Multimodal Approach.</a> Sensors. 19 (9), 1988 (2019).</li><li>Rantz, M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Falls,+Technology,+and+Stunt+Actors:+New+approaches+to+Fall+Detection+and+Fall+Risk+Assessment.">Falls, Technology, and Stunt Actors: New approaches to Fall Detection and Fall Risk Assessment.</a> Journal of Nursing Care Quality. 23 (3), 195-201 (2008).</li><li>Lachance, C., Jurkowski, M., Dymarz, A., Mackey, D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Compliant+Flooring+to+Prevent+Fall-Related+Injuries:+A+Scoping+Review+Protocol.">Compliant Flooring to Prevent Fall-Related Injuries: A Scoping Review Protocol.</a> BMJ Open. 6 (8), 011757 (2016).</li></ol>

De auteurs hebben niets te onthullen.

Het is gebruikelijk om uitdagingen tegen te komen als gevolg van synchronisatie, organisatie- en gegevensinconsistentieproblemen20 wanneer een gegevensset wordt gemaakt.
Synchronisatie Bij het verkrijgen van gegevens ontstaan synchronisatieproblemen, aangezien meerdere sensoren vaak op verschillende samplingsnelheden werken. Sensoren met hogere frequenties verzamelen meer gegevens dan die met lagere frequenties. Gegevens uit verschillende bronnen worden dus niet correct gekoppeld. Zelfs als sensoren met dezelfde bemonsteringssnelheden werken, is het mogelijk dat de gegevens niet worden uitgelijnd. In dit verband kunnen de volgende aanbevelingen helpen om deze synchronisatieproblemen aan te pakken20: i) registertijdstempel, onderwerp, activiteit en proef in elk gegevensmonster dat bij de sensoren is verkregen; ii) de meest consistente en minder frequente informatiebron moet worden gebruikt als referentiesignaal voor synchronisatie; en (iii) automatische of semi-automatische procedures gebruiken om video-opnamen te synchroniseren die handmatige inspectie onpraktisch zou zijn.
Gegevens voorverwerking Er moet ook sprake zijn van voorverwerking van gegevens en kritische beslissingen zijn van invloed op dit proces: (a) bepalen de methoden voor gegevensopslag en gegevensrepresentatie van meerdere en heterogene bronnen (b) bepalen welke manieren om gegevens op te slaan in de lokale host of in de cloud (c) de organisatie van gegevens selecteren, inclusief de bestandsnamen en mappen (d) omgaan met ontbrekende waarden van gegevens en redundantie in de sensoren , o.a. Bovendien wordt voor de datacloud aanbevolen om waar mogelijk lokale buffering te beperken om het verlies van gegevens tijdens het uploaden te beperken.
Inconsistentie in gegevens Gegevensinconsistentie komt vaak voor tussen proeven waarbij variaties in de grootte van gegevensmonsters worden gevonden. Deze problemen houden verband met data-acquisitie in draagbare sensoren. Korte onderbrekingen van gegevensverwerving en gegevensbotsing van meerdere sensoren leiden tot gegevensinconsistenties. In deze gevallen zijn inconsistentiedetectiealgoritmen belangrijk om online storingen in sensoren aan te pakken. Het is belangrijk om te benadrukken dat draadloze apparaten tijdens het experiment regelmatig moeten worden gecontroleerd. Een lage batterij kan van invloed zijn op de connectiviteit en leiden tot verlies van gegevens.
Ethische Toestemming om deel te nemen en ethische goedkeuring zijn verplicht bij elk type experiment waarbij mensen betrokken zijn.
Met betrekking tot de beperkingen van deze methode, is het belangrijk op te merken dat het is ontworpen voor benaderingen die verschillende modaliteiten voor het verzamelen van gegevens overwegen. De systemen kunnen draagbare, omgevings- en/of zichtsensoren bevatten. Er wordt voorgesteld om rekening te houden met het stroomverbruik van apparaten en de levensduur van batterijen in draadloze sensoren, als gevolg van de problemen zoals verlies van gegevensverzameling, afnemende connectiviteit en stroomverbruik in het hele systeem. Bovendien is deze methode bedoeld voor systemen die machine learning-methoden gebruiken. Een analyse van de selectie van deze machine learning modellen moet vooraf worden gedaan. Sommige van deze modellen kunnen nauwkeurig zijn, maar zeer tijdrovend. Er moet rekening worden gehouden met een afweging tussen nauwkeurige schatting en beperkte beschikbaarheid van hulpbronnen voor computergebruik in machine learning-modellen. Het is ook belangrijk op te merken dat bij het verzamelen van gegevens van het systeem de activiteiten in dezelfde volgorde werden uitgevoerd; ook werden proeven uitgevoerd in dezelfde volgorde. Om veiligheidsredenen werd een beschermende matras gebruikt om op te vallen. Bovendien werden de watervallen zelf-inwerking gesteld. Dit is een belangrijk verschil tussen gesimuleerde en echte valpartijen, die over het algemeen optreden in de richting van harde materialen. In die zin valt deze opgenomen dataset met een intuïtieve reactie die probeert niet te vallen. Bovendien zijn er enkele verschillen tussen echte valpartijen bij ouderen of mensen met een handicap en valt de simulatie; en hiermee moet rekening worden gehouden bij het ontwerpen van een nieuw valdetectiesysteem. Deze studie was gericht op jongeren zonder enige beperking, maar het is opmerkelijk om te zeggen dat de selectie van onderwerpen moet worden afgestemd op het doel van het systeem en de doelgroep die het zal gebruiken.
Uit de verwante werken beschreven boven10,11,1212,13,14,15,16,17,18, kunnen we vaststellen dat er auteurs zijn die gebruik maken van multimodale benaderingen gericht op het verkrijgen van robuuste val detectoren of zich richten op plaatsing of prestaties van de classificatie. Vandaar, ze alleen een of twee van de ontwerpproblemen voor valdetectie. Onze methodologie maakt het mogelijk om tegelijkertijd drie van de belangrijkste ontwerpproblemen van een valdetectiesysteem op te lossen.
Voor toekomstig werk stellen we voor om een eenvoudig multimodaal valdetectiesysteem te ontwerpen en te implementeren op basis van de bevindingen die volgens deze methodologie zijn verkregen. Voor de invoering in de praktijk moeten overdrachtsleer, hiërarchische classificatie en deep learning-benaderingen worden gebruikt voor de ontwikkeling van robuustere systemen. Onze implementatie hield geen rekening met kwalitatieve statistieken van de machine learning-modellen, maar er moet rekening worden gehouden met real-time en beperkte computerbronnen voor de verdere ontwikkeling van menselijke val- en activiteitsdetectie-/herkenningssystemen. Ten slotte, om onze dataset te verbeteren, struikelen of bijna dalende activiteiten en real-time monitoring van vrijwilligers tijdens hun dagelijks leven kan worden overwogen.

Sinds het wereldverschijnsel van de vergrijzing van de bevolking1, is de daling stegen en wordt het eigenlijk beschouwd als een groot gezondheidsprobleem2. Wanneer een val optreedt, mensen vereisen onmiddellijke aandacht om negatieve gevolgen te verminderen. Valdetectiesystemen kunnen de hoeveelheid tijd verkorten waarin een persoon medische hulp krijgt bij het verzenden van een waarschuwing wanneer een val optreedt.
Er zijn verschillende categorisaties van valdetectiesystemen3. Vroege werken4 classificeren valdetectiesystemen op basis van hun detectiemethode, ruwweg analytische methoden en machine learning-methoden. Meer recent, andere auteurs3,5,6 hebben beschouwd data-acquisitie sensoren als de belangrijkste functie om val detectoren classificeren. Igual et al.3 verdeelt valdetectiesystemen in contextbewuste systemen, waaronder op visie en omgevingssensoren gebaseerde benaderingen en draagbare apparaatsystemen. Mubashir et al.5 classificeert valdetectoren in drie groepen op basis van de apparaten die worden gebruikt voor gegevensverwerving: draagbare apparaten, sfeersensoren en op visie gebaseerde apparaten. Perry et al.6 houdt rekening met methoden voor het meten van versnelling, methoden voor het meten van versnelling in combinatie met andere methoden, en methoden die geen versnelling meten. Uit deze enquêtes kunnen we vaststellen dat sensoren en methoden de belangrijkste elementen zijn om de algemene onderzoeksstrategie te classificeren.
Elk van de sensoren heeft zwakke punten en sterke punten besproken in Xu et al.7. Vision-gebaseerde benaderingen maken voornamelijk gebruik van normale camera's, dieptesensorcamera's en/of motion capture-systemen. Normale webcamera's zijn goedkoop en gemakkelijk te gebruiken, maar ze zijn gevoelig voor omgevingsomstandigheden (lichtvariatie, occlusie, enz.), kunnen alleen worden gebruikt in een beperkte ruimte en hebben privacyproblemen. Dieptecamera's, zoals de Kinect, bieden full-body 3D-beweging7 en hebben minder last van lichtomstandigheden dan normale camera's. Benaderingen op basis van de Kinect zijn echter niet zo robuust en betrouwbaar. Motion capture systemen zijn duurder en moeilijk te gebruiken.
Benaderingen op basis van versnellingsmeter apparaten en smartphones / horloges met ingebouwde versnellingsmeters worden zeer vaak gebruikt voor valdetectie. Het belangrijkste nadeel van deze apparaten is dat ze moeten worden gedragen voor lange periodes. Ongemak, opdringerigheid, plaatsing van het lichaam en oriëntatie zijn ontwerpproblemen die in deze benaderingen moeten worden opgelost. Hoewel smartphones en slimme horloges minder opdringerige apparaten zijn die sensoren, vergeten oudere mensen deze apparaten vaak of niet altijd. Het voordeel van deze sensoren en apparaten is echter dat ze in veel ruimtes en/of buiten kunnen worden gebruikt.
Sommige systemen maken gebruik van sensoren geplaatst rond de omgeving om vallen / activiteiten te herkennen, zodat mensen niet hoeven te dragen van de sensoren. Deze sensoren zijn echter ook beperkt tot de plaatsen waar ze worden ingezet8 en zijn soms moeilijk te installeren. Onlangs omvatten multimodale valdetectiesystemen verschillende combinaties van visie,draagbare en omgevingssensoren om meer precisie en robuustheid te verkrijgen. Ze kunnen ook een aantal van de enkele sensor beperkingen te overwinnen.
De methodologie die wordt gebruikt voor valdetectie is nauw verwant aan de human activity recognition chain (ARC) gepresenteerd door Bulling et al.9, die bestaat uit fasen voor gegevensverwerving, signaalvoorbewerking en segmentatie, feature extraction en selectie, training en classificatie. Ontwerpproblemen moeten voor elk van deze fasen worden opgelost. In elke fase worden verschillende methoden gebruikt.
We presenteren een methodologie op basis van multimodale sensoren om een eenvoudig, comfortabel en snel menselijke val- en menselijke activiteitsdetectie/herkenningssysteem te configureren. Het doel is om een systeem te bouwen voor nauwkeurige valdetectie die eenvoudig kan worden geïmplementeerd en aangenomen. De voorgestelde nieuwe methodologie is gebaseerd op ARC, maar voegt een aantal belangrijke fasen toe om een diepgaande analyse van de volgende problemen uit te voeren om het systeem te vereenvoudigen: a) selecteer welke sensoren of combinatie van sensoren in een eenvoudig valdetectiesysteem moeten worden gebruikt; b) de beste plaatsing van de informatiebronnen te bepalen ; en (c) de meest geschikte machine learning-classificatiemethode voor valdetectie en menselijke activiteitsherkenning selecteren om een eenvoudig systeem te creëren.
Er zijn een aantal verwante werken in de literatuur die een of twee van de bovengenoemde ontwerpproblemen aanpakken, maar voor zover wij weten, is er geen werk dat zich richt op een methodologie om al deze problemen te overwinnen.
Gerelateerde werken gebruiken multimodale benaderingen voor valdetectie en menselijke activiteitsherkenning10,11,12 om robuustheid te verkrijgen en de precisie te verhogen. Kwolek et al.10 stelde het ontwerp en de implementatie voor van een valdetectiesysteem op basis van versnellingsgegevens en dieptekaarten. Ze ontwierpen een interessante methodologie waarin een drie-assige versnellingsmeter wordt geïmplementeerd om een mogelijke val en de beweging van de persoon te detecteren. Als de versnellingsmeting een drempelwaarde overschrijdt, haalt het algoritme een persoon uit die de dieptekaart onderscheidt van de online bijgewerkte dieptereferentiekaart. Een analyse van diepte en versnellingsmeter combinaties werd gemaakt met behulp van een ondersteuning vector machine classifier.
Ofli et al.11 presenteerde een Multimodal Human Action Database (MHAD) om een testbed te bieden voor nieuwe systemen voor de erkenning van menselijke activiteiten. De dataset is belangrijk omdat de acties gelijktijdig werden verzameld met behulp van 1 optisch motion capture systeem, 4 multi-view camera's, 1 Kinect systeem, 4 microfoons en 6 draadloze versnellingsmeters. De auteurs presenteerden resultaten voor elke modaliteit: de Kinect, de mocap, de versnellingsmeter en de audio.
Dovgan et al.12 stelden een prototype voor voor het opsporen van afwijkend gedrag, inclusief vallen, bij ouderen. Ze ontwierpen tests voor drie sensorsystemen om de meest geschikte apparatuur te vinden voor val- en detectie van ongewoon gedrag. Het eerste experiment bestaat uit gegevens van een slim sensorsysteem met 12 tags aan de heupen, knieën, enkels, polsen, ellebogen en schouders. Ze creëerden ook een test dataset met behulp van een Ubisense sensor systeem met vier tags bevestigd aan de taille, borst en beide enkels, en een Xsens versnellingsmeter. In een derde experiment gebruiken vier proefpersonen alleen het Ubisense-systeem tijdens het uitvoeren van 4 soorten vallen, 4 gezondheidsproblemen als afwijkend gedrag en verschillende activiteit van het dagelijks leven (ADL).
Andere werken in literatuur13,14,15 pakken het probleem van het vinden van de beste plaatsing van sensoren of apparaten voor valdetectie vergelijken van de prestaties van verschillende combinaties van sensoren met verschillende classificeerders. Santoyo et al.13 presenteerdeeen systematische beoordeling van het belang van de locatie van 5 sensoren voor valdetectie. Ze vergeleken de prestaties van deze sensorcombinaties met behulp van k-nearest neighbors (KNN), support vector machines (SVM), naïeve Bayes (NB) en decision tree (DT) classifiers. Zij concluderen dat de locatie van de sensor op het onderwerp heeft een belangrijke invloed op de valdetector prestaties onafhankelijk van de gebruikte classificatie.
Een vergelijking van draagbare sensor plaatsingen op het lichaam voor valdetectie werd gepresenteerd door Özdemir14. Om de plaatsing van de sensor te bepalen, analyseerde de auteur 31 sensorcombinaties van de volgende posities: hoofd, taille, borst, rechterpols, rechterenkel en rechterdij. Veertien vrijwilligers voerden 20 gesimuleerde valpartijen en 16 ADL uit. Hij vond dat de beste prestaties werd verkregen wanneer een enkele sensor is gepositioneerd op de taille van deze uitputtende combinatie experimenten. Een andere vergelijking werd gepresenteerd door Ntanasis15 met behulp van özdemir's dataset. De auteurs vergeleken enkele posities op hoofd, borst, taille, pols, enkel en dij met behulp van de volgende classifiers: J48, KNN, RF, random committee (RC) en SVM.
Benchmarks van de prestaties van verschillende rekenmethoden voor valdetectie zijn ook te vinden in literatuur16,17,18. Bagala et al.16 presenteerde een systematische vergelijking om de prestaties van dertien valdetectiemethoden die op echte vallen zijn getest, te benchmarken. Ze beschouwden alleen algoritmen op basis van versnellingsmeter metingen geplaatst op de taille of romp. Bourke et al.17 evalueerden de prestaties van vijf analytische algoritmen voor valdetectie met behulp van een dataset van ACL's en valpartijen op basis van versnellingsmetermetingen. Kerdegari18 maakte ook een vergelijking van de prestaties van verschillende classificatiemodellen voor een reeks geregistreerde versnellingsgegevens. De algoritmen die worden gebruikt voor valdetectie waren zeroR, oneR, NB, DT, multilayer perceptron en SVM.
Een methodologie voor valdetectie werd voorgesteld door Alazrai et al.18 met behulp van motion pose geometrische descriptor om een geaccumuleerde histogram-gebaseerde vertegenwoordiging van menselijke activiteit te construeren. Ze evalueerden het framework met behulp van een dataset verzameld met Kinect-sensoren.
Samengevat vonden we multimodale valdetectie gerelateerde werken10,11,12 die de prestaties van verschillende combinaties van modaliteiten vergelijken. Sommige auteurs pakken het probleem van het vinden van de beste plaatsing van sensoren13,14,15, of combinaties van sensoren13 met verschillende classifiers13,15,16 met meerdere sensoren van dezelfde modaliteit en versnellingsmeters. Er werd geen werk gevonden in de literatuur dat betrekking heeft op plaatsing, multimodale combinaties en classifier benchmark op hetzelfde moment.

<table>
	<tbody>
		<tr>
			<td>Inertial measurement wearable sensor</td>
			<td>Mbientlab</td>
			<td>MTH-MetaTracker</td>
			<td>Tri-axial accelerometer, tri-axial gyroscope and light intensity wearable sensor.</td>
		</tr>
		<tr>
			<td>Electroencephalograph brain sensor helmet MindWave</td>
			<td>NeuroSky</td>
			<td>80027-007</td>
			<td>Raw brainwave signal with one forehand sensor.</td>
		</tr>
		<tr>
			<td>LifeCam Cinema video camera</td>
			<td>Microsoft</td>
			<td>H5D-00002</td>
			<td>2D RGB camera with USB cable interface.</td>
		</tr>
		<tr>
			<td>Infrared sensor</td>
			<td>Alean</td>
			<td>ABT-60</td>
			<td>Proximity sensor with normally closed relay.</td>
		</tr>
		<tr>
			<td>Bluetooth dongle</td>
			<td>Mbientlab</td>
			<td>BLE</td>
			<td>Dongle for Bluetooth connection between the wearable sensors and a computer.</td>
		</tr>
		<tr>
			<td>Raspberry Pi</td>
			<td>Raspberry</td>
			<td>Version 3 Model B</td>
			<td>Microcontroller for infrared sensor acquisition and computer interface.</td>
		</tr>
		<tr>
			<td>Personal computer</td>
			<td>Dell</td>
			<td></td>
			<td>Intel Xeon E5-2630 v4 @2.20 GHz, RAM 32GB</td>
		</tr>
	</tbody>
</table>

design and analysis for fall detection system simplification

Dit document presenteert een methodologie op basis van multimodale sensoren om een eenvoudig, comfortabel en snel valdetectie- en human activity recognition systeem te configureren dat eenvoudig kan worden geïmplementeerd en aangenomen. De methodologie is gebaseerd op de configuratie van specifieke soorten sensoren, machine learning-methoden en procedures. Het protocol is onderverdeeld in vier fasen: (1) database creatie (2) data-analyse (3) systeemvereenvoudiging en (4) evaluatie. Met behulp van deze methodologie hebben we een multimodale database gemaakt voor valdetectie en menselijke activiteitsherkenning, namelijk UP-Fall Detection. Het bestaat uit gegevensmonsters van 17 proefpersonen die 5 soorten vallen en 6 verschillende eenvoudige activiteiten uitvoeren, tijdens 3 proeven. Alle informatie werd verzameld met behulp van 5 draagbare sensoren (tri-as versnellingsmeter, gyroscoop en lichtintensiteit), 1 elektro-encefalograaf helm, 6 infrarood sensoren als omgevingssensoren, en 2 camera's in laterale en voorste gezichtspunten. De voorgestelde nieuwe methodologie voegt een aantal belangrijke fasen toe om een diepgaande analyse van de volgende ontwerpproblemen uit te voeren om een valdetectiesysteem te vereenvoudigen: a) selecteren welke sensoren of een combinatie van sensoren moeten worden gebruikt in een eenvoudig valdetectiesysteem, b) de beste plaatsing van de informatiebronnen bepalen, en c) de meest geschikte machine learning-classificatiemethode voor val- en menselijke activiteitsdetectie en -herkenning selecteren. Hoewel sommige multimodale benaderingen die in de literatuur worden gerapporteerd zich alleen richten op een of twee van de bovengenoemde kwesties, maakt onze methodologie het mogelijk om deze drie ontwerpproblemen in verband met een systeem voor menselijke val- en activiteitsdetectie en -herkenning tegelijkertijd op te lossen.

Watch this Scientific Journal Video about Design and Analysis for Fall Detection System Simplification at JoVE.com

Design and Analysis for Fall Detection System Simplification

We presenteren een methodologie op basis van multimodale sensoren om een eenvoudig, comfortabel en snel valdetectie- en human activity recognition systeem te configureren. Het doel is om een systeem te bouwen voor nauwkeurige valdetectie die eenvoudig kan worden geïmplementeerd en aangenomen.

Ontwerp en analyse voor de vereenvoudiging van het valdetectiesysteem

This paper presents a methodology based on multimodal sensors to configure a simple, comfortable and fast fall detection and human activity recognition ...

Onze methodologie voegt belangrijke fasen, selectie van sensorcombinatie, plaatsing en classificatie, toe om het valdetectiesysteem te vereenvoudigen met een diepe analyse. Er zijn eerdere werken die een aantal problemen met het ontwerp van valdetectie aanpakken, maar er is geen werk dat zich richt op holistische methodologie voor het overwinnen van al deze problemen. Deze methodologie kan ook worden gebruikt voor menselijke activiteit erkenning in begeleid wonen, sport prestatie-evaluatie, fysiotherapie en revalidatie toepassingen.Wanneer een gegevensset wordt gemaakt, kunnen uitdagingen ontstaan als gevolg van synchronisatie, organisatie en gegevensinconsistie. Er moet rekening worden gehouden met een afweging tussen een nauwkeurige schatting en de complexiteit van het model. Het aantonen van de procedure zal Jose Pablo Nunez Martinez, een onderzoeksassistent, en Sofia Pacheco Ibanez, een undergraduate engineering student uit ons laboratorium.Begin met het opzetten van het systeem voor het verkrijgen van gegevens om het verzamelen en opslaan van betrokkenen te vergemakkelijken. Selecteer de soorten draagbare sensoren, omgevingssensoren en op visie gebaseerde apparaten die nodig zijn als informatiebronnen en wijs een ID toe voor elke bron van informatie, het aantal kanalen per bron, de technische specificaties en de bemonsteringsfrequentie van elk van deze apparaten. Als u alle informatiebronnen wilt verbinden met een centrale computer of een gedistribueerd computersysteem, controleert u eerst of de apparaten op basis van de draad correct zijn aangesloten op één clientcomputer en controleert u of de draadloze apparaten volledig zijn opgeladen.Als u elk apparaat wilt instellen om gegevens op te halen, stelt u het gegevensverwervingssysteem in om gegevensopslag in de cloud toe te staan en te bevestigen dat het gegevensacquisitiesysteem voldoet aan de juiste eigenschappen voor gegevenssynchronisatie en gegevensconsistentie. Zorg ervoor dat u controleert of alle sensoren consistent en gelijktijdig gegevens verzamelen en labels opnemen voor het identificeren van de activiteit en eigenschappen van het onderwerp. Verzamel voorbeeldgegevens met de apparaten en sla de gegevens op in een voorkeurssysteem.Vraag de database op en bepaal of alle informatiebronnen met dezelfde steekproefsnelheden worden verzameld. Na het overwegen van de voorwaarden die zijn vereist in de beperkingen opgelegd door het doel van het systeem, het opzetten van de testomgeving het plaatsen van een matras of andere conforme vloersystemen in het centrum van de omgeving om de veiligheid van de deelnemers te waarborgen. Houd alle voorwerpen ten minste één meter van de matras vandaan en bereid alle nodige persoonlijke beschermingsmiddelen voor de deelnemers voor.Stel vervolgens de juiste camera's en paar infrarood sensoren rond de matras zoals afgebeeld. Definieer het doel van de valdetectie en het systeem voor de herkenning van menselijke activiteiten op een planningsblad en definieer de doelpopulatie van het experiment in overeenstemming met het doel van het systeem. Definieer het type dagelijkse activiteiten, inclusief een aantal activiteiten die niet vallen, die eruit zien als vallen om de echte valdetectie te verbeteren.Wijs voor elke activiteit een id toe en beschrijf de activiteiten zo gedetailleerd mogelijk. Stel vervolgens de periode in voor elke activiteit die moet worden uitgevoerd. Definieer het type menselijke valpartijen en wijs een ID toe en beschrijf elke val voor elke activiteit, samen met de periode voor elke val die moet worden uitgevoerd.Overweeg of de watervallen zelf gegenereerd zullen worden door de onderwerpen of gegenereerd door anderen en schrijf deze informatie op het planningsblad. Als u de activiteit wilt verzamelen en de gegevens wilt vallen, plaatst u de opnameapparaten op het onderwerp zoals afgebeeld. Wanneer het onderwerp klaar is, onder toezicht van een klinisch deskundige of een verantwoordelijke onderzoeker, start de gegevensverzameling in het gegevensverwervingssysteem en vraagt het onderwerp om de sequenties van activiteiten en vallen uit te voeren die in het planningsblad worden beschreven en de tijdstempels van het begin en het einde van elke activiteit of val opslaan.Controleer of de gegevens van alle informatiebronnen na elke activiteit of val in de cloud worden opgeslagen. Als u de verzamelde activiteit en valgegevens wilt analyseren, gebruikt u de functiegegevensset voor elke machine learning-methode om een K-fold cross-validatie uit te voeren. Gebruik een gemeenschappelijke metriek van evaluatie, zoals nauwkeurigheid, om het beste model te selecteren dat per methode is getraind.Open vervolgens de gegevensset voor trainingsfunctie in de voorkeurstaalsoftware en gebruik de pandabibliotheek om een CSV-bestand te lezen zoals aangegeven. Splits de functiegegevensset in paren van ingangen/uitgangen zoals aangegeven. Selecteer één machine learning-methode en stel de parameters in.Train het machine learning-model en bereken de schattingswaarden van het model met behulp van de gegevensset testfunctie. Herhaal de K-fold cross-validatie van het aantal keren dat K is opgegeven in de K-fold cross-validatie voor elk geselecteerd machine learning-model. Selecteer de geschikte plaatsingen in de multimodale aanpak als een combinatie van twee of meer informatiebronnen nodig is voor het systeem en selecteer de beste bron van informatie voor elke modaliteit in het systeem.Maak een gecombineerde functiegegevensset met behulp van de onafhankelijke gegevenssets van deze informatiebronnen en selecteer de classificatiemethode voor machine learning. Train een model voor deze gecombineerde informatiebronnen en herhaal de validatie met behulp van de gecombineerde functiegegevensset. Bereid vervolgens een nieuwe gegevensset met de onderwerpen onder meer realistische omstandigheden met behulp van alleen de bronnen van informatie geselecteerd in de vorige analyse.Grafische weergave van de beste prestaties verkregen voor elke modaliteit, afhankelijk van de machine learning model en de beste venster lengte configuratie illustreert duidelijk dat multimodale benaderingen de beste F1 score waarden te verkrijgen in vergelijking met sommige unimodale benaderingen. Hoewel met name met behulp van draagbare sensoren alleen, een vergelijkbare prestaties als een multimodale aanpak kan worden verkregen. In termen van de benchmark van de data-driven modellen, random forest presenteert de beste resultaten in bijna alle experimenten, terwijl meerlaagse perceptron en ondersteuning vector machines zijn niet erg consistent in de prestaties.De beste prestaties worden verkregen wanneer een enkele sensor wordt gebruikt in de taille, nek, of strakke rechterzak. Enkel en linker pols draagbare sensoren presteerden het ergste. Bovendien zijn de taille-, nek- en strakke rechterzaksensoren met willekeurige forests classificatie in een venstergrootte van drie seconden met 50% overlappende sensoren de meest geschikte draagbare sensoren voor valdetectie.De zijaanzichtcamera voert de beste valdetectie uit en de beste cameralocatie bevindt zich in een zijdelingse weergavepunt met behulp van willekeurig forest in een venstergrootte van drie seconden en 50% overlappend. Bovendien, de random forest model classifier toont de beste prestaties in nauwkeurigheid en F1 score in zowel multi-modaliteiten en de combinatie tussen de taille en camera een gelederen in de eerste positie. In onze experimenten hebben we jonge mensen aangeworven zonder beperkingen, maar onderwerpen moeten worden geselecteerd die aansluiten bij het doel van het systeem en de doelgroep die het systeem gebruikt.Eenvoudige multimodale valdetectiesystemen kunnen op basis van deze methodologie worden ontworpen en geïmplementeerd. Voor echte wereld aanpassing, overdracht leren en deep learning benaderingen worden aanbevolen voor het ontwikkelen van robuuste systemen.

Research

JoVE Journal

Bioengineering

Silk Film Culture System for in vitro Analysis and Biomaterial Design

Silk Film Culture System for in vitro Analysis and Biomaterial Design

Silk Film Culture-systeem voor In vitro Analyse en biomateriaal Ontwerp

Silk films are promising protein-based biomaterials that can be fabricated with high fidelity and economically within a research laboratory environment ...

Bacterial Detection &amp; Identification Using Electrochemical Sensors

Bacterial Detection & Identification Using Electrochemical Sensors

Bacteriële Detection &amp; Identification gebruiken elektrochemische sensoren

Electrochemical  sensors are widely used for rapid and accurate measurement of blood glucose and  can be adapted for detection of a wide variety of ...

Microfluidic Picoliter Bioreactor for Microbial Single-cell Analysis: Fabrication, System Setup, and Operation

In this protocol the fabrication, experimental setup and basic operation of the recently introduced microfluidic picoliter bioreactor (PLBR) is described ...

Systematic Analysis of In Vitro Cell Rolling Using a Multi-well Plate Microfluidic System

Systematic Analysis of In Vitro Cell Rolling Using a Multi-well Plate Microfluidic System

Systematische analyse van<em&gt; In Vitro</em&gt; Cel Rolling Met behulp van een multi-well plaat Microfluidic System

A major challenge for cell-based therapy is the inability to systemically target a large quantity of viable cells with high efficiency to tissues of ...

Automated Robotic Liquid Handling Assembly of Modular DNA Devices

Geautomatiseerde robot Liquid Handling samenstel van modulaire DNA voorzieningen

Recent advances in modular DNA assembly techniques have enabled synthetic biologists to test significantly more of the available &#34;design space&#34; ...

Design and Implementation of an Automated Illuminating, Culturing, and Sampling System for Microbial Optogenetic Applications

Ontwerp en implementatie van een Automated Verlichten, kweken, en Sampling System voor Microbiële optogenetische Applications

Optogenetic systems utilize genetically-encoded proteins that change conformation in response to specific wavelengths of light to alter cellular ...

Method and Instrumented Fixture for Femoral Fracture Testing in a Sideways Fall-on-the-Hip Position

Methode en geïnstrumenteerde meubilair voor femurfractuur testen in een zijwaartse val-over-the-Hip-positie

Mechanical testing of femora brings valuable insights into understanding the contribution of clinically-measureable variables such as bone mineral density ...

Design and Synthesis of a Reconfigurable DNA Accordion Rack

Ontwerp en de synthese van een accordeon herconfigureerbare DNA-Rack

DNA nanostructure-based mechanical systems or DNA nanomachines, which produce complex nanoscale motion in 2D and 3D in the nanometer to &#229;ngstr&#246;m ...

Biaxial Mechanical Characterizations of Atrioventricular Heart Valves

Biaxial mechanische karakteristieken van Atrioventriculaire hartkleppen

Extensive biaxial mechanical testing of the atrioventricular heart valve leaflets can be utilized to derive&#160;optimal parameters used in constitutive ...

Electric and Magnetic Field Devices for Stimulation of Biological Tissues

Elektrische en magnetische veldapparaten voor stimulatie van biologische weefsels

Electric fields (EFs) and magnetic fields (MFs) have been widely used by tissue engineering to improve cell dynamics such as proliferation, migration, ...