Name: evaluation of a smartphone-based human activity recognition system in a daily living environment
Uploaded: 2015-12-11T13:00:00.000+00:00
Duration: 6 min 49 s
Description: Watch this Scientific Journal Video about Evaluation of a Smartphone-based Human Activity Recognition System in a Daily Living Environment at JoVE.com

저자는 기술 및 데이터 수집 지원 에반 Beisheim, 니콜 Capela의 앤드류 허버트-코플리을 인정합니다. 프로젝트 자금은 연구에 사용 된 스마트 폰을 포함한 자연 과학 및 캐나다 (NSERC)의 공학 연구 협의회 및 BlackBerry 회사로부터 받았습니다.

이 프로토콜은 오타와 건강 과학 네트워크 연구 윤리위원회에 의해 승인되었다. 1. 준비 <ol><li> , 연구의 개요와 참가자를 제공하는 모든 질문에 대답하고 동의를 구하십시오. 기록 참가자 특성 (예를 들어, 연령, 성별, 신장, 체중, 허리 둘레, 전방 우수한 내과에 골극에서 다리 높이) 데이터 시트에, 식별 코드, 날짜. 비디오를 캡처하는 데 사용되는 두 번째 스마트 폰 두 번째 캡처 속도 당 적어도 30 프레임으로 설정되어 있는지 확인합니다. </li><li> 안전하게 참가자의 전면 우측 벨트, 바지 허리에 전화 권총을 연결합니다. 모바일 폰에서 측정 된 센서 데이터 (즉, 데이터 기록 또는 WMMS 애플리케이션) 수집 애플리케이션 적절히 실행되고 있는지 확인하기 위해 사용되는 스마트 폰 애플리케이션을 시작한다. 장치의 뒷면 (후면 캘리포니아로, 홀스터에서 스마트 폰을 놓고바깥쪽으로 향하도록 메라). </li><li> 두 번째 스마트 폰에 디지털 비디오 녹화를 시작합니다. 익명 성을 위해, 사람의 얼굴을 나타내지 않고, 비교 화상을 기록하지만, 모든 활동을 기록하도록 전환되도록. 휴대 전화 핸드 헬드 수 있습니다. </li></ol> 2. 활동 회로 <ol><li> 두 번째 스마트 폰에서, 자신의 행동 참가자 및 비디오를 따라가 연구자에 의해 말한 다음 작업을 수행하는 동안 : <ol><li> 서있는 위치에서, 재판의 시작을 표​​시하기 위해 스마트 폰을 흔들어. </li><li> 적어도 10 초 동안 서 계속합니다. 이 서 전화 상 방향 보정 14에 사용될 수있다. </li><li> 근처의 의자에 걸어 앉아. </li><li> 일어나서 엘리베이터 60​​ 미터 도보. </li><li> 서서 엘리베이터를 기다렸다가 엘리베이터로 걸어. </li><li> 2 층에 엘리베이터를 타고. </li><li> 전원을 켜고 가정 환경에 걸어. </li><li> 욕실과 SI에 걸어mulate 치아를 닦고. </li><li> 머리를 빗질 시뮬레이션합니다. </li><li> 손을 씻는 시뮬레이션합니다. </li><li> 수건을 사용하여 건조 손. </li><li> 부엌으로 걸어보세요. </li><li> 랙에서 요리를 가지고 카운터에 배치합니다. </li><li> 부엌 싱크대에서 물 주전자를 채우십시오. </li><li> 난로 요소에 주전자를 놓습니다. </li><li> 토스터에서 빵을 놓습니다. </li><li> 식당에 걸어보세요. </li><li> 식당 테이블에 앉아있다. </li><li> 테이블에서 식사를 시뮬레이션합니다. </li><li> 서서 다시 부엌 싱크대에 걸어. </li><li> 요리를 씻어 및 랙에 배치합니다. </li><li> 다시 엘리베이터에 부엌에서 도보. </li><li> 서서 엘리베이터를 기다렸다가 엘리베이터로 걸어. </li><li> 1 층에 엘리베이터를 타고. </li><li> 계단을 50 미터 도보. </li><li> 문을 열고 계단을 입력합니다. </li><li> (착륙 약 13 단계, 13 단계) 계단을 걸어보세요. </li><li> 복도에 계단의 문을 엽니 다. </li><li> 우회전 15 미터 복도를 걸어. </li><li> 돌아서 다시 계단 15 미터 도보. </li><li> 문을 열고 계단을 입력합니다. </li><li> (착륙 약 13 단계, 13 단계)를 계단 아래로 걸어보세요. </li><li> 계단을 종료하고 방으로 걸어. </li><li> 침대에 누워. </li><li> 일어나서 램프 10 미터 도보. </li><li> 다음 램프 (20m) 아래로 돌아서, 램프를 걸어. </li><li> 홀에 들어가는 계속 외부에 문을 엽니 다. </li><li> 포장 된 경로에 100 미터 도보. </li><li> 돌아서 다시 방에 걸어. </li><li> 방으로 걸어 출발점에 서있다. </li><li> 서 계속하고 재판의 끝을 나타 내기 위해 스마트 폰을 흔들어. </li></ol></li></ol> 3. 시험 완료 <ol><li> 비디오 녹화 스마트 폰을 중지하고 제거하고 스마트 폰과 권총을 반환 할 참가자를 부탁드립니다. SMA에 대한 데이터 기록 또는 WMMS 애플리케이션을 중지rtphone. 후 처리를 위해 컴퓨터로 양쪽 전화기로부터 취득 된 모션 데이터 파일과 비디오 파일을 복사한다. </li></ol> 4. 후가공 <ol><li> 흔들림 동작이 시작될 때 시간을 결정하여 비디오 및 원시 센서 데이터 간의 타이밍을 동기화. 이 진동하는 움직임이 뚜렷한 가속도 신호 및 비디오 프레임에 대응한다. 센서 및 비디오 데이터 소스에서 시작 흔들림 시간에서 최종 흔들림 시간을 빼서 동기화 오류가 있는지 확인합니다. 시간차는 두 개의 데이터 세트 간 유사해야한다. </li><li> 활동 간의 전이에서 비디오 프레임 시작 진탕 시간과의 시차를 기록함으로써 금 표준 비디오의 실제 상태 변경 시간을 결정한다. 0.033 초 이내로 타이밍을 획득하기 위해 비디오 편집 소프트웨어를 사용하여 (즉, 제 2 비디오 율 30 프레임). 비교 변경-의 상태 센서 데이터로부터 생성하는 WMMS 소프트웨어를 사용합니다. </li><li> 두 데이터 세트를 생성 한진정한 활동 및 예측 활동 번째로, 각각의 비디오 프레임에 대한 활성을 레이블링 WMMS 출력으로부터 각 비디오 프레임의 시간에서 활성을 예측하고 계산 한 후 (타이밍의 상태 변화에 기초하여). WMMS 성능 평가를 위해, 금 표준 활동 사이에 진정한 양성, 음성 (false negative), 참 부정, 오탐 (false positive)을 계산하고 WMMS 활동을 예측했다. 민감도, 특이도, F-점수 결과 측정을 계산하려면이 매개 변수를 사용합니다. 주 : 분석되는 윈도우의 양쪽에 데이터 (3) 윈도우의 공차 설정 상태 변경 결과를 결정하는데 사용하고, 분류 결과에 대한 2 데이터 윈도우 될 수있다. 일초 데이터 창은이 연구에서 WMMS에 사용 된 이후이 허용 오차 내에서 연속적인 변화는 무시되도록 예를 들어, 3 초 전에 현재 창 후에는 조사 하였다. 고려 미만 3 초에서 일어나는 상태의 변화가 심한 구호 물자 무시 될 수 있습니다 것을이러한 상태 보낸 N 운동 분석은 일시적인 고려 될 것이다. </li></ol>

<ol>
	<li>Lara, O. D., Labrador, M. A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+Survey+on+Human+Activity+Recognition+using+Wearable+Sensors.">A Survey on Human Activity Recognition using Wearable Sensors.</a> IEEE Communications Surveys Tutorials. 15 (3), 1192-1209 (2013).</li><li>Foerster, F., Smeja, M., Fahrenberg, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Detection+of+posture+and+motion+by+accelerometry:+a+validation+study+in+ambulatory+monitoring.">Detection of posture and motion by accelerometry: a validation study in ambulatory monitoring.</a> Computers in Human Behavior. 15 (5), 571-583 (1999).</li><li>Elsmore, T. F., Naitoh, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=.">.</a> Monitoring Activity With a Wrist-Worn Actigraph: Effects of Amplifier Passband and threshold Variations. , (1993).</li><li>Kripke, D. F., Webster, J. B., Mullaney, D. J., Messin, S., Mason, W. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=.">.</a> Measuring sleep by wrist actigraph. , (1981).</li><li>Lockhart, J. W., Pulickal, T., Weiss, G. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Applications+of+mobile+activity+recognition.">Applications of mobile activity recognition.</a> Proceedings of the 2012 ACM Conference on Ubiquitous Computing. , 1054-1058 (2012).</li><li>Incel, O. D., Kose, M., Ersoy, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+Review+and+Taxonomy+of+Activity+Recognition+on+Mobile+Phones.">A Review and Taxonomy of Activity Recognition on Mobile Phones.</a> BioNanoScience. 3 (2), 145-171 (2013).</li><li>Yang, C. C., Hsu, Y. L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+Review+of+Accelerometry-Based+Wearable+Motion+Detectors+for+Physical+Activity+Monitoring.">A Review of Accelerometry-Based Wearable Motion Detectors for Physical Activity Monitoring.</a> Sensors. 10 (8), 7772-7788 (2010).</li><li>He, Y., Li, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Physical+Activity+Recognition+Utilizing+the+Built-In+Kinematic+Sensors+of+a+Smartphone.">Physical Activity Recognition Utilizing the Built-In Kinematic Sensors of a Smartphone.</a> International Journal of Distributed Sensor Networks. 2013, (2013).</li><li>Vo, Q. V., Hoang, M. T., Choi, D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Personalization+in+Mobile+Activity+Recognition+System+using+K-medoids+Clustering+Algorithm.">Personalization in Mobile Activity Recognition System using K-medoids Clustering Algorithm.</a> International Journal of Distributed Sensor Networks. 2013, (2013).</li><li>Dernbach, S., Das, B., Krishnan, N. C., Thomas, B. L., Cook, D. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Simple+and+Complex+Activity+Recognition+through+Smart+Phones.">Simple and Complex Activity Recognition through Smart Phones.</a> , 214-221 (2012).</li><li>Hache, G., Lemaire, E. D., Baddour, N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Mobility+change-of-state+detection+using+a+smartphone-based+approach.">Mobility change-of-state detection using a smartphone-based approach.</a> IEEE International Workshop on Medical Measurements and Applications Proceedings (MeMeA). , 43-46 (2010).</li><li>Wu, H. H., Lemaire, E. D., Baddour, N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Change-of-state+determination+to+recognize+mobility+activities+using+a+BlackBerry+smartphone.">Change-of-state determination to recognize mobility activities using a BlackBerry smartphone.</a> , 5252-5255 (2011).</li><li>Wu, H., Lemaire, E. D., Baddour, N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Activity+Change-of-state+Identification+Using+a+Blackberry+Smartphone.">Activity Change-of-state Identification Using a Blackberry Smartphone.</a> Journal of Medical and Biological Engineering. 32 (4), 265-271 (2012).</li><li>Tundo, M. D., Lemaire, E., Baddour, N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Correcting+Smartphone+orientation+for+accelerometer-based+analysis.">Correcting Smartphone orientation for accelerometer-based analysis.</a> IEEE International Symposium on Medical Measurements and Applications Proceedings (MeMeA). , 58-62 (2013).</li><li>Tundo, M. D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=.">.</a> Development of a human activity recognition system using inertial measurement unit sensors on a smartphone. , (2014).</li></ol>

The authors declare that they have no competing financial interests.

착용 할 수있는 모바일 모니터링 시스템과 인간 활동의 인식으로 인해 착용 컴퓨팅 및 스마트 폰과 임상 의사 결정과 건강 개입의 평가에 도움이 정량 결과 측정에 대한 체계적인 요구 사항의 기술 발전에 최근 몇 년 동안 더 많은 관심을 받고있다. 이 문서에서 설명하는 방법은 활동 분류 오류가 일상 생활의 활동과 산책 시나리오의 넓은 범위를 평가에 포함되지 않은 경우 본 없었을 것이다 발?...

유비쿼터스 센싱으로 인해 더욱 강력하고, 소형, 저비용 컴퓨팅 및 장비 1 감지에 매력적인 연구 분야가되었다. 소비자 수준의 마이크로 고정밀 1 동작 특성을 검출 할 수 있기 때문에 착용 형 센서를 사용하여 이동성 모니터링은 많은 관심을 생성했다. 4 - 예비 연구 (2) 1990 년대 1980 년대에 수행과 함께 착용 할 수있는 센서를 이용하여 인간의 활동 인식 (HAR)는 연구의 최근의 영역입니다. 현대 스마트 폰은 이동 활성 인식에 필요한 센서 및 실시간 계산 능력을 포함하고있다. 디바이스에 대한 실시간 분석은 사용자 또는 연구자의 개입없이 활동 분류 및 데이터 업로드를 허용한다. 이동성 분석 소프트웨어와 스마트 폰은 감지, 집 또는 작업 자동화 및자가 관리 exercis 가을, 피트니스 추적, 상태 모니터링을 제공 할 수있다전자 프로그램 5. 스마트 폰은 내장 된 센서 출력 (6)으로 계산 수학 신호 생성 기능을 이용하여, 인간의 이동과 활동 이동 패턴을 검출하기위한 관성 측정 플랫폼이 고려 될 수있다. 일반적인 특성 생성 방법은 휴리스틱, 시간 영역, 주파수 영역, 및 웨이블릿 분석 기반 접근법 7을 포함한다. 지정된 활동 1,5,6,7를 검출 할 때 현대 스마트 폰 HAR 시스템은 높은 예측 정확도를 보여 주었다. 대부분의 연구가 자신의 트레이닝 세트, 환경 설정, 및 데이터 수집 프로토콜을 갖기 때문에 이러한 연구 평가 방법론뿐만 아니라 정확도가 다양. 민감도, 특이도, 정밀도, 소환, 정밀도 및 F 점수는 일반적으로 예측 품질을 기술하기 위해 사용된다. 그러나, 정보를 거의 실시간으로 활동의 변화를 감지 할 수있는 능력의 &quot;동시 활동&quot;인식과 평가 방법을 볼 수 있습니다1, 여러 활동을 분류하려고 시도 HAR 시스템. HAR 시스템의 정확성에 대한 평가 방법을 연구 사이에 실질적으로 다를 수 있습니다. 에 관계없이 분류 알고리즘 또는 적용 기능, 금 표준 평가 방법에 대한 설명은 대부분의 HAR 연구를위한 모호하다. 일상 생활 환경에서 활동 인식이 광범위하게 연구되지 ​​않았습니다. 대부분 폰 기반 활동 인식 시스템은 실제 환경에 알고리즘보다는 현실적인 것이 유리할 수있다 평가 프로토콜 선도, 제어 된 방식으로 평가된다. 자신의 평가 체계 내에서, 참가자들은 오히려 실제 이벤트를 모방, 연속적으로 수행하기 위해 참가자를위한 현실적인 활동의 넓은 범위를 적용하는 것보다 예측를 대상으로 만 작업을 수행 할 수 있습니다. 일부 스마트 폰 HAR은 계단과 도보로 함께 8,9 그룹 유사한 활동을, 연구하지만, 데이터 세트에서 다른 활동을 제외. 예측 정밀도는 다음 알고리즘이 목표 활동을 식별하는 방법도 결정한다. Dernbach 등. 9는 참가자들이 지속적인 변화의 상태 전이를 차단, 이동하기 전에 실행하려고했다 활동을 기록했다. 참가자가 일상 생활 속에서 자연의 작업을 수행하는 동안 HAR 시스템 평가는 알고리즘을 평가해야한다. 이 응용 프로그램의 일상적인 사용을 복제하는 실제 평가를 허용합니다. 현실적인 회로는 많은 사람들의 상태 변화-뿐만 아니라 시스템에 의해 예측 가능한되지 않은 조치의 혼합을 포함한다. 연구자는 이렇게 변칙적 인 움직임 알고리즘의 견고성을 평가, 이러한 추가 움직임에 알고리즘의 응답을 평가할 수 있습니다. 이 논문은 실제 일상 생활 환경을 반영하는 제어 과정을 사용하여 착용 할 수있는 모바일 모니터링 시스템 (WMMS) 평가 프로토콜을 제공합니다. WMMS평가는 제어하지만 현실 조건 하에서 이루어질 수있다. 이 프로토콜에서 우리는 오타와의 대학과 오타와 병원 연구소 11-15에서 개발 된 3 세대 WMMS를 사용합니다. WMMS은 3 축 가속도계 및 자이로 스코프와 스마트 폰을 위해 설계되었습니다. 이동성 알고리즘은 사용자를 차지하는 변동성 변경 -의 상태 확인을위한 위양성의 수의 감소를 제공하고, 활성 분류 감도를 증가시킨다. WMMS 더 WMMS 분류를 개선 상황에 맞는 활동 평가를 위해, 국가의 활동에 변화가 감지되는 짧은 동영상 촬영을 유발하기 때문에 오 탐지를 최소화하는 것이 중요합니다. 불필요한 영상 기록 저장 및 배터리 사용의 비 효율성을 만듭니다. WMMS 알고리즘 예지 레벨의 증가는 양의 증가를 의미하는 다른 예측 수치를 이용하여 낮은 연산 학습 모델로서 구성과 평가의 인식 행위.

<table><tbody><tr><td>Smartphone or wearable measurement device</td><td>Blackberry</td><td>Z10</td><td></td></tr><tr><td>Smartphone for video recording</td><td>Blackberry</td><td>Z10 or 9800</td><td></td></tr><tr><td>Phone holster</td><td>Any</td><td></td><td></td></tr><tr><td>Data logger application for the smartphone</td><td>BlackBerry World - TOHRC Data Logger for BlackBerry 10</td><td></td><td>&lt;a href=&quot;http://appworld.blackberry.com/webstore/content/32013891/?countrycode=CA&quot;&gt;http://appworld.blackberry.com/webstore/content/32013891/?countrycode=CA&lt;/a&gt;</td></tr><tr><td>Wearable mobility measurement</td><td>Custom Blackberry 10 and Matlab software for mobility monitoring</td><td></td><td>&lt;a href=&quot;http://www.irrd.ca/cag/smartphone/&quot;&gt;http://www.irrd.ca/cag/smartphone/&lt;/a&gt;</td></tr><tr><td>Video editing or analysis software</td><td>Motion Analysis Tools</td><td></td><td>&lt;a href=&quot;http://www.irrd.ca/cag/mat/&quot;&gt;http://www.irrd.ca/cag/mat/&lt;/a&gt;</td></tr></tbody></table>

evaluation of a smartphone-based human activity recognition system in a daily living environment

An evaluation method that includes continuous activities in a daily-living environment was developed for Wearable Mobility Monitoring Systems (WMMS) that attempt to recognize user activities. Participants performed a pre-determined set of daily living actions within a continuous test circuit that included mobility activities (walking, standing, sitting, lying, ascending/descending stairs), daily living tasks (combing hair, brushing teeth, preparing food, eating, washing dishes), and subtle environment changes (opening doors, using an elevator, walking on inclines, traversing staircase landings, walking outdoors). 
To evaluate WMMS performance on this circuit, fifteen able-bodied participants completed the tasks while wearing a smartphone at their right front pelvis. The WMMS application used smartphone accelerometer and gyroscope signals to classify activity states. A gold standard comparison data set was created by video-recording each trial and manually logging activity onset times. Gold standard and WMMS data were analyzed offline. Three classification sets were calculated for each circuit: (i) mobility or immobility, ii) sit, stand, lie, or walking, and (iii) sit, stand, lie, walking, climbing stairs, or small standing movement. Sensitivities, specificities, and F-Scores for activity categorization and changes-of-state were calculated.
The mobile versus immobile classification set had a sensitivity of 86.30% &#177; 7.2% and specificity of 98.96% &#177; 0.6%, while the second prediction set had a sensitivity of 88.35% &#177; 7.80% and specificity of 98.51% &#177; 0.62%. For the third classification set, sensitivity was 84.92% &#177; 6.38% and specificity was 98.17 &#177; 0.62. F1 scores for the first, second and third classification sets were 86.17 &#177; 6.3, 80.19 &#177; 6.36, and 78.42 &#177; 5.96, respectively. This demonstrates that WMMS performance depends on the evaluation protocol in addition to the algorithms. The demonstrated protocol can be used and tailored for evaluating human activity recognition systems in rehabilitation medicine where mobility monitoring may be beneficial in clinical decision-making.

연구 프로토콜은 높이가 CM (11.4 ±) 173.9이었다, 누구의 평균 체중 68.9이었다 (11.1 ±) 열 다섯 수 바디 참가자의 편의를 샘플 kg으로 실시하고, 나이는 오타와 병원에서 모집, 26 (± 9) 년이었다 오타와 직원과 학생들의 대학. 스마트 폰은 40-50 Hz에서 가변 속도 센서 데이터를 캡쳐. 샘플 속도의 변화는 스마트 폰 센서 샘플링을위한 전형적인. 스마트 폰은 1280 × 720 초 (720)의 해상도에 디지털 비디오를 ?...

Watch this Scientific Journal Video about Evaluation of a Smartphone-based Human Activity Recognition System in a Daily Living Environment at JoVE.com

Evaluation of a Smartphone-based Human Activity Recognition System in a Daily Living Environment

A standardized evaluation method was developed for Wearable Mobility Monitoring Systems (WMMS) that includes continuous activities in a realistic daily living environment. Testing with a series of daily living activities can decrease activity recognition sensitivity; therefore, realistic testing circuits are encouraged for valid evaluation of WMMS performance.

일상 생활 환경에서 스마트 폰 기반의 인간 활동 인식 시스템의 평가

An evaluation method that includes continuous activities in a daily-living environment was developed for Wearable Mobility Monitoring Systems (WMMS) that ...

evaluation-smartphone-based-human-activity-recognition-system-daily

Research

JoVE Journal

Behavior

8.8K 조회수.  University of Ottawa. A standardized evaluation method was developed for Wearable Mobility Monitoring Systems (WMMS) that includes continuous activities in a realistic daily living environment. Testing with a series of daily living activities can decrease activity recognition sensitivity; therefore, realistic testing circuits are encouraged for valid evaluation of WMMS performance.

비디오: Evaluation of a Smartphone-based Human Activity Recognition System in a Daily Living Environment

Methodology for Establishing a Community-Wide Life Laboratory for Capturing Unobtrusive and Continuous Remote Activity and Health Data

An end-to-end suite of technologies has been established for the unobtrusive and continuous monitoring of health and activity changes occurring in the daily life of older adults over extended periods of time. The technology is aggregated into a system that incorporates the principles of being minimally obtrusive, while generating secure, privacy protected, continuous objective data in real-world (home-based) settings for months to years. The system includes passive infrared presence sensors placed throughout the home, door contact sensors installed on exterior doors, connected physiological monitoring devices (such as scales), medication boxes, and wearable actigraphs. Driving sensors are also installed in participants' cars and computer (PC, tablet or smartphone) use is tracked. Data is annotated via frequent online self-report options that provide vital information with regard to the data that is difficult to infer via sensors such as internal states (e.g., pain, mood, loneliness), as well as data referent to activity pattern interpretation (e.g., visitors, rearranged furniture). Algorithms have been developed using the data obtained to identify functional domains key to health or disease activity monitoring, including mobility (e.g., room transitions, steps, gait speed), physiologic function (e.g., weight, body mass index, pulse), sleep behaviors (e.g., sleep time, trips to the bathroom at night), medication adherence (e.g., missed doses), social engagement (e.g., time spent out of home, time couples spend together), and cognitive function (e.g., time on computer, mouse movements, characteristics of online form completion, driving ability). Change detection of these functions provides a sensitive marker for the application in health surveillance of acute illnesses (e.g., viral epidemic) to the early detection of prodromal dementia syndromes. The system is particularly suitable for monitoring the efficacy of clinical interventions in natural history studies of geriatric syndromes and in clinical trials.

Unobtrusive sensors and pervasive computing technology incorporated into the daily home life of older adults enables meaningful health and activity changes to be recorded continuously for months to years, providing ecologically valid, high frequency, multi-domain data for research or clinical use.

눈에 거슬리지 하 고 지속적인 원격 활동 및 건강 데이터를 캡처에 대 한 사회 전반의 생활 연구소 설립을 위한 방법론

An end-to-end suite of technologies has been established for the unobtrusive and continuous monitoring of health and activity changes occurring in the ...

연구

행동분석학

Measuring the Kinematics of Daily Living Movements with Motion Capture Systems in Virtual Reality

The inability to complete instrumental activities of daily living (IADL) is a precursor to various neuropsychological diseases. Questionnaire-based assessments of IADL are easy to use but prone to subjective bias. Here, we describe a novel virtual reality (VR) test to assess two complex IADL tasks: handling financial transactions and using public transportation. While a participant performs the tasks in a VR setting, a motion capture system traces the position and orientation of the dominant hand and head in a three-dimensional Cartesian coordinate system. Kinematic raw data are collected and converted into &#39;kinematic performance measures,&#39; i.e., motion trajectory, moving distance, and time to completion. Motion trajectory is the path of a particular body part (e.g., dominant hand or head) in space. Moving distance refers to the total distance of the trajectory, and time to completion is how long it took to complete an IADL task. These kinematic measures could discriminate patients with cognitive impairment from healthy controls. The development of this kinematic measuring protocol allows detection of early IADL-related cognitive impairments.

We designed a virtual reality test to assess instrumental activities of daily living (IADL) with a motion capture system. We propose a detailed kinematic analysis to interpret the participant&#39;s various movements, including trajectory, moving distance, and time to completion to evaluate IADL capabilities.

가상 현실에서의 일상 생활 움직임 모션 캡처 시스템의 기구학을 측정

The inability to complete instrumental activities of daily living (IADL) is a precursor to various neuropsychological diseases. Questionnaire-based ...

An Application for Pairing with Wearable Devices to Monitor Personal Health Status

The current protocol aims to showcase the technology integration, providing a detailed description of adopting the HealthCloud app, developed by the Healthy Landscape and Healthy People Lab, National Taiwan University (HLHP-NTU), on smartphones and smartwatches to collect data on users' real-time psychological and physiological responses and environmental information. A flexible and integrated research method was proposed because it can be difficult to measure multi-dimensional aspects of personal data in on-site studies in landscape and outdoor recreation research. An on-site study conducted in 2020 at the National Taiwan University campus was used as an application example. A dataset of 385 participants was used after excluding invalid samples. During the experiment, participants were asked to walk around campus for 30 min when their heart rate and psychological-scale items were measured, together with several environmental metrics. This work aimed to provide a possible solution to help on-site studies track real-time human responses that match ambient factors. Due to the app's flexibility, its use on wearable devices shows excellent potential for multidisciplinary research studies.

The present protocol introduces a non-commercial self-developed application for collecting real-time on-site data, including psychological scales, GPS location, heart rate, and blood-oxygen saturation level, as well as the application's operating procedures. An empirical study conducted in Taiwan in 2020 was used as an application example.

개인 건강 상태를 모니터링하기 위해 웨어러블 장치와 페어링하는 응용 프로그램

The current protocol aims to showcase the technology integration, providing a detailed description of adopting the HealthCloud app, developed by the ...

환경과학

교실 참여 향상: 학생 주의 수준에 대한 AI 기반 분석

Artificial Intelligence-Based System for Detecting Attention Levels in Students

The attention level of students in a classroom can be improved through the use of Artificial Intelligence (AI) techniques. By automatically identifying the attention level, teachers can employ strategies to regain students' focus. This can be achieved through various sources of information.
One source is to analyze the emotions reflected on students' faces. AI can detect emotions, such as neutral, disgust, surprise, sadness, fear, happiness, and anger. Additionally, the direction of the students' gaze can also potentially indicate their level of attention. Another source is to observe the students' body posture. By using cameras and deep learning techniques, posture can be analyzed to determine the level of attention. For example, students who are slouching or resting their heads on their desks may have a lower level of attention. Smartwatches distributed to the students can provide biometric and other data, including heart rate and inertial measurements, which can also be used as indicators of attention. By combining these sources of information, an AI system can be trained to identify the level of attention in the classroom. However, integrating the different types of data poses a challenge that requires creating a labeled dataset. Expert input and existing studies are consulted for accurate labeling. In this paper, we propose the integration of such measurements and the creation of a dataset and a potential attention classifier. To provide feedback to the teacher, we explore various methods, such as smartwatches or direct computers. Once the teacher becomes aware of attention issues, they can adjust their teaching approach to re-engage and motivate the students. In summary, AI techniques can automatically identify the students' attention level by analyzing their emotions, gaze direction, body posture, and biometric data. This information can assist teachers in optimizing the teaching-learning process.

저자 스포트라이트: 교실 주의력 측정의 기술적 및 주관적 문제 해결

This paper proposes an artificial intelligence-based system to automatically detect whether students are paying attention to the class or are distracted. This system is designed to help teachers maintain students' attention, optimize their lessons, and dynamically introduce modifications in order for them to be more engaging.

학생의 주의력 수준을 감지하기 위한 인공 지능 기반 시스템

The attention level of students in a classroom can be improved through the use of Artificial Intelligence (AI) techniques. By automatically identifying ...

공학

Home-Based Monitor for Gait and Activity Analysis

Current outcomes in neuromuscular disorder clinical trials include motor function scales, timed tests, and strength measures performed by trained clinical evaluators. These measures are slightly subjective and are performed during a visit to a clinic or hospital and constitute therefore a point assessment. Point assessments can be influenced by daily patient condition or factors such as fatigue, motivation, and intercurrent illness. To enable home-based monitoring of gait and activity, a wearable magneto-inertial sensor (WMIS) has been developed. This device is a movement monitor composed of two very light watch-like sensors and a docking station. Each sensor contains a tri-axial accelerometer, gyroscope, magnetometer, and a barometer that record linear acceleration, angular velocity, the magnetic field of the movement in all directions, and barometric altitude, respectively. The sensors can be worn on the wrist, ankle, or wheelchair to record the subject&#8217;s movements during the day. The docking station enables data uploading and recharging of sensor batteries during the night. Data are analyzed using proprietary algorithms to compute parameters representative of the type and intensity of the performed movement. This WMIS can record a set of digital biomarkers, including cumulative variables, such as total number of meters walked, and descriptive gait variables, such as the percentage of the most rapid or longest stride that represents the top performance of patient over a predefined period of time.

This innovative device uses magneto-inertial sensors to permit gait and activity analysis in uncontrolled environments. Currently in the qualification process as an outcome measure in the European Medical Agency, one of the applications will be to serve as a clinical endpoint in clinical trials in neuromuscular diseases.

걸음걸이 및 활동 분석을 위한 홈 기반 모니터

Current outcomes in neuromuscular disorder clinical trials include motor function scales, timed tests, and strength measures performed by trained clinical ...

생체공학

Video Movement Analysis Using Smartphones (ViMAS): A Pilot Study

The use of smartphones in clinical practice is steadily increasing with the availability of low cost/freely available &#34;apps&#34; that could be used to assess human gait. The primary aim of this manuscript is to test the concurrent validity of kinematic measures recorded by a smartphone application in comparison to a 3D motion capture system in the sagittal plane. The secondary aim was to develop a protocol for clinicians on the set up of the smartphone camera for video movement analysis.
The sagittal plane knee angle was measured during heel strike and toe off events using the smart phone app and a 3D motion-capture system in 32 healthy subjects. Three trials were performed at near (2-m) and far (4-m) smartphone camera distances. The order of the distances was randomized. Regression analysis was performed to estimate the height of the camera based on either the subject&#39;s height or leg length.
Absolute measurement errors were least during toe off (3.12 &#177; 5.44 degrees) compared to heel strike (5.81 &#177; 5.26 degrees). There were significant (p &#60; 0.05) but moderate agreements between the application and 3D motion capture measures of knee angles. There were also no significant (p &#62; 0.05) differences between the absolute measurement errors between the two camera positions. The measurement errors averaged between 3 - 5 degrees during toe off and heel strike events of the gait cycle.
The use of smartphone apps can be a useful tool in the clinic for performing gait or human movement analysis. Further studies are needed to establish the accuracy in measuring movements of the upper extremity and trunk.

Video Movement Analysis Using Smartphones ViMAS: A Pilot Study

This manuscript describes the method to test the concurrent validity of kinematic measures recorded by the smartphone application in comparison to a 3D motion capture system in the sagittal plane. This protocol will enable clinicians to set up smartphones for video capture of human movement.

비디오 운동 분석을 사용하여 스마트 폰 (ViMAS) : 파일럿 연구

The use of smartphones in clinical practice is steadily increasing with the availability of low cost/freely available &#34;apps&#34; that could be used to ...

의학

Design and Analysis for Fall Detection System Simplification

This paper presents a methodology based on multimodal sensors to configure a simple, comfortable and fast fall detection and human activity recognition system that can be easily implemented and adopted. The methodology is based on the configuration of specific types of sensors, machine-learning methods and procedures. The protocol is divided into four phases: (1) database creation (2) data analysis (3) system simplification and (4) evaluation. Using this methodology, we created a multimodal database for fall detection and human activity recognition, namely UP-Fall Detection. It comprises data samples from 17 subjects that perform 5 types of falls and 6 different simple activities, during 3 trials. All information was gathered using 5 wearable sensors (tri-axis accelerometer, gyroscope and light intensity), 1 electroencephalograph helmet, 6 infrared sensors as ambient sensors, and 2 cameras in lateral and front viewpoints. The proposed novel methodology adds some important stages to perform a deep analysis of the following design issues in order to simplify a fall detection system: a) select which sensors or combination of sensors are to be used in a simple fall detection system, b) determine the best placement of the sources of information, and c) select the most suitable machine learning classification method for fall and human activity detection and recognition. Even though some multimodal approaches reported in literature only focus on one or two of the above-mentioned issues, our methodology allows simultaneously solving these three design problems related to a human fall and activity detection and recognition system.

We present a methodology based on multimodal sensors to configure a simple, comfortable and fast fall detection and human activity recognition system. The goal is to build a system for accurate fall detection that can be easily implemented and adopted.

낙하 감지 시스템 단순화를 위한 설계 및 해석

This paper presents a methodology based on multimodal sensors to configure a simple, comfortable and fast fall detection and human activity recognition ...

A Method for Quantifying Upper Limb Performance in Daily Life Using Accelerometers

A key reason for referral to rehabilitation services after stroke and other neurological conditions is to improve one's ability to function in daily life. It has become important to measure a person's activities in daily life, and not just measure their capacity for activity in the structured environment of a clinic or laboratory. A wearable sensor that is now enabling measurement of daily movement is the accelerometer. Accelerometers are commercially-available devices resembling large wrist watches that can be worn throughout the day. Data from accelerometers can quantify how the limbs are engaged to perform activities in peoples' homes and communities. This report describes a methodology to collect accelerometry data and turn it into clinically-relevant information. First, data are collected by having the participant wear two accelerometers (one on each wrist) for 24 h or longer. The accelerometry data are then downloaded and processed to produce four different variables that describe key aspects of upper limb activity in daily life: hours of use, use ratio, magnitude ratio, and the bilateral magnitude. Density plots can be constructed that visually represent the data from the 24 h wearing period. The variables and their resultant density plots are highly consistent in neurologically-intact, community-dwelling adults. This striking consistency makes them a useful tool for determining if upper limb daily performance is different from normal. This methodology is appropriate for research studies investigating upper limb dysfunction and interventions designed to improve upper limb performance in daily life in people with stroke and other patient populations. Because of its relative simplicity, it may not be long before it is also incorporated in clinical neurorehabilitation practice.

This protocol describes a method to quantify upper limb performance in daily life using wrist-worn accelerometers.

가속도계를 사용하여 일상 생활에서 상지 성능을 정량화하는 방법

A key reason for referral to rehabilitation services after stroke and other neurological conditions is to improve one's ability to function in daily life. ...

일상 생활 환경에서 스마트 폰 기반의 인간 활동 인식 시스템의 평가

요약

더 많은 비디오 탐색

이 비디오의 챕터

눈에 거슬리지 하 고 지속적인 원격 활동 및 건강 데이터를 캡처에 대 한 사회 전반의 생활 연구소 설립을 위한 방법론

가상 현실에서의 일상 생활 움직임 모션 캡처 시스템의 기구학을 측정

개인 건강 상태를 모니터링하기 위해 웨어러블 장치와 페어링하는 응용 프로그램

학생의 주의력 수준을 감지하기 위한 인공 지능 기반 시스템

학생의 주의력 수준을 감지하기 위한 인공 지능 기반 시스템

학생의 주의력 수준을 감지하기 위한 인공 지능 기반 시스템

걸음걸이 및 활동 분석을 위한 홈 기반 모니터

비디오 운동 분석을 사용하여 스마트 폰 (ViMAS) : 파일럿 연구

낙하 감지 시스템 단순화를 위한 설계 및 해석

가속도계를 사용하여 일상 생활에서 상지 성능을 정량화하는 방법