JoVE Logo
저자
연락처

로그인

JoVE 비디오를 활용하시려면 도서관을 통한 기관 구독이 필요합니다. 전체 비디오를 보시려면 로그인하거나 무료 트라이얼을 시작하세요.

기사 소개

  • 요약
  • 초록
  • 서문
  • 프로토콜
  • 결과
  • 토론
  • 공개
  • 감사의 말
  • 자료
  • 참고문헌
  • 재인쇄 및 허가

요약

이 프로토콜의 목적은 미리 구축된 컨볼루션 신경망을 활용하여 동작 추적을 자동화하고 상세한 동작 분석을 수행하는 것입니다. 동작 추적은 모든 비디오 데이터 또는 이미지 시퀀스에 적용할 수 있으며 사용자 정의 개체를 추적하는 데 일반적으로 사용할 수 있습니다.

초록

행동을 이해하는 것은 그것을 구동하는 두뇌에 있는 신경 기계장치를 진정으로 이해하는 첫번째 단계입니다. 전통적인 행동 분석 방법은 종종 자연 행동에 내재된 풍부함을 포착하지 못합니다. 여기에서는 최근 방법론인 DeepBehavior의 시각화와 함께 자세한 단계별 지침을 제공합니다. DeepBehavior 도구 상자는 컨볼루션 신경망으로 구축된 딥 러닝 프레임워크를 사용하여 행동 비디오를 신속하게 처리하고 분석합니다. 이 프로토콜은 단일 개체 감지, 다중 개체 감지 및 3차원(3D) 인간 조인트 포즈 추적을 위한 세 가지 다른 프레임워크를 보여 줍니다. 이러한 프레임워크는 동작 비디오의 각 프레임에 대해 관심 있는 개체의 카르테시안 좌표를 반환합니다. DeepBehavior 도구 상자에서 수집된 데이터는 기존의 동작 분석 방법보다 훨씬 더 자세한 정보를 포함하고 동작 역학에 대한 자세한 통찰력을 제공합니다. DeepBehavior는 강력하고 자동화된 정확한 방식으로 동작 작업을 정량화합니다. 행동 식별 에 따라 행동 비디오에서 정보 및 시각화를 추출하기 위해 후처리 코드가 제공됩니다.

서문

행동에 대한 자세한 분석은 뇌와 행동 관계를 이해하는 열쇠입니다. 높은 시간적 분해능으로 뉴런 집단을 기록하고 조작하기 위한 방법론의 많은 흥미로운 발전이 있었지만, 행동 분석 방법은 동일한 속도로 개발되지 않았으며 간접 측정 및 환원접근법1에국한되어 있다. 최근에는 자동화된 상세한 행동 분석2,3,4,5를수행하기 위해 딥 러닝 기반 방법이 개발되었습니다. 이 프로토콜은 DeepBehavior 도구 상자에 대한 단계별 구현 가이드를 제공합니다.

기존의 행동 분석 방법에는 여러 평가자가 데이터를 수동으로 레이블을 지정하는 것이 포함되는 경우가 많으며, 이로 인해 실험자가동작을정의하는 방식이 6. 데이터를 수동으로 레이블을 지정하려면 수집된 데이터 양에 불균형적으로 증가하는 시간과 리소스가 필요합니다. 또한 수동으로 레이블이 지정된 데이터는 동작 결과를 범주형 측정으로 줄여 행동의 풍요로움을 포착하지 않으며 주관적입니다. 따라서, 현재의 전통적인 방법은 자연적인 행동에서 세부 사항을 캡처하는 데 제한될 수 있다.

DeepBehavior 도구 상자는 행동 분석을 위한 딥 러닝을 사용하여 정밀하고 상세하며 매우 시간적이며 자동화된 솔루션을 제공합니다. 딥 러닝은 오픈 소스 도구와 패키지를 통해 모든 사용자가 빠르게 액세스할 수 있게 되었습니다. 컨볼루션 신경망(CNN)은 개체 인식 및 추적 작업7,8에서매우 효과적인 것으로 입증되었습니다. 현대의 CNN과 고성능 그래픽 처리 장치(GPU)를 사용하여 대형 이미지 및 비디오 데이터 세트를 고정밀7,9,10,11로신속하게 처리할 수 있습니다. DeepBehavior에는 세 가지 컨볼루션 신경망 아키텍처, 텐서박스, YOLOv3 및 OpenPose2가있습니다.

첫 번째 프레임워크인 Tensorbox는 개체 검색12를위해 다양한 CNN 아키텍처를 통합하는 다목적 프레임워크입니다. TensorBox는 이미지당 하나의 개체 클래스만 검색하는 데 가장 적합합니다. 결과 출력은 관심 있는 개체의 경계상자(그림 1)와경계 상자의 카르테시안 좌표입니다.

두 번째 CNN 프레임 워크는 YOLOv3, "당신은 한 번만 봐"13을의미 합니다. YOLOv3는 별도로 추적해야 하는 여러 개체가 있는 경우 유용합니다. 이 네트워크의 출력에는 연관된 객체 라벨 클래스가 있는 경계 상자뿐만 아니라 비디오 프레임내의 객체의 경계 상자 카르테시안 좌표가 포함된다(그림2).

이전 두 프레임 워크는 동물 과목에서 표준 실험실 실험에서 수집 된 일반화 된 행동 데이터에 유리합니다. 마지막 CNN 프레임 워크는 인간 관절 포즈 추정에 사용되는 OpenPose14,15,16입니다. OpenPose는 이미지에서 인체, 손, 얼굴 및 발 키 포인트를 감지합니다. 프레임워크의 출력은 인체 피사체의 이미지뿐만 아니라 신체의 모든 25개의 키 포인트와 각 손의 21개의 키 포인트의 좌표로 표시되어있습니다(그림 3).

최근에 개발된 오픈 소스 DeepBehavior 도구 상자의 구현을 위한 이 상세한 단계별 가이드는 최첨단 컨볼루션 신경망을 사용하여 동물 행동(예: 발의 움직임) 또는 인간의 행동(예: 도달 작업)을 추적합니다. 동작을 추적하면 위치, 속도 및 가속도와 같은 동작에서 유용한 운동학을 파생시킬 수 있습니다. 이 프로토콜은 각 CNN 아키텍처의 설치를 설명하고, 학습 데이터 세트를 만드는 방법, 네트워크 교육 방법, 학습된 네트워크에서 새 비디오를 처리하는 방법, 새 비디오의 네트워크에서 데이터를 추출하는 방법 및 출력 데이터를 사후 처리하여 추가 분석에 유용하게 사용할 수 있습니다.

Access restricted. Please log in or start a trial to view this content.

프로토콜

1. GPU 및 파이썬 설정

  1. GPU 소프트웨어
    컴퓨터가 딥 러닝 응용 프로그램을 처음 설정할 때 GPU에 적합한 소프트웨어와 드라이버를 설치해야 하며, GPU의 각 웹 사이트에서 찾을 수 있습니다. (이 스터디에 사용된 재료의 표 참조).
  2. 파이썬 2.7 설치
    컴퓨터에서 명령줄 프롬프트를 엽니다.
    명령줄 : sudo apt-get 설치 파이썬 - 파이썬 - 파이썬 - 데브 파이썬 - 버추얼

2. 텐서박스

  1. 텐서박스 설정
    1. 텐서박스용 가상 환경 만들기
      명령줄: cd ~
      명령줄: 버추얼엔프 --시스템-사이트 패키지 ~/텐서플로우
      참고: '~/텐서플로우'는 환경의 이름이며 임의
    2. 환경 활성화
      명령줄: 소스 ~ /텐서 플로우 / 빈 / 활성화
  2. 텐서박스 설치
    GitHub를 사용하여 http://github.com/aarac/TensorBox 텐서박스를 복제하고 컴퓨터에 설치하고 추가 종속성을 설치합니다.
    명령줄: cd ~
    명령줄: git 클론 http://github.com/aarac/TensorBox
    명령줄: CD 텐서박스
    명령줄: 핍 설치 -r 요구 사항.txt
  3. 레이블 데이터
    1. 동작 이미지 폴더 만들기
      ffmpeg와 같은 오픈 소스 도구는 비디오를 개별 프레임으로 변환하는 데 유용합니다 교육용 동작 프레임의 광범위한 분포에서 최소 600개의 이미지에 레이블을 지정하는 것이 좋습니다. 이러한 이미지를 폴더에 넣습니다.
    2. 그래픽 사용자 인터페이스에 레이블 지정 시작
      명령줄: 파이썬 make_json.py&path to image folder> labels.json
      이미지에 레이블을 지정하려면 관심 대상(예: 발)의 왼쪽 상단 모서리를 먼저 클릭한 다음 관심 대상의 오른쪽 하단모서리를 클릭합니다(그림4). 경계 상자가 관심 있는 전체 개체를 캡처하는지 검사합니다. '취소'를 눌러 동일한 이미지에 레이블을 다시 지정하거나 'next'를 눌러 다음 프레임으로 이동합니다.
  4. 기차 텐서박스
    1. 학습 이미지를 네트워크 하이퍼매개 변수 파일에 연결
      텐서박스 폴더 내에서 텍스트 편집기에서 다음 폴더를 엽니다.
      /tensorBox/과대 광고/overfeat_rezoom.json. train_idl 라는 데이터에서 속성을 탐색 하 고 labels.json 파일 경로 ./data/세뇌/train_boxes.json에서 파일 경로를 대체 합니다. 변경 내용을 파일에 저장합니다.
    2. 교육 스크립트 시작
      명령줄 : CD ~ / 텐서 박스
      명령줄: 파이썬 train.py -과대 광고/ overfeat_rezoom.json --gpu 0 --logdir 출력
      그런 다음 네트워크에서 600,000회 반복에 대한 교육을 시작합니다. 출력 폴더에서 컨볼루션 신경망의 생성된 학습된 가중치가 생성됩니다.
  5. 새 이미지 예측
    이미지 레이블의 경우:
    명령줄 : CD ~ / 텐서 박스
    명령줄: 파이썬 label_images.py --폴더&path-이미지 폴더> --가중치 출력/overfeat_rezoom_&t;타임스탬프>/save.ckpt-600000 --과대 광고/과대 광고/overfeat_rezoom.json--gpu 0
    경계 상자의 좌표를 얻으려면 다음을 수행합니다.
    명령줄 : CD ~ / 텐서 박스
    명령줄: 파이썬 predict_images_to_json.py--폴더 & 이미지 폴더에 대한 경로> --가중치
    출력/overfeat_rezoom_&타임스탬프>/save.ckpt-600000 --과대 광고
    /hypes/overfeat_rezoom.json --gpu 0
  6. 텐서박스용 MATLAB 후처리
    모델에서 결과 JSON 좌표 파일을 사용하여 좌표의 운동학 및 시각화를 추출하기 위한 추가 MATLAB 코드가 제공되었습니다.
    단일 식품 펠릿 도달 작업의 3D 운동 분석을 위해 "Process_files_3Dreaching_mouse.m" 스크립트를 실행합니다.

3. 욜로프3

  1. YOLOv3 설치
    명령줄: cd ~
    커맨드 라인: git 클론 CD 다크넷
    GPU 사용의 경우 'Makefile'을 열고 다음 줄을 변경합니다. CUDNN=1.
    명령줄:
  2. Yolo_mark 사용하여 교육 데이터에 레이블 지정
    명령줄: cd ~
    명령줄 : git 복제 CD ~ / Yolo_Mark
    명령줄: cmake .
    명령줄:
    학습 이미지를 ~/Yolo_mark/데이터/obj 폴더에 배치합니다.
    명령줄: chmod +x./linux_mark.sh
    명령줄: ./linux_mark.sh
    그래픽 사용자 인터페이스에서 이미지에 하나씩 레이블을 지정합니다(그림5). 권장 되는 이미지의 양은 약 200입니다.
  3. 훈련 욜로프3
    1. 설정 구성 파일
      명령줄: cd ~/Yolo_mark
      명령줄: scp -r ./데이터 ~/다크넷
      명령줄: cd ~/다크넷/cfg
      명령줄: cp yolov3.cfg yolo-obj.cfg
    2. 구성 파일 수정
      yolo-obj.cfg 폴더를 열고 다음 줄을 수정합니다: batch=64, 세분화=8, 클래스=(감지할 클래스의#) 및 yolo 레이어가 필터=(클래스+5)x3를 변경하기 전에 각 컨볼루션 레이어에 대해. 이러한 변경 사항에 대한 자세한 내용은 https://github.com/aarac/darknet/blob/master/README.md
    3. 네트워크 가중치 다운로드
      https://www.dropbox.com/s/613n2hwm5ztbtuf/darknet53.conv.74?dl=0 네트워크 가중치 다운로드
      다운로드한 가중치 파일을 ~/다크넷/빌드/다크넷/x64에 넣습니다.
    4. 교육 알고리즘 실행
      명령줄: cd ~/다크넷
      명령줄: ./darknet 검출기 train data/obj.data cfg/yolo-obj.cfg darknet53.conv.74
    5. YOLOv3 평가
      설정된 반복 횟수(반복번호)에따라 교육이 완료되면 다음을 통해 볼 수 있습니다.
      명령줄: ./darknet 검출기 테스트 데이터/obj.data cfg/yolo-obj.cfg 백업/yolo-obj_ITERATIONNUMBER.weights &IMAGE>.jpg
  4. 새 동영상 예측 및 좌표 받기
    이 명령을 실행하여 새 비디오에서 레이블의 좌표를 가져올 수 있습니다.
    명령줄: ./darknet 검출기 데모 데이터/obj.data cfg/yolo-obj.cfg 백업/yolo-obj_ITERATIONNUMBER.weights VIDEO.avi-ext_output&VIDEO.avi> FILENAME.txt
  5. YOLOv3 매트랩의 후처리
    FILENAME.txt 파일을 MATLAB에 가져가서 두 마우스 소셜 상호 작용 테스트에 대한 "Process_socialtest_mini.m" 스크립트를 실행합니다. 그림 2의 결과 보기

4. 열린 포즈

OpenPose는 인간 피사체의 여러 신체 부위를 추적하는 데 이상적입니다. 설치 및 설치 프로세스는 이전 두 프레임워크와 매우 유사합니다. 그러나 네트워크가 이미 인적 데이터에 대해 학습되어 있기 때문에 교육 단계는 없습니다.

  1. 오픈포즈 설치
    https://github.com/aarac/openpose 이동하여 설치 지침을 따릅니다.
  2. 프로세스 비디오
    ./build/example/openpose/openpose/openpose.bin--videoVIDEONAME.avi--net_resolution "1312x736" --scale_number 4 --scale_gap 0.25 --hand_scale_number-6--hand_scale_range 0.4 --write_json JSONFOLDERNAME --write_video 결과비디오NAME.avi
    여기서 --net_resolution,--scale_number, -scale_gap, -hand_scale_number 및 --hand_scale_range 핸들은 고정밀 검출이 필요하지 않은 경우 생략할 수 있습니다(이로 인해 처리 시간이 단축됩니다).
  3. 오픈포즈 후처리
    MATLAB 폴더에서 'process_files_human3D.m' 스크립트를 사용하여 카메라 1및 2의 json 파일과 교정 파일을 포함하는 적절한 폴더를 추가한 후 코드를 실행하십시오. 이렇게 하면 조인트의 모든 3D 포즈가 있는 "셀" 파일이 생성됩니다. 또한 3D 골격보기의 영화를 만들 것입니다. 카메라 교정의 경우 이 링크의 지침을 따르십시오http://www.vision.caltech.edu/bouguetj/calib_doc/

Access restricted. Please log in or start a trial to view this content.

결과

프로토콜을 따르는 경우 각 네트워크 아키텍처에 대한 데이터는 다음과 유사해야 합니다. TensorBox의 경우 관심 있는 개체 주위에 경계 상자를 출력합니다. 이 예에서는 음식 펠릿이 작업에 도달하는 비디오를 사용하고 올바른 발에 레이블을 지정하여 움직임을 추적했습니다. 그림 1에서볼 수 있듯이 오른쪽 발은 전면 뷰 와 측면 뷰 카메라 모두에서 ?...

Access restricted. Please log in or start a trial to view this content.

토론

여기서는 최근 개발된 동물 및 인간 행동 영상 데이터 분석용 딥러닝 기반 툴박스인 DeepBehavior의 구현을 위한 단계별 가이드를 제공합니다2. 각 네트워크 아키텍처에 대한 프레임워크 설치에 대한 각 단계에 대한 자세한 설명을 제공하고 이러한 프레임워크를 실행할 수 있도록 오픈 소스 요구 사항을 설치하기 위한 링크를 제공합니다. 이를 설치하는 방법, 교육 데이터를 만드는 ...

Access restricted. Please log in or start a trial to view this content.

공개

저자는 공개 할 것이 없다.

감사의 말

우리는 원래 종이2에사용되는 두 마우스 사회적 상호 작용 테스트에 대한 원시 데이터를 제공 핑핑 자오와 페이만 골샤니 에게 감사드립니다 . 이 연구는 NIH NS109315 및 엔비디아 GPU 보조금 (AA)에 의해 지원 되었다.

Access restricted. Please log in or start a trial to view this content.

자료

NameCompanyCatalog NumberComments
CUDA v8.0.61NVIDIAn/aGPU Software
MATLAB R2016bMathworksn/aMatlab
Python 2.7Pythonn/aPython Version
Quadro P6000NVIDIAn/aGPU Processor
Ubuntu v16.04Ubuntun/aOperating System

참고문헌

  1. Krakauer, J. W., Ghazanfar, A. A., Gomez-Marin, A., MacIver, M. A., Poeppel, D. Neuroscience Needs Behavior: Correcting a Reductionist Bias. Neuron. 93 (3), 480-490 (2017).
  2. Arac, A., Zhao, P., Dobkin, B. H., Carmichael, S. T., Golshani, P. DeepBehavior: A Deep Learning Toolbox for Automated Analysis of Animal and Human Behavior Imaging Data. Front Syst Neurosci. 13, 20(2019).
  3. Pereira, T. D., Aldarondo, D. E., Willmore, L., Kislin, M., Wang, S. S., Murthy, M., et al. Fast animal pose estimation using deep neural networks. Nat Methods. 16 (1), 117-125 (2019).
  4. Mathis, A., Mamidanna, P., Cury, K. M., Abe, T., Murthy, V. N., Mathis, M. W., et al. DeepLabCut: markerless pose estimation of user-defined body parts with deep learning. Nat Neurosci. 21 (9), 1281-1289 (2018).
  5. Stern, U., He, R., Yang, C. H. Analyzing animal behavior via classifying each video frame using convolutional neural networks. Sci Rep. 5, 14351(2015).
  6. Tinbergen, N. On aims and methods of ethology. Zeitschrift für Tierpsychologie. 20, 410-433 (1963).
  7. LeCun, Y., Bengio, Y., Hinton, G. Deep Learning. Nature. 521 (7553), 436-444 (2015).
  8. Zhao, Z., Zheng, P., Xu, S., Wu, X. Object Detection With Deep Learning: A Review. IEEE Transactions on Neural Networks and Learning Systems. , 1-21 (2019).
  9. He, K., Zhang, X., Ren, S., Deep Sun, J. Residual Learning for Image Recognition. arXiv. , eprint (2015).
  10. Krizhevsky, A., Sutskever, I., Hinton, G. E. ImageNet classification with deep convolutional neural networks. Proceedings of the 25th International Conference on Neural Information Processing Systems. 1, Curran Associates Inc. Lake Tahoe, Nevada. 1097-1105 (2012).
  11. Szegedy, C., Wei, L., Yangqing, J., Sermanet, P., Reed, S., Anguelov, D., et al. Going deeper with convolutions. 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). , 7-12 (2015).
  12. Stewart, R., Andriluka, M., Ng, A. Y. End-to-End People Detection in Crowded Scenes. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). , 27-30 (2016).
  13. Redmon, J., Farhadi, A. YOLOv3: An Incremental Improvement. arXiv. , eprint (2018).
  14. Cao, Z., Simon, T., Wei, S. E., Sheikh, Y. Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields. arXiv. , (2017).
  15. Simon, T., Joo, H., Matthews, I., Sheikh, Y. Hand Keypoint Detection in Single Images using Multiview Bootstrapping. arXiv. , eprint (2017).
  16. Wei, S. E., Ramakrishna, V., Kanade, T., Sheikh, Y. Convolutional Pose Machines. arXiv. , eprint (2016).

Access restricted. Please log in or start a trial to view this content.

재인쇄 및 허가

JoVE'article의 텍스트 или 그림을 다시 사용하시려면 허가 살펴보기

허가 살펴보기

더 많은 기사 탐색

1563D

This article has been published

Video Coming Soon

JoVE Logo

개인 정보 보호

이용 약관

정책

연락처

사서에게 추천하기

JoVE 뉴스레터

연구

교육

저자

사서

JoVE 소개

Copyright © 2025 MyJoVE Corporation. 판권 소유