Human Pose estimation 관련 데이터 셋

☞    문서의 내용은 가장 하단 참고문헌 및 사이트를 참고하여 필자가 보기 쉽도록 정리한 내용입니다.

☞    틀린 내용 및 저작권 관련 문의가 있는 경우 문의하시면 수정 및 삭제 조치하겠습니다.


2D Pose Estimation Data set

2D Pose Estimation 논문에서는 주로 아래와 같은 데이터 셋이 사용된다. 이 중에서도 MPII 데이터 셋와 COCO데이터 셋으로 평가가 많이 이루어진다. AI Challenger 데이터 세트는 다른 데이터 셋를 평가 할 때 최종 모델의 성능을 향상시키는 데 사용된다.

 

Leeds Sports Pose (LSP) : Flickr(사진 공유 사이트)에서 단일 인물이며 스포츠 경기 중인 이미지를 수집하여 만든 데이터 셋으로 2,000장의 사진을 가지고 있다. 이미지는 인물의 길이가 약 150px이되도록 크기가 조정되었다. 각 이미지에는 14개의 관절 좌표가 있다.

 

MPII Human Pose : 약 4만 명의 인물이 포함된 2만5천 장의 이미지로 구성된 데이터 셋이다. 이미지는 유튜브 비디오에서 추출되었다. 각 이미지에는 관절 좌표 뿐만 아니라 신체 부분 폐색, 3D torso and head 방향, 410개의 활동 레이블링이 제공된다.

 

MS COCO : 약 15만 명의 인물이 포함된 6만장의 이미지로 구성된 데이터 셋이다.

 

AI Challenger : 약 70만 명의 인물이 포함된 30만장의 이미지로 구성된 데이터 셋이다. 

 

 

좌 - 각 데이터 셋에서 제공하는 관절 / 각 데이터 셋의 예시 이미지 


3D Pose Estimation Data set

3D Pose Estimation 연구에는 주로 아래와 같은 데이터 셋이 사용된다.

 

Human3.6M -  실험실 환경에서 모션 캡처 시스템을 장착한 11명의 실험자(남성 6명, 여성 5명)가 17가지의 시나리오(토론, 흡연, 사진 촬영, 전화 통화 등)를 연기하는 모습을 4대의 카메라로 촬영한 데이터 셋이다. 약 360만 장의 이미지를 가지고 있다. 3D Pose Estimation에서 가장 표준으로 사용된다.

 

 

HumanEva-I - 실험실 환경에서 모션 캡처 시스템을 장착한 4명의 실험자가 6가지의 일반적인 동작(걷기, 조깅, 몸짓 등)을 수행하는 모습을 7대의 카메라로 촬영한 데이터 셋이다. 약 4만 장의 이미지를 가지고 있다. Human3.6M이 표준으로 사용되기 전에,는 HumanEva가 주로 사용되었다.

 

 

MPI-INF-3DHP - 실험실 환경에서 마커리스 방식을 이용하여 11명의 실험자를 총 14대의 카메라로 촬영하여 만든 데이터 셋으로 약 130만 장의 이미지를 가지고 있다. 실험실 환경이 그린 스크린으로 이루어져 있어 배경, 의자, 상반신, 하반신의 데이터 확장이 가능하여 데이터에 다양성을 갖고있다. 

위 - 학습 데이터 / 아래 - 테스트 데이터

 

 

CMU Panoptic - 구형 실험실 환경에 480개의 VGA 카메라, 30개 이상의 HD 카메라, 10개의 RGB-D 센서를 설치하여 단일 또는 복수의 실험자를 5.5시간 동안 촬영하여  65개의 시퀀스와 150만개의 인물 자세를 데이터 셋으로 구성했다.

위 - 실험실 구성 / 아래 - 데이터 셋의 예

 


참고자료

 

コンピュータビジョンの最新論文調査 2D Human Pose Estimation 編 · DeNA Engineers' Blog

はじめに こんにちは、AIシステム部でコンピュータビジョンの研究開発をしている加藤です。我々のチームでは、常に最新のコンピュータビジョンに関する論文調査を行い、部内で共有・議

engineer.dena.com

 

コンピュータビジョンの最新論文調査 3D Human Pose Estimation 編 · DeNA Engineers' Blog

はじめに こんにちは、AIシステム部でコンピュータビジョンの研究開発をしている加藤です。我々のチームでは、常に最新のコンピュータビジョンに関する論文調査を行い、部内で共有・議

engineer.dena.com