A simple yet effective baseline for 3d human pose estimation 논문 정리

A simple yet effective baseline for 3d human pose estimation 논문 정리

Introduction 사람이 존재하는 공간은 3차원으로 이루어져 있다. 그래서 2차원 이미지로 포즈를 추정하여 가상환경에 표출하거나 새로운 데이터로 변환하는데 한계가 존재한다. 이에 3차원 human pose estimation 알고리즘이 제안되었지만, 2차원 이미지 전체를 입력하여 3차원 포즈 좌표를 추정하는 것은 쉽지 않았다. A simple yet effective baseline for 3d human pose estimationd의 저자는 이미지를 입력하여 3차원 포즈를 추정하는 것이 아닌 2차원 포즈 좌표를 입력하여 3차원 포즈를 추정하는 방법을 제안하였다. 기존의 뛰어난 2D 포즈 추정 알고리즘 결과를 바탕으로 3차원으로 변환하는 것을 학습시킴으로써 성능을 향상시키고, 3D Pose est..

  • format_list_bulleted Machine learning/Pose Estimation
  • · 2023. 4. 8.
  • textsms
Cascaded Pyramid Network for Multi-Person Pose Estimation

Cascaded Pyramid Network for Multi-Person Pose Estimation

☞ 문서의 내용은 가장 하단 참고문헌 및 사이트를 참고하여 필자가 보기 쉽도록 정리한 내용입니다. ☞ 틀린 내용 및 저작권 관련 문의가 있는 경우 문의하시면 수정 및 삭제 조치하겠습니다. Huma Pose Estimaion에서 사물 혹은 인물에 가려진 Key point, 보이지 않는 key point, 배경이 복잡하여 key point를 정확하게 검출할 수 없는 경우가 존재한다. 때문에 이 논문에서는 이러한 한계를 극복하기 위해 hard key points를 잘 검출하기 위한 CPN을 제안한다. 이 네트워크는 GlobalNet과 RefineNet 두 가지로 만들어졌다. GlobalNet은 feature pyramid network 기반으로 global한 특징을 잡아서 localize하는 네트워크이다. R..

  • format_list_bulleted Machine learning/Pose Estimation
  • · 2021. 7. 6.
  • textsms
Stacked Hourglass Networks for Human Pose Estimation

Stacked Hourglass Networks for Human Pose Estimation

☞ 문서의 내용은 가장 하단 참고문헌 및 사이트를 참고하여 필자가 보기 쉽도록 정리한 내용입니다. ☞ 틀린 내용 및 저작권 관련 문의가 있는 경우 문의하시면 수정 및 삭제 조치하겠습니다. 본 논문에서는 이미지의 모든 scale에 대한 정보를 downsapmling과 upsampling과정을 이용하여 pixel-wise output을 생성하는 것을 목표로 한다. 또한 single hourglass를 확장하여 여러 hourglass module을 연속하여 결합한 stacked Hourglass Networks 구조를 소개한다. 이 구조는 여러 scale들에 대해 반복적인 bottom-up, top-down inference를 가능하게 한다. 이에 표준 pose estimation benchmarks에서 확연..

  • format_list_bulleted Machine learning/Pose Estimation
  • · 2021. 6. 22.
  • textsms

ITOP Dataset 사용법

☞ 문서의 내용은 가장 하단 참고문헌 및 사이트를 참고하여 필자가 보기 쉽도록 정리한 내용입니다. ☞ 틀린 내용 및 저작권 관련 문의가 있는 경우 문의하시면 수정 및 삭제 조치하겠습니다. ITOP Dataset(Invariant Top View)는 사람의 측면과 상단 View에서 촬영한 100,000개의 Depth image를 가지고 있는Dataset이다. 각 Depth image에 대해 15개의 Human body parts를 가지고 있으며 센서 위치를 기준으로 3차원(x , y, z)좌표로 레이블되어 있다. 뿐만 아니라 Segmentation, point Clouds 등과 같은 정보도 제공한다. ITOP Dataset 다운로드와 사용법 ITOP Dataset은 다음 링크를 통해 다운로드 받을 수 있다..

  • format_list_bulleted Machine learning/Pose Estimation
  • · 2021. 3. 10.
  • textsms
V2V-PoseNet : Voxel-to-Voxel Prediction Network for Accurate 3D Hand and Human Pose Estimation from a Single Depth Map

V2V-PoseNet : Voxel-to-Voxel Prediction Network for Accurate 3D Hand and Human Pose Estimation from a Single Depth Map

☞ 문서의 내용은 가장 하단 참고문헌 및 사이트를 참고하여 필자가 보기 쉽도록 정리한 내용입니다. ☞ 틀린 내용 및 저작권 관련 문의가 있는 경우 문의하시면 수정 및 삭제 조치하겠습니다. 요약 기존 딥러닝 방법의 대부분은 2차원 Depth map에서 손 또는 인체 관절과 같은 Key point의 3차원 좌표를 2차원 컨볼루션 신경망을 통해 직접 회귀하는 프레임 워크를 기반으로 한다. 이 접근 방식은 두 가지 약점을 가지고 있다. 첫 번째는 2D Depth map에 원근 왜곡이 있다는 것이다. Depth map은 본질적으로 3차원 데이터이지만 3차원에서 2차원 공간으로의 투영된 2차원 이미지이다. 이는 Perspective Distortion문제를 일으킬 수 있다. 두 번째는 2차원 이미지에서 3차원 좌표..

  • format_list_bulleted Machine learning/Pose Estimation
  • · 2021. 2. 18.
  • textsms
Convolutional Pose Machines (CPM)

Convolutional Pose Machines (CPM)

☞ 문서의 내용은 가장 하단 참고문헌 및 사이트를 참고하여 필자가 보기 쉽도록 정리한 내용입니다. ☞ 틀린 내용 및 저작권 관련 문의가 있는 경우 문의하시면 수정 및 삭제 조치하겠습니다. 요약 CPM은 선행 연구 구조(pose machine)에 CNN(convolutional neural networks)을 추가하여 Pose estimation한다. CPM은 지역적인 정보(receptive field)를 local한 영역에서 global한 영역으로 확대하여 다른 부위와의 관계를 고려한 모델이다. 각 신체 부위에 대한 2차원 confidence map(belief map = heat map)을 반복적으로 생성하고 다음 입력값으로 넘겨 보다 개선된 탐지가 가능하다. 또한 Gradient vanishing 문..

  • format_list_bulleted Machine learning/Pose Estimation
  • · 2021. 1. 5.
  • textsms
Pose Machines: Articulated Pose Estimation via Inference Machines

Pose Machines: Articulated Pose Estimation via Inference Machines

☞ 문서의 내용은 가장 하단 참고문헌 및 사이트를 참고하여 필자가 보기 쉽도록 정리한 내용입니다. ☞ 틀린 내용 및 저작권 관련 문의가 있는 경우 문의하시면 수정 및 삭제 조치하겠습니다. 용어 정리 Part 추정하고자 하는 사람의 관절 (head, neck , ankle 등) Confidence map part가 해당하는 위치에 있을 확률을 heatmap으로 표현했다. 붉은색일 수록 해당 위치에 part가 있을 확률이 높다고 예측하는 것이다. 입력 이미지 크기와 동일 크기의 map으로 각 Part마다 1장씩 할당된다. Image patch 전체 이미지 중 특정 location z 픽셀 주위의 일정 영역(local image) Level( l : 1~ l) image patch 크기를 나타내는 인덱스 $x..

  • format_list_bulleted Machine learning/Pose Estimation
  • · 2020. 12. 30.
  • textsms
DeepPose: Human Pose Estimation via Deep Neural Networks

DeepPose: Human Pose Estimation via Deep Neural Networks

☞ 문서의 내용은 가장 하단 참고문헌 및 사이트를 참고하여 필자가 보기 쉽도록 정리한 내용입니다. ☞ 틀린 내용 및 저작권 관련 문의가 있는 경우 문의하시면 수정 및 삭제 조치하겠습니다. DeepPose는 논문 제목에서도 알 수 있듯이 DNN 기반의 Human Pose Estimation 방법을 제안한다. Pose Estimation 분야에 최초로 DNN을 적용하여 SOTA를 달성했다. 논문은 Cascade방식의 딥러닝 회귀문제로 높은 정확도를 얻었다. 딥러닝을 classification(분류)에만 사용하였는데, Regression(회귀)문제에도 훌륭하게 적용할 수 있다는 것을 보여준 논문이다. Pose Estimation 분야에서 CNN이 적합한 이유는 다음과 같다. 첫 번째로 관절 위치 예측시에 이미..

  • format_list_bulleted Machine learning/Pose Estimation
  • · 2020. 12. 25.
  • textsms
Human Pose estimation 관련 데이터 셋

Human Pose estimation 관련 데이터 셋

☞ 문서의 내용은 가장 하단 참고문헌 및 사이트를 참고하여 필자가 보기 쉽도록 정리한 내용입니다. ☞ 틀린 내용 및 저작권 관련 문의가 있는 경우 문의하시면 수정 및 삭제 조치하겠습니다. 2D Pose Estimation Data set 2D Pose Estimation 논문에서는 주로 아래와 같은 데이터 셋이 사용된다. 이 중에서도 MPII 데이터 셋와 COCO데이터 셋으로 평가가 많이 이루어진다. AI Challenger 데이터 세트는 다른 데이터 셋를 평가 할 때 최종 모델의 성능을 향상시키는 데 사용된다. Leeds Sports Pose (LSP) : Flickr(사진 공유 사이트)에서 단일 인물이며 스포츠 경기 중인 이미지를 수집하여 만든 데이터 셋으로 2,000장의 사진을 가지고 있다. 이미지..

  • format_list_bulleted Machine learning/Pose Estimation
  • · 2020. 12. 2.
  • textsms
Human Pose Estimation 기초 이론 정리 및 설명

Human Pose Estimation 기초 이론 정리 및 설명

☞ 문서의 내용은 가장 하단 참고문헌 및 사이트를 참고하여 필자가 보기 쉽도록 정리한 내용입니다. ☞ 틀린 내용 및 저작권 관련 문의가 있는 경우 문의하시면 수정 및 삭제 조치하겠습니다. Basics Pose Estimation은 이미지나 비디오에서 사람의 관절(key point -Head, Neck, Sholder, Elbow, Wrist, Hip Knee, Ankle 등)이 어떻게 구성되어 있는지 위치를 측정(Localization)하고 추정하는 문제이다. Pose Estimation은 2D Pose Estimation, 3D Pose Estimation으로 나눌 수 있다. 2D Pose Estimation은 RGB 이미지에서 픽셀 공간의 각 관절에 대한 2D Pose(x, y)좌표를 추정한다. 3D..

  • format_list_bulleted Machine learning/Pose Estimation
  • · 2020. 10. 30.
  • textsms