유행하는 숏폼 챌린지, 나도 한 번 따라해보고 싶었다면?
내 댄스 실력을 다른 사람과 겨루며 성장하고 싶었다면?
원하는 안무 영상의 유튜브 링크와 핸드폰 하나만으로 춤을 연습할 수 있는
편리한 앱 서비스, 에이단ㅡ스를 만나보세요!
- 원하는 영상을 포즈 추정 딥러닝 모델을 통해 어떤 움직임을 가지는지 추정합니다.
- 원하는 영상에 대한 움직임을 스켈레톤 형태의 가이드로 제공받고, 이를 통해 연습 영상을 촬영할 수 있습니다.
- 촬영한 연습 영상에 대해 원본 영상과의 유사도 측정을 통해 정확도 점수를 제공합니다.
- 시간별 당신의 정확도 점수를 제공하므로, 부족한 부분을 쉽게 확인할 수 있습니다.
- 특히 보완이 필요한 부분이 있다면 해당 부분에 대한 개선점을 제공합니다.
- 서비스 내 사용자들과 경쟁을 위한 순위 리더보드가 제공되어, 더욱 더 즐겁게 안무 연습을 진행할 수 있습니다.
- 키포인트 벡터에 대해 거리 기반의 메트릭인 PCK를 사용하여 유사도 측정을 진행하였습니다.
- PCK란, Percentage of Correct Keypoints의 준말로, Human Pose Estimation에서 모델의 성능지표로 많이 사용되는 효과적인 메트릭이며, 모델의 예측값과 GT에 대한 정확도를 측정하여 포즈 추정 모델의 성능을 측정합니다.
- 저희 프로젝트에서는 사용자의 영상에서 예측된 키포인트와 원본 영상에서 추출된 키포인트가 지정된 임계값 이내에 있는지를 측정하여 프레임별 정확도 점수를 구현하였습니다.
- 시연 영상 : https://youtu.be/PP-_aJwnB5w
- Backend 레포 : https://github.com/BanApp/A.Dance-Backend
- Frontend 레포 : https://github.com/BanApp/A.Dance_Front
@@@ | 신민준 | 김다희 | 방지수 | 최재혁 |
---|---|---|---|---|