이번 포스팅은 Multi-Object Tracking with Uniform Camera Motion Compensation 이라는 MOT논문을 포스팅하겠습니다.
UCMCTrack은 카메라 움직임이 큰 환경에서도 robust하게 MOT하기위한 새로운 motion tracking method를 제안합니다. 기존의 CMC는 프레임마다 카메라 보정을 계산해야했는데 UCMCTrack은 영상 시퀀스 전체에 동일한 compensation parameter를 적용합니다.
Method
위의 그림은 overview입니다. 입력영상에서 bbox를 graound plane으로 매핑합니다. 2D image상의 x,y를 ground상의 u,v로 변환하기 위해 Homography Transfomation행렬 H를 사용합니다.
카메라의 각도 혹은 extrinsic, intrinsic이 주어졌을때 bbox의 좌표를 지면 좌표로 변환하기 위해 Homography Matrix를 사용합니다.
Correlated Measure부분에서는 track, measure사이의 연관성을 정확히 반영하기 위해 measurement(bbox)를 확률 분포 형태로 모델링합니다.
MMD(mapped Mahalanobis Distance) kalmanfilter로 association하기 위한 방법으로 Mahalanobis Distance를 적용하는데 이를 ground기준으로 재정의하여 적용합니다.
CV model부분은 대부분의 tracking모델처럼 constant velocity motion model과 kalman filter를 적용합니다. process noise compensation단계에서는 ground로 매핑하는 과정에서의 오차나 constant velocity에 대한 오차를 보상합니다.
최종 매칭은 Hungarian Algorithm을 사용하여 최적의 매칭을 구합니다.
결국 핵심아이디어는 ground plane상에서 kalman filter를 적용해서 plane위의서의 motion motion이라는 강력한 prior를 적용해 robust한 모델을 만들었다가 되겠습니다.
사실 대부분 데이터셋의 camera parmaeter를 모를텐데 찾아보니 "For MOT17, MOT20, and DanceTrack datasets, we manually estimated the camera parameters since they are not publicly accessible." 이렇게 명시되어있군요...
