3D Object Detection

[paper review] BEVFusion 논문 리뷰

이번 논문리뷰는 BEVFusion이라는 논문으로 3D Detection에서 multi-modal 그 중에서도 camera-lidar에 관련된 논문입니다. ICRA 23에 publish되고 현재기준으로 multi model 3D detection쪽에서 opensource중에서는 최고성능을 자랑하고 multi task로 쓸 수 있는 유용한 multi-model 3D detector라서 살펴보게 되었습니다. Intro 기존의 camera-lidar 를 fusion하여 Detection하는 모델들은 많았습니다. 대표적인 방법으로는 calibration matrix는 알고있다는 가정하에 lidar points들을 camera domain에 projection하여 fusion하는 방법입니다. 이 방법은 간편하지만 ..

[paper review] ST3D: Self-training for Unsupervised Domain Adaptation on 3D Object Detection 논문리뷰

안녕하세요. 이번 포스팅은 3D object detection에서 Domain Adaptation에 관련된 논문을 리뷰해보겠습니다. 3D object detection 더 좁게 설정하면 pointcloud detection은 다양한 domain에서의 data가 많지 않기때문에 model을 generalization하기 어렵습니다. 아래의 논문리뷰에서도 언급한 내용입니다. [paper review]Density-Insensitive Unsupervised Domain Adaption on 3D Object Detection 논문 리뷰 (model generalization) 이번 포스팅은 3D object detection에서 DA(domain adaptation)에 관련된 DUDA논문의 리뷰입니다. 해당..

[paper review]Density-Insensitive Unsupervised Domain Adaption on 3D Object Detection 논문 리뷰 (model generalization)

이번 포스팅은 3D object detection에서 DA(domain adaptation)에 관련된 DUDA논문의 리뷰입니다. 해당 논문의 문제정의부터 보면 최근 3D Object Detection (좀 더 자세하게는 pointcloud model을 의미합니다) 의 발전으로 only lidar raw data만으로도 높은 성능의 model이 연구/개발되고 있습니다. 하지만 model의 generalization의 문제가 있습니다. 예컨대 kitti로 pre-train 된 모델을 nuscene 데이터셋으로 test해보면 성능이 매우 낮습니다. pre-train된 yolo로 꽤 많은 class를 detection할 수 있는 이미지와는 대비되는 부분입니다. 이유로는 여러가지를 들 수 있습니다. 애초에 do..

[paper review] PV-RCNN, PV-RCNN ++ 논문 리뷰

안녕하세요. 후니대디입니다. PV-RCNN, PV-RCNN++를 이번 포스팅에서 다루겠습니다. PV-RCNN PV-RCNN은 PointVoxel-RCNN은 줄임말로 3D voxel과 point-based을 모두 사용하는 프레임워크를 제시합니다. 대부분의 기존 3D detector는 voxel기반 point기반으로 분류될 수 있습니다. voxel(grid)은 보통 voxelization 혹은 BEV 맵으로 변환하고 3D-conv 혹은 2D-conv를 사용하여 feature를 추출합니다. 이 voxelization과정에서 미세한 정보손실이 발생합니다. point-based 방법은 point특성을 모두 살릴수 있지만 computing cost가 비쌉니다. 1. structure 우선 기본적인 backbone은..

[paper review]Center-based 3D Object Detection and Tracking 리뷰

안녕하세요. 이번에는 CenterPoint라는 논문 리뷰 진행하겠습니다. 시작에 앞서 우선 CenterNet(objects as points)이라는 2D base의 논문을 먼저 skim하겠습니다. CenterNet 위의 그림은 일반적인 SSD, Yolo 등의 anchor box의 예시입니다. 수 많은 anchor box를 proposal하고 GT와 IoU를 계산하여 학습을 진행합니다. 수 많은 anchor box를 사용하기에 training속도는 늦을 수 밖에 없습니다. 이에 CornerNet등에서는 keypoint estimation을 사용하여 단 하나의 anchor box를 사용하는 방법을 제안하였습니다. 위 그림을 보면 keypoints로 왼쪽 위, 오른쪽 아래 두 개의 모서리를 detect하여 b..

[paper review] PointPillars : Fast Encoders for Object Detection from Point Clouds 리뷰

안녕하세요. 이번에는 3D object detector중 Pointpillars를 간단하게 리뷰하겠습니다. CVPR '19에 퍼블리쉬 되었으며 Lidar만을 사용한 1-stage 3D object detector입니다. 기존에 VoxelNet에서는 3D conv를 사용하여 middle layer의 feature를 뽑기때문에 inference time이 느렸습니다. PointPillars에서는 2D conv를 사용하여 이를 해결하려 합니다. 2D conv를 적용하려면 3D point를 2D로 표현해야 하는데 해당 논문에서는 pillar feature를 이용하여 pseudo image를 만들어 3D point를 마치 image처럼 2D화 시킵니다. *voxelnet에 대한 설명은 아래의 포스팅 참고하게요 [..

[paper review] pointRCNN 리뷰

안녕하세요. 이번에는 Lidar 3D object detection의 대표, CVPR '19에 퍼블리쉬된 pointRCNN 논문리뷰를 진행하겠습니다. pointRCNN은 대표적인 2-stage detector입니다. 기존의 detector들은 point cloud의 irregularity를 해결하기 위해 BEV로 projection을 하거나 3D voxelization을 하였습니다.(quantization 문제발생) * 3D voxelization의 대표 디텍터로는 VoxelNet으로 아래 포스팅 참고하세요. [paper review] VoxelNet 리뷰 안녕하세요. 이번에는 3D object관련 논문 리뷰를 포스팅하겠습니다. VoxelNet은 '17년도에 apple에서 발표한 논문으로 lidar를 사..

[paper review] VoxelNet 리뷰

안녕하세요. 이번에는 3D object관련 논문 리뷰를 포스팅하겠습니다. VoxelNet은 '17년도에 apple에서 발표한 논문으로 lidar를 사용하여 voxel기반으로 detection을 수행하는 방법을 제시합니다. Lidar 3D object detection의 milestone이 된 논문으로 자세한 내용은 아래 설명할 예정입니다. Architecture 기존 Lidar 3D object detection방법들 대비 해당 논문의 novelty와 contribution에 대해 살펴보겠습니다. 기존의 방법들은 RPN을 활용하기 위해 hand-crafted feature를 어떻게 뽑아낼지에 집중하였지만 해당 논문에서는 feature extraction과 RPN을 single stage로 하여 end-t..