논문리뷰31 [paper review] LLaVa-3D : A Simple yet Effective Pathway to EmpoweringLMMs with 3D Capabilities 논문리뷰 이번 포스팅할 논문은 LLaVa-3D입니다. 최근에 LLM이 발전하면서 2D understanding task 또한 엄청난 속도도 성능이 발전하고 있습니다. 하지만 3D 쪽의 LLM task들은 large-scale 3D vision-language dataset의 부족과 새로운 3D encoder 스탠다드의 부재로 성능이 많이 부족합니다. 기존의 방법들은 대게 2D가 large scale vision-language dataset을 이용해서 학습하는 것도 유사하게 3D에서는 pointcloud로 부터 encoding된 3D feature를 language과 연결하는 식으로 접근하였는데 여기서 데이터 부족문제가 발목을 잡고있고 CLIP, ViT와 같은 강력한 Pretrained model이 없는 것 또한.. 2025. 4. 20. [paper review] BEV-SUSHI: Multi-Target Multi-Camera 3D Detection and Tracking in Bird’s-Eye View 논문리뷰 포스팅할 논문의 이름은 BEV-SUSHI입니다.BEV-SUSHI는 multi-camera 3D detection and Tracker논문으로 기존의 late association방법과는 다르게 GNN-based tracker를 사용하는데 base가 되는 GNN base의 tracker는 SUSHI로 아래 포스팅 참고하세요. [paper review] Unifying Short and Long-Term Tracking with Graph Hierarchies 논문 리뷰안녕하세요. 이번 포스팅은 Unifying Short and Long-Term Tracking with Graph Hierarchies, 줄여서 SUSHI라는 tracking 모듈을 리뷰하겠습니다.보통 tracking에서 long-term.. 2025. 4. 11. [paper review] UCMCTrack 논문 리뷰 이번 포스팅은 Multi-Object Tracking with Uniform Camera Motion Compensation 이라는 MOT논문을 포스팅하겠습니다.UCMCTrack은 카메라 움직임이 큰 환경에서도 robust하게 MOT하기위한 새로운 motion tracking method를 제안합니다. 기존의 CMC는 프레임마다 카메라 보정을 계산해야했는데 UCMCTrack은 영상 시퀀스 전체에 동일한 compensation parameter를 적용합니다. Method위의 그림은 overview입니다. 입력영상에서 bbox를 graound plane으로 매핑합니다. 2D image상의 x,y를 ground상의 u,v로 변환하기 위해 Homography Transfomation행렬 H를 사용합니다. 카메.. 2025. 3. 27. [paper review] ByteTrack 논문리뷰 이번에 리뷰할 논문은 ByteTrack입니다. Bytetrack은 22 ECCV 논문으로 나온지는 꽤 되었지만 아직도 많이 사용하는 MIT 라이센스의 MOT모델입니다. MOT의 방법은 크게 TBD(tracking by Detection)으로 detection후의 결과를 가지고 tracking하는 방법과 end-to-end로 detection과 tracking까지 한번에 학습하는 방법이 있고, TBD에서 association하는 부분을 filter기반의 방법과 learnable방법(i.e. GNN, attention)으로 나뉩니다. ByteTrack은 TBD에 filter기반의 association method를 사용하는 논문입니다. 기존의 filter기반의 MOT방법들은 low confidence det.. 2025. 3. 27. [paper review] EMMA: End-to-End Multimodal Model for Autonomous Driving 논문리뷰 이번 포스팅은 '24년 waymo에서 발표된 EMMA논문 리뷰 포스팅하겠습니다.제목에서 알 수 있듯이 Multi modal LLM을 autonomous driving에 적용한 autonomous 필드에서는 의미있는 논문입니다. 기존의 approach는 perception, prediction, planning, control등이 따로 묘듈로 분리되어서 pipeline을 통해 autonomous mission이 수행되었습니다. 그렇다보니 target environment가 익숙하지 못한 상황에서 예기치 못한 output이 발생하는 문제가 있습니다.이런 문제를 해결하기 위해서는 저자는 End-to-End 접근을 해야한다고 말합니다. sensor input으로부터 직접적으로 최종 control input까지.. 2025. 2. 17. [paper review] PTv2, PTv3 (Point Transformer) 논문리뷰 안녕하세요. 이번 포스트는 lidar segmentation에서 높은 성능을 보이고 있는 Point Transformer관련 논문리뷰 진행하겠습니다. 간략하게 trasnformer관련 task들을 살펴보면 image 도메인에서는 ViT가 대표적입니다. 문제는 ViT는 이미지 전체에 대해 global attention을 수행하기에 메모리를 많이 잡아먹는 단점이 있어 Swin-Transformer에서 이를 해결하기 위해 grid base의 local attention을 수행하여 이를 해결합니다.Pointcloud도메인에서는 크게 prjection, voxel, point 방법들이 있는데 projection방법은 다양한 방법으로 image plane으로 projection한 후에 2D CNN기반의 model을.. 2024. 12. 12. 이전 1 2 3 4 ··· 6 다음
