본문 바로가기

All91

[paper review] Lion : Linear Group RNN for 3D ObjectDetection in Point Clouds 논문 리뷰 (Lidar Detector SOTA) 안녕하세요. 이번에 포스팅할 논문은 Lion이라는 lidar detection model입니다. IntroLidar detection 모델은 크게 point base방법과 voxel base방법으로 나눠져 발전했습니다.(pvrcnn과 같은 두가지의 방식을 혼합한 방법도 있습니다만)최근 트렌드는 voxel base 방법의 모델이라고 여겨집니다. pointcloud를 voxelization하고 이 sparse voxel grid를 효율적으로 computation 하기 위해 spconv와 같은 sparse convolution을 사용합니다. 헌데 이 operator는 custom cuda kernel를 사용하기에 onnx, trt로 변환하기가 매우 까다롭죠.이런 이유와 언어모델들에서의 transformer의 .. 2024. 11. 6.
[Detection] Detection Foundation model 훑어보기 이번 포스팅은 detection foundation model에 대해서 살펴보겠습니다. 아래는 foundation vision mode이 어떤것들이 있는지 robolow에서 나열한 내용입니다. https://roboflow.com/model-feature/foundation-vision Top Foundation Vision ModelsTop Foundation Vision Models Foundation models are large models that you can use without prior training. You can use foundation models to auto-label data for use in training a smaller, real-time vision model.r.. 2024. 11. 5.
[ML/CV] 헷갈리는 용어정리 학습 방법에 따른 분류Supervised Learning- GT label이 있는 상태에서 모델을 학습시키는 방법- 예) 고양이, 개 사진이 있으면 각각 고양이 개라는 label이 있는 경우 Unsupervised Learning- GT label이 없는 데이터로 패턴을 학습하는 방법- 예) 클러스터링, KNN -> 이상 탐지, 추천 시스템 Self-Supervised Learning- 모델이 자체적으로 label을 생성해서 학습하는 방법- 예) GPT 모델, DINO Weakly Supervised Learning- label이 약간 부족하거나 noise가 있는 데이터로 학습하는 방법 모델의 역할에 따른 분류Foundation Model- 방대한 데이터로 학습한 대규모 모델- 예) GPT-4, CLIP.. 2024. 11. 5.
[paper review] EFM3D 논문 리뷰 안녕하세요. 이번 포스팅은 META에서 발표한 EFM3D라는 논문에 대해 리뷰하겠습니다.최근 language model, image model은 인터넷의 방대한 data를 활용해서 self-supervised learning을 통해 백본을 학습합니다. 그리고 다양한 downstream task에 활용하는 것이 현재 주류의 approach인데요. 3D의 경우 데이터를 확보하기가 쉽지 않습니다. EFM은 wearable device를 활용해서 egocetric high quality dataset를 수집하고 이를 처리하는 모델을 EFM3D(3D Egocetric Foundation Model이라고 하였습니다.(output으로 mesh또한 제공합니다.) Meta에서 AR classes등에 디바이스(Projec.. 2024. 11. 4.
[Lidar detection] AI Challenge 3위 솔루션 분석 안녕하세요. 운이 좋게도 과학기술정보통신부에서 진행한 AI challenge에서 3위를 수상하였습니다. 해서 이번 포스팅은 그 과정을 공유하고자 합니다.전체코드는 https://github.com/ies0411/DNA_challenge.git 해당 레포에 전체 공유되어있습니다. Data ProcessingLidar detector의 대표적인 framework인 openpcdet를 사용하여 챌린지에 임하였습니다. 해당 프레임워크는 gt sampling을 위해서 gt point들을 pkl파일로 따로 관리합니다. 또한 custom dataset은 npy파일로 저장을하고 pkl로 다시 convert하는 과정을 거칩니다. 이 과정은 기존의 openpcdet의 메뉴얼대로 동일하게 진행하였습니다. Baseline M.. 2024. 11. 4.
[Detection] AI challenge 1위 솔루션 분석 안녕하세요. 운이 좋게도 이번에 한화에서 진행한(Oct '24) IR sensor를 이용한 객체인식 AI challenge에서 1위를 수상하였습니다.해서 이번 포스팅은 그 과정을 공유하고자 합니다. Data Preprocessing우선 데이터 전처리 부분입니다. IR sensor는 쉽게 생각하면 열화상 카메라라고 생각하시면 됩니다. 들어오는 input값은 마치 흑백카메라와 같이 채널이 한개인 image shape이라고 보시면 됩니다.위의 과정을 통해 잘못된 labeling을 수정하였습니다. 뒤의 augmentation과정에서 albumentation을 추가로 사용하였는데 잘못된 labeling정보때문에 런타임 에러가 발생할 수 있습니다. 두번째로는 GT의 클래스 분포도를 확인하였습니다.빈도가 가장 큰 클.. 2024. 10. 18.

티스토리툴바