Study/ML | DL21 Depth Foundation model 훑어보기 최근 depth foundation model들이 많이 발표되었습니다. mono camera만으로도 depth를 상당한 퀄리티로 estimation하는데요. 몇가지 모델에 대해서 알아보겠습니다. 전통의 컴퓨터비전을 이용한 방법으로는 stereo에서 Rectification(정렬)하여 epopolar condition을 만족시킵니다. 이후 disparity를 계산하고 (동일한 feature point가 두 이미지에서 차지하는 픽셀 좌표의 차이) triangulation을 이용해서 depth를 추정합니다.$Z = \frac{f \dot baseline}{Disparity}$ 자세한 부분은 아래 포스팅 참고하세요. [SLAM] 3. 2D-2D geometry, Epipolar Geometry안녕하세요. 후니.. 2025. 1. 3. Knowledge distillation 훑어보기 Knowledge distillation의 출발이유에서부터 알아봅시다. 최근에는 몇십억개의 파라미터를 가진 모델들도 흔하지만 실제 다운스트림하여 사용하는 모델은 최대한 모델을 효율적으로 압축해야합니다. prune, weight share, knowledge distillation이 그 방법들의 대표적 예입니다. Knowledge distillation? 큰 모델(Teacher network), 작은 모델(Student network)를 사용해서 큰 모델을 모사하는 작은 모델을 만드는 것이 목적입니다. 예컨대 다음 글자를 예측하는 teacher 모델이 있다고 할 때 student 모델이 teacher모델이 생성한 psuedo label을 이용하는 것 입니다.문제는 teacher의 logit값들의 분포가 매.. 2025. 1. 3. Self-Supervised Learning 훑어보기 기본적으로 Supervised Learning을 위한 Label확보는 많은 비용을 필요로 합니다. 그렇기에 representation정도는 unlabeled data만으로도 확보할수있지 않을까?하는 시작에서 나온것이 self-supervision입니다. self-supervision즉, unlabeled data를 이용해서 훌륭한 representation(feature라고 생각해도 됩니다) 을 얻고자하는 것이 self-supervision의 목적입니다. 보통 위 그림처럼 이렇게 학습한 representation을 이용해서 downstream task에 적용하여 모델을 평가합니다. (나이브하게 ssl의 정의를 정리하면 백본 네트워크를 효율적으로 학습해서 downstream작업에서 활용할 수 있는 고품질의.. 2024. 12. 13. [Detection] Detection Foundation model 훑어보기 이번 포스팅은 detection foundation model에 대해서 살펴보겠습니다. 아래는 foundation vision mode이 어떤것들이 있는지 robolow에서 나열한 내용입니다. https://roboflow.com/model-feature/foundation-vision Top Foundation Vision ModelsTop Foundation Vision Models Foundation models are large models that you can use without prior training. You can use foundation models to auto-label data for use in training a smaller, real-time vision model.r.. 2024. 11. 5. [ML/CV] 헷갈리는 용어정리 학습 방법에 따른 분류Supervised Learning- GT label이 있는 상태에서 모델을 학습시키는 방법- 예) 고양이, 개 사진이 있으면 각각 고양이 개라는 label이 있는 경우 Unsupervised Learning- GT label이 없는 데이터로 패턴을 학습하는 방법- 예) 클러스터링, KNN -> 이상 탐지, 추천 시스템 Self-Supervised Learning- 모델이 자체적으로 label을 생성해서 학습하는 방법- 예) GPT 모델, DINO Weakly Supervised Learning- label이 약간 부족하거나 noise가 있는 데이터로 학습하는 방법 모델의 역할에 따른 분류Foundation Model- 방대한 데이터로 학습한 대규모 모델- 예) GPT-4, CLIP.. 2024. 11. 5. [Lidar detection] AI Challenge 3위 솔루션 분석 안녕하세요. 운이 좋게도 과학기술정보통신부에서 진행한 AI challenge에서 3위를 수상하였습니다. 해서 이번 포스팅은 그 과정을 공유하고자 합니다.전체코드는 https://github.com/ies0411/DNA_challenge.git 해당 레포에 전체 공유되어있습니다. Data ProcessingLidar detector의 대표적인 framework인 openpcdet를 사용하여 챌린지에 임하였습니다. 해당 프레임워크는 gt sampling을 위해서 gt point들을 pkl파일로 따로 관리합니다. 또한 custom dataset은 npy파일로 저장을하고 pkl로 다시 convert하는 과정을 거칩니다. 이 과정은 기존의 openpcdet의 메뉴얼대로 동일하게 진행하였습니다. Baseline M.. 2024. 11. 4. 이전 1 2 3 4 다음
