본문 바로가기

Study87

[paper review] BARF : Bundle-Adjusting Neural Radiance Fields 논문 리뷰 안녕하세요. 이번 포스트는 BARF라는 NeRF에 BA의 아이디어를 접목한 논문을 리뷰하겠습니다. 시작하기 전에 BA, NeRF에 대해서 사전 지식이 필요하기 때문에 아래의 포스트 참고하세요. [paper review] NeRF 논문 리뷰 최근 synthetic data들의 중요성이 대두되고 있습니다. simulation, generative model 등 여러 방법이 있지만 여기서는 NeRF를 짧게 분석해보겠습니다. 정 의 NeRF는 Novel View Synthesis 계열의 기술입니다. NVS란 특 jaehoon-daddy.tistory.com [SLAM] 6. Bundle Adjustment 이번 SLAM tutorial 에서는 BundleAdjustment에 대해 포스팅하겠습니다. 앞서 5번째 .. 2023. 5. 3.
[SLAM] 6. Bundle Adjustment 이번 SLAM tutorial 에서는 BundleAdjustment에 대해 포스팅하겠습니다. 앞서 5번째 SLAM tutorial 포스팅에서는 nonlinear optimization에 대해서 설명하였습니다. BA(Bundle Adjustment)는 nonlinear optimization을 사용하는 대표적인 application입니다. Intro 우선 bundle adjustment를 언제 왜 사용하는지부터 살펴보겠습니다. 이를 위해 앞장에서 설명한 것들을 다시 overview해보겠습니다. mono-cam의 경우라하면, 연속된 이미지 두장을 통해 initialization을 합니다. 이 과정에서 Essential Matrix 혹은 Fundamental Matrix를 통해 두 image사이의 R|T 즉,.. 2023. 4. 10.
[paper review] DS-SLAM: A Semantic Visual SLAM towards Dynamic Environments 논문 리 안녕하세요. 이번 논문리뷰는 DS-SLAM입니다. Dynamic 환경에서 semantic SLAM을 이용하여 pose estimation, mapping을 한 SLAM입니다. Introduction 우선 semantic SLAM의 정의부터 살펴보겠습니다. 최근 핫한 chatGPT에게 semantic SLAM에 대해서 물어보았습니다:) chatGPT의 답변을 정리해보면 일반적인 SLAM과는 다르게 semantic SLAM은 기하하적 정보뿐만 아니라 semantic 정보( object, scene understanding 등)의 의미도 도출합니다. 보통 딥러닝을 결합하여 환경의 객체들을 분리해내고 이를 통해 dynamic한 환경에서도 보다 정밀한 자율주행을 할 수 있도록 합니다. DS-SLAM에서는 orb-.. 2023. 3. 24.
[paper review] DROID-SLAM (Deep Visual SLAM) 논문 리뷰 안녕하세요. 이번 포스팅은 DROID-SLAM이라는 논문을 리뷰하겠습니다. '21에 발표된 성능 좋은 Deep-based SLAM으로 그 구조를 뜯어보도록 하겠습니다. Intro 우선 visual SLAM을 살펴보겠습니다. 제가 임의로 나눠보았는데 접근방법에 따라 Direct, Indirect, Deep-based으로 나눌 수 있습니다. Direct같은 경우 보통 photometry error를 통해 optical flow를 구하고 이를 이용해서 Front-end에서 tracking을 합니다. 이거의 모든 pixel을 활용하기에 일반적으로 tracking loss 확률이 indirect보다 적습니다. back-end에서는 optimization을 수행합니다. 반면 indirect 방법은 feature와 .. 2023. 2. 20.
[3D Detection]Fusion Multimodal Detection(1) : DeepFusion, 3D Dual Field 안녕하세요. 오늘은 3D Detection에서 multimodal Fusion에 대해 알아보겠습니다. Detection분야에서 멀티모달이라하면 보통 camera와 lidar를 이야기합니다. Intro 위의 표는 개인적인 생각(?)을 포함하여 Fusion하는 Approach별로 나눈 표입니다. 우선 point-level방법은 raw data level에서 fusion을 해주는 방법입니다. 어떻게 보면 tightly coupled방법과 동일합니다. 문제는 image, pcd의 domain 영역이 다르기 때문에 이를 fusion method에서 어떻게 처리하는지가 제일 이슈인 방법입니다. 다음으로 proposal-level은 lidar, camera 각각 detection모델을 통해 proposal bbox를.. 2023. 2. 13.
[Transformer] Transformer & Vision 안녕하세요. 이번 ML관련 포스팅에서는 Transformer관련하여 포스팅하겠습니다. 이미 나온지 꽤 오래되었고 많은 분야에서 활용되고 있는 아키텍쳐인데요. NLP분야에서 일찍이 탄생했지만 비전 및 다른 분야에서도 많이 활용되고 있습니다. Transfomer는 Attention is All You Need 라는 논문을 통해 처음 발표되었습니다. 제목에서도 알 수 있듯이 Transformer를 이해하려면 우선 Attention에 대해서 이해를 이해합니다. Attention 우선 attention 메커니즘은 sequence-to-sequence 모델에 적용이 됩니다. seq2seq모델은 글자나 이미지의 feature 등을 입력으로 받아 또 다른 시퀀스를 출력합니다. 이 시퀀스 모델은 encoder와 deco.. 2023. 2. 7.

티스토리툴바