Study

[paper revew] pointnet 논문 리뷰

이번 포스팅은 3D pointcloud detection의 고전 pointnet를 보겠습니다. PointNet pointnet은 딥러닝을 사용한 pointcloud detection 분야의 고전으로 현재 많은 알고리즘의 토대가 되는 논문입니다. 우선 3D pointcloud의 성질부터 이해할 필요가 있는데, unordered point set이라는 점입니다. image는 픽셀이라는 정해진 discrete한 공간에 있다면 pointcloud는 유클리드 공간이라는 continuous한 공간에 있습니다. 그래서 많은 다른 알고리즘들이 voxel grid를 만들어서 마치 image처럼 처리를 합니다. 즉, pointcloud를 뉴럴넷으로 detection문제를 해결하기 위해서는 1. unordered 2. in..

[mathematic] SVD, 특이값분해

정의 우선 특이값(singular value)의 정의부터 보면, 임의의 행렬 A(mxn)의 특이값(singular value)는 $A^{T}A$에 대한 교윳값의 양의 제곱근입니다. SingularValue Decomposition(SVD)는 mxn차원의 행렬A에 대해 위에서 정의한 singular vaule와 singular vector로 decomposition하는 방법을 의미합니다. 식으로 표현하면 아래와 같습니다. orthogonal matrix는 대표적으로 회전행렬을 들 수 있고 아래의 성질을 만족합니다. 구체적으로 $U, V$는 singular vector가 열벡터로 이루어진 matrix이고, diagonal matrix는 대각성분을 제외한 원소의 값이 모두 0이고,주대각 성분에 A의 singu..

[paper review] Nerfies: Deformable Neural Radiance Fields 리뷰

안녕하세요. 후니대디입니다. 이번 포스팅은 Nerfies 논문 리뷰 진행하겠습니다. NeRF의 기본적인 개념은 아래의 포스팅 참고바랍니다. [paper review] NeRF 논문 리뷰 최근 synthetic data들의 중요성이 대두되고 있습니다. simulation, generative model 등 여러 방법이 있지만 여기서는 NeRF를 짧게 분석해보겠습니다. 정 의 NeRF는 Novel View Synthesis 계열의 기술입니다. NVS란 특 jaehoon-daddy.tistory.com overview 기존의 vanilla NeRF의 문제점 중 하나는 object가 고정되어 있어야 합니다. 장난감이나 고정되어 있는 object면 상관없지만 만약 내 모습을 여러 각도에서 셀카를 찍어 Novel ..

[SLAM] 3. 2D-2D geometry, Epipolar Geometry

안녕하세요. 후니대디입니다. 이번 포스팅은 2D-2D (two view) camera geometry에 대해서 살펴보겠습니다. Camera Model 시작하기전에 camera model 먼저 살펴보겠습니다. 3D world의 points를 2D image plane에 매핑하는 프로세스에서 언급한 camera model을 사용합니다. 기본적으로 camera model은 pinhole model입니다. (광각렌즈 등을 사용하면 pinhole model에 맞지 않습니다.) pinhole camera model을 통해 카메라의 intrinsic parameter를 구할 수 있습니다. 아래는 pinhole camera model 사진입니다. 빛의 직진성, 그리고 핀홀에만 빛이 투과된다는 가정에서 이루어집니다. i..

[SLAM] 2.리군, 리대수(Lie Group, Lie Algebra)

안녕하세요. 후니대디입니다. Lie Group, Lie Algebra에 대해서 포스팅하겠습니다. Lie라는 이름이 지어진 이유는 Lie Group에 대한 이론을 정립한 수학자 이름이 Sophus Lie이기 때문입니다. 리군,리대수는 사실 이해하기 굉장히 난해합니다. 최대한 핵심만 추려서 적어보겠습니다. 정 의 리군(Lie Group)은 discrete하지 않은, 즉 continuous한 그룹이면서 smooth manifold인 집합을 말합니다. smooth와 continuous라는 단어에서 알 수 있다시피 미분가능한 그룹입니다. 예를 들면 좌표변환이 time domain상에서 연속적으로 발생한다고 하면 해당 좌표의 평면상의 한점은 연속적으로 변하게 됩니다. 갑자기 사라졌다가 나타나지 않고 smooth한 ..

[SLAM] 1. 3D Rigid Body Transformation, 좌표계 변환

안녕하세요. 후니대디입니다. 이번에는 3D 좌표계와 좌표계 변환에 대해서 포스팅하겠습니다. Fixd RPY axis angle 3차원 공간을 기준으로 알아보기 전에 쉽게 2차원 공간부터 살펴보죠. 위의 그림은 xy평면에서 z축 기준으로 하는 2차원 회전행렬(rotation matrix)을 표현한 것입니다. 만약 기존의 xy평면의 (a,b)라는 점(혹은 벡터)가 있다고 하면, z축으로 세타만큼 이동한 좌표에서는 (a,b)는 회전행렬과 (a,b)벡터의 곱셈을 통해 나온(a`,b`)라고 표현할 수 있습니다. 어떻게 보면 절대적인 (a,b)의 점이 이동한 것이 아닌 coordinate마다 해당 좌표를 표현하는 방법이 달라진 것 뿐입니다. 이동행렬(translation)은 linear한 움직임으로 위와 같이 덧셈..

[paper review] Structure from Motion Revisited, Colmap 논문 리뷰

안녕하세요. 후니대디입니다. colmap으로 유명한 SfM revisited 논문을 리뷰해보겠습니다. review 해당논문은 SfM에 대한 Review가 잘 쓰여있습니다. Review부분을 통해 SfM의 pipeline을 살펴보고 해당논문에서 pipeline의 어떤부분을 개선했는지 보겠습니다. SfM가 무엇인지에 대한 정의는 아래 포스팅을 통해 확인하시면 됩니다. [SLAM] 0. SLAM / SfM 이란? 안녕하세요. 후니대디입니다. SLAM 시리즈 첫번째로 SLAM의 개념부터 전체적인 pipeline을 포스팅하겠습니다. 정 의 SLAM은 Simultaneous Localization and Mapping 의 줄임말이고, SfM은 structure from motion의 줄임말 jaehoon-daddy..

[SLAM] 0. SLAM / SfM 이란?

안녕하세요. 후니대디입니다. SLAM 시리즈 첫번째로 SLAM의 개념부터 전체적인 pipeline을 포스팅하겠습니다. 정 의 SLAM은 Simultaneous Localization and Mapping 의 줄임말이고, SfM은 structure from motion의 줄임말입니다. SLAM을 단어 그대로 해석해보면 위치추정 및 지도화를 동시에 한다? 라고 할 수 있습니다. 즉, 사전정보가 없는 공간에서 특정센서를 이용하여 위치를 tracking하고 주변 정보를 mapping하는 것을 의미합니다. 특별히 camera 센서를 이용한다면 visual SLAM이라고 명명하고 여기서는 visual SLAM을 중심으로 설명하겠습니다. SfM은 camera센서를 통해 움직이면서 모은 frame들을 가지고 다시 re..