학습 방법에 따른 분류
Supervised Learning
- GT label이 있는 상태에서 모델을 학습시키는 방법
- 예) 고양이, 개 사진이 있으면 각각 고양이 개라는 label이 있는 경우
Unsupervised Learning
- GT label이 없는 데이터로 패턴을 학습하는 방법
- 예) 클러스터링, KNN -> 이상 탐지, 추천 시스템
Self-Supervised Learning
- 모델이 자체적으로 label을 생성해서 학습하는 방법
- 예) GPT 모델, DINO
Weakly Supervised Learning
- label이 약간 부족하거나 noise가 있는 데이터로 학습하는 방법
모델의 역할에 따른 분류
Foundation Model
- 방대한 데이터로 학습한 대규모 모델
- 예) GPT-4, CLIP
Generalization Model
- 모델이 훈련한 데이터가 아닌 데이터에서도 좋은 성능을 보이는 능력
Domain Adaption Model
- 한 도메인에서 학습한 지식을 다른 도메인으로 전이하여 적응하는 모델
*generalization model vs Domain Adatation
1. Generalization Model (일반화 모델):
- 상황: 강아지와 고양이를 분류하는 모델을 훈련시켰는데, 훈련 데이터에 없는 새로운 강아지 품종을 분류해야 함.
- 설명: 모델은 이전에 본 적 없는 강아지 품종도 잘 분류할 수 있으면 "일반화 능력"이 좋다고 평가함.
2. Domain Adaptation Model (도메인 적응 모델):
- 상황: 미국 쇼핑몰 고객 데이터를 이용해 고객 이탈 모델을 학습하고, 일본 쇼핑몰 데이터를 대상으로 테스트하려 함.
- 설명: 두 데이터의 구매 패턴과 고객 행동은 비슷하지만, 문화적 차이로 분포가 다를 수 있으므로 모델이 이를 적응해야 함.
Zero-shot model
- 사전 학습된 작업과 관련 없는 새로운 작업을 수행할 수 있는 모델
Few-shot model
- 소수의 예시만 보고도 새로운 작업을 수행할 수 있는 모델
* zero-shot, few-shot 모델은 보통 foundation model이라고 볼수있으며 zero-shot모델은 foundation model의 응용 사례로 볼 수 있습니다.
* zero-shot 모델은 generalization 능력이 매우 뛰어난 모델을 의미하며 domain adaptation을 하기 위해 적용하려는 도메인의 데이터로 fine-tune합니다.
