[머신러닝 기초] 이론 03 - 선형 회귀 & 비용 함수

# 선형 회귀와 모델의 종류

0. 지도학습(Supervised Learning)

  ex) 고양이와 개 사진 데이터에서 'Dog' 또는 'Cat'이라는 레이블을 기반으로 모델 학습
     → 새로운 사진에서 어떤 동물인지 예측

 

 

1. 회귀(Regression) 모델

 : 주어진 데이터셋과 가장 가까운 직선을 그림

   ex) 방 개수에 따른 주택 가격 예측

 

 

2. 선형 회귀 모델 (Linear Regression)

 - 목표: 데이터를 기반으로 직선(선형 모델)을 찾아 예측값을 생성하기

 - 직선 조정 방법

   : 기울기와 y절편 값을 조금씩 바꿔나감 (회전)

 

 - 학습 알고리즘

  1) 기울기와 y절편 초기값 설정 (random)

  2) 데이터를 ‘반복’적으로 샘플링하며 직선을 점점 데이터에 맞추기

  3) 최적화된 직선 사용

 

 

3. 다변량 선형 회귀 (Multivariate Linear Regression)

 : 입력 변수가 여러 개인 경우로 확장된 선형 회귀

 

 

4. 다항 회귀 (Polynomial Regression)

 : 선형 회귀를 확장하여 비선형 관계를 모델링 (곡선)

    → 다변량 회귀 형태로 변환하여 문제 해결

 

 

 

# 비용함수(Cost Function)

 : 모델이 데이터를 얼마나 잘 설명하는지 측정

  / 좋은 모델(입력)에는 작은 비용값 할당

 

 - 선형회귀에서 비용 측정

  1) Absolute Error  : 직선과 데이터 간의 수직 거리의 합

  2) Square Error : 거리의 제곱 합

 

 - 데이터와 가장 잘 맞는 직선을 찾는 것이 목표

 - 각 데이터점에서 직선까지의 거리 제곱을 최소화