[머신러닝 기초] 이론 06 - 경사하강법 & 커널 기법

#경사하강법 Gradient Descent

  : 모델의 Cost를 최소화하기 위해 반복적으로 최적화

    (산 정상에서 아래로 내려가는 과정에 비유)

 

 

1. 과정

 

 

2. 학습률(Learning Rate)

 

 

 

# Kernel Method 커널 기법

  : 고차원 공간으로 데이터를 변환하여 선형적으로 구분되지 않는 데이터를 구분

     (⟶ n차 방정식)

 

 

1. 방법

  1) 입력 변수(feature) 추가하여 데이터셋 확장

  2) 둘로 나누는 직선을 찾음

  3) 기존의 데이터셋과 잘 맞는 곡선으로 변환

 

 

2. 커널 기법

  1) 직선으로 나눌 수 없는 데이터셋이 주어지면

  2) 각 포인트에서 원점까지의 거리의 제곱에 해당하는 값을 z축 상에 추가하여 각 포인트가 포물면 상에 위치하도록 함

      (전체가 2차 ⟶ 3차원이 됨)

  3) 확장된 데이터셋을 나누는 평면(Plane)을 찾음

  4) 교차하는 부분을 2차원으로 투영 ⟶ 원 Classifier