[ML 이론] 머신러닝과 수학

선형대수와 확률과 통계가 머신러닝이 중요함

선대랑 확통은 따로 여기에 정리하진 않을 거지만 아래 노션 링크에 정리해둠

 

최적화

주어진 데이터로 최적화 문제를 어떻게 공식화 ? → 최적화 공식을 어떻게 풀어 최적의 해, 즉 목적함수를 최소로 하는 점을 찾을 것인가 ⇒ 기계 학습의 핵심주제

최적화 문제해결

• 해 공간 전체를 샅샅이 뒤지는 낱낱탐색(exhaustive search) 알고리즘
  고차원에서는 불가능 → 매우 많은 점에 대해 목적함수를 계산해야 함
  각각의 차원을 구간으로 나누고, 이들 각각의 목적함숫값을 계산해 가장 작은 점을 찾음

 

• 무작위로 선택된 점들을 탐색하는 무작위 탐색(random search) 알고리즘 

 

• 기계 학습이 사용하는 전형적인 알고리즘

 

미분

미분에 의한 최적화

1차 도함수는 어떤 점에서의 기울기, 즉 x가 미세하게 증가했을 때 함숫값의 변화율을 알려줌

→ 이런 성질이 기계 학습 알고리즘이 목적함수의 최저점을 찾아가는데 길잡이 역할을 함

 

편미분 partial defferentiation

변수가 여러 개인 함수의 미분

변수 각각에 대해 독립적으로 미분 & 어떤 변수로 미분할 때 나머지 변수는 모두 상수로 간주

편미분의 결과는 벡터 형태가 되는데, 이 벡터를 그레이디언트(gradient)라고 함

f’(x) = 0 일 때 f(x)는 최솟값을 가짐 → 목적 함수를 편미분하여 얻은 그레이디언트에 따라 최저점을 찾음

 

 

경사 하강 알고리즘

목적 함수를 미분한 그레이디언트가 오르막 방향을 가리킬 때 그레이디언트의 음수를 d세타로 사용하면 내리막 방향을 찾아감

⇒ 이 식을 이용하는 최적화 알고리즘을 경사 하강법(gradient desent method)라고 함

 

 

배치 경사 하강 알고리즘(BGD)

모든 샘플의 그레이디언트의 평균을 구한 후 한 번에 갱신

 

스토케스틱 경사 하강법(SGD = stochastic gradient descent)

이런 작업을 모든 샘플에 수행하면 한 세대(epoch)가 지났다고 함

멈춤 조건이 만족될 때까지 세대 반복. 새로운 세대가 시작할 때마다 샘플의 순서를 섞어 임의성 투입 → 이 임의성 때문에 스토케스틱이라는 용어가 붙음

한 번에 샘플 하나의 그레이디언트를 계산하고 즉시 매개변수 갱신

---

 

[Chapter 2] 기계학습과 수학

 

기계 학습 알고리즘은 목적 함숫값이 작아지는 방향을 찾아 매개변숫값 조정 반복

 

직선을 움직이는 동력인 목적 함수의 최저점을 찾기 위해 목적 함수를 편미분 하여 얻은 그레이디언트에 따라 최저점을 얻음

ㄴ 내가 이번 챕터에서 중요하다고 생각한 것 !

 

그리고 뒤에 나올 내용이긴 한데..

 

노드에 대한 입력값을 변환하는 함수인 활성함수는 @

선형 결과인 활성값 z에 비선형인 활성 함수를 적용해서 성능을 향상시키기도 함

 

그리고 규제도 중요혀 ~

 

뒷 부분 공부하다가 개념이 헷갈려서 정리하는 중 !