[ML 이론] 기계학습이란

기계 학습 개념

기계학습은 예측 문제를 해결

• 회귀 regression : 실숫값을 예측하는 문제
• 분류 classification : 부류를 예측하는 문제

기계 학습이란 가장 정확하게 예측할 수 있는 최적의 매개변숫값을 찾는 작업임

 

1. 학습 (성능을 개선하며 최적의 상태에 도달하는 작업 

2. 학습된 모델을 사용해 예측

 

훈련집합으로 모델 학습 → 테스트집합으로 학습된 모델의 일반화 능력 측정 ⇒ 모델을 독립적으로 학습시킨 후 가장 좋은 모델을 선택

 

최종 목표는 훈련집합에 없는 새로운 샘플(테스트 집합)에 대한 오류를 최소화 + 높은 성능 보장하는 것 → 일반화 능력

 

특징 공간 변환과 표현 학습

기계 학습은 좋은 특징 공간을 찾아내는 작업 중요

ㄴ 표현 학습(representation learning) : 좋은 특징 공간을 자동으로 찾는 작업

 

데이터베이스의 중요성

기계 학습은 데이터베이스의 품질이 중요

ㄴ 훈련집합을 이용해 데이터 생성 과정을 역으로 추청 하는 문제이기 때문

 

데이터베이스 크기와 기계 학습 성능

방대한 공간에서 실제 데이터가 발생하는 곳은 훨씬 작은 부분임

매니폴드 가정 : 발생하는 데이터가 심한 변화를 겪지만 일정한 규칙에 따라 매끄럽게 변함

 

목적함수(objective function)

직선을 움직이는 동력

ㄴ 기계 학습 알고리즘은 목적함숫값이 작아지는 방향을 찾아 매개변숫값 조정 반복

• 수치적 방법(numerical method) : 작은 개선을 반복하며 최적해를 찾아가는 방법
• 분석적 방법(analytical method) : 유도한 식에 훈련집합의 샘플을 대입해 한꺼번에 최적해를 구하는 방법

 

과소적합과 과잉적합

과소적합(underfitting) : 모델의 용량이 작은 경우 등등 큰 오차가 생김 (직선 모델은 데이터가 직선을 이루는 경우에만 수용 가능)

→ 비선형 모델을 사용

과잉적합(overfitting) : 모델의 용량이 너무커서 아주 작은 잡음까지 수용함 (훈련집합은 완전히 대변하지만 새로운 점은 제대로 예측하지 못함)

 

바이어스와 분산

바이어스(bias)가 크다 : 데이터와 모델 사이에 큰 차이가 있음

분산(variance)이 작다 : 훈련집합이 바뀌더라도 학습 결과로 얻은 곡선들이 비슷함

단순한 모델일수록 바이어스는 크고 분산은 작음

복잡한 모델일수록 바이어스는 작고 분산은 큼

 

바이어스와 분산은 tradeoff 관계 → 바이어스의 희생을 최소로 유지하며 분산을 최대로 낮추어야 함

 

검증집합과 교차검증을 이용한 모델 선택 알고리즘

검증집합 (validation set)

모델을 비교하는 데 사용할 별도의 데이터집합

 

검증집합이 없을 때 교차검증(cross-validation)을 사용하면 효과적임

 

교차검증 (cross-validation)

훈련집합을 등분해 학습과 평가를 여러 번 반복한 후 평균 사용

부트스트랩 boot strap

난수를 이용해 새로운 훈련집합 샘플링 (대치 허용 → 같은 샘플이 여러 번 뽑힐 수 있음)

현실적인 해결책

용량이 충분히 큰 모델 선택 → 선택한 모델이 정상을 벗어나지 않도록 여러 가지 규제(regularization) 기법을 적용하는 현실적인 접근방법 채택

 

기계 학습 유형

1. 지도 방식에 따른 유형

• 지도 학습 (supervised learning)
  • 데이터가 입력(특징 벡터)과 출력(목푯값) 쌍으로 주어짐
  • 회귀, 분류 문제를 해결할 수 있음
• 비지도 학습 (unsupervised learning)
  • 입력(특징 벡터)만 주어지고 출력(목푯값)은 주어지지 않음
  • 군집화 과업 : 특징 공간에서 가까이 있는 샘플을 같은 군집으로 모으는 작업
  • 밀도 추정, 특징 공간 변환 과업
• 강화 학습 (reinforcement learning)
  • 출력(목푯값)을 주어 지도하는데 목푯값의 형태가 지도 학습과 다름
  • 지도 학습 - 샘플마다 목푯값을 줌 / 강화 학습 - 게임이 다 끝난 후 승, 패 또는 점수를 목푯값으로 줌 → 연속된 샘플의 열에 목푯값 하나만 줌
  • 샘플 열에 속한 각각의 샘플에 목푯값을 배분하는 알고리즘 필요
• 준지도 학습 (semi-supervised learning)
  • 일부는 입력에 해당하는 X, 출력에 해당하는 Y를 가지지만, 나머지는 X만 가진 상황
  • X를 모으는 일은 쉽지만 목푯값 Y를 부여하는 일은 비용이 많이 듦

2. 다양한 기준에 따른 유형

• 오프라인 학습과 온라인 학습
  • 오프라인 학습 : 데이터베이스 수집, 학습, 설치 후 예측
  • 온라인 학습 : 인터넷을 통해 데이터 발생 + 추가 학습 → 성능 개선
• 결정론적 학습과 스토캐스틱 학습
  • 대부분은 결정론적
  • 결정론적 학습 : 같은 데이터베이스로 다시 학습하면 항상 같은 예측기 만들어짐 (난수로 초깃값을 설정하기 때문에 다른 예측기가 만들어질 뿐)
  • 스토캐스틱 학습 : 중간 & 예측 과정에서 난수 사용 → 같은 데이터베이스로 새로 학습해도 다른 예측기 만들어짐
• 분별 모델 학습과 생성 모델 학습
  • 분별 모델 : 샘플의 부류를 예측하는 일에만 관심
  • 생성 모델 : x가 발생할 확률이나 부류 y에서 x가 발생할 확률 추정
    • 새로운 샘플을 생성할 수 있음

---

 

[Chapter 1] 소개

전에 공부했던 머신러닝 책 ! 중에 중요하다고 생각하는 개념만 대충 가져와봤다