[ML 이론] 퍼셉트론 & 다층 퍼셉트론

퍼셉트론

학습이 가능한 초창기 신경망 모델

 

동작

1. 입력층에 특징 벡터가 들어오면 서로 연결된 특징값과 가중치를 곱한 결과를 모두 더해 s를 얻음
2. s를 활성함수(activation function)에 입력으로 넣고 계산
3. 활성함수의 출력이 퍼셉트론의 최종 출력 → 1 또는 -1

퍼셉트론은 (+) 영역과 (-) 영역으로 나눠 (+) 영역의 점은 모두 +1로, (-) 영역의 점은 모두 -1로 변환 → 이진 분류기

(그리고 퍼셉트론 목적함수 설계랑 학습 알고리즘까지 노션에 정리되어 있음 !)

 

---

다층 퍼셉트론

퍼셉트론은 선형분리(linearly separable)가 가능한 상황에서만 가능, 선형분리가 불가능(linearly non-separable)한 상황은 오류 발생

⇒ 다층 퍼셉트론은 여러 개의 퍼셉트론을 결합한 다층 구조를 이용해 선형분리가 불가능한 상황을 해결함

 

다층 퍼셉트론의 핵심 아이디어

 

특징 공간 변환

원래 특징 공간 x를 새로운 특징 공간 z로 변환 → 새로운 특징 공간 z는 선형분리 가능해짐

 

 

활성 함수 

노드에 대한 입력값을 변환하는 함수인 활성함수는 @

선형 결과인 활성값 z에 비선형인 활성 함수를 적용해서 성능을 향상시키기도 함

• 퍼셉트론 : 계단함수
• 다층 퍼셉트론 : 로지스틱 시그모이드, 하이퍼볼릭 탄젠트
• 딥러닝 : 소프트플러스, 렉티파이어(ReLU)

 

구조

다층 퍼셉트론(multy-layer perceptron) : 퍼셉트론과 달리 층이 여러 개

입력층 : 주어진 특징 벡터를 입력하는 곳

출력층 : 신경망의 최종 출력이 나오는 곳 → 두 곳 모두 값 관찰 가능

은닉층(hidden layer) : 입력층과 출력층 사이의 새로운 층 → 계산의 중간과정으로서 보이지 않는 곳

 

다층 퍼셉트론은 분산처리와 병렬처리를 수행하기 때문에 병렬분산 구조라고 함

 

동작

⇒ 행렬로 간결하게 표기

 

은닉층은 특징 추출기

다층 퍼셉트론은 벡터 x를 입력 받아 벡터 o 출력

• x : 최초의 입력 (센서로 획득한 원시 신호, 전처리기에 해당하는 특징 추출기가 원시 신호로부터 추출한 특징 벡터 등등)
• o : 부류 정보를 나타내므로 부류공간 형성

은닉층은 특징 벡터를 분류에 더 유리한 새로운 특징 공간으로 변환하는 특징 추출기(feature extractor)로 볼 수 있음

! 새로운 특징 공간은 다층 퍼셉트론이 목적을 달성하는 데 더 유리해야 함 !

 

오류 역전파 알고리즘

다층 퍼셉트론 (은닉층으로 선형분리가 불가능한 상황도 처리할 수 있는 용량을 가짐) → 용량이 커지면 추정할 매개변수는 많아짐 ⇒ 오류 역전파(error backpropagation)

 

o : output / y : 실제 값

전방 계산(왼→오)과 반대 방향으로 계산이 흐르고 계산 과정에서 o와 y의 차이, 즉 오류를 줄이는 방향으로 값을 전파하기 때문에 오류 역전파(error backpropagation)라는 이름이 붙음

오류 역전파 알고리즘 : 4개의 식을 이용해 출력층의 오류를 역방향(왼쪽)으로 전파하며 그레이디언트를 계산하는 알고리즘

 

(목적 함수랑 오류 역전파 알고리즘 설계 내용은 아래 노션 링크에 정리되어 있음 !)

 

---

미니배치 스토캐스틱 경사 하강법

스토캐스틱 경사 하강법 / 온라인 방식 (t:미니배치크기=1)

한 번에 샘플 1개씩 처리 → 오류 역전파를 이용해 한 샘플의 그레이디언트 계산 후 가중치 즉시 갱신 → 모든 샘플에 수행(한 세대) → 수렴할 때까지 여러 세대 반복 → 시간이 오래 걸림

 

배치 경사 하강법 (t=n)

모든 샘플의 그레이디언트를 계산한 후 평균 그레이디언트를 구해 한 번에 갱신

 

스토캐스틱 경사 하강법과 배치 경사 하강법 중간에 해당하는

미니배치 방식 mini batch (t=수십~수백)

훈련집합 X에서 t개의 샘플을 무작위로 뽑아 미니배치 구성 → 미니 배치에 속한 샘플의 그레이디언트 평균으로 가중치 갱신 → 수렴 속도 빨라짐 & GPU를 이용한 병렬처리에도 유리

 

배치, 스토캐스틱 방식 : 세대마다 훈련집합의 모든 샘플이 참여

미니배치 : 미니배치를 무작위로 뽑기 때문에 학습이 완료될 때까지 한 번도 학습에 참여하지 않는 샘플이 있을 수도 있음 → 미니배치가 모든 샘플의 대략적인 대표성을 띠므로 성능에 해를 끼치지 않음 / 무작위성이 더 높음 → 규제 효과 → 일반화 능력 향상

---

 

[Chapter 3] 다층 퍼셉트론