[Transfer Learning] 전이학습 개념

Transfer Learning

학습 데이터가 부족한 분야의 모델 구축을 위해 데이터가 풍부한 분야에서 훈련된 모델을 재사용하는 학습 기법

Imagenet(대규모 데이터셋) 데이터를 사용해서 사전학습된(pre-trained) 모델의 가중치를 가지고 와서 우리가 해결하고자 하는 과제에 맞게 재보정해서 사용

비교적 적은 수의 데이터를 가지고도 우리가 원하는 과제를 해결할 수 있는 딥러닝 모델을 훈련

 

→ pre-trained model의 weights를 약간씩 변화시켜 적은 데이터셋에서 task에 맞게 재사용

→ pre-trained model의 classifier는 삭제하고 목적에 맞는 새로운 classifier 추가

⇒ 새롭게 만들어진 모델 fine tuning 진행 (strategy 3개 중 1개 선택해서 진행)

 

fine tuning

pre-trained model을 기반으로 아키텍쳐를 새로운 목적에 맞게 변형하고 이미 학습된 모델 Weights로부터 학습을 업데이트하는 방법

→ pre-trained model의 weights를 미세하게 조정하는 방법

 

방법 3가지

input 쪽 사각형 : conv base

prediction 쪽 사각형 : classifier

 

 

• Strategy 1 : 전체 모델을 새로 학습
  사전학습 모델의 구조만 사용하면서 자신의 데이터셋에 맞게 전부 새로 학습시키는 방법
  → 크기가 크고 유사성이 낮은 데이터셋일 때 추천

 

• Strategy 2 : Convolutional base 일부분은 고정, 나머지 계층과 Classifier를 새로 학습
  • 낮은 레벨의 계층 → 일반적인 특징 추출
  • 높은 레벨의 계층 → 구체적이고 특유한 특징(Task에 따라 달라지는 특징) 추출
  어느 정도까지 재학습 시킬지 정함
  → 크기가 크고 유사성이 높은 데이터셋일 때 추천
  → 크키가 작고 유사성도 낮을 때에는 위 상황보다 조금 더 깊게 재학습

 

• Strategy 3 : Convolutional base는 고정시키고, Classifier만 새로 학습
  • 컴퓨팅 연산 능력이 부족할 때
  • 데이터 셋이 너무 작을 때
  • 적용하려는 Task가 학습모델이 이미 학습한 데이터 셋과 매우 비슷할 때

 

strategy 3, 2, 1 순

 

tensorflow

• tensorflow가 제공하는 pre-trained model

우리가 사용할 데이터셋에서 어떤 모델의 성능이 가장 좋을지 모르기 때문에 다양한 모델을 학습시켜보고 결과를 비교해봐야 함

• 사용법

tensorflow에서 transfer learning을 사용하기 위해서 다양한 pre-trained 모델을 import

 

모델 파라미터

• weights : 사전학습에 사용된 데이터셋
• include_top=False : 모델의 특징 추출기만 가져옴 (분류기는 가져오지 않음)
• input_shape : 새롭게 학습시킬 이미지 텐서 크기

 

전이학습 + 커스터마이징 → 모델 생성

import tensorflow as tf
from tensorflow.keras.models import Sequential, Model
from tensorflow.keras.layers import GlobalAveragePooling2D, Dense, Dropout, Flatten
from tensorflow.keras.applications import # 사용할 pre-trained 모델

# 원래 VGG16의 구조 확인
model = VGG16()
model.summary()

# 수정 후 구조 확인
model = VGG16(input_shape=(32, 32, 3), include_top=False, weights='imagenet')
model.summary()

output = model.output # 마지막 출력결과 반환

x = GlobalAveragePooling2D()(output)
x = Dense(50, activation='relu')(x)
output = Dense(10, activation='softmax', name='output')(x) # softmax 10개로 분류

model = Model(inputs=model.input, outputs=output)
model.summary()

모델 파라미터를 아래와 같이 수정

• input_shape는 (32, 32, 3)
• classification layer를 제거하고 커스터마이징
• 가중치는 imagenet으로 전이학습

원래 모델의 구조

수정된 모델의 구조

원래 모델 구조에서 Flatten, Dense 제거 → 수정된 모델

 

 

위 코드처럼 수정할 수도 있고 아래 코드처럼 한 layer씩 추가 가능

• Flatten() : pre-trained 모델과 새롭게 추가하는 분류기 연결
• compile() : loss, optimizer, metric 정의

 

학습

• ImageDataGenerator & train, test data 읽어오기

 

• 모델 컴파일 & 학습

 

• 손실 & 정확도

---

 

잠와..

 

아참참 참고 링크

[딥러닝] 전이 학습(Transfer Learning)

전이 학습 (Transfer Learning)

전이학습 예제 (Cats and Dogs)