[SBERT] Sentence-BERT

일단 캡스톤에서 SBERT를 사용하여 문장 사이의 유사도를 평가하기로 해서 SBERT 논문을 읽고 정리해 보았다

---

Abstract

BERT와 RoBERTa는 의미론적 텍스트 유사성(STS)과 같은 sentence-pair regression tasks에 대한 새로운 최첨단 성능을 가지지만, 두 문장을 모두 네트워크에 입력해야 하므로 계산 오버헤드가 매우 큼

BERT의 구성은 클러스터링과 같은 감독되지 않은 작업뿐만 아니라 의미론적 유사성 검색에도 적합하지 않음

 

→ 코사인 유사성을 사용하여 비교할 수 있는 의미론적으로 의미 있는 문장 임베딩을 도출하기 위해 siamese and triplet network structures를 사용하는 사전 훈련된 BERT 네트워크를 수정한 SBERT(Sentence-BERT)를 제시

⇒ BERT의 정확도를 유지하면서 작업 시간 줄임

---

1. Introduction

의미론적으로 의미 있는 문장 임베딩 2를 도출할 수 있는 siamese and triplet network를 사용하여 BERT 네트워크를 수정한 SBERT(Sentence-BERT)를 제시

→ 대규모 의미 유사성 비교, 클러스터링 및 의미 검색을 통한 정보 검색 가능

 

BERT는 cross-encoder를 사용

두 문장이 transformer network에 전달되고 목푯값을 예측 → 가능한 조합이 너무 많기 때문에 다양한 쌍 회귀 작업에 적합하지 않음

 

클러스터링 및 의미 검색을 다루는 일반적인 방법은 각 문장을 의미적으로 유사한 문장이 근접하도록 벡터 공간에 매핑하는 것

연구자들은 BERT에 개별 문장을 입력하고 고정된 크기의 문장 임베딩을 도출하기 시작

코사인 유사성 또는 맨해튼/유클리드 거리와 같은 유사성 측도를 사용하여 의미론적으로 유사한 문장을 찾을 수 있음 → SBERT를 클러스터링뿐만 아니라 의미론적 유사성 검색에도 사용할 수 있음

(10,000개의 문장 모음에서 가장 유사한 문장 쌍을 찾는 복잡성은 BERT를 사용한 65시간에서 10,000개의 문장 임베딩(SBERT를 사용한 약 5초) 및 코사인 유사성 계산(약 0.01초)으로 감소)

 

섹션 3: SBERT 제시

섹션 4: 일반적인 STS 작업과 도전적인 인수 측면 유사성(AFS) 말뭉치에 대해 SBERT 평가

섹션 5: SentEval에서 SBERT를 평가

섹션 6: SBERT의 일부 설계 측면을 테스트하기 위해 절제 연구를 수행

섹션 7: 다른 최첨단 문장 임베딩 방법과 대조적으로 SBERT 문장 임베딩의 계산 효율성을 비교

---

2. Related Work

• BERT

질문 답변, 문장 분류 및 문장 쌍 회귀를 포함한 다양한 NLP 작업을 위한 새로운 최첨단 결과를 설정하는 pre-trained transformer network

문장 쌍 회귀 분석을 위한 BERT 입력은 특수 [SEP] 토큰으로 구분된 두 문장으로 구성

BERT 네트워크 구조의 큰 단점은 독립적인 문장 임베딩이 계산되지 않아 BERT에서 문장 임베딩을 도출하기 어렵다는 것임

 

• 최첨단 문장 임베딩 방법

다양한 방법들이 있음

 

SBERT는 20분 이내에 튜닝될 수 있으며, 비교 가능한 문장 임베딩 방법보다 더 나은 결과를 얻을 수 있음

---

3. Model

SBERT는 BERT/RoBERTa의 출력에 풀링 연산을 추가하여 고정 크기의 문장 임베딩을 도출

세 가지 풀링 전략을 실험

CLS 토큰의 출력을 사용하여 모든 출력 벡터의 평균(평균 전략)을 계산하고 출력 벡터의 최대 시간(MAX-전략)을 계산 (기본 구성은 평균)

• Classification Objective Function

u와 v를 포함하는 문장을 요소별 차이 |u-v|와 연결하고 훈련 가능한 가중치 Wt ∈ R 3n×k로 곱함

 

여기서 n은 문장 임베딩의 차원, 레이블의 수 k → 소프트맥스 분류기 목적 함수

 

• Regression Objective Function

유사성 점수를 계산하기 위한 추론에서의 SBERT 아키텍처

u와 v를 포함하는 두 문장 사이의 코사인 유사성이 계산

평균 제곱 오차 손실(MSE)을 목표 함수로 사용

 

 

• Triplet Objective Function

수학적으로 다음 손실 함수를 최소화 → 목적함수

앵커 문장 a, 양의 문장 p 및 음의 문장 n

삼중항 손실은 a와 p 사이의 거리가 a와 n 사이의 거리보다 작아지도록 네트워크를 조정

 

3.1 Training Details

SNLI, Multi-General NLI 데이터 세트의 조합에 대해 SBERT를 교육

ㄴ 모순, 속박 및 중립 레이블로 주석이 달린 570,000개의 문장 쌍의 모음 / 430,000개의 문장 쌍을 포함하며 다양한 장르의 구어 및 필기 텍스트를 포함

 

1개의 에포크에 대해 3방향 소프트맥스 분류기 목표 함수로 SBERT를 미세 조정

배치 크기 16, 학습 속도 2e-5의 Adam Optimizer 및 훈련 데이터의 10% 이상의 선형 학습 속도 워밍업을 사용

기본 풀링 전략은 평균 풀링

---

8. Conclusion

BERT가 문장을 코사인 유사성과 같은 공통 유사성 측정에 사용하기에는 다소 부적합한 벡터 공간에 매핑한다는 것을 보여줌

이러한 단점을 극복하기 위해 SBERT(Sentence-BERT)를 제시

 

SBERT는 동일한 네트워크 아키텍처에서 BERT를 미세 조정

SBERT는 계산적으로 효율적

SBERT는 BERT로 모델링하기에는 계산적으로 불가능한 작업에 사용 가능

 

---

SBERT는 BERT를 기반으로 하여 문장 임베딩을 얻을 수 있는 모델이며, BERT의 문장 임베딩의 성능을 우수하게 개선시킨 모델로 볼 수 있다

 

우리 캡스톤에서는 문장 사이의 유사도를 평가할 것이기 때문에 문장 쌍 회귀 태스크로 파인 튜닝에 대해서 더 알아보았다

 

그리고 논문에서도 살짝 언급되긴 하는데 기존 BERT의 경우 Cross-Encoder를 사용하지만 SBERT의 경우에는 Bi-Encoder를 사용한다는 점도 추가로 알게 되었는데 이러한 부분들에 대해선 다음 글에 더 자세히 써야지 !