[NLP | BERT & SBERT] Cross-Encoder와 Bi-Encoder

BERT와 기존 BERT 모델을 변형시켜 의미론적으로 의미 있는 문장 임베딩을 추출할 수 있도록 만든 SBERT 모델의 구조에 대해 알아보자 !

 

우선 앞서 말한 것처럼 SBERT(sentence bert)는 BERT를 변형시켜 만든 모델로 코사인 유사도를 이용하여 의미 있는 문장 문장 임베딩을 추출하는 것을 목표로 만들어졌다. 또 BERT의 정확도를 유지하며 작업 속도를 줄일 수 있다.

 

여기서 문장 임베딩이란, 문장 정보를 벡터 공간의 위치로 표현한 값이며 문장을 벡터 공간에 배치하여 문장 간 비교, 클러스터링, 시각화 등 다양한 분석 기법 이용이 가능하게 한다.

 

기존 BERT의 경우, Sentence Embedding을 생성하는 방법이 존재했지만 과거 모델의 성능에 미치지 못했고 주로 두 개의 문장을 모델에 넣어 Cross-Attention을 활용해 비교하는 방식을 활용했다.

 

Cross-Encoder와 Bi-Encoder

Cross-Encoder와 Bi-Encoder의 차이점을 알아보자면

 

Cross-Encoder의 경우 두 문장을 동시에 Transformer 네트워크에 전달한다.

입력 문장 쌍의 유사성을 나타내는 0과 1 사이의 출력 값보다 생성한다.

두 개의 문장을 모델에 넣어 내부에서 문장 간 문장의 관계를 비교하게 되는데, 문장이 변형되지 않은 상태에서 비교하기 때문에 정보 손실 없이 문장 간 관계를 파악하는 성능이 우수하다.

하지만 비교해야 하는 문장수가 많아질수록 연산이 급증한다는 단점이 있다.

예를 들어 100개의 문장 비교한다면 Cross는 100C2회 수행해야 하지만 Bi는 일단 문장 임베딩(100회) 후 단순 비교하면 되기 때문에 Cross 보다 Bi의 연산 횟수가 적다.

 

 

Bi-Encoders는 두 문장을 비교하기 위해 주어진 문장에 임베딩된 문장을 생성한다. 문장 A와 B를 독립적으로 BERT에 전달하여 문장 임베딩 u와 v를 생성하고 이러한 문장 임베딩을 코사인 유사성을 사용하여 비교할 수 있다.

간단하게 나타내자면 아래 단계를 거친다고 볼 수 있다.

1. 두 문장을 비교하기 위해 개별 문장의 Embedding 생성하는 단계
2. 모델 Output을 Pooling 하여 Sentence Embedding 생성하는 단계
3. CosineSimilarity를 통해 문장과 문장 간 관계 비교를 비교하는 단계

실시간 문제 해결에 활용될 수 있을만한 빠른 연산 속도 보장한다는 장점이 있지만, Embedding 과정에서 정보손실이 발생하므로 성능에 있어서 Cross-Encoder에 미치지 못한다는 단점이 있다.

 

구조 자체는 Cross-Encoder가 단순해 보이지만 실제로는  Bi-Encoder는 일단 문장을 embedding을 생성한 후 비교하는 과정 자체는 Bi-Encoder 방식이 효율성 면에서 훨씬 더 효과적이다.

---

Cross-Encoders — Sentence-Transformers documentation