[SBERT] 키워드 추출 기반 유사 메뉴 검색 서비스

캡스톤을 진행하다가 일반 추천 시스템 알고리즘을 사용해서 카테고리, 메뉴명에 대해서만 유사도 계산을 하다가 음식 설명에 대한 문장 유사도에 따라 추천을 하면 좋을 것 같아서 문장 유사도를 평가할 수 있는 NLP 모델을 찾아봤다

 

SBERT와 대해 내가 정리한 글들 !!

[SBERT] Sentence-BERT

 

[NLP | BERT & SBERT] Cross-Encoder와 Bi-Encoder

 

---

[메뉴명 + 카테고리 + 음식 설명]에 대한 후보 키워드 리스트를 추출한 후, bi-encoder를 활용해서 핵심 키워드 리스트를 추출한다 ! (sbert를 사용해서 후보 키워드 리스트와 문장에 대한 임베딩을 생성하고 해당 임베딩 결과에 대해 코사인 유사도 계산을 하여 핵심 키워드 추출 )

 

그리고 메뉴판 메뉴 중 입력된 메뉴의 키워드 리스트와 가장 유사도가 높은 메뉴 순으로 추천해 준다 !

 

 

bi-encoder를 활용해서 핵심 키워드 추출 !! (후보 키워드 리스트 추출 → 핵심 키워드 리스트 추출)

우선 가상의 (김밥천국) 가게 메뉴를 cvs 파일로 만들고 읽어줬다

 

[야채김밥]을 예시로 들자면

 

1. food_name + food_category + food_description이 한 문장으로 합친 후, 공백을 기준으로 문자열 리스트 생성

['야채김밥', '김밥', '김에', '밥과', '다양한', '야채를', '넣어서', '만든', '한국의', '전통적인', '간단한', '김밥']

 

2. 형태소 분석기를 통해 명사만 추출

['야채', '김밥', '김밥', '김', '밥', '다양', '야채', '한국', '전통', '김밥'].... 

 

3. 영어를 한글로 변환 (내가 만든 데이터셋의 경우, 모두 한글로 이루어져 있음)

['야채', '김밥', '김밥', '김', '밥', '다양', '야채', '한국', '전통', '김밥'].... 

 

4. 2번 이상 사용되는 단어만 추출

['야채', '김밥'].... 

 

5. 단어 길이가 2 이상인 단어만 추출 (나는 국, 면, 밥 등 한 글자인 경우에도 필요해서 1글자 이상으로 지정해 주었다)

['야채', '김밥'].... 

ㄴ 이 최종 결과가 키워드 후보

 

6. bi-encoder : sbert를 통해 메뉴와 추출된 후보 키워드 리스트에 대해 임베딩을 생성 → 코사인 유사도를 계산해서 핵심 키워드 리스트 추출

[('야채', 0.85827744), ('김밥', 0.8466986)]

 

 

이런 역할들을 하는 함수를 작성하고, 함수들을 순서에 맞게 호출해 주고 추출된 키워드 리스트를 반환하는 함수도 만들었다 !

---

검색 서비스

우리의 서비스는 일치하는 메뉴가 입력된 경우에는 바로 주문을 해주고 정확히 일치하는 메뉴가 없는 경우에 메뉴를 추천해 준다

ㄴ 해당 알고리즘 작성

 

이제 입력된 메뉴와 유사한 메뉴를 추천해 주는 과정이다 

 

0. 먼저 메뉴판의 모든 메뉴에 대한 핵심 키워드를 뽑아 저장한 후, 본격적인 키워드 기반 유사도 검색 서비스가 시작된다

→ 메뉴판의 전체 메뉴들의 메뉴명과 키워드 리스트 추출 함수, 인덱스별 키워드 추출 함수

 

1. 새롭게 입력되어 메뉴 추천을 받는 경우에는 데이터셋에 정보가 없는 경우이기 때문에 chatGPT API를 이용해서 카테고리, 메뉴에 대한 설명을 얻어온다 → chatGPT API 사용 함수, 질문 + 답변 전처리 후 저장 함수

 

2. 위와 같은 키워드 추출 과정을 통해 새로 입력된 음식의 핵심 키워드 리스트를 추출한다 → 메뉴명이 입력 시 키워드 리스트 추출 함수

 

3. 메뉴판(데이터셋)의 메뉴들의 각 키워드 리스트와 일치하는 키워드가 많을수록 유사도가 높다고 판단하고 유사도순으로 메뉴를 추천해 준다 → 메뉴 검색 함수

 

 

[야채김밥]의 경우 다음과 같이 추천해 주는 것을 볼 수 있다

키워드에 따른 상위 20개 음식 추천 결과
['야채김밥', '참치와사비김밥', '야채비빔밥', '치즈김밥', '어린이김밥', '새우날치알김밥', '햄야채볶음밥', '참치마요김밥', '매콤땡+A1초김밥', '매콤오징어김밥', '소고기김밥', '된장찌개', '참치김치찌개', '고등어김치찌개', '꽁치김치찌개', '육개장', '뚝배기불고기', '김치볶음밥', '카레덮밥', '순두부찌개']

ㄴ 원래 메뉴판에 메뉴가 없는 경우에만 키워드 기반 메뉴 검색 함수가 돌아가기 때문에 일치하는 메뉴는 없지만, 함수를 테스트하면서 기존 메뉴판에 있는 [야채김밥]에 대해 검색했기 때문에 결과는 이와 같다

 

---

끝 ~~

 

아래는 내가 참고한 프로젝트 !!

진짜 정말................ 많~~~~~~~~이 도움을 받아서..ㅜㅜ 감사인사라도 드리고 싶은 심정..

 

당연히 못 보실 테지만... 진짜 너무 감사합니다.. ^_ㅠ

GitHub - yangoos57/Sentence_bert_from_scratch: Sbert 논문 구현 및 이를 활용한 키워드 추출 모델 개발