🐹's tory

캡스톤을 진행하다가 일반 추천 시스템 알고리즘을 사용해서 카테고리, 메뉴명에 대해서만 유사도 계산을 하다가 음식 설명에 대한 문장 유사도에 따라 추천을 하면 좋을 것 같아서 문장 유사도를 평가할 수 있는 NLP 모델을 찾아봤다 SBERT와 대해 내가 정리한 글들 !! 더보기 [SBERT] Sentence-BERT 일단 캡스톤에서 SBERT를 사용하여 문장 사이의 유사도를 평가하기로 해서 SBERT 논문을 읽고 정리해 보았다 Abstract BERT와 RoBERTa는 의미론적 텍스트 유사성(STS)과 같은 sentence-pair regression tasks에 대 hjkim5004.tistory.com [NLP | BERT & SBERT] Cross-Encoder와 Bi-Encoder BERT와 기존 B..

퍼셉트론 학습이 가능한 초창기 신경망 모델 동작 입력층에 특징 벡터가 들어오면 서로 연결된 특징값과 가중치를 곱한 결과를 모두 더해 s를 얻음 s를 활성함수(activation function)에 입력으로 넣고 계산 활성함수의 출력이 퍼셉트론의 최종 출력 → 1 또는 -1 퍼셉트론은 (+) 영역과 (-) 영역으로 나눠 (+) 영역의 점은 모두 +1로, (-) 영역의 점은 모두 -1로 변환 → 이진 분류기 (그리고 퍼셉트론 목적함수 설계랑 학습 알고리즘까지 노션에 정리되어 있음 !) 다층 퍼셉트론 퍼셉트론은 선형분리(linearly separable)가 가능한 상황에서만 가능, 선형분리가 불가능(linearly non-separable)한 상황은 오류 발생 ⇒ 다층 퍼셉트론은 여러 개의 퍼셉트론을 결합한 ..

선형대수와 확률과 통계가 머신러닝이 중요함 최적화 주어진 데이터로 최적화 문제를 어떻게 공식화 ? → 최적화 공식을 어떻게 풀어 최적의 해, 즉 목적함수를 최소로 하는 점을 찾을 것인가 ⇒ 기계 학습의 핵심주제 최적화 문제해결 해 공간 전체를 샅샅이 뒤지는 낱낱탐색(exhaustive search) 알고리즘 고차원에서는 불가능 → 매우 많은 점에 대해 목적함수를 계산해야 함 각각의 차원을 구간으로 나누고, 이들 각각의 목적함숫값을 계산해 가장 작은 점을 찾음 무작위로 선택된 점들을 탐색하는 무작위 탐색(random search) 알고리즘 기계 학습이 사용하는 전형적인 알고리즘 미분 미분에 의한 최적화 1차 도함수는 어떤 점에서의 기울기, 즉 x가 미세하게 증가했을 때 함숫값의 변화율을 알려줌 → 이런 성..

기계 학습 개념 기계학습은 예측 문제를 해결 회귀 regression : 실숫값을 예측하는 문제 분류 classification : 부류를 예측하는 문제 기계 학습이란 가장 정확하게 예측할 수 있는 최적의 매개변숫값을 찾는 작업임 1. 학습 (성능을 개선하며 최적의 상태에 도달하는 작업 2. 학습된 모델을 사용해 예측 훈련집합으로 모델 학습 → 테스트집합으로 학습된 모델의 일반화 능력 측정 ⇒ 모델을 독립적으로 학습시킨 후 가장 좋은 모델을 선택 최종 목표는 훈련집합에 없는 새로운 샘플(테스트 집합)에 대한 오류를 최소화 + 높은 성능 보장하는 것 → 일반화 능력 특징 공간 변환과 표현 학습 기계 학습은 좋은 특징 공간을 찾아내는 작업 중요 ㄴ 표현 학습(representation learning) : ..

BERT와 기존 BERT 모델을 변형시켜 의미론적으로 의미 있는 문장 임베딩을 추출할 수 있도록 만든 SBERT 모델의 구조에 대해 알아보자 ! 우선 앞서 말한 것처럼 SBERT(sentence bert)는 BERT를 변형시켜 만든 모델로 코사인 유사도를 이용하여 의미 있는 문장 문장 임베딩을 추출하는 것을 목표로 만들어졌다. 또 BERT의 정확도를 유지하며 작업 속도를 줄일 수 있다. 여기서 문장 임베딩이란, 문장 정보를 벡터 공간의 위치로 표현한 값이며 문장을 벡터 공간에 배치하여 문장 간 비교, 클러스터링, 시각화 등 다양한 분석 기법 이용이 가능하게 한다. 기존 BERT의 경우, Sentence Embedding을 생성하는 방법이 존재했지만 과거 모델의 성능에 미치지 못했고 주로 두 개의 문장을 ..

캡스톤 중에 챗봇 API를 사용할 일이 생겨서 사용해보았다! 아래 사이트에서 회원가입을 해준다 OpenAI API An API for accessing new AI models developed by OpenAI platform.openai.com 오른쪽 상단 프로필에서 View API keys를 click ! create new secret key ! 이때 키는 발급받고 처음이자 마지막으로 확인 가능하기 때문에 어딘가에 잘 저장해두어야 한다 Usage에서 사용량 확인 가능합니다아 ~ 🍡 그리고 코드 작성 ! 매우 간단해요 ^ㅁ^ 아래는 전체 코드 import openai API_KEY = '발급받은 key 입력' def callChatGPT(prompt, API_KEY=API_KEY): messages..

저번 글 이후로 시간이 좀 흘렀다..! [추천 시스템] 메뉴 추천 시스템 (2)저번 글에서 이어집니다 ~ 저번에 어떤 건 같은 카테고리가 제대로 뽑히는데 어떤 건 안 돼서 열심히 서치해봤더니...! CountVectorizer가 자체적으로 한 글자인 경우에는 따로 카운트를 해주지 않는hjkim5004.tistory.com일단 데이터셋에 없는 메뉴명이 들어왔을 때 카테고리나 메뉴명에 따라 메뉴를 추천해주는 기능이 필요하다! (위 글에서는 데이터셋에 있는 메뉴와 유사한 메뉴들을 추천) NLP 사용하거나 챗봇 api를 사용해서 구현하려다가 제일 간단하게 규칙기반으로 구현하기로 결정했다 (사실 며칠 뒤에 바로 chatGPT API 사용하는 것으로 변경됐다 히히 / 근데 짱 쉬워) 그래서 일단 새롭게 입력된 메뉴..

저번 글에서 이어집니다 ~ 저번에 어떤 건 같은 카테고리가 제대로 뽑히는데 어떤 건 안 돼서 열심히 서치해봤더니...! CountVectorizer가 자체적으로 한 글자인 경우에는 따로 카운트를 해주지 않는다고 한다.. 아마 영어에서는 한 글자인 경우에는 중요한 의미가 없어서 그런 것 같다.. 그치만 내 데이터셋은 한글이고 떡, 국, 탕, 전, 찜, 면 등등 한 글자인 것들도 매우 많고.. ,나 공백, /가 포함된 텍스트도 인식해주지 않는다는 것을 확인해서 따로 데이터 값을 변경해주었다 import pandas as pd df = pd.read_csv('food_list.csv',encoding='cp949') data = df[['구분', '음식명']] # 필요한 데이터만 가져오기 for i in ra..

메뉴명을 받으면 카테고리 유사도에 따라 음식을 추천해 주고, 사용자의 평가를 받아 추천에 반영하는 컨텐츠기반 추천 시스템을 만드는 것이 목표이다 !! 우선은 공공 데이터 중 한국국제교류재단_한국음식정보_영문 데이터셋을 사용했다 AI hub에 있는 데이터셋들은 음식 이미지 데이터셋이라 이미지명에서 카테고리와 음식명을 뽑아와야 해서 텍스트로 제공해 주는 데이터셋을 선택했다 한국국제교류재단_한국음식정보_영문_20230228 해당 데이터는 재료(면, 떡, 채소류, 젓갈 등) 및 조리법(찜, 구이, 조림, 등) 별로 분류한 약 700여가지의 한국음식에 대한 정보를 영문으로 제공합니다. www.data.go.kr 아래는 노션에 정리해 둔 데이터셋 후보들 💤 더보기 데이터셋 음식 이미지 및 영양정보 텍스트 + 카테고..

파이토치를 사용해서 멀티 퍼셉트론 구현하기 ! iris 데이터를 사용해서 붓꽃의 종류를 분류해보자 ~ PyTorch PyTorch는 Python을 위한 오픈소스 머신 러닝 라이브러리 ! GPU사용이 가능하기 때문에 속도가 상당히 빠르다 파이토치를 사용하는 이유는 1. 파이썬과 유사해서 코드를 이해하기 쉽다 2. 설정과 실행이 매우 쉽다 3. 딥러닝을 배우기 쉽다 4. 연구에도 많이 사용된다 등 ~ IRIS 데이터셋 붓꽃에 대한 데이터 ! 꽃받침의 길이, 너비와 꽃잎의 길이, 너비에 대한 4차원 데이터이다 1. PyTorch 설치 일단 내 개발환경은 맥이기 때문에 mac 기준으로 진행 Anaconda | Anaconda Distribution Anaconda's open-source Distribution..