🐹's tory

캡스톤을 진행하다가 일반 추천 시스템 알고리즘을 사용해서 카테고리, 메뉴명에 대해서만 유사도 계산을 하다가 음식 설명에 대한 문장 유사도에 따라 추천을 하면 좋을 것 같아서 문장 유사도를 평가할 수 있는 NLP 모델을 찾아봤다 SBERT와 대해 내가 정리한 글들 !! 더보기 [SBERT] Sentence-BERT 일단 캡스톤에서 SBERT를 사용하여 문장 사이의 유사도를 평가하기로 해서 SBERT 논문을 읽고 정리해 보았다 Abstract BERT와 RoBERTa는 의미론적 텍스트 유사성(STS)과 같은 sentence-pair regression tasks에 대 hjkim5004.tistory.com [NLP | BERT & SBERT] Cross-Encoder와 Bi-Encoder BERT와 기존 B..

퍼셉트론 학습이 가능한 초창기 신경망 모델 동작 입력층에 특징 벡터가 들어오면 서로 연결된 특징값과 가중치를 곱한 결과를 모두 더해 s를 얻음 s를 활성함수(activation function)에 입력으로 넣고 계산 활성함수의 출력이 퍼셉트론의 최종 출력 → 1 또는 -1 퍼셉트론은 (+) 영역과 (-) 영역으로 나눠 (+) 영역의 점은 모두 +1로, (-) 영역의 점은 모두 -1로 변환 → 이진 분류기 (그리고 퍼셉트론 목적함수 설계랑 학습 알고리즘까지 노션에 정리되어 있음 !) 다층 퍼셉트론 퍼셉트론은 선형분리(linearly separable)가 가능한 상황에서만 가능, 선형분리가 불가능(linearly non-separable)한 상황은 오류 발생 ⇒ 다층 퍼셉트론은 여러 개의 퍼셉트론을 결합한 ..

선형대수와 확률과 통계가 머신러닝이 중요함 최적화 주어진 데이터로 최적화 문제를 어떻게 공식화 ? → 최적화 공식을 어떻게 풀어 최적의 해, 즉 목적함수를 최소로 하는 점을 찾을 것인가 ⇒ 기계 학습의 핵심주제 최적화 문제해결 해 공간 전체를 샅샅이 뒤지는 낱낱탐색(exhaustive search) 알고리즘 고차원에서는 불가능 → 매우 많은 점에 대해 목적함수를 계산해야 함 각각의 차원을 구간으로 나누고, 이들 각각의 목적함숫값을 계산해 가장 작은 점을 찾음 무작위로 선택된 점들을 탐색하는 무작위 탐색(random search) 알고리즘 기계 학습이 사용하는 전형적인 알고리즘 미분 미분에 의한 최적화 1차 도함수는 어떤 점에서의 기울기, 즉 x가 미세하게 증가했을 때 함숫값의 변화율을 알려줌 → 이런 성..

기계 학습 개념 기계학습은 예측 문제를 해결 회귀 regression : 실숫값을 예측하는 문제 분류 classification : 부류를 예측하는 문제 기계 학습이란 가장 정확하게 예측할 수 있는 최적의 매개변숫값을 찾는 작업임 1. 학습 (성능을 개선하며 최적의 상태에 도달하는 작업 2. 학습된 모델을 사용해 예측 훈련집합으로 모델 학습 → 테스트집합으로 학습된 모델의 일반화 능력 측정 ⇒ 모델을 독립적으로 학습시킨 후 가장 좋은 모델을 선택 최종 목표는 훈련집합에 없는 새로운 샘플(테스트 집합)에 대한 오류를 최소화 + 높은 성능 보장하는 것 → 일반화 능력 특징 공간 변환과 표현 학습 기계 학습은 좋은 특징 공간을 찾아내는 작업 중요 ㄴ 표현 학습(representation learning) : ..

BERT와 기존 BERT 모델을 변형시켜 의미론적으로 의미 있는 문장 임베딩을 추출할 수 있도록 만든 SBERT 모델의 구조에 대해 알아보자 ! 우선 앞서 말한 것처럼 SBERT(sentence bert)는 BERT를 변형시켜 만든 모델로 코사인 유사도를 이용하여 의미 있는 문장 문장 임베딩을 추출하는 것을 목표로 만들어졌다. 또 BERT의 정확도를 유지하며 작업 속도를 줄일 수 있다. 여기서 문장 임베딩이란, 문장 정보를 벡터 공간의 위치로 표현한 값이며 문장을 벡터 공간에 배치하여 문장 간 비교, 클러스터링, 시각화 등 다양한 분석 기법 이용이 가능하게 한다. 기존 BERT의 경우, Sentence Embedding을 생성하는 방법이 존재했지만 과거 모델의 성능에 미치지 못했고 주로 두 개의 문장을 ..

파이토치를 사용해서 멀티 퍼셉트론 구현하기 ! iris 데이터를 사용해서 붓꽃의 종류를 분류해보자 ~ PyTorch PyTorch는 Python을 위한 오픈소스 머신 러닝 라이브러리 ! GPU사용이 가능하기 때문에 속도가 상당히 빠르다 파이토치를 사용하는 이유는 1. 파이썬과 유사해서 코드를 이해하기 쉽다 2. 설정과 실행이 매우 쉽다 3. 딥러닝을 배우기 쉽다 4. 연구에도 많이 사용된다 등 ~ IRIS 데이터셋 붓꽃에 대한 데이터 ! 꽃받침의 길이, 너비와 꽃잎의 길이, 너비에 대한 4차원 데이터이다 1. PyTorch 설치 일단 내 개발환경은 맥이기 때문에 mac 기준으로 진행 Anaconda | Anaconda Distribution Anaconda's open-source Distribution..

Transfer Learning 학습 데이터가 부족한 분야의 모델 구축을 위해 데이터가 풍부한 분야에서 훈련된 모델을 재사용하는 학습 기법 Imagenet(대규모 데이터셋) 데이터를 사용해서 사전학습된(pre-trained) 모델의 가중치를 가지고 와서 우리가 해결하고자 하는 과제에 맞게 재보정해서 사용 비교적 적은 수의 데이터를 가지고도 우리가 원하는 과제를 해결할 수 있는 딥러닝 모델을 훈련 → pre-trained model의 weights를 약간씩 변화시켜 적은 데이터셋에서 task에 맞게 재사용 → pre-trained model의 classifier는 삭제하고 목적에 맞는 새로운 classifier 추가 ⇒ 새롭게 만들어진 모델 fine tuning 진행 (strategy 3개 중 1개 선택해..

detect.py 파일에서 test 할 때마다 runs/detect/exp~ 경로로 새로운 파일을 계속 생성해주길래 test 한 결과를 한 파일로 모을 수 있도록 코드를 수정했다 # Directories save_dir = Path(project)/'result' save_dir.mkdir(parents=True, exist_ok=True) #save_dir = increment_path(Path(project) / name, exist_ok=exist_ok) # increment run #(save_dir / 'labels').mkdir(parents=True, exist_ok=True) # make dir 더보기 내가 참고한 글 ! YOLO V5 환경 셋팅 및 모델 아키텍쳐 분석하기 작성자 : 한양대..

YOLOv5 설치 YOLOv5 Documentation Introduction To get started right now check out the Quick Start Guide What is YOLOv5 YOLO an acronym for 'You only look once', is an object detection algorithm that divides images into a grid system. Each cell in the grid is responsible for detecting objec docs.ultralytics.com 1. 깃헙 클론 GitHub - ultralytics/yolov5: YOLOv5 🚀 in PyTorch > ONNX > CoreML > TFLite YOLOv5..

YOLOv5 Training 1. YOLOv5 git clone git clone # clone cd yolov5 pip install -r requirements.txt # 필요한 패키지 설치 2. dataset roboflow에서 image와 label이 이미 있어서 다운받아줬다 yolo v5 pothole detection median blur Object Detection Dataset by Parth Choksi 817 open source potholes images. yolo v5 pothole detection median blur dataset by Parth Choksi universe.roboflow.com images labels 3. coco128.yaml 파일 수정 train: ..