전체 글 (57) 썸네일형 리스트형 Transformer Transformer RNN의 정보 유실 한계 Bi-Directional RNN - forward RNN & backward RNN concat 각 input은 concat 후 query, key, value로 변환 (linear transform) # of key vector == # of value vector dim of query vector == dim of key vector attention : Q, K(T) 내적 후 row-wise softmax attention과 V 내적 실제 transformer는 q,k,v의 shape 동일 scaled softmax - 일정한 학습을 위해 dim of key의 제곱근을 나눠줌 Multi-head attention attention의 입출력 크기가 같.. Word embedding Word embedding word를 하나의 vector로 변환 단어의 유사도를 잘 표현하도록 설계해야함 Word2Vec 한 문장에서 인접한 단어는 비슷할 것이다. (기본 전제) sliding window - 중심 단어와 주변 단어를 window 크기만큼 단어 쌍으로 구성 input layer -> hidden layer -> output layer -> softmax 기계번역, 감정분석, image captioning Glove 학습이 빠르고 small corpus에서도 가능 단어 쌍이 동시에 등장한 횟수를 미리 count 두 단어의 내적값과 비슷하도록 loss function 설계 NLP overview NLP NLU : Natural Language Understanding NLG : Natural Language Generation Task NLP (major conference : ACL, EMNLP, NAACL) Low-level parsing tokenization, stemming Word level Named entity recognition(고유명사 인식), POS tagging, noun-phrase chunking, dependency parsing, coreference resolution Sentence level Sentiment analysis, machine translation Multi-sentence and paragraph level Entailment, predicti.. #RuntimeError: cuDNN error: CUDNN_STATUS_NOT_SUPPORTED. This error may appear if you passed in a non-contiguous input Solution batch size를 줄인다 Competition Overview 꼭 보기 Problem Definition 풀어야 할 문제 정의 input, output 정의 사용처 EDA Exploratory Data Analysis 데이터를 이해하기 어떤 방식으로든 해보기 Image Classification Image - (width, height, channel), unsigned int 8 Dataset vanilla data -> dataset Bounding box Resize Generalization bias & variance train & validation data augmentation - 도메인에 적절하게 torchvision.transforms Albumentations Data Generation data feeding 상황에 맞게 줘야함.. System has not been booted with systemd as init system (PID 1). Can't operate. Code sudo systemctl status docker Error System has not been booted with systemd as init system (PID 1). Can't operate. Failed to connect to bus: Host is down Solution https://linuxhandbook.com/system-has-not-been-booted-with-systemd/ Linux & Shell Linux Debian, Ubuntu, Redhat, CentOS 등 분파가 나뉨 Shell Command man : manual docstring echo 'shell command' : command의 결과 출력 bash '*.sh' : shell script 실행 cat a.txt b.txt > c.txt (overwrite), cat a.txt b.txt >> c.txt (append) find . -name "file_name" export : 환경 변수 ~/.bashrc 에 저장 후 source ~/.bashrc : 즉시 적용 alias : alias sort : 행 단위 정렬 uniq : 중복 제거 grep : 패턴과 매칭되는 라인 검색 (grep -option "pattern" file_n.. MLflow MLflow Experiment Management & Tracking - 실험 결과 공유 Model Registry - 공유, versioning Model Serving - REST API 형태로 serving MLflow Tracking - ML 코드 실행, 로깅 api, UI MLflow Project - ML 코드 패키징(코드, requirements, 모델 등) MLflow Model - 다양한 플랫폼에 배포 MLflow Registry - 중앙 저장소 MLProject - 프로젝트 정보 저장, 환경 설정 pytorch.nn.Module 지원 x Python code -> Tracking server -> artifact store mlflow run -> 기록 요청 -> 기록 -> 아티팩트 저장 이전 1 2 3 4 ··· 8 다음