부스트캠프 AI Tech/NLP (3) 썸네일형 리스트형 Transformer Transformer RNN의 정보 유실 한계 Bi-Directional RNN - forward RNN & backward RNN concat 각 input은 concat 후 query, key, value로 변환 (linear transform) # of key vector == # of value vector dim of query vector == dim of key vector attention : Q, K(T) 내적 후 row-wise softmax attention과 V 내적 실제 transformer는 q,k,v의 shape 동일 scaled softmax - 일정한 학습을 위해 dim of key의 제곱근을 나눠줌 Multi-head attention attention의 입출력 크기가 같.. Word embedding Word embedding word를 하나의 vector로 변환 단어의 유사도를 잘 표현하도록 설계해야함 Word2Vec 한 문장에서 인접한 단어는 비슷할 것이다. (기본 전제) sliding window - 중심 단어와 주변 단어를 window 크기만큼 단어 쌍으로 구성 input layer -> hidden layer -> output layer -> softmax 기계번역, 감정분석, image captioning Glove 학습이 빠르고 small corpus에서도 가능 단어 쌍이 동시에 등장한 횟수를 미리 count 두 단어의 내적값과 비슷하도록 loss function 설계 NLP overview NLP NLU : Natural Language Understanding NLG : Natural Language Generation Task NLP (major conference : ACL, EMNLP, NAACL) Low-level parsing tokenization, stemming Word level Named entity recognition(고유명사 인식), POS tagging, noun-phrase chunking, dependency parsing, coreference resolution Sentence level Sentiment analysis, machine translation Multi-sentence and paragraph level Entailment, predicti.. 이전 1 다음