RNN

Recurrent Neural Network

• markov model (first-order autogressive model) : n번째의 결과는 n-1에 dependent하고 그 이전 정보는 버린다
• latent autoregressive model : 과거의 정보를 요약한 hidden state만을 참조
• Short-term dependency - 과거의 정보를 제대로 저장할 수 없음
• Gradient vanishing/exploding

LSTM (Long Short Term Memory)

• cell state : t까지의 정보를 summarize
• Forget gate : 어떤 정보를 버릴지 (input과 prev hidden state에 대해)
• Input gate :  어떤 정보를 저장할지 (input과 prev hidden state에 대해)
• Update cell : Input gate의 결과와 Forget gate의 결과를 combine하여 cell state update
• Output gate : 어떤 값을 hidden state와 output으로 던져줄지
• cell state dimension = output dimension

GRU (Gated Recurrent Unit)

• reset gate, update gate로만 구성
• cell state가 사라지고 hidden state만 남음
• hidden state가 output이자 곧 다음 step의 hidden state로 들어감
• lstm보다 적은 paramete