RNN

RNN - 시 계열(time-series), sequence data

• 비독립적 데이터 (소리, 문자열, 주가 등)
• 독립동등분포(i.i.d) 위배, 데이터의 소실이나 순서 변경에 영향
• 조건부확률 이용

• 과거의 모든 정보가 필요한 것은 아니다. 
• 가변적인 길이의 데이터를 다루어야 함
• 고정된 길이 τ 만큼의 sequence만 사용(Autoregressive model)
• 바로 직전 정보와 그 이전 정보를 잠재 변수로 인코딩하여 활용 (Latent Autoregressive model)

MLP 모형과 RNN 모형

• 가중치 행렬은 변하지 않음

Backpropagation Through Time

• 가중치 행렬의 미분값이 너무 크거나 작으면 불안정해짐
• 긴 시퀀스가 필요한 data는 BPTT를 적용 시 기울기 소실(gradient vanish) 발생
  • truncated BPTT : 일정 시점 이전의 data는 전달하지 않음
  • LSTM, GRU 등 사용