Generative Model

Generative Model

• Generation : trainset에 없는 이미지를 생성
• Density estimation : anomaly detection, 이미지 구분
  • explicit model : input에 대한 probability를 얻을 수 있는 model
• Unsupervised representatino learning : feature learning

Discrete distribution

• 베르누이 분포(coin flip)
  • 0 or 1
• 카테고리 분포(m-side dice)
  • 1 or 2 or  ... or n

Independent Assumption

• 각 pixel이 모두 independent 하다는 가정
• 3 important rules
  • Chain rule
  • Bayes' rule
  • Conditional independence

Auto-regressive Model

• joint distribution을 conditional distribution w/ chain rule
• 현재의 정보가 이전 정보에 dependent한 모델
  
  • ar n model : 직전의 n개의 정보에만 dependent함
• Ordering 필수

NADE (Neural Autoregressive Density Estimator)

• 1부터 n-1까지의 정보를 취합하여 n번째 pixel 계산
• explicit model
• binary - sigmoid, continuous - mixture of Gaussian

 

Variation Auto-Encoder

• Variation inference
  • posterior distribution : random variable의 확률 분포
  • variational distribution : posterior distribution계산 어려움, 최적화 가능한 형태로 근사
  • KL-divergence를 사용하여 최적화
• posterior distribution과 variational distribution의 KL- divergence를 줄이기 위해 ELBO 사용
• ELBO를 maximize하면 KL-divergence를 minizmize할 수 있다
• ELBO = reconstruction Term - Prior Fitting Term
  • reconstruction Term : reconstruction loss
  • Prior Fitting Term : latent prior(KL-divergence)
• input -> latent space -> reconstruction term -> decoder -> generation result
• Limit
  • non explicit
  • prior fitting term은 미분가능해야 하기 때문에 거의 대부분 isotropic gaussian를 사용해야 함

Adversarial Auto-Encoder

• VAE의 Prior Fitting Term을 GAN objective로 바꾼 것
• isotropic gaussian이 아니어도 사용 가능

GAN

• A two player minimax game between generator and discriminator
• DCGAN, Text2Image, Puzzle-GAN, CycleGAN
• Start-GAN, Progressive-GAN,