Probability

확률론

• machine learning에서 loss function은 데이터를 통계적으로 해석, 학습 유도
  • 회귀 분석에서 loss function으로 사용되는 L2_norm은 예측오차의 분산을 최소화
  • 분류 문제에서 loss function으로 사용되는 cross-entropy는 모델 예측의 불확실성 최소화
• 확률변수 - 확률분포에 따라 구분 (데이터공간에 의해 결정되는 것이 아님)
• 이산확률변수
  • 확률변수가 가질 수 있는 모든 경우의 수를 고려하여 더함
• 연속확률변수
  •  확률변수의 밀도(density)위에서의 적분
• 결합분포(joint distribution)
• 주변확률분포 - x의 분포, (label)에 대한 정보 제공하지 않음
• 조건부확률분포 - y에 따른 x의 분포 

기댓값(expectation) > 평균

• 데이터를 대표하는 통계량
• 확률분포를 통해 다른 통계적 범함수(input이 함수이고 output이 scalar인 함수)를 계산
• 이산확률분포 - 급수, 연속확률분포 - 적분

Monte Carlo Sampling

• 이산형, 연속형 모두 가능
• 독립추출이 보장된다면 기대값 수렴 보장
• i.i.d (독립항등분포)
  • independent and identically distribution
  • 확률 변수들이 상호 독립적이며, 동일한 확률 분포를 가짐