Neural Network

데이터 X, 가중치 W, 절편 b

Softmax

• 한 벡터가 어떤 class에 속할지 확률 예측

3 class 분류일때 softmax

Activation Function

• nonlinear function
• 활성 함수 + 선형모델 = 신경망

sigmoid 함수, tanh 함수

 

ReLU 함수, 가장 많이 쓰이는 활성 함수

forward propagation(순전파)

Multi-Layer Perceptron

 

output

 

 

 

activation func(z)

 

z = weight * data + bias

 

input data

 

 

• layer가 많을수록 필요한 뉴런(node)의 수가 줄어 효율적인 학습 가능
• 그러나, 최적화가 어려워질 수 있음

backward propagation(역전파)

chain-rule

• 각 노드의 tensor 값을 저장해야 미분이 가능하므로 순전파보다 느림(위 식에서 x,y를 모두 기억해야 함)

손실함수 L에 대해 첫번째 가중치 행렬을 미분하는 과정