Hyperparameter Tuning

•  모델, 데이터, H/T 중요도는 
  • 데이터 >  모델 > H/T 순

Hyperparameter Tuning

•  learning rate, 모델의 크기, optimizer 등
• grid, random, bayesian 기법 등
• 가성비가 떨어지니 마지막에 할 것

Ray

• multi node, multi processing
• ML/DL의 병렬 처리 표준
• hyperparameter search를 위한 모듈
  • config에 search space 지정
  • 학습 scheduling 알고리즘 지정
  • 출력 양식 지정
  • tune.run() -> 병렬 처리