부스트캠프 AI Tech/Pytorch (5) 썸네일형 리스트형 Trouble shooting Out Of Memory 정확한 에러 해결이 어려움 원초적인 방법 -> batch size down GPUtil GPU의 상태를 보여주는 모듈 iter마다 메모리가 늘어나는지 확인할 것 import GPUtil GPUtil.showUtilization torch.cuda.empty_cache() # 사용되지 않은 gpu cache 정리 # del과 구분해야 함 # reset대신 쓰기 좋음 1d tensor는 기본 객체로 변환하여 저장 필요 없는 변수는 del 삭제 OOM 발생 시 batch size 1로 해보기 with torch.no_grad(): # statement # backward가 일어나지 않음 colab에서 너무 큰 사이즈는 x CNN은 대부분 shape 문제 tensor의 float pre.. Hyperparameter Tuning 모델, 데이터, H/T 중요도는 데이터 > 모델 > H/T 순 Hyperparameter Tuning learning rate, 모델의 크기, optimizer 등 grid, random, bayesian 기법 등 가성비가 떨어지니 마지막에 할 것 Ray multi node, multi processing ML/DL의 병렬 처리 표준 hyperparameter search를 위한 모듈 config에 search space 지정 학습 scheduling 알고리즘 지정 출력 양식 지정 tune.run() -> 병렬 처리 Model Control Model.save architecture, parameter 저장 model.state_dict() # 모델의 parameter 출력 torch.save(model.state_dict(),PATH) # 같은 형태의 모델의 parameter 저장 torch.load_state_dict(PATH) # 같은 형태의 모델에서 parameter 로드 torch.save(model, PATH) # architecture와 parameter 모두 저장 torch.load(PATH) # architecture와 parameter 모두 로드 Checkpoints 학습의 중간 결과 저장, early stopping epoch, loss, mertric 값을 지속적으로 저장 torch.save({ 'epoch': e '.. Pytorch - Project template Pytorch - basic Pytorch Define by Run - runtime 중 graph 생성 GPU support, good API, easy debugging 기본적으로 numpy의 사용법과 매우 유사 view, reshape은 contiguity(연속적인 데이터의 저장) 보장의 차이 이전 1 다음
