Trouble shooting

Out Of Memory

• 정확한 에러 해결이 어려움
• 원초적인 방법 -> batch size down

GPUtil

• GPU의 상태를 보여주는 모듈
• iter마다 메모리가 늘어나는지 확인할 것

import GPUtil
GPUtil.showUtilization

torch.cuda.empty_cache()
# 사용되지 않은 gpu cache 정리
# del과 구분해야 함
# reset대신 쓰기 좋음

• 1d tensor는 기본 객체로 변환하여 저장
• 필요 없는 변수는 del 삭제
• OOM 발생 시 batch size 1로 해보기

with torch.no_grad():
	# statement
 
	# backward가 일어나지 않음

• colab에서 너무 큰 사이즈는 x
• CNN은 대부분 shape 문제
• tensor의 float precision을 16bit으로 줄일 수 있음