본문 바로가기

부스트캠프 AI Tech

 (53)
Docker Docker Image : 컨테이너를 실행할 때 사용하는 템플릿, read only Container : Image를 활용해 실행된 Instance, readwrite 원격저장소 - docherhub, GCR, ECR docker pull "image_name:tag_num" : 가져오기 docker run --name "container_name" -e 환경변수 설정 -d(백그라운드 모드 설정) -p local_host_port:container_port image_name:tag docker ps : 실행 중인 컨테이너 (docker ps -a : 중지된 컨테이너도 보여줌) docker exec -it "container_name" /bin/bash : 컨테이너 진입 docker stop "conta..
Polar coordinate Polar Plot(극 좌표계) 중심에서의 거리 R, 각도 theta를 사용 회전, 주기성 표현 projection = polar scatter, line, bar 모두 가능 set_rmax(), set_rmin(), set_rticks() set_rlabel_position() set_thetamin(), set_thetamax() scatter(), bar(), plot(), fill() Rader Plot 극좌표계를 사용한 차트 Star Plot 데이터의 Quality 각 feature는 independent이어야함 feature가 많으면 가독성 하락 set_thetagrids(), set_theta_offset()
Generative Model Generative Model Generation : trainset에 없는 이미지를 생성 Density estimation : anomaly detection, 이미지 구분 explicit model : input에 대한 probability를 얻을 수 있는 model Unsupervised representatino learning : feature learning Discrete distribution 베르누이 분포(coin flip) 0 or 1 카테고리 분포(m-side dice) 1 or 2 or ... or n Independent Assumption 각 pixel이 모두 independent 하다는 가정 3 important rules Chain rule Bayes' rule Conditi..
Transformer Transformer attention last encoder's layer -> all decoder's layer input의 len, domain은 output과 다를 수 있다 input word의 수에 상관 없이 1번만 돌아 감 encoder, decoder의 구조는 같지만, parameter는 다르다 input이 같더라도 같은 seq 내의 단어들에 따라 output이 변할 수 있다 (more flexible) O(n^2)의 연산이 필요하므로 bottleneck 발생 각 word마다 다른 word들 간의 attention을 계산해야 하기 때문 Encoder Self-Attention 하나의 vector를 변환할 때 다른 벡터를 변환하려 고려하는 것 - 다른 벡터들에 의존적인 forward 1 wo..
RNN Recurrent Neural Network markov model (first-order autogressive model) : n번째의 결과는 n-1에 dependent하고 그 이전 정보는 버린다 latent autoregressive model : 과거의 정보를 요약한 hidden state만을 참조 Short-term dependency - 과거의 정보를 제대로 저장할 수 없음 Gradient vanishing/exploding LSTM (Long Short Term Memory) cell state : t까지의 정보를 summarize Forget gate : 어떤 정보를 버릴지 (input과 prev hidden state에 대해) Input gate : 어떤 정보를 저장할지 (input과 p..
CV application Semantic Segmention per pixel classification fully convolution layer (convolutionalization) dense layer를 대체함 input dimension에 independent함 단순한 분류가 아닌 heatmap 생성 가능 Deconvolution 정확한 복원은 불가능 Detection R-CNN SPPNet Fast R-CNN Faster R-CNN - Region Proposal Network + Fast R-CNN YOLO - bounding box를 sampling하지 않아 훨씬 빠름
Modern CNN Imagenet Large-Scale Visual Recognition Challenge (ILSVRC) AlexNet 11x11 kernal, 5 conv layer, 3 dense layer ReLU Overlapping pooling Data augmentation Dropout VGGNet 3x3 kernal 1x1 conv layer for FC layer 3x3 kernal을 두번 쓰는 것이 5x5 kernal을 쓰는 것보다 더 효율적 GoogLeNet 22 layer, Network In Network Inception block - conv하기 전 1x1 conv parameter가 줄어듦 ResNet Idendity map (skip connenction) 더 깊은 network 가능 b..
Optimizer Optimizing Generalization - gap of train error&test error Underfitting, Overfitting Cross-validation Bias(정답 적중률) and Variance(분산율) Bootstrapping - dataset을 한번에 학습하지 않고 subsampling을 통해 학습 Bagging(Bootstrapping aggregating) - subsampling을 통해 여러 모델을 학습시킴. parallel Boosting - weak learner를 합쳐 strong learner를 만듦. sequential Optimizer Gradient descent - 미분값을 뺌 Momemtum - gradient에 관성을 추가 Nesterov Acc..

티스토리툴바