본문 바로가기

전체 글

 (57)
Docker Docker Image : 컨테이너를 실행할 때 사용하는 템플릿, read only Container : Image를 활용해 실행된 Instance, readwrite 원격저장소 - docherhub, GCR, ECR docker pull "image_name:tag_num" : 가져오기 docker run --name "container_name" -e 환경변수 설정 -d(백그라운드 모드 설정) -p local_host_port:container_port image_name:tag docker ps : 실행 중인 컨테이너 (docker ps -a : 중지된 컨테이너도 보여줌) docker exec -it "container_name" /bin/bash : 컨테이너 진입 docker stop "conta..
Autoencoder Autoencoder Unsupervised learning (1) ML density estimation (2) Nonlinear Dimensionality reduction (Manifold learning) (3) Generative model learning (4) 입력 = 출력 AutoEncoder 학습 시 비지도학습이며 -> Unsupervised learning (1) loss는 negative ML(Most likelihood) -> ML density estimation (2) AutoEncoder에서 Encoder는 차원 축소의 역할 -> Nonlinear Dimensionality reduction (3) Encoder를 지나면 차원이 줄어듦 Decoder는 생성 모델의 역할 -> G..
more Library Missingno 결측치를 체크하는 라이브러리 msno.matrix(), msno.bar() Treemap 계층적 데이터를 직사각형을 사용하여 포함 Mosaic plot과 유사 label, color, pad text_kwargs Waffle Chart 와플 형태로 discrete하게 표현 icon을 사용하여 표현가능 (Pictogram Chart) legend, starting_location block_arrange_style, icon Venn 벤 다이어그램, 집합 출판 및 ppt에 사용 디테일한 사용 어려움 subset=(1st set, 2nd set, intersection) set 객체를 주면 자동 정렬
Pie Chart Pie Chart 원을 부채꼴로 분할하여 표현 백분위를 나타낼 때 유용 가장 많이 사용하는 차트 비교 어려움 bar plot이 더 유용 startangle explode shadow auto pct labeldistant rotatelabels counterclock radius Donut Chart 중간이 비어있는 pie chart 디자인적으로 선호 plotly에서 쉽게 사용 가능 pctdistance textprops Sunburst Chart 계층적 데이터를 시각화 Treemap을 사용할 것 plotly에서 쉽게 사용 가능 화려함
Polar coordinate Polar Plot(극 좌표계) 중심에서의 거리 R, 각도 theta를 사용 회전, 주기성 표현 projection = polar scatter, line, bar 모두 가능 set_rmax(), set_rmin(), set_rticks() set_rlabel_position() set_thetamin(), set_thetamax() scatter(), bar(), plot(), fill() Rader Plot 극좌표계를 사용한 차트 Star Plot 데이터의 Quality 각 feature는 independent이어야함 feature가 많으면 가독성 하락 set_thetagrids(), set_theta_offset()
Generative Model Generative Model Generation : trainset에 없는 이미지를 생성 Density estimation : anomaly detection, 이미지 구분 explicit model : input에 대한 probability를 얻을 수 있는 model Unsupervised representatino learning : feature learning Discrete distribution 베르누이 분포(coin flip) 0 or 1 카테고리 분포(m-side dice) 1 or 2 or ... or n Independent Assumption 각 pixel이 모두 independent 하다는 가정 3 important rules Chain rule Bayes' rule Conditi..
Transformer Transformer attention last encoder's layer -> all decoder's layer input의 len, domain은 output과 다를 수 있다 input word의 수에 상관 없이 1번만 돌아 감 encoder, decoder의 구조는 같지만, parameter는 다르다 input이 같더라도 같은 seq 내의 단어들에 따라 output이 변할 수 있다 (more flexible) O(n^2)의 연산이 필요하므로 bottleneck 발생 각 word마다 다른 word들 간의 attention을 계산해야 하기 때문 Encoder Self-Attention 하나의 vector를 변환할 때 다른 벡터를 변환하려 고려하는 것 - 다른 벡터들에 의존적인 forward 1 wo..
RNN Recurrent Neural Network markov model (first-order autogressive model) : n번째의 결과는 n-1에 dependent하고 그 이전 정보는 버린다 latent autoregressive model : 과거의 정보를 요약한 hidden state만을 참조 Short-term dependency - 과거의 정보를 제대로 저장할 수 없음 Gradient vanishing/exploding LSTM (Long Short Term Memory) cell state : t까지의 정보를 summarize Forget gate : 어떤 정보를 버릴지 (input과 prev hidden state에 대해) Input gate : 어떤 정보를 저장할지 (input과 p..

티스토리툴바