티스토리

Be an Overachiever

검색하기

블로그 홈

Be an Overachiever

devs0n.tistory.com/m

ML + Back-end developer

구독자: 19

방명록 방문하기

주요 글 목록

🤗 Transformers - CLIPModel fine-tuning 앞서 image classification을 하는 예시를 통해 🤗 Transformers의 CLIPModel의 사용법을 알아보았다. - 참고 이번에는 CLIPModel을 custom dataset에 맞춰 fine-tuning하는 예제에 대해 알아보도록 하겠다.(전체 코드는 여기에서 살펴볼 수 있다) 개요데이터모델을 훈련시키기 위해서 image-text pair 데이터가 필요하다.여기서는 CIFAR10 데이터셋을 사용할 것이고, image의 label을 통해 text를 생성하여 pair 데이터를 만들어 사용할 것이다. 이 포스팅에서는 CIFAR10 데이터셋을 사용하였지만 이미지 사이즈도 작기도 하고 class도 10개로 매우 적기 때문에 실제로는 fine-tuning을 적용하기엔 부적합하다.예시를 보여주.. 공감수 0 댓글수 0 2024. 8. 15.
🤗 Transformers - CLIPModel을 사용한 Image Classification CLIP(Contrastive Language-Image Pretraining) 모델은 multi-modal(text, image) embedding 모델로Contrastive Learning를 사용하여 text와 image를 같은 공간에 임베딩할 수 있게하는 모델이다. CLIP 모델의 흥미로운 점은 Contrastive Learning를 통해 학습한 모델이,image classification task에 있어서 zero-shot 성능이 탁월하다는 점이다. 이번 포스팅에서는 image classification 예제를 통해 🤗 Transformers CLIPModel의 사용법을 익혀보도록 하겠다. 코드는 여기에서 확인할 수 있다. 개요먼저 어떻게 image classification을 진행할지를 살.. 공감수 1 댓글수 0 2024. 8. 14.
Various Normalizations on CNN Normalization 기법은 Batch normalization 부터 시작하여 다양하게 분화되고 사용되고 있다.이러한 normalization 기법들이 CNN에서 어떻게 적용되는지 확인해보도록 하자. 기본적으로 normalization은 feature들에 대해서 scaling을 해주는 것이다.그리고 각 기법에 따라 어떤 feature를 대상으로 normalization을 할지가 달라지게 된다. CNN은 convolutional filter를 통해서 이미지로부터 여러 feature map을 얻게된다. CNN에서의 normalization은 이 feature map의 값에 대해서 적용한다.feature map에 대해 각각 normalization이 어떻게 적용되는지를 시각화해보면 아래와 같다. Bat.. 공감수 0 댓글수 0 2024. 8. 7.
[논문 구현] Auto-Encoding Variational Bayes (Varitional Auto Encoder) 앞서 VAE에 대해 이론에 대해 살펴보았다. (논문 리뷰)이제 이를 어떻게 PyTorch 코드로 구현할 수 있는지에 대해 알아보도록 하겠다. 논문에서는 흑백 이미지를 사용했지만 여기서는 컬러 이미지인 CelebA 데이터셋을 사용하도록 하겠다. 해당 코드는 여기에서 살펴볼 수 있다. Baseimport base librariesimport torch, torchvisionfrom torch import nnimport numpy as npimport torch.nn.functional as F Configuration parameters설정과 관련된 값들과 hyperparameter 등을 정한다.이미지 크기는 빠른 학습 결과를 보기위해 100x100으로 해두었다.원래 사이즈는 178×218 이다.late.. 공감수 1 댓글수 0 2024. 8. 5.
[논문 리뷰] Auto-Encoding Variational Bayes (Varitional Auto Encoder) 이번 포스팅에서는 image generative model의 기본 모델인 Variational Auto Encoder(이하 VAE)에 대해 정리하도록 한다. 단순하게 VAE의 구조와 관련 수식을 정리하는 것이 아니라 왜 VAE가 Encoder와 Decoder의 구조를 가지게 되었고 수식은 어떻게 나오게 되었는지 논리적인 흐름을 따라가고자 한다. First approach먼저 최초의 동기는 저차원의 latent space에서 샘플링 된 latent variable $z$를 통해 고차원의 이미지 $x$를 생성하고자하는 것이다저차원의 latent space는 고차원의 이미지에 대한 feature를 다룬다.예를 들어 사람 얼굴 이미지를 생성하는 것이 목적이라면 latent space의 각 차원은 사람 얼굴에 대.. 공감수 0 댓글수 0 2024. 8. 5.
[통계] Maximum Likelihood Estimation (MLE) MLE는 딥러닝에 있어서 가장 기본이 되는 개념으로, 딥러닝 모델 자체가 결국 데이터를 일반화하는 분포를 찾기 위함이기에 MLE를 밑바탕으로 한다.이번 포스팅에서는 MLE를 이해하기 위해 먼저 Likelihood에 대해 알아보고 MLE와 MLE가 딥러닝에서 어떻게 쓰이는지 알아보도록 하겠다. Likelihood vs ProbabilityLikelihood(우도, 가능도)는 Probability(확률)과 헷갈리는 부분이 있다. Probability먼저 Probaility는 주어진(고정된) 확률분포가 있다고 했을 때, 관측하고자 하는 값이나 구간이 해당 확률분포 얼마만큼 나타날 수 있는가에 대한 값이다.$P(확률변수 | 분포)$와 같이 나타낼 수 있다. 예를 들어 고정된 표준정규분포에서 확률변수 X가 1 이.. 공감수 0 댓글수 0 2024. 7. 30.
[통계] 확률분포의 Expected Value & Variance Expected Value (기대값)확률이 없이 주어진 값에 대해 평균 값을 구하는 산술 평균과는 달리, ($\mu = \frac{1}{N} \sum_{i=1}^N x_i $)확률분포의 기대값은 확률적 사건에 대해 평균을 구하기 때문에 확률을 고려해서 계산을 해야한다. 이산 확률 변수이산 확률 변수에서의 기대값을 구하는 수식은 아래와 같다.$$E[X] = \sum_{i=1}^{N} x_{i}P(x_{i})$$$x_{i}$: 확률 변수가 가질 수 있는 값$P(x_{i})$: 해당 값이 나올 확률 - 확률 질량 함수 (probability mass function) 예시 - 주사위정육면체 주사위의 경우 각 면이 나올 확률은 $\frac{1}{6}$로 동일하다.그러면 주사위에 대한 기대값은 아래와 같이 구할 .. 공감수 0 댓글수 0 2024. 7. 19.
[논문 리뷰] Deep Residual Learning for Image Recognition ResNet으로 유명한 Deep Residual Learning for Image Recognition의 논문을 리뷰한다.ResNet은 CNN을 아키텍처이지만, 이 논문에서 시사하는 바는 딥러닝에 일반적으로 통용되기 때문에 꼭 읽어봐야할 논문이다.(기계 번역을 위한 모델인 Transformer에서도 skip(shortcut) connection을 사용하는 것을 확인할 수 있다) 이번 글을 통해 논문에서 제기하는 문제와 이를 해결하기 위한 residual learning에 대해 이해할 수 있도록 하자.(최대한 논문의 내용을 베이스로 하되 좀 더 쉽게 이해하도록 풀어쓰기 위해 노력하였다) * 이 논문에서 얘기하는 "plain" network는 이 논문에서 제안하는 shortcut connection을 적용.. 공감수 0 댓글수 0 2024. 7. 1.
CNN Filter Visualization DNN(Deep Neural Network)은 성능면에서는 이미 검증이 된 머신러닝 기법이다.하지만 DNN이 어떠한 결론을 내렸을 때 어떠한 과정을 통해 그러한 결론을 내렸는지를 이해하는 것도 중요하다. 이번 포스팅에서는 CNN이 이미지에서 어떻게 물체를 인식하는지를 확인하기 위해 CNN 필터가 반응하는 패턴을 시각화하는 방법에 대해 알아보도록 하겠다. (예제 코드는 여기에서 확인할 수 있다) Concept먼저 필터가 어떤 패턴에 반응하는지를 확인하려면 어떻게 해야할까?필터의 출력인 활성화 값을 최대화시키는 이미지 데이터를 찾으면 된다.그 이미지는 필터의 패턴에 가장 많이 반응하는 것이기 때문에 해당 필터의 패턴을 나타내는 이미지라고 볼 수 있을 것이다. 그러면 활성화 값을 최대화시키는 이미지 데이터.. 공감수 0 댓글수 0 2024. 6. 16.
앙상블 기법 앙상블 기법은 여러 개의 다른 모델들의 예측 결과를 합쳐서 더 좋은 예측을 만드는 기법이다. 앙상블 기법에서 바탕이 되는 가정은 서로 독립적으로 훈련된 모델들이 각자 다른 장점을 갖는다는 것이고,각 모델들은 예측을 만들기 위해 데이터를 각자 조금씩 다른 관점에서 바라본다. 즉, 모델의 다양성이 앙상블 기법의 핵심이다.반대로 말하면 모든 모델들이 동일한 편향을 갖는다면 이들을 앙상블한 모델 역시 동일한 편향을 갖게될 것이다.그렇기에 각기 다른 알고리즘으로 모델들을 학습시키면 모델들이 서로 독립적이기 때문에 앙상블 모델이 기존의 모델들 보다 더 높은 성능을 갖게된다. 앙상블 기법이 확률적으로 성능을 향상시킬 수 있는지 예시를 통해 확인해보자.정확도가 아래와 같은 3개의 독립적인 classifier 모델이 .. 공감수 1 댓글수 0 2024. 6. 2.
CNN에서 layer가 깊어질 수록 channel size를 키우는 이유 아래와 같이 많은 CNN 기반 모델들이 layer가 깊어질 수록 channel size를 점점 늘려주는 형태를 갖는다.물론 실험적으로 증명되었기 때문에 굳어진 하나의 패턴이겠지만 왜 이런 구조를 사용하게 되었을까? 그 이유와 관련해서는 크게 2가지 의견이 있다. 1. Convolution layer와 Pooling layer를 거치면서 줄어든 feature map의 만큼 정보의 양이 줄어드는데, channel size를 늘려줌으로서 줄어든 정보의 양을 보상시켜준다는 것이다. 2. CNN에서 앞단의 레이어에서는 저차원적인 패턴(e.g. 엣지, 코너 등)을 학습하고, 뒷단의 레이어에서는 앞단의 패턴을 결합하여 통해 좀 더 고차원적인 패턴(e.g. 특정 물체의 부분, 신체 부위 등)을 학습하게 된다. .. 공감수 0 댓글수 0 2024. 5. 31.
ROC Curve ROC CurveROC(Receiver Operating Characteristic) Curve는 threshold에 대한 이진 분류기 모델의 성능을 표현한 것이다.위 ROC Curve 그래프를 보면 이는 threshold에 따른 false positive rate와 true positive rate에 대한 그래프이다.threshold: 이진 분류에 대한 임계값으로 이 값이 커질 수록 true라고 판단하는 비율이 줄어든다.e.g.) threshold가 0.3이면 true일 예측 확률이 0.3 이상이면 true라고 판단한다. (일반적으로는 0.5)false positive rate: $\frac{\text{FP}}{\text{FP} + \text{TN}}$실제 negative 중에서 positive로 잘못.. 공감수 0 댓글수 0 2024. 5. 23.
Dropout vs Inverted Dropout Dropout은 overfitting을 막기 위한 regularization 방법이다.Dropout에는 크게 두 가지 방법이 있다고 볼 수 있다. Dropout여기서 설명하는 Dropout은 Dropout: A Simple Way to Prevent Neural Networks from Overfitting 논문에서 나온 형태이다.training time에는 drop_rate의 확률로 노드의 출력을 0으로 만든다.PyTorch, Keras에서는 drop 확률(PyTorch: p / Keras: rate)을 사용한다.원 논문에서 사용하는 확률 p는 drop할 확률이 아니라 다음 노드로 출력을 전달할 확률이다.test time에는 출력을 (1 - drop_rate) 만큼 곱해주어 training time .. 공감수 0 댓글수 0 2024. 5. 21.
Manifold와 뉴럴 네트워크 학습 뉴럴 네트워크에서 Manifold가 어떤 연관이 있는지 찾아보면서 이해한 부분에 대해 정리해본다.(여러 정보들을 살펴보며 나의 이해를 기준으로 정리하였기 때문에 잘못된 내용이 들어가있을 수도 있으니 너무 믿지는 말것)Manifold매니폴드 가설(manifold hypothesis)은 고차원의 데이터가 사실은 더 낮은 차원의 구조인 매니폴드(manifold) 위에 있다고 주장하는 가설이다.딥러닝 모델은 학습을 통해 주어진 데이터에 대한 잠재 매니폴드(latent manifold)를 학습하여 데이터의 본질적인 특성을 이해할 수 있게된다. (manifold learning) 매니폴드를 설명할 때 가장 많이 나오는 스위스 롤 형태의 데이터를 예로 설명하면,3차원으로 복잡하게 표현되어있는 데이터가 아래와 같이 2.. 공감수 0 댓글수 0 2024. 5. 20.
Classification task에서 Cross-Entropy classification task에서는 loss function으로 Cross-Entropy을 주로 사용한다. binary classification일 때는 이 BinaryCrossentropy를 사용하고multi-class classification인 경우엔 CategoricalCrossentropy를 사용하게 되는데,명확하게 차이에 대한 이해 없이 기계적으로 사용하기도 하였다. 이번 포스팅에서는 classification task에서 사용되는 Cross-Entropy에 대해서 알아보도록 하겠다.시작에 앞서- 이 포스팅에서는 정보이론적으로 Cross-Entropy를 다루지 않는다.- 코드 예제는 Tensorflow를 기준으로 진행한다. Multi-class classification 분류 문제에서 .. 공감수 0 댓글수 0 2024. 5. 18.
[Keras] model.predict(x) vs model(x) model.predict(x)batch로 데이터를 처리하기 때문에 큰 데이터에 대해서도 확장(scale)할 수 있는 방법이다.출력을 NumPy 배열로 리턴한다.코드는 대략적으로 아래와 같은 형태라고 볼 수 있다.def predict(x): y_batches = [] # batch 처리 for x_batch in get_batches(x): y_batch = model(x).numpy() # 미분이 불가능하다.그렇기에 GradientTape scope에서 gradient를 구할 수 없다.출력만 필요한 경우엔 model.predict(x)를 사용하도록 한다. model(x)tf.Tensor로 리턴한다.미분이 가능하며 model(x) 를 통해 gradient를 구할 수 있다. mode.. 공감수 0 댓글수 0 2024. 5. 12.
L1, L2 Regularization Regularization이란 학습 시 overfitting을 피하고 일반화 성능을 높이는 방법이다.즉, 훈련 데이터에 대해 분산은 낮추고 바이어스는 높이면서 모델의 일반화 성능을 높이는 방법이다. Regularization은 L1, L2 regularization, Dropout 등 여러 방법이 있는데,이번 포스팅에서는 L1, L2 regularization에 대해 알아보도록 하겠다. L1, L2 regularization은 weight에 대해 Penalty term을 추가하여 weight가 작아지도록 규제하는 방법이다.이 Penalty를 통해 weight가 훈련 데이터셋에 overfitting 되는 것을 막는다. Penalty term을 어떻게 계산하냐에 따라 L1, L2로 나뉘어진다. $$Loss.. 공감수 1 댓글수 0 2024. 5. 7.
Non zero-centered activation function과 학습 비효율 CS231n 강의에서 나온 Sigmoid의 non zero-centered한 성질로 인한 학습 비효율에 대해 정확하게 이해하기 위해 정리한다. Sigmoid function의 특징으로는 non zero-centered 라는 점이고, 출력이 항상 양수로 나온다는 점이다. Sigmoid function을 activation function으로 사용했을 때, 학습에 어떤 영향을 끼칠까? 다음과 같은 단순한 형태의 네트워크가 있다고 하자.그리고 위 그림 1에서 색칠한 영역을 자세히 살펴보면 아래와 같다.입력 $x_{1}과 x_{2}$는 앞 layer의 Sigmoid 출력이기 때문에 항상 양의 값을 갖게된다. 그리고 경사 하강을 이용한 weight의 update 수식은 아래와 같다.$$ W \leftarr.. 공감수 0 댓글수 1 2024. 5. 1.
Feature scaling 과 머신러닝 학습 머신러닝 모델을 학습시키기 전 feature engineering 과정 중에 feature scaling을 하기도 한다.feature scale이 학습에 있어서 영향을 주기 때문인데,이번 포스팅에서는 feature scaling과 머신러닝 학습의 상관 관계에 대해 알아보도록 하겠다. Standardization과 Normalization먼저 feature scaling에 대표적인 방법인 standardization과 normalization에 대해 짚고 넘어가보자. Standardization (표준화)(표준화를 대체로 Z-score로 설명하기 때문에, 여기서도 Z-score를 기준으로 설명하겠다)표준화는 데이터가 표준정규분포의 속성(평균($\mu$)이 0이고 표준편차($\sigma$)가 1)을 갖도록 .. 공감수 0 댓글수 0 2024. 4. 26.
ReLU의 활성 함수으로써의 사용과 미분 가능성 ReLU는 여러 딥러닝 모델에서 activation function으로써 쓰이고 있다. (ReLU에서 생기는 문제를 해결하기 위한 다양한 variation들이 있긴 하지만) $$ ReLU(x) = max(0, x) $$ 더보기 import numpy as np import matplotlib.pyplot as plt x = np.linspace(-5, 5, 100) y = np.maximum(0, x) plt.plot(x, y) plt.grid(True) plt.xlabel("x") plt.ylabel("ReLU(x)") 딥러닝에서는 모델 훈련 시 Gradient descent를 통해 Loss를 최소화하는 파라미터를 계산하는데, Gradient descent를 위해서는 미분값을 필요로 한다. 하지만 ac.. 공감수 0 댓글수 0 2024. 4. 23.
Perceptron perceptron은 다수의 신호를 입력으로 받아 하나의 신호를 출력한다. 아래는 2개의 입력을 받는 perceptron이다. $ x $ : 입력 $ w $ : 가중치(weight)로 말 그대로 해당 입력이 얼마나 중요한지를 나타낸 값이다. 이 값이 크면 출력에 영향을 더 크게 미친다. $ b $ : 편향(bias)으로 해당 뉴런이 얼마나 쉽게 활성화될 수 있느냐를 조절하는 값이다. 이 값이 크면 입력이 작더라도 활성화될 수 있다. $ y $ : 출력 출력의 경우 노드에 전달된 값의 합이 0을 넘을 때 1을 출력하며, 0을 넘지 않으면 0을 출력한다. 그러면 이 임계값에 대해서는 아래와 같이 나타낼 수 있다. $ y = \begin{cases} 0 & \text{if } w_1x_1 + w_2x_2 +.. 공감수 0 댓글수 0 2024. 3. 3.
Gradient Descent Gradient descent(경사하강법)란 함수의 특정 위치에서 함수의 경사(기울기)를 구하고 그 반대 방향으로 이동하는 것을 반복함으로써 함수의 최소값을 찾아가는 알고리즘이다. 앞서 Gradient 벡터에서 살펴보았듯 Gradient를 사용하면 특정 지점에서 가장 기울기가 가파른 곳으로 향하는 벡터를 구할 수 있기 때문에 이 반대로 이동한다면 값이 줄어드는 원리를 사용하는 것이다. https://devs0n.tistory.com/152 Gradient Vector 다음과 같은 다항식이 있을 때 $$ f(x, y)=x^2+2 x y+y^2 $$ Gradient 벡터는 각 항에 대한 편미분을 원소로 갖는 벡터의 형태를 가진다. $$ \nabla f(x, y)=\frac{\partial f(x, y)}{\.. 공감수 0 댓글수 0 2024. 3. 3.
Gradient Vector 다음과 같은 다항식이 있을 때 $$ f(x, y)=x^2+2 x y+y^2 $$ Gradient 벡터는 각 항에 대한 편미분을 원소로 갖는 벡터의 형태를 가진다. $$ \nabla f(x, y)=\frac{\partial f(x, y)}{\partial x} \vec{i}+\frac{\partial f(x, y)}{\partial y} \vec{\jmath} $$ 여기서 𝑖 는 x축, 𝑗 는 y축에 대한 단위벡터이다. 이 Gradient 벡터는 어느 지점에서의 기울기를 나타내는 벡터이며, $ f(x, y) $ 의 특정 지점에서 기울기가 가장 가파른 곳으로 향하는 벡터이다. 그래프로 확인해보면 아래와 같다. 먼저 $ f(x, y) $를 확인해보자. 수식적인 표현이 아니더라도 $ f(x, y) $ 그래프를 .. 공감수 0 댓글수 0 2024. 2. 19.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.