classification2 🤗 Transformers - CLIPModel을 사용한 Image Classification CLIP(Contrastive Language-Image Pretraining) 모델은 multi-modal(text, image) embedding 모델로Contrastive Learning를 사용하여 text와 image를 같은 공간에 임베딩할 수 있게하는 모델이다. CLIP 모델의 흥미로운 점은 Contrastive Learning를 통해 학습한 모델이,image classification task에 있어서 zero-shot 성능이 탁월하다는 점이다. 이번 포스팅에서는 image classification 예제를 통해 🤗 Transformers CLIPModel의 사용법을 익혀보도록 하겠다. 코드는 여기에서 확인할 수 있다. 개요먼저 어떻게 image classification을 진행할지를 살.. 2024. 8. 14. Classification task에서 Cross-Entropy classification task에서는 loss function으로 Cross-Entropy을 주로 사용한다. binary classification일 때는 이 BinaryCrossentropy를 사용하고multi-class classification인 경우엔 CategoricalCrossentropy를 사용하게 되는데,명확하게 차이에 대한 이해 없이 기계적으로 사용하기도 하였다. 이번 포스팅에서는 classification task에서 사용되는 Cross-Entropy에 대해서 알아보도록 하겠다.시작에 앞서- 이 포스팅에서는 정보이론적으로 Cross-Entropy를 다루지 않는다.- 코드 예제는 Tensorflow를 기준으로 진행한다. Multi-class classification 분류 문제에서 .. 2024. 5. 18. 이전 1 다음
