Regularization1 L1, L2 Regularization Regularization이란 학습 시 overfitting을 피하고 일반화 성능을 높이는 방법이다.즉, 훈련 데이터에 대해 분산은 낮추고 바이어스는 높이면서 모델의 일반화 성능을 높이는 방법이다. Regularization은 L1, L2 regularization, Dropout 등 여러 방법이 있는데,이번 포스팅에서는 L1, L2 regularization에 대해 알아보도록 하겠다. L1, L2 regularization은 weight에 대해 Penalty term을 추가하여 weight가 작아지도록 규제하는 방법이다.이 Penalty를 통해 weight가 훈련 데이터셋에 overfitting 되는 것을 막는다. Penalty term을 어떻게 계산하냐에 따라 L1, L2로 나뉘어진다. $$Loss.. 2024. 5. 7. 이전 1 다음
