L1 vs L2 규제화 차이 정리! 과적합 방지 핵심 기법

딥러닝 모델을 학습하다 보면 가장 흔히 마주치는 문제가 과적합(overfitting)입니다. 이때 효과적으로 과적합을 줄이는 대표적인 방법 중 하나가 바로 규제화(Regularization)입니다.

특히 머신러닝과 딥러닝에서 가장 널리 사용되는 규제화 기법이 L1 규제와 L2 규제인데요, 이번 글에서는 이 두 가지 규제 방법의 개념, 수학적 정의, 차이점, 언제 사용하면 좋은지를 정리해보겠습니다.

📚 목차

• 1. 규제화(Regularization)란?
• 2. L1 규제(Lasso)란?
• 3. L2 규제(Ridge)란?
• 4. L1 vs L2 규제의 차이점
• 5. 언제 L1, 언제 L2를 사용할까?
• 6. 마무리 요약

---

1. 규제화(Regularization)란?

규제화는 모델이 훈련 데이터에 과하게 적합(overfit)되는 것을 방지하기 위해 모델의 복잡도에 패널티(제약 조건)를 부여하는 방법입니다.

간단히 말해, 너무 큰 가중치(weight)를 갖는 모델은 일반화 성능이 떨어질 수 있으므로 가중치를 작게 유지하도록 벌점을 주는 것이죠.

---

2. L1 규제(Lasso)란?

L1 규제는 손실 함수에 가중치의 절댓값 합을 더해주는 방식입니다. 이를 통해 불필요한 가중치는 0으로 수렴하게 만들어 모델을 더 단순하게 만듭니다.

Loss = MSE + λ * Σ|wᵢ|

- λ (람다)는 규제 강도를 조절하는 하이퍼파라미터입니다.
- 일부 가중치를 0으로 만들어 변수 선택(feature selection)에 효과적입니다.
- 대표 알고리즘: Lasso 회귀(Lasso Regression)

---

3. L2 규제(Ridge)란?

L2 규제는 손실 함수에 가중치 제곱의 합을 더해주는 방식입니다. 이 방식은 가중치를 0에 가깝게 만들되, 완전히 0으로 만들지는 않습니다.

Loss = MSE + λ * Σ(wᵢ²)

- 가중치의 크기를 작게 유지하여 모델을 부드럽게 일반화하는 데 효과적입니다.
- L1과는 달리 모든 변수에 기여도를 남김
- 대표 알고리즘: Ridge 회귀(Ridge Regression), 딥러닝의 Weight Decay

---

4. L1 vs L2 규제의 차이점

항목	L1 규제 (Lasso)	L2 규제 (Ridge)
패널티 항	|w| (절댓값)	w² (제곱)
가중치 처리	일부 가중치를 0으로 만듦	모든 가중치를 작게 유지
변수 선택	O (특성 선택 효과)	X (모든 특성 사용)
활용 분야	희소 모델, 피처 중요도 분석	딥러닝, 선형 회귀 일반화

---

5. 언제 L1, 언제 L2를 사용할까?

• L1 규제는 → 많은 피처 중 **중요한 것만 남기고 싶을 때**
• L2 규제는 → 모든 피처를 사용하되 **과적합을 줄이고 싶을 때**
• L1 + L2 혼합: 엘라스틱넷(Elastic Net) 규제로 두 방식의 장점을 모두 취함

딥러닝에서는 일반적으로 L2 규제(weight decay)가 더 많이 쓰이며, 머신러닝에서는 변수 선택을 위해 L1 규제 또는 혼합 방식이 선호됩니다.

---

6. 마무리 요약

L1과 L2 규제는 머신러닝과 딥러닝에서 과적합 방지와 일반화 성능 향상을 위해 필수적인 기법입니다.

- L1은 **가중치를 0으로 만들어 불필요한 피처 제거(희소성)** - L2는 **가중치를 작게 유지하여 모델을 부드럽게 일반화** - 목적에 맞게 선택하거나, 두 가지를 혼합한 ElasticNet도 활용 가능

성능 좋은 모델을 만들고 싶다면, 규제화에 대한 이해는 필수입니다!