델타 룰(Delta Rule) 완벽 정리 - 퍼셉트론과 경사하강법의 기초

📚 목차

1. 델타 룰이란? - 1-1. 정의와 등장 배경 - 1-2. 퍼셉트론 학습에서의 델타 룰 2. 델타 룰의 수식과 원리 - 2-1. 수식으로 살펴보기 - 2-2. 경사하강법과의 연결 3. 델타 룰의 작동 방식 - 3-1. 단계별 학습 흐름 - 3-2. 학습률의 역할 4. 실전 예시와 코드 구현 - 4-1. 간단한 파이썬 구현 - 4-2. 학습 결과 분석 5. 마무리 요약

1. 델타 룰이란?

1-1. 정의와 등장 배경

델타 룰(Delta Rule)은 1960년대에 개발된 가장 기초적인 형태의 신경망 학습 알고리즘 중 하나입니다. 출력값과 실제값의 차이(오차)를 계산한 후, 이 오차를 바탕으로 가중치를 조금씩 수정하면서 학습을 진행하는 방식입니다. 이 방식은 현재까지도 딥러닝에서 사용하는 오차 역전파(backpropagation) 알고리즘의 기반이 되는 중요한 원리입니다.

1-2. 퍼셉트론 학습에서의 델타 룰

초기 인공신경망 모델인 퍼셉트론은 가중치를 임의로 초기화한 후 학습 데이터를 통해 가중치를 업데이트해 나가야 합니다. 이때 델타 룰은 퍼셉트론이 오차를 최소화하는 방향으로 가중치를 조정할 수 있도록 돕습니다. 학습을 통해 예측이 점점 더 정답에 가까워지게 만드는 것이 델타 룰의 핵심 역할입니다.

 

 

2. 델타 룰의 수식과 원리

2-1. 수식으로 살펴보기

델타 룰의 수식은 다음과 같습니다:

Δw = η * (t - y) * x

• Δw: 가중치의 변화량
• η (eta): 학습률
• t: 정답(target value)
• y: 현재 모델의 출력값
• x: 입력 값

출력값이 정답보다 작거나 크면, 그 차이만큼 가중치를 조정하여 예측을 수정하게 됩니다.

2-2. 경사하강법과의 연결

델타 룰은 경사하강법의 한 형태로 볼 수 있습니다. 실제로 손실 함수(Loss Function)를 미분하여 기울기 방향으로 가중치를 이동시키는 방식과 동일하며, 이러한 연산이 딥러닝에서 자주 사용되는 오차 역전파 알고리즘의 기초가 됩니다.

 

 

3. 델타 룰의 작동 방식

3-1. 단계별 학습 흐름

1. 입력값 x를 신경망에 전달
2. 출력값 y 계산
3. 정답 t와 비교하여 오차 계산
4. 오차를 이용해 Δw 계산
5. 가중치 업데이트: w = w + Δw

3-2. 학습률의 역할

학습률 η는 델타 룰의 중요한 하이퍼파라미터입니다. 값이 너무 크면 수렴이 불안정해지고, 너무 작으면 학습이 매우 느려집니다. 일반적으로 0.01 ~ 0.1 사이의 값을 실험적으로 조정합니다.

 

 

4. 실전 예시와 코드 구현

4-1. 간단한 파이썬 구현

# 델타 룰을 적용한 퍼셉트론 예제 (이진 분류)
import numpy as np

# 입력 데이터 (AND 연산)
X = np.array([[0,0],[0,1],[1,0],[1,1]])
y = np.array([0, 0, 0, 1])
w = np.random.rand(2)
b = 0.0
lr = 0.1

for epoch in range(100):
    for i in range(len(X)):
        z = np.dot(X[i], w) + b
        pred = 1 if z >= 0.5 else 0
        error = y[i] - pred
        w += lr * error * X[i]
        b += lr * error

4-2. 학습 결과 분석

학습이 반복되면 점점 오차가 줄어들고, 최종적으로는 0 또는 1에 정확히 가까운 예측을 하게 됩니다. 간단한 퍼셉트론에서도 델타 룰만으로도 충분히 학습이 가능하며, 더 복잡한 구조에서도 그 원리는 동일하게 작동합니다.

 

 

5. 마무리 요약

델타 룰은 단순하지만 강력한 학습 원리입니다. 퍼셉트론에서 시작된 이 알고리즘은, 이후 발전된 신경망 학습의 기초가 되었으며, 오차 역전파 알고리즘으로 확장되었습니다. 머신러닝과 딥러닝을 처음 배우는 사람이라면 델타 룰의 개념과 수식을 정확히 이해하는 것이 중요합니다. 이 원리를 기반으로 더 복잡한 알고리즘을 학습하고 구현할 수 있기 때문입니다.

기초를 탄탄히 다지고 싶은 분이라면, 지금 이 델타 룰부터 꼭 잡고 가세요!