딥러닝 텍스트 처리에서 One-Hot Vector를 쓰는 이유

 

 

딥러닝에서 범주형 데이터를 수치화하는 것은 필수적인 전처리 과정입니다. 그 중 가장 기본적이면서 널리 쓰이는 방법이 바로 One-Hot Encoding(원-핫 인코딩)입니다.

이번 글에서는 딥러닝에서 자주 사용되는 One-Hot Vector의 개념, 특징, 장단점과 실제 예제 및 사용되는 분야까지 정리해보겠습니다.

📚 목차

• 1. One-Hot Vector란?
• 2. 왜 필요한가?
• 3. 예제: 텍스트 분류에서의 사용
• 4. 장점과 단점
• 5. One-Hot의 한계를 극복하는 방법
• 6. 결론

---

1. One-Hot Vector란?

One-Hot Vector(원-핫 벡터)는 범주형 데이터를 벡터로 표현하는 가장 단순한 방식입니다.
하나의 카테고리를 n차원의 벡터로 변환하며, 그 중 하나의 인덱스만 1이고 나머지는 모두 0으로 설정됩니다.

예를 들어, '고양이', '강아지', '토끼'라는 3개의 클래스가 있다면 다음과 같이 표현됩니다:

고양이 → [1, 0, 0]  
강아지 → [0, 1, 0]  
토끼   → [0, 0, 1]

2. 왜 필요한가?

딥러닝 모델은 수치 데이터를 입력으로 받아들입니다. 문자열이나 범주형 변수는 그대로 사용할 수 없기 때문에, 이를 벡터로 변환하는 전처리가 필요합니다.

One-Hot Encoding은 범주 간 순서나 거리 개념이 필요 없는 경우 정보 왜곡 없이 데이터를 표현하는 데 매우 적합합니다.

3. 예제: 텍스트 분류에서의 사용

텍스트 분류 모델에서 각 단어를 고유한 인덱스로 매핑하고 One-Hot Vector로 변환하여 입력으로 사용할 수 있습니다.

예를 들어, 아래와 같은 단어 집합이 있다고 가정해 봅시다.

단어 집합: ['나는', '고양이', '를', '좋아해']  
→ '고양이' → [0, 1, 0, 0]

이 방식은 특히 RNN, LSTM, GRU 등 순차 모델의 입력에서 사용되며, 요즘은 임베딩(Embedding)으로 대체되기도 합니다.

4. 장점과 단점

✔ 장점

• 간단하고 직관적인 표현 방식
• 순서나 거리 개념이 없으므로 정보 왜곡이 없음
• 다양한 분류 문제에 손쉽게 적용 가능

❗ 단점

• 고차원 희소 벡터로 메모리 비효율 발생
• 카테고리가 많아질수록 연산량 증가
• 범주 간 유사성을 반영하지 못함

5. One-Hot의 한계를 극복하는 방법

One-Hot Encoding의 단점을 보완하기 위해 다음과 같은 대안이 사용됩니다.

• Word Embedding: 단어를 밀집 벡터(Dense Vector)로 변환 (예: Word2Vec, GloVe)
• Label Encoding: 범주를 정수로 변환 (순서가 의미 있는 경우)
• Embedding Layer: 딥러닝 모델 내부에서 자동으로 벡터를 학습

최근에는 BERT, GPT 등 사전학습 언어모델이 등장하면서, One-Hot보다 임베딩 기반의 표현이 더 널리 사용되고 있습니다.

6. 결론

One-Hot Vector는 딥러닝에서 기본적이고 직관적인 범주형 데이터 표현 방법입니다.

카테고리 간의 관계성이 없고, 데이터 수가 많지 않은 경우에는 여전히 유용하게 사용됩니다.

하지만 희소성(Sparsity) 문제와 확장성의 한계를 고려할 때, 실제 모델에서는 Embedding Layer나 Pretrained Model 등과 함께 사용되는 경우가 많습니다.