ํธ๋ ์ธ๊ณผ ํ ์คํธ ์ ํ๋๊ฐ ๋น์ทํ๋ฉด ๋ฌด์กฐ๊ฑด ์ข์ ๊ฑธ๊น์? ์ค๋ ํ์คํ ์๋ ค๋๋ฆฝ๋๋ค!
์๋ ํ์ธ์, ์ฌ๋ฌ๋ถ! ์์ฆ ๋ฅ๋ฌ๋ ๋ชจ๋ธ์ ๋ค๋ฃจ๋ฉด์ ๊ฐ์ฅ ๋ง์ด ํ๋ ๊ณ ๋ฏผ์ด ๋ฐ๋ก 'ํธ๋ ์ธ ๋ฐ์ดํฐ์ ํ ์คํธ ๋ฐ์ดํฐ ์ ํ๋ ์ฐจ์ด' ์๋๊ฐ์? ์ ๋ ์ฒ์์๋ ํ ์คํธ ์ฑ๋ฅ์ด ํธ๋ ์ธ ์ฑ๋ฅ๋ณด๋ค ๋ฎ๊ฒ ๋์ค๋ ๊ฒ ๋๋ฌด ์ฐ์ฐํ์ด์. ๐ ์ค๋์ ์ด ์ฐจ์ด๊ฐ ์ ์ค์ํ์ง, ๊ทธ๋ฆฌ๊ณ ์ฐจ์ด๊ฐ ์๋ค๊ณ ๋ฌด์กฐ๊ฑด ์ข์ ๊ฑด ์๋ ์ด์ ๊น์ง ์ ์์ํ๊ฒ ์๋ ค๋๋ฆด๊ฒ์!
๋ชฉ์ฐจ
ํธ๋ ์ธ๊ณผ ํ ์คํธ ์ฐจ์ด, ์ ์ค์ํ ๊น?
ํธ๋ ์ธ ๋ฐ์ดํฐ(ํ์ต ๋ฐ์ดํฐ)์ ํ ์คํธ ๋ฐ์ดํฐ(๊ฒ์ฆ ๋ฐ์ดํฐ)์ ์ฑ๋ฅ ์ฐจ์ด๋ ๋ชจ๋ธ์ด ์๋ก์ด ๋ฐ์ดํฐ๋ฅผ ์ผ๋ง๋ ์ ๋ค๋ฃจ๋์ง ์๋ ค์ฃผ๋ ์ค์ํ ์งํ์์. ์ฝ๊ฒ ๋งํ๋ฉด, ๋ด ๋ชจ๋ธ์ด ๊ทธ๋ฅ '์ธ์ด' ๊ฒ์ธ์ง, ์๋๋ฉด '์ดํด'ํ๊ณ ์๋์ง๋ฅผ ํ์ธํ๋ ๊ฑฐ์ฃ . ๐ค
์ฐจ์ด๊ฐ ์ ์์๋ก ์ข์ ์ด์
์ฐจ์ด๊ฐ ์ ๋ค๋ ๊ฑด ๋ชจ๋ธ์ด '์ผ๋ฐํ(generalization)'๋ฅผ ์ ํ๊ณ ์๋ค๋ ์๋ฏธ์ ๋๋ค. ์ฆ, ํ์ตํ ๋ด์ฉ์ ์ค์ ์๋ก์ด ๋ฐ์ดํฐ์๋ ์ ์ ์ฉํ ์ ์๋ค๋ ๋ป์ด์ฃ . ์ด๋ ๊ณผ์ ํฉ(overfitting) ํ์์ด ์๊ณ , ํผํผํ ๋ชจ๋ธ์ด๋ผ๋ ์ข์ ์ ํธ์ ๋๋ค.
์ํฉ | ์๋ฏธ |
---|---|
์ฐจ์ด๊ฐ ์๋ค | ๋ชจ๋ธ์ด ์๋ก์ด ๋ฐ์ดํฐ์๋ ์ ๋์ (์ผ๋ฐํ OK) |
์ฐจ์ด๊ฐ ํฌ๋ค | ๊ณผ์ ํฉ ๊ฐ๋ฅ์ฑ ๋์ (์ค์ ์์ ์ฑ๋ฅ ์ ํ) |
๊ตฌ์ฒด์ ์ธ ์์๋ก ๋ณด๋ ์ฐจ์ด
์์๋ก ์ง์ ํ์ธํด๋ณผ๊น์? ์ค์ ๋ก ์ด๋ ๊ฒ ๋น๊ตํ ์ ์์ต๋๋ค.
- ๋ชจ๋ธ A: ํธ๋ ์ธ 95%, ํ ์คํธ 93% → ์ฐจ์ด 2% (์ผ๋ฐํ ์๋จ)
- ๋ชจ๋ธ B: ํธ๋ ์ธ 99%, ํ ์คํธ 70% → ์ฐจ์ด 29% (๊ณผ์ ํฉ ๋ฐ์)
์ฐจ์ด๊ฐ ์์๋ ์์ฌํ๋ฉด ์ ๋๋ ์ด์
์ฐจ์ด๊ฐ ์๋ค๊ณ ๋ฌด์กฐ๊ฑด ์ข์ ๊ฑด ์๋์์. ํธ๋ ์ธ๋, ํ ์คํธ๋ ๋ ๋ค ์ฑ๋ฅ์ด ๋ฎ๋ค๋ฉด ๊ทธ๊ฑด '๊ณผ์์ ํฉ(underfitting)'์ผ ๊ฐ๋ฅ์ฑ์ด ํฝ๋๋ค. ์ฆ, ๋ชจ๋ธ์ด ์ถฉ๋ถํ ํ์ตํ์ง ๋ชปํ๋ค๋ ๋ป์ด์์.
์: ํธ๋ ์ธ 60%, ํ ์คํธ 58% → ์ฐจ์ด 2% (ํ์ง๋ง ์ฑ๋ฅ ์์ฒด๊ฐ ๋ฎ์)
๊ฐ์ฅ ์ด์์ ์ธ ์๋๋ฆฌ์ค
์ด์์ ์ธ ๊ฒฝ์ฐ๋ ๋ ๋ค ์ฑ๋ฅ์ด ๋๊ณ , ์ฐจ์ด๋ ์ ์ ์ํ์ ๋๋ค. ์ด๋ด ๋ ๋ชจ๋ธ์ด ์ ํ์ตํ๊ณ , ์ค์ ํ๊ฒฝ์์๋ ์ข์ ๊ฒฐ๊ณผ๋ฅผ ๋ผ ํ๋ฅ ์ด ๋์ต๋๋ค.
์กฐ๊ฑด | ์ค๋ช |
---|---|
์ฐจ์ด ์์ + ์ฑ๋ฅ ๋์ | ์ด์์ ์ธ ์ผ๋ฐํ ์ํ (๋ฒ ์คํธ!) |
์ฐจ์ด ํผ + ํธ๋ ์ธ ์ฑ๋ฅ ๋์ | ๊ณผ์ ํฉ ์ํ |
์ฐจ์ด ์์ + ์ฑ๋ฅ ๋ฎ์ | ๊ณผ์์ ํฉ ๊ฐ๋ฅ์ฑ |
๊ฒฐ๋ก : ์ฐจ์ด๋ ์ฑ๋ฅ๋ ๋ ๋ค ์ค์!
์ ๋ฆฌํ์๋ฉด, ํธ๋ ์ธ๊ณผ ํ ์คํธ์ ์ ํ๋ ์ฐจ์ด๊ฐ ์๊ณ , ๋ ์งํ๊ฐ ๋ชจ๋ ๋์์ผ ์ง์ง ์ข์ ๋ชจ๋ธ์ ๋๋ค. ๐
- ์ฐจ์ด ์์ + ๋์ ์ ํ๋ = ๐ ์ต์ ์ํ!
- ์ฐจ์ด ํผ = โ ๏ธ ๊ณผ์ ํฉ ์ฃผ์
- ์ฐจ์ด ์์ง๋ง ์ฑ๋ฅ ๋ฎ์ = โ ๏ธ ๊ณผ์์ ํฉ ์์ฌ
๊ผญ ๊ทธ๋ ์ง๋ ์์ต๋๋ค. ํ์ต ๋ฐ์ดํฐ๊ฐ ๋ถ์กฑํ๊ฑฐ๋ ๋ชจ๋ธ์ด ๋๋ฌด ๋จ์ํ๋ฉด ๊ณผ์์ ํฉ ๋๋ฌธ์ผ ์๋ ์์ต๋๋ค.
๋๋กญ์์, ์ ๊ทํ, ์กฐ๊ธฐ ์ข ๋ฃ ๋ฑ์ ๊ธฐ๋ฒ์ ์ ์ฉํ๊ฑฐ๋ ๋ฐ์ดํฐ ์ฆ๊ฐ์ ํตํด ํด๊ฒฐํ ์ ์์ต๋๋ค.
๋ชจ๋ธ์ด ๋๋ฌด ๋จ์ํ๊ฑฐ๋ ํ์ต ๋ฐ์ดํฐ๊ฐ ๋ถ์กฑํ ๊ฒฝ์ฐ, ๊ณผ์์ ํฉ์ด ๋ฐ์ํ ์ ์์ต๋๋ค.
์๋์! ์ฐจ์ด๊ฐ ์๋๋ผ๋ ์ฑ๋ฅ์ด ๋ฎ๋ค๋ฉด ์ฌ์ ํ ๊ณผ์์ ํฉ์ผ ์ ์์ต๋๋ค. ์ฑ๋ฅ ์์ฒด๊ฐ ์ค์ํฉ๋๋ค.
์ํฉ์ ๋ฐ๋ผ ๋ค๋ฅด์ง๋ง, ๋๋กญ์์๊ณผ ์กฐ๊ธฐ ์ข ๋ฃ ์กฐํฉ์ด ์ค์ ์์ ๋ง์ด ์ฌ์ฉ๋ฉ๋๋ค.
ํ ์คํธ ์ฑ๋ฅ์ด ๋ฎ๋ค๋ฉด ์๋ฏธ๊ฐ ์์ต๋๋ค. ํญ์ ์ผ๋ฐํ ๋ฅ๋ ฅ์ ์ฒดํฌํ์ธ์!
์ฌ๋ฌ๋ถ, ์ด์ ํธ๋ ์ธ๊ณผ ํ ์คํธ ์ฑ๋ฅ ์ฐจ์ด์ ๋ํ ๊ฐ์ด ์ข ์ค์ จ๋์? ์ ๋ ์ฒ์์ ํ ์คํธ ์ ํ๋๊ฐ ๋ฎ์ ๋๋ง๋ค ๋ฉ๋ถ์ด์๋๋ฐ, ์ฐจ์ด๋ฅผ ๋ถ์ํ๊ณ ๋์ํ๋ฉด์ ์ ์ ์ค๋ ฅ์ด ๋๋๋ผ๊ตฌ์! ๐ ๋ชจ๋ธ์ ํ๋ํ๋ฉด์ ์ค๋ ๋ฐฐ์ด ํ๋ค์ ํ๋์ฉ ์ ์ฉํด ๋ณด์ธ์. ๋ถ๋ช ์ค์ ์์๋ ํฐ ๋์์ด ๋ ๊ฑฐ์์. ๋๊ธ๋ก ์ฌ๋ฌ๋ถ๋ง์ ๋ ธํ์ฐ๋ ๊ณต์ ํด์ฃผ์๋ฉด ๋ ์ฌ๋ฏธ์๊ฒ ์ฃ ?