๋ณธ๋ฌธ ๋ฐ”๋กœ๊ฐ€๊ธฐ
IT/AI, ๋”ฅ๋Ÿฌ๋‹

๋”ฅ๋Ÿฌ๋‹ ๋ชจ๋ธ, ํŠธ๋ ˆ์ธ-ํ…Œ์ŠคํŠธ ์„ฑ๋Šฅ ์ฐจ์ด๊ฐ€ ์ค‘์š”ํ•œ ์ง„์งœ ์ด์œ 

by ๐Ÿ”ฅ๊นก ๋‹ค ๊ณ ! 2025. 3. 27.

ํŠธ๋ ˆ์ธ๊ณผ ํ…Œ์ŠคํŠธ ์ •ํ™•๋„๊ฐ€ ๋น„์Šทํ•˜๋ฉด ๋ฌด์กฐ๊ฑด ์ข‹์€ ๊ฑธ๊นŒ์š”? ์˜ค๋Š˜ ํ™•์‹คํžˆ ์•Œ๋ ค๋“œ๋ฆฝ๋‹ˆ๋‹ค!

์•ˆ๋…•ํ•˜์„ธ์š”, ์—ฌ๋Ÿฌ๋ถ„! ์š”์ฆ˜ ๋”ฅ๋Ÿฌ๋‹ ๋ชจ๋ธ์„ ๋‹ค๋ฃจ๋ฉด์„œ ๊ฐ€์žฅ ๋งŽ์ด ํ•˜๋Š” ๊ณ ๋ฏผ์ด ๋ฐ”๋กœ 'ํŠธ๋ ˆ์ธ ๋ฐ์ดํ„ฐ์™€ ํ…Œ์ŠคํŠธ ๋ฐ์ดํ„ฐ ์ •ํ™•๋„ ์ฐจ์ด' ์•„๋‹Œ๊ฐ€์š”? ์ €๋„ ์ฒ˜์Œ์—๋Š” ํ…Œ์ŠคํŠธ ์„ฑ๋Šฅ์ด ํŠธ๋ ˆ์ธ ์„ฑ๋Šฅ๋ณด๋‹ค ๋‚ฎ๊ฒŒ ๋‚˜์˜ค๋Š” ๊ฒŒ ๋„ˆ๋ฌด ์ฐ์ฐํ–ˆ์–ด์š”. ๐Ÿ˜… ์˜ค๋Š˜์€ ์ด ์ฐจ์ด๊ฐ€ ์™œ ์ค‘์š”ํ•œ์ง€, ๊ทธ๋ฆฌ๊ณ  ์ฐจ์ด๊ฐ€ ์ž‘๋‹ค๊ณ  ๋ฌด์กฐ๊ฑด ์ข‹์€ ๊ฑด ์•„๋‹Œ ์ด์œ ๊นŒ์ง€ ์† ์‹œ์›ํ•˜๊ฒŒ ์•Œ๋ ค๋“œ๋ฆด๊ฒŒ์š”!

๋”ฅ๋Ÿฌ๋‹ ํŠธ๋ ˆ์ธ๋ฐ์ดํ„ฐ ํ…Œ์ŠคํŠธ๋ฐ์ดํƒ€

ํŠธ๋ ˆ์ธ๊ณผ ํ…Œ์ŠคํŠธ ์ฐจ์ด, ์™œ ์ค‘์š”ํ• ๊นŒ?

ํŠธ๋ ˆ์ธ ๋ฐ์ดํ„ฐ(ํ•™์Šต ๋ฐ์ดํ„ฐ)์™€ ํ…Œ์ŠคํŠธ ๋ฐ์ดํ„ฐ(๊ฒ€์ฆ ๋ฐ์ดํ„ฐ)์˜ ์„ฑ๋Šฅ ์ฐจ์ด๋Š” ๋ชจ๋ธ์ด ์ƒˆ๋กœ์šด ๋ฐ์ดํ„ฐ๋ฅผ ์–ผ๋งˆ๋‚˜ ์ž˜ ๋‹ค๋ฃจ๋Š”์ง€ ์•Œ๋ ค์ฃผ๋Š” ์ค‘์š”ํ•œ ์ง€ํ‘œ์˜ˆ์š”. ์‰ฝ๊ฒŒ ๋งํ•˜๋ฉด, ๋‚ด ๋ชจ๋ธ์ด ๊ทธ๋ƒฅ '์™ธ์šด' ๊ฒƒ์ธ์ง€, ์•„๋‹ˆ๋ฉด '์ดํ•ด'ํ•˜๊ณ  ์žˆ๋Š”์ง€๋ฅผ ํ™•์ธํ•˜๋Š” ๊ฑฐ์ฃ . ๐Ÿค”

์ฐจ์ด๊ฐ€ ์ ์„์ˆ˜๋ก ์ข‹์€ ์ด์œ 

์ฐจ์ด๊ฐ€ ์ ๋‹ค๋Š” ๊ฑด ๋ชจ๋ธ์ด '์ผ๋ฐ˜ํ™”(generalization)'๋ฅผ ์ž˜ ํ•˜๊ณ  ์žˆ๋‹ค๋Š” ์˜๋ฏธ์ž…๋‹ˆ๋‹ค. ์ฆ‰, ํ•™์Šตํ•œ ๋‚ด์šฉ์„ ์‹ค์ œ ์ƒˆ๋กœ์šด ๋ฐ์ดํ„ฐ์—๋„ ์ž˜ ์ ์šฉํ•  ์ˆ˜ ์žˆ๋‹ค๋Š” ๋œป์ด์ฃ . ์ด๋Š” ๊ณผ์ ํ•ฉ(overfitting) ํ˜„์ƒ์ด ์—†๊ณ , ํŠผํŠผํ•œ ๋ชจ๋ธ์ด๋ผ๋Š” ์ข‹์€ ์‹ ํ˜ธ์ž…๋‹ˆ๋‹ค.

์ƒํ™ฉ ์˜๋ฏธ
์ฐจ์ด๊ฐ€ ์ž‘๋‹ค ๋ชจ๋ธ์ด ์ƒˆ๋กœ์šด ๋ฐ์ดํ„ฐ์—๋„ ์ž˜ ๋™์ž‘ (์ผ๋ฐ˜ํ™” OK)
์ฐจ์ด๊ฐ€ ํฌ๋‹ค ๊ณผ์ ํ•ฉ ๊ฐ€๋Šฅ์„ฑ ๋†’์Œ (์‹ค์ „์—์„œ ์„ฑ๋Šฅ ์ €ํ•˜)

๊ตฌ์ฒด์ ์ธ ์˜ˆ์‹œ๋กœ ๋ณด๋Š” ์ฐจ์ด

์˜ˆ์‹œ๋กœ ์ง์ ‘ ํ™•์ธํ•ด๋ณผ๊นŒ์š”? ์‹ค์ œ๋กœ ์ด๋ ‡๊ฒŒ ๋น„๊ตํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

  • ๋ชจ๋ธ A: ํŠธ๋ ˆ์ธ 95%, ํ…Œ์ŠคํŠธ 93% → ์ฐจ์ด 2% (์ผ๋ฐ˜ํ™” ์ž˜๋จ)
  • ๋ชจ๋ธ B: ํŠธ๋ ˆ์ธ 99%, ํ…Œ์ŠคํŠธ 70% → ์ฐจ์ด 29% (๊ณผ์ ํ•ฉ ๋ฐœ์ƒ)

์ฐจ์ด๊ฐ€ ์ž‘์•„๋„ ์•ˆ์‹ฌํ•˜๋ฉด ์•ˆ ๋˜๋Š” ์ด์œ 

์ฐจ์ด๊ฐ€ ์ž‘๋‹ค๊ณ  ๋ฌด์กฐ๊ฑด ์ข‹์€ ๊ฑด ์•„๋‹ˆ์—์š”. ํŠธ๋ ˆ์ธ๋„, ํ…Œ์ŠคํŠธ๋„ ๋‘˜ ๋‹ค ์„ฑ๋Šฅ์ด ๋‚ฎ๋‹ค๋ฉด ๊ทธ๊ฑด '๊ณผ์†Œ์ ํ•ฉ(underfitting)'์ผ ๊ฐ€๋Šฅ์„ฑ์ด ํฝ๋‹ˆ๋‹ค. ์ฆ‰, ๋ชจ๋ธ์ด ์ถฉ๋ถ„ํžˆ ํ•™์Šตํ•˜์ง€ ๋ชปํ–ˆ๋‹ค๋Š” ๋œป์ด์—์š”.

์˜ˆ: ํŠธ๋ ˆ์ธ 60%, ํ…Œ์ŠคํŠธ 58% → ์ฐจ์ด 2% (ํ•˜์ง€๋งŒ ์„ฑ๋Šฅ ์ž์ฒด๊ฐ€ ๋‚ฎ์Œ)

๊ฐ€์žฅ ์ด์ƒ์ ์ธ ์‹œ๋‚˜๋ฆฌ์˜ค

์ด์ƒ์ ์ธ ๊ฒฝ์šฐ๋Š” ๋‘˜ ๋‹ค ์„ฑ๋Šฅ์ด ๋†’๊ณ , ์ฐจ์ด๋„ ์ ์€ ์ƒํƒœ์ž…๋‹ˆ๋‹ค. ์ด๋Ÿด ๋• ๋ชจ๋ธ์ด ์ž˜ ํ•™์Šตํ–ˆ๊ณ , ์‹ค์ œ ํ™˜๊ฒฝ์—์„œ๋„ ์ข‹์€ ๊ฒฐ๊ณผ๋ฅผ ๋‚ผ ํ™•๋ฅ ์ด ๋†’์Šต๋‹ˆ๋‹ค.

์กฐ๊ฑด ์„ค๋ช…
์ฐจ์ด ์ž‘์Œ + ์„ฑ๋Šฅ ๋†’์Œ ์ด์ƒ์ ์ธ ์ผ๋ฐ˜ํ™” ์ƒํƒœ (๋ฒ ์ŠคํŠธ!)
์ฐจ์ด ํผ + ํŠธ๋ ˆ์ธ ์„ฑ๋Šฅ ๋†’์Œ ๊ณผ์ ํ•ฉ ์ƒํƒœ
์ฐจ์ด ์ž‘์Œ + ์„ฑ๋Šฅ ๋‚ฎ์Œ ๊ณผ์†Œ์ ํ•ฉ ๊ฐ€๋Šฅ์„ฑ

๊ฒฐ๋ก : ์ฐจ์ด๋„ ์„ฑ๋Šฅ๋„ ๋‘˜ ๋‹ค ์ค‘์š”!

์ •๋ฆฌํ•˜์ž๋ฉด, ํŠธ๋ ˆ์ธ๊ณผ ํ…Œ์ŠคํŠธ์˜ ์ •ํ™•๋„ ์ฐจ์ด๊ฐ€ ์ž‘๊ณ , ๋‘ ์ง€ํ‘œ๊ฐ€ ๋ชจ๋‘ ๋†’์•„์•ผ ์ง„์งœ ์ข‹์€ ๋ชจ๋ธ์ž…๋‹ˆ๋‹ค. ๐Ÿš€

  • ์ฐจ์ด ์ž‘์Œ + ๋†’์€ ์ •ํ™•๋„ = ๐Ÿ‘ ์ตœ์  ์ƒํƒœ!
  • ์ฐจ์ด ํผ = โš ๏ธ ๊ณผ์ ํ•ฉ ์ฃผ์˜
  • ์ฐจ์ด ์ž‘์ง€๋งŒ ์„ฑ๋Šฅ ๋‚ฎ์Œ = โš ๏ธ ๊ณผ์†Œ์ ํ•ฉ ์˜์‹ฌ
Q ํ…Œ์ŠคํŠธ ์ •ํ™•๋„๊ฐ€ ๋‚ฎ์€ ์ด์œ ๋Š” ๋ฌด์กฐ๊ฑด ๊ณผ์ ํ•ฉ์ธ๊ฐ€์š”?

๊ผญ ๊ทธ๋ ‡์ง€๋Š” ์•Š์Šต๋‹ˆ๋‹ค. ํ•™์Šต ๋ฐ์ดํ„ฐ๊ฐ€ ๋ถ€์กฑํ•˜๊ฑฐ๋‚˜ ๋ชจ๋ธ์ด ๋„ˆ๋ฌด ๋‹จ์ˆœํ•˜๋ฉด ๊ณผ์†Œ์ ํ•ฉ ๋•Œ๋ฌธ์ผ ์ˆ˜๋„ ์žˆ์Šต๋‹ˆ๋‹ค.

Q ๊ณผ์ ํ•ฉ์€ ์–ด๋–ป๊ฒŒ ํ•ด๊ฒฐํ•˜๋‚˜์š”?

๋“œ๋กญ์•„์›ƒ, ์ •๊ทœํ™”, ์กฐ๊ธฐ ์ข…๋ฃŒ ๋“ฑ์˜ ๊ธฐ๋ฒ•์„ ์ ์šฉํ•˜๊ฑฐ๋‚˜ ๋ฐ์ดํ„ฐ ์ฆ๊ฐ•์„ ํ†ตํ•ด ํ•ด๊ฒฐํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

Q ๊ณผ์†Œ์ ํ•ฉ์€ ์–ด๋–ค ๊ฒฝ์šฐ์— ๋ฐœ์ƒํ•˜๋‚˜์š”?

๋ชจ๋ธ์ด ๋„ˆ๋ฌด ๋‹จ์ˆœํ•˜๊ฑฐ๋‚˜ ํ•™์Šต ๋ฐ์ดํ„ฐ๊ฐ€ ๋ถ€์กฑํ•œ ๊ฒฝ์šฐ, ๊ณผ์†Œ์ ํ•ฉ์ด ๋ฐœ์ƒํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

Q ์ฐจ์ด๊ฐ€ 0%๋ฉด ์™„๋ฒฝํ•œ ๋ชจ๋ธ์ธ๊ฐ€์š”?

์•„๋‹ˆ์š”! ์ฐจ์ด๊ฐ€ ์—†๋”๋ผ๋„ ์„ฑ๋Šฅ์ด ๋‚ฎ๋‹ค๋ฉด ์—ฌ์ „ํžˆ ๊ณผ์†Œ์ ํ•ฉ์ผ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์„ฑ๋Šฅ ์ž์ฒด๊ฐ€ ์ค‘์š”ํ•ฉ๋‹ˆ๋‹ค.

Q ๊ณผ์ ํ•ฉ ๋ฐฉ์ง€์— ๊ฐ€์žฅ ํšจ๊ณผ์ ์ธ ๋ฐฉ๋ฒ•์€ ๋ญ”๊ฐ€์š”?

์ƒํ™ฉ์— ๋”ฐ๋ผ ๋‹ค๋ฅด์ง€๋งŒ, ๋“œ๋กญ์•„์›ƒ๊ณผ ์กฐ๊ธฐ ์ข…๋ฃŒ ์กฐํ•ฉ์ด ์‹ค์ „์—์„œ ๋งŽ์ด ์‚ฌ์šฉ๋ฉ๋‹ˆ๋‹ค.

Q ํŠธ๋ ˆ์ธ ์ •ํ™•๋„๋งŒ ๋†’์—ฌ๋„ ๊ดœ์ฐฎ์„๊นŒ์š”?

ํ…Œ์ŠคํŠธ ์„ฑ๋Šฅ์ด ๋‚ฎ๋‹ค๋ฉด ์˜๋ฏธ๊ฐ€ ์—†์Šต๋‹ˆ๋‹ค. ํ•ญ์ƒ ์ผ๋ฐ˜ํ™” ๋Šฅ๋ ฅ์„ ์ฒดํฌํ•˜์„ธ์š”!

 

์—ฌ๋Ÿฌ๋ถ„, ์ด์ œ ํŠธ๋ ˆ์ธ๊ณผ ํ…Œ์ŠคํŠธ ์„ฑ๋Šฅ ์ฐจ์ด์— ๋Œ€ํ•œ ๊ฐ์ด ์ข€ ์˜ค์…จ๋‚˜์š”? ์ €๋„ ์ฒ˜์Œ์—” ํ…Œ์ŠคํŠธ ์ •ํ™•๋„๊ฐ€ ๋‚ฎ์„ ๋•Œ๋งˆ๋‹ค ๋ฉ˜๋ถ•์ด์—ˆ๋Š”๋ฐ, ์ฐจ์ด๋ฅผ ๋ถ„์„ํ•˜๊ณ  ๋Œ€์‘ํ•˜๋ฉด์„œ ์ ์  ์‹ค๋ ฅ์ด ๋Š˜๋”๋ผ๊ตฌ์š”! ๐Ÿ˜‰ ๋ชจ๋ธ์„ ํŠœ๋‹ํ•˜๋ฉด์„œ ์˜ค๋Š˜ ๋ฐฐ์šด ํŒ๋“ค์„ ํ•˜๋‚˜์”ฉ ์ ์šฉํ•ด ๋ณด์„ธ์š”. ๋ถ„๋ช… ์‹ค์ „์—์„œ๋„ ํฐ ๋„์›€์ด ๋  ๊ฑฐ์˜ˆ์š”. ๋Œ“๊ธ€๋กœ ์—ฌ๋Ÿฌ๋ถ„๋งŒ์˜ ๋…ธํ•˜์šฐ๋„ ๊ณต์œ ํ•ด์ฃผ์‹œ๋ฉด ๋” ์žฌ๋ฏธ์žˆ๊ฒ ์ฃ ?