๋ณธ๋ฌธ ๋ฐ”๋กœ๊ฐ€๊ธฐ

optimizer1

๊ฒฝ์‚ฌํ•˜๊ฐ•๋ฒ•(Gradient Descent) ์™„์ „ ์ •๋ณต ๋”ฅ๋Ÿฌ๋‹ ํ•™์Šต์˜ ํ•ต์‹ฌ ์•Œ๊ณ ๋ฆฌ์ฆ˜, ๊ฒฝ์‚ฌํ•˜๊ฐ•๋ฒ•! ์ด๋ฆ„์€ ๋‚ฏ์„ค์ง€๋งŒ, ์ดํ•ดํ•˜๋ฉด ์‹ ๊ฒฝ๋ง ํ›ˆ๋ จ์˜ ์ „์ฒด ๊ตฌ์กฐ๊ฐ€ ๋ณด์ด๊ธฐ ์‹œ์ž‘ํ•ฉ๋‹ˆ๋‹ค.์•ˆ๋…•ํ•˜์„ธ์š”! ์˜ค๋Š˜์€ ๋”ฅ๋Ÿฌ๋‹์„ ์ œ๋Œ€๋กœ ๊ณต๋ถ€ํ•˜๋ ค๋ฉด ๋ฐ˜๋“œ์‹œ ์•Œ์•„์•ผ ํ•  ๊ฐœ๋…, ๋ฐ”๋กœ ๊ฒฝ์‚ฌํ•˜๊ฐ•๋ฒ•(Gradient Descent)์— ๋Œ€ํ•ด ์ž์„ธํžˆ ์•Œ์•„๋ณด๋ ค ํ•ฉ๋‹ˆ๋‹ค. ์ฒ˜์Œ์—” ์ˆ˜ํ•™์ ์œผ๋กœ ๋Š๊ปด์งˆ ์ˆ˜ ์žˆ์ง€๋งŒ, ๊ฐœ๋…๋งŒ ์ œ๋Œ€๋กœ ์žก์œผ๋ฉด ๋‹ค์–‘ํ•œ ๋ชจ๋ธ ํ•™์Šต์— ์ž์‹ ๊ฐ์ด ์ƒ๊ธฐ์‹ค ๊ฑฐ์˜ˆ์š”.๋ชฉ์ฐจ1. ๊ฒฝ์‚ฌํ•˜๊ฐ•๋ฒ•์ด๋ž€? 2. ๊ฒฝ์‚ฌํ•˜๊ฐ•๋ฒ• ์ˆ˜์‹๊ณผ ์›๋ฆฌ 3. ๋‹ค์–‘ํ•œ ๊ฒฝ์‚ฌํ•˜๊ฐ•๋ฒ• ์ข…๋ฅ˜ 4. ํ•™์Šต๋ฅ ๊ณผ ์ˆ˜๋ ด ๋ฌธ์ œ 5. ์‹ค์ „ ํŒ๊ณผ ์ฃผ์˜์‚ฌํ•ญ1. ๊ฒฝ์‚ฌํ•˜๊ฐ•๋ฒ•์ด๋ž€?๊ฒฝ์‚ฌํ•˜๊ฐ•๋ฒ•(Gradient Descent)์€ ์‹ ๊ฒฝ๋ง์ด ์ตœ์ ์˜ ๊ฐ€์ค‘์น˜๋ฅผ ์ฐพ๊ธฐ ์œ„ํ•ด ์‚ฌ์šฉํ•˜๋Š” ์ตœ์ ํ™” ์•Œ๊ณ ๋ฆฌ์ฆ˜์ž…๋‹ˆ๋‹ค. ์†์‹ค ํ•จ์ˆ˜(Loss Function)์˜ ๊ฐ’์„ ์ตœ์†Œํ™”ํ•˜๋Š” ๋ฐฉํ–ฅ์œผ๋กœ ํŒŒ๋ผ๋ฏธํ„ฐ(๊ฐ€์ค‘์น˜์™€.. 2025. 3. 27.