ML uchun optimizatsiya: SGD, Adam, regulyarizatsiya, jadvallar

Kurs haqida

Kurs neyron tarmoqlarni o'qitish asosida yotgan optimizatsiya usullariga bag'ishlangan. Yaqinlashishning nazariy kafolatlari, loss landscape geometriyasi va o'qitishni barqarorlashtirishning amaliy usullari o'rganiladi. Optimizatsiyani tushunish LLM, ML Engineering bo'yicha kurslar va original tadqiqot ishlarini yozish uchun muhim ahamiyatga ega.

Nimalarni o'rganasiz

✓Qavariq va noqavariq masalalar uchun SGD va Adamning yaqinlashish shartlarini chiqarish

✓Aniq masala xususiyatlariga asoslanib o'qitish jadvalini tanlash va sozlash

✓Optimizatsiya muammolarini (gradientning portlashi/so'nishi, tiqilib qolish) aniqlash va tuzatuvchi texnikalarni qo'llash

✓Bayesian optimization yordamida giperparametr qidiruvini o'tkazish

Asosiy mavzular

•Qavariq optimizatsiya: xususiyatlari, yaqinlashish teoremalari

•SGD, Momentum, Nesterov; mini-batch nazariyasi

•Adaptiv usullar: AdaGrad, RMSProp, Adam, AdamW

•O'qitish tezligi jadvallari: cosine annealing, warmup, cyclical LR

•Neyron tarmoq landscape: egar nuqtalari, platolar, sharp/flat minima

•Gradient klipping va gradientlarni normalizatsiyalash

•Optimizator orqali regulyarizatsiya: weight decay, SWA, SAM

•Cheklovlar ostida optimizatsiya va proksimal usullar

•Giperparametr qidiruvi: Bayesian optimization, Population-Based Training

Ushbu tavsif avtomatik tarzda yaratilgan va hali o'qituvchi tomonidan tekshirilmagan — bu muhokama uchun qoralama.

Kurs haqida

Nimalarni o'rganasiz

Asosiy mavzular

Fikr-mulohaza