Optimizacija za ML: SGD, Adam, regularizacija, rasporedi

O kursu

Kurs je posvećen metodama optimizacije koje su u osnovi treniranja neuronskih mreža. Izučavaju se teorijske garancije konvergencije, geometrija loss landscape-a i praktične tehnike stabilizacije treniranja. Razumevanje optimizacije je ključno za kurseve o LLM-ovima, ML Engineering i pisanje originalnih istraživačkih radova.

Šta ćete naučiti

✓Da izvodite uslove konvergencije SGD-a i Adama za konveksne i nekonveksne probleme

✓Da birate i podešavate raspored treniranja na osnovu svojstava konkretnog zadatka

✓Da dijagnostikujete probleme optimizacije (eksplozija/nestajanje gradijenata, zaglavljivanje) i primenjujete korektivne tehnike

✓Da implementirate pretragu hiperparametara uz primenu Bayesian optimization

Ključne teme

•Konveksna optimizacija: svojstva, teoreme konvergencije

•SGD, Momentum, Nesterov; teorija mini-batch-a

•Adaptivne metode: AdaGrad, RMSProp, Adam, AdamW

•Rasporedi stope učenja: cosine annealing, warmup, cyclical LR

•Landscape neuronskih mreža: sedlaste tačke, platoi, sharp/flat minima

•Gradijentni kliping i normalizacija gradijenata

•Regularizacija kroz optimizator: weight decay, SWA, SAM

•Optimizacija sa ograničenjima i proksimalne metode

•Pretraga hiperparametara: Bayesian optimization, Population-Based Training

Opis je automatski generisan i predavač ga još nije proverio — ovo je nacrt za diskusiju.

O kursu

Šta ćete naučiti

Ključne teme

Povratne informacije