Arcadia AI – Master-Studiengang
DE
РусскийO'zbekchaEnglishDeutschSrpskiहिन्दी
Studiengang  /  Semester 2 — Modern AI Stack
Kurs

Optimierung für ML: SGD, Adam, Regularisierung, Schedules

Optimierung als Motor des Lernens: von der Theorie zu modernen adaptiven Verfahren

Lehrperson wird noch bekannt gegeben

Über den Kurs

Der Kurs widmet sich den Optimierungsverfahren, die dem Training neuronaler Netze zugrunde liegen. Behandelt werden theoretische Konvergenzgarantien, die Geometrie der Loss-Landscape und praktische Techniken zur Stabilisierung des Trainings. Ein Verständnis der Optimierung ist entscheidend für die Kurse zu LLM, ML Engineering und für das Verfassen eigenständiger Forschungsarbeiten.

Was Sie lernen

✓Konvergenzbedingungen von SGD und Adam für konvexe und nicht-konvexe Probleme herleiten
✓Ein Trainings-Schedule anhand der Eigenschaften einer konkreten Aufgabe auswählen und konfigurieren
✓Optimierungsprobleme (explodierende/verschwindende Gradienten, Steckenbleiben) diagnostizieren und geeignete Korrekturtechniken anwenden
✓Eine Hyperparametersuche mittels Bayesian Optimization umsetzen

Kernthemen

•Konvexe Optimierung: Eigenschaften, Konvergenzsätze
•SGD, Momentum, Nesterov; Theorie der Mini-Batches
•Adaptive Verfahren: AdaGrad, RMSProp, Adam, AdamW
•Learning-Rate-Schedules: Cosine Annealing, Warmup, Cyclical LR
•Landscape neuronaler Netze: Sattelpunkte, Plateaus, Sharp/Flat Minima
•Gradient Clipping und Gradientennormalisierung
•Regularisierung über den Optimierer: Weight Decay, SWA, SAM
•Optimierung unter Nebenbedingungen und proximale Verfahren
•Hyperparametersuche: Bayesian Optimization, Population-Based Training
Die Beschreibung wurde automatisch generiert und wurde noch nicht von der Lehrperson geprüft – dies ist ein Entwurf zur Diskussion.