Arcadia AI — मास्टर्स प्रोग्राम
HI
प्रोग्राम  /  सेमेस्टर 2 — Modern AI Stack
कोर्स

ML के लिए ऑप्टिमाइज़ेशन: SGD, Adam, रेगुलराइज़ेशन, शेड्यूल्स

ऑप्टिमाइज़ेशन लर्निंग का इंजन है: थ्योरी से लेकर आधुनिक अडैप्टिव मेथड्स तक

फ़ैकल्टी की पुष्टि होना बाकी है

कोर्स के बारे में

यह कोर्स उन ऑप्टिमाइज़ेशन मेथड्स पर केंद्रित है जो न्यूरल नेटवर्क की ट्रेनिंग की बुनियाद हैं। इसमें कन्वर्जेंस की थ्योरेटिकल गारंटियों, loss landscape की ज्यामिति और ट्रेनिंग को स्थिर बनाने की व्यावहारिक तकनीकों का अध्ययन किया जाता है। ऑप्टिमाइज़ेशन की समझ LLM, ML Engineering से जुड़े कोर्सेज़ और मौलिक रिसर्च पेपर लिखने के लिए अत्यंत आवश्यक है।

आप क्या सीखेंगे

उत्तल (convex) और अनुत्तल (non-convex) समस्याओं के लिए SGD और Adam की कन्वर्जेंस शर्तों को व्युत्पन्न करना
किसी विशेष समस्या के गुणों के आधार पर लर्निंग रेट शेड्यूल चुनना और उसे ट्यून करना
ऑप्टिमाइज़ेशन की समस्याओं (ग्रेडिएंट एक्सप्लोज़न/वैनिशिंग, स्थिरता में फंसना) का निदान करना और सुधारात्मक तकनीकें लागू करना
Bayesian optimization का उपयोग करते हुए हाइपरपैरामीटर सर्च को लागू करना

मुख्य विषय

उत्तल ऑप्टिमाइज़ेशन (Convex Optimization): गुण, कन्वर्जेंस प्रमेय
SGD, Momentum, Nesterov; mini-batch थ्योरी
अडैप्टिव मेथड्स: AdaGrad, RMSProp, Adam, AdamW
लर्निंग रेट शेड्यूल्स: cosine annealing, warmup, cyclical LR
न्यूरल नेटवर्क का लॉस लैंडस्केप: सैडल पॉइंट्स, प्लेटो, sharp/flat minima
ग्रेडिएंट क्लिपिंग और ग्रेडिएंट नॉर्मलाइज़ेशन
ऑप्टिमाइज़र के ज़रिए रेगुलराइज़ेशन: weight decay, SWA, SAM
बाध्यताओं (constraints) के साथ ऑप्टिमाइज़ेशन और प्रॉक्सिमल मेथड्स
हाइपरपैरामीटर सर्च: Bayesian optimization, Population-Based Training
यह विवरण स्वतः जनरेट किया गया है और अभी तक किसी फ़ैकल्टी सदस्य द्वारा जाँचा नहीं गया है — यह चर्चा हेतु एक ड्राफ़्ट है।