Arcadia AI — मास्टर्स प्रोग्राम
HI
प्रोग्राम  /  सेमेस्टर 4 — Thesis & Production
कोर्स

AI Safety, Reliability और Security

AI सिस्टम्स की विश्वसनीयता, सुरक्षा और अलाइनमेंट — एक इंजीनियरिंग अनुशासन के रूप में

फ़ैकल्टी की पुष्टि होना बाकी है

कोर्स के बारे में

यह कोर्स AI Safety को एक इंजीनियरिंग और रिसर्च चुनौती के रूप में प्रस्तुत करता है — adversarial robustness और jailbreak attacks जैसे तकनीकी पहलुओं से लेकर alignment और governance जैसे सिस्टमिक मुद्दों तक। इसमें डिफ़ेंसिव तकनीकों (red teaming, constitutional AI, interpretability) के साथ-साथ नियामक ढाँचों (EU AI Act, NIST AI RMF) का भी अध्ययन किया जाता है। यह कोर्स AI सिस्टम्स की ज़िम्मेदार deployment के लिए तैयार करता है और करियर के किसी भी ट्रैक के लिए प्रासंगिक है।

आप क्या सीखेंगे

LLM सिस्टम का red team assessment करना और पाई गई vulnerabilities को दस्तावेज़ित करना
मात्रात्मक गारंटी के साथ ML pipeline में differential privacy लागू करना
किसी AI सिस्टम का EU AI Act और NIST AI RMF की आवश्यकताओं के अनुरूप मूल्यांकन करना
adversarial attacks के विरुद्ध बुनियादी सुरक्षा लागू करना (adversarial training या certified defense)

मुख्य विषय

Adversarial examples: आक्रमण (FGSM, PGD, AutoAttack) और सुरक्षा (adversarial training, certified defenses)
Prompt injection, LLM jailbreaking: तंत्र और मिटिगेशन
Alignment: RLHF, Constitutional AI, scalable oversight
Interpretability और mechanistic interpretability: circuits, features
AI सिस्टम्स की red teaming: पद्धति और उपकरण
ML में Privacy: differential privacy (DP), federated learning, membership inference
नियामक ढाँचे: EU AI Act, NIST AI RMF, ISO/IEC 42001
ML पर Supply chain attacks: data poisoning, model poisoning
AI governance और model cards, system cards
यह विवरण स्वतः जनरेट किया गया है और अभी तक किसी फ़ैकल्टी सदस्य द्वारा जाँचा नहीं गया है — यह चर्चा हेतु एक ड्राफ़्ट है।