Arcadia AI – Master-Studiengang
DE
РусскийO'zbekchaEnglishDeutschSrpskiहिन्दी
Studiengang  /  Semester 2 – Modern AI Stack
Kurs

Reliable ML und reproduzierbare Forschung

Zuverlässigkeit, Reproduzierbarkeit und faire Bewertung von ML-Systemen

KA
Karina
Kandidatur in Abstimmung

Über den Kurs

Der Kurs vermittelt, wie man ML-Systeme baut und bewertet, denen man vertrauen kann. Behandelt werden Quellen nicht-repräsentativer Daten, Methoden zur Erkennung und Reduzierung von Bias, Kalibrierung von Wahrscheinlichkeiten, Uncertainty Quantification sowie die korrekte Durchführung des Forschungszyklus ohne HARKing und p-Hacking. Der Kurs bereitet auf das Verfassen wissenschaftlich sauberer Arbeiten und von Produktionssystemen vor, in denen Fehler etwas kosten.

Was Sie lernen

✓Quellen von Bias in Daten und Modell erkennen und dokumentieren
✓Wahrscheinlichkeitsvorhersagen kalibrieren und Uncertainty mittels Conformal Prediction bewerten
✓Experimentelles Design ohne Label-Leckage und mit Korrektur für multiples Testen entwerfen
✓SHAP und Probing Classifiers zur Interpretation des Modellverhaltens anwenden

Kernthemen

•Dataset Shift: Covariate, Label, Concept Drift
•Bias und Fairness: Definitionen, Metriken, Methoden zur Reduzierung
•Kalibrierung von Wahrscheinlichkeiten: Platt Scaling, Isotonic Regression, Temperature Scaling
•Uncertainty Quantification: Epistemic vs. Aleatoric, Conformal Prediction
•Reproduzierbarkeit: HARKing, p-Hacking, Multiple Comparisons
•Ablation Studies und korrektes Experimentdesign
•Evaluation Leakage: Data Contamination, Benchmark Overfitting
•Interpretierbarkeit: SHAP, LIME, Attention, Probing Classifiers
•Adversarial Robustness: grundlegende Angriffe und Abwehrmaßnahmen
Die Beschreibung wurde automatisch generiert und wurde noch nicht von der Lehrperson geprüft – dies ist ein Entwurf zur Diskussion.