Reliable ML i reproducibilna istraživanja

O kursu

Kurs uči kako graditi i evaluirati ML sisteme kojima se može verovati. Izučavaju se izvori nereprezentativnosti podataka, metode detekcije i smanjenja bias-a, kalibracija verovatnoća, procena neizvesnosti (uncertainty quantification) i korektno sprovođenje istraživačkog ciklusa bez HARKing-a i p-hacking-a. Kurs priprema za pisanje savesnih naučnih radova i production sistema, gde greška ima cenu.

Šta ćete naučiti

✓Prepoznati i dokumentovati izvore bias-a u podacima i modelu

✓Kalibrisati verovatnosne predikcije i procenjivati uncertainty pomoću conformal prediction-a

✓Projektovati eksperimentalni dizajn bez curenja oznaka i sa korekcijom za višestruka poređenja

✓Primenjivati SHAP i probing classifiers za interpretaciju ponašanja modela

Ključne teme

•Dataset shift: covariate, label, concept drift

•Bias i fairness: definicije, metrike, metode smanjenja

•Kalibracija verovatnoća: Platt scaling, isotonic regression, temperature scaling

•Uncertainty quantification: epistemic vs aleatoric, conformal prediction

•Reproducibilnost: HARKing, p-hacking, multiple comparisons

•Ablation studies i korektan dizajn eksperimenata

•Evaluation leakage: data contamination, benchmark overfitting

•Interpretabilnost: SHAP, LIME, attention, probing classifiers

•Adversarial robustness: osnovni napadi i odbrane

Opis je automatski generisan i predavač ga još nije proverio — ovo je nacrt za diskusiju.

O kursu

Šta ćete naučiti

Ključne teme

Povratne informacije