Reliable ML и воспроизводимые исследования

О курсе

Курс учит строить и оценивать ML-системы, которым можно доверять. Изучаются источники нерепрезентативности данных, методы обнаружения и снижения bias, калибровка вероятностей, оценка неопределённости (uncertainty quantification) и корректное проведение исследовательского цикла без HARKing и p-hacking. Курс готовит к написанию добросовестных научных работ и production-систем, где ошибка имеет цену.

Чему научитесь

✓Выявлять и документировать источники bias в данных и модели

✓Калибровать вероятностные предсказания и оценивать uncertainty с помощью conformal prediction

✓Проектировать экспериментальный дизайн без утечки разметки и с поправкой на множественность сравнений

✓Применять SHAP и probing classifiers для интерпретации поведения моделей

Ключевые темы

•Dataset shift: covariate, label, concept drift

•Bias и fairness: определения, метрики, методы снижения

•Калибровка вероятностей: Platt scaling, isotonic regression, temperature scaling

•Uncertainty quantification: epistemic vs aleatoric, conformal prediction

•Воспроизводимость: HARKing, p-hacking, multiple comparisons

•Ablation studies и корректный дизайн экспериментов

•Evaluation leakage: data contamination, benchmark overfitting

•Интерпретируемость: SHAP, LIME, attention, probing classifiers

•Adversarial robustness: базовые атаки и защиты

Описание сгенерировано автоматически и ещё не проверено преподавателем — это черновик для обсуждения.

О курсе

Чему научитесь

Ключевые темы

Обратная связь