NLP, LLM и агентные системы: трансформеры, RAG, промпты

О курсе

Курс охватывает эволюцию NLP от классических статистических моделей до современных LLM и систем на их основе. Студенты изучают архитектуру трансформеров (transformers) во всех деталях, методы дообучения (fine-tuning, RLHF, PEFT), а также построение RAG-систем и агентов с инструментами. Курс является центральным для прикладного AI-трека и исследований в области NLP.

Чему научитесь

✓Реализовывать трансформер с нуля, включая scaled dot-product attention и positional encoding

✓Дообучать предобученные LLM с применением PEFT-методов (LoRA) под конкретную задачу

✓Строить RAG-систему с векторным поиском, реранкером и оценкой качества ответов

✓Проектировать агентный pipeline с tool use и управлением контекстом

✓Оценивать LLM-системы по комбинации автоматических метрик и LLM-as-judge

Ключевые темы

•Токенизация, word embeddings (Word2Vec, GloVe, BPE)

•Архитектура трансформера: self-attention, multi-head attention, positional encoding

•Предобучение LLM: GPT, BERT, T5, LLaMA; масштабные законы

•Fine-tuning: full fine-tuning, LoRA, QLoRA, prompt tuning (PEFT)

•RLHF, DPO и alignment методы

•Retrieval-Augmented Generation (RAG): chunking, векторные индексы, re-ranking

•Промпт-инжиниринг: chain-of-thought, few-shot, structured output

•Агентные системы: tool use, ReAct, multi-agent orchestration

•Оценка LLM: BLEU, ROUGE, BERTScore, LLM-as-judge

Описание сгенерировано автоматически и ещё не проверено преподавателем — это черновик для обсуждения.

О курсе

Чему научитесь

Ключевые темы

Обратная связь