NLP, LLM i agentni sistemi: transformeri, RAG, promptovi

O kursu

Kurs pokriva evoluciju NLP-a od klasičnih statističkih modela do savremenih LLM-ova i sistema zasnovanih na njima. Studenti u detalje izučavaju arhitekturu transformera (transformers), metode dodatnog treniranja (fine-tuning, RLHF, PEFT), kao i izgradnju RAG sistema i agenata sa alatima. Kurs je centralan za primenjeni AI-trek i istraživanja u oblasti NLP-a.

Šta ćete naučiti

✓Implementirati transformer od nule, uključujući scaled dot-product attention i positional encoding

✓Dodatno trenirati predtrenirane LLM-ove primenom PEFT-metoda (LoRA) za konkretan zadatak

✓Graditi RAG sistem sa vektorskom pretragom, reranker-om i procenom kvaliteta odgovora

✓Projektovati agentni pipeline sa tool use i upravljanjem kontekstom

✓Ocenjivati LLM sisteme kombinacijom automatskih metrika i LLM-as-judge pristupa

Ključne teme

•Tokenizacija, word embeddings (Word2Vec, GloVe, BPE)

•Arhitektura transformera: self-attention, multi-head attention, positional encoding

•Predtreniranje LLM-ova: GPT, BERT, T5, LLaMA; zakoni skaliranja

•Fine-tuning: full fine-tuning, LoRA, QLoRA, prompt tuning (PEFT)

•RLHF, DPO i alignment metode

•Retrieval-Augmented Generation (RAG): chunking, vektorski indeksi, re-ranking

•Promptinženjering: chain-of-thought, few-shot, structured output

•Agentni sistemi: tool use, ReAct, multi-agent orchestration

•Ocena LLM-ova: BLEU, ROUGE, BERTScore, LLM-as-judge

Opis je automatski generisan i predavač ga još nije proverio — ovo je nacrt za diskusiju.

O kursu

Šta ćete naučiti

Ključne teme

Povratne informacije