NLP, LLM und Agentensysteme: Transformer, RAG, Prompts

Über den Kurs

Der Kurs behandelt die Entwicklung des NLP von klassischen statistischen Modellen bis zu modernen LLMs und darauf aufbauenden Systemen. Die Studierenden erarbeiten die Architektur von Transformern (transformers) in allen Details, Methoden des Fine-Tunings (fine-tuning, RLHF, PEFT) sowie den Aufbau von RAG-Systemen und Agenten mit Tool-Nutzung. Der Kurs ist zentral für den angewandten AI-Track und die Forschung im Bereich NLP.

Was Sie lernen

✓Einen Transformer von Grund auf implementieren, einschließlich scaled dot-product attention und positional encoding

✓Vortrainierte LLMs mit PEFT-Methoden (LoRA) für eine konkrete Aufgabe nachtrainieren

✓Ein RAG-System mit Vektorsuche, Reranker und Bewertung der Antwortqualität aufbauen

✓Eine Agenten-Pipeline mit Tool Use und Kontextverwaltung entwerfen

✓LLM-Systeme anhand einer Kombination aus automatischen Metriken und LLM-as-Judge bewerten

Kernthemen

•Tokenisierung, Word Embeddings (Word2Vec, GloVe, BPE)

•Transformer-Architektur: Self-Attention, Multi-Head Attention, Positional Encoding

•Vortraining von LLMs: GPT, BERT, T5, LLaMA; Skalierungsgesetze

•Fine-Tuning: Full Fine-Tuning, LoRA, QLoRA, Prompt Tuning (PEFT)

•RLHF, DPO und Alignment-Methoden

•Retrieval-Augmented Generation (RAG): Chunking, Vektorindizes, Re-Ranking

•Prompt-Engineering: Chain-of-Thought, Few-Shot, strukturierte Ausgabe

•Agentensysteme: Tool Use, ReAct, Multi-Agent-Orchestrierung

•Bewertung von LLMs: BLEU, ROUGE, BERTScore, LLM-as-Judge

Die Beschreibung wurde automatisch generiert und wurde noch nicht von der Lehrperson geprüft – dies ist ein Entwurf zur Diskussion.

Über den Kurs

Was Sie lernen

Kernthemen

Feedback