Approximate Dynamic Programming and Reinforcement Learning

Worum geht's

Du lernst Methoden des Approximate Dynamic Programming (ADP) und Reinforcement Learning (RL) zur Lösung sequentieller Entscheidungsprobleme. Am Ende kannst du grundlegende Modelle und Algorithmen beschreiben, Ableitungen nachvollziehen sowie einfache ADP/RL-Methoden implementieren und auf einfache (z. B. robotische) Aufgaben anwenden.

Was du danach kannst

klassische Szenarien sequentieller Entscheidungsprobleme beschreiben
Grundmodelle von ADP/RL erklären
ADP-/RL-Algorithmen aus dem Kurs herleiten
Konvergenzeigenschaften der behandelten Algorithmen charakterisieren
Leistungsunterschiede der Algorithmen theoretisch und praktisch vergleichen
geeignete Algorithmen für konkrete Anwendungen auswählen
ADP/RL-Algorithmen konstruieren und implementieren

Aus was das Modul besteht

VorlesungVermittlung der theoretischen Grundlagen und Modelle
ÜbungEinüben und Vertiefen der Konzepte; behandelt teils neue Themen
TutoriumDiskussion der Aufgaben und Programmieraufgaben; Unterstützung bei deren Lösung

Lehrmethode

Frontalunterricht (Tafel, Beamer)Einführung in Theorie und Modelle
Gruppen- und EinzelbesprechungenErarbeiten von Definitionen und Konzepten anhand einfacher Beispiele
Übungs- und ProgrammieraufgabenPraxisorientiertes Anwenden der Vorlesungsinhalte

Solltest du schon können

Lineare Algebraempfohlen
Statistikempfohlen
Optimierungempfohlen
Analysisempfohlen
Machine Learning (Grundkenntnisse)empfohlen
Python-Grundkenntnisse oder Motivation, es zu lernenempfohlen

Prüfung

AssignmentsKlausur

Die Gesamtnote setzt sich aus abgegebenen Assignments (50 %) und einer schriftlichen Klausur (50 %, 90 Minuten) zusammen. Die Assignments müssen fristgerecht eingereicht werden und prüfen Verständnis sowie Anwendung der grundlegenden ADP/RL-Methoden. Die Klausur enthält einen Vorlesungsteil (theoretisches Wissen), einen Übungsteil (Details und anwendungsnahe Fragestellungen) sowie Aufgaben, die Elemente der Assignments auf neue Probleme übertragen.

Literatur

Bertsekas, D. P. & Tsitsiklis, J. - Neuro-dynamic programming
Powell, Warren B. - Approximate Dynamic Programming: Solving the Curses of Dimensionality
Bertsekas, D. P. - Dynamic Programming and Optimal Control (two volumes)

Termine

Vorlesung mit ÜbungApproximate Dynamic Programming and Reinforcement Learning2 Gruppen zur Wahl

ADo.13:15–14:45
0220, Hörsaal m. Exp.-Bühne (0502.EG.220)
14× · 15.10.–04.02.
- 15.10.
- 22.10.
- 29.10.
- 05.11.
- 12.11.
- 19.11.
- 26.11.
- 10.12.
- 17.12.
- 07.01.
- 14.01.
- 21.01.
- 28.01.
- 04.02.
BMo.15:00–16:30
0220, Hörsaal m. Exp.-Bühne (0502.EG.220)
14× · 19.10.–01.02.
- 19.10.
- 26.10.
- 02.11.
- 09.11.
- 16.11.
- 23.11.
- 30.11.
- 07.12.
- 14.12.
- 21.12.
- 11.01.
- 18.01.
- 25.01.
- 01.02.

Aus dem laufenden Semester, unverbindlich. Von mehreren Gruppen besucht man eine; der Stundenplan schlägt automatisch die mit den wenigsten Überschneidungen vor.

Filter