Statistical Foundations of Learning

Worum geht's

Du lernst statistische Grundlagen der Machine-Learning-Theorie und mathematische Werkzeuge zur Analyse von Lernalgorithmen. Am Ende kannst du Generalisierungs- und Konsistenzfragen bewerten, Algorithmen wie k‑NN, SVM und einfache neuronale Netze theoretisch analysieren und neuere Entwicklungen wie Überparametrisierung und Trainingsdynamiken einordnen.

Was du danach kannst

Mathematisch analysieren von Klassifikations- und Clustering-Algorithmen
Kenntnis statistischer Techniken (Grenzwertsätze, Konzentrationsungleichungen)
Anwendung statistischer Werkzeuge zur Verbesserung von Algorithmen
Bewertung der Grenzen von Formulierungen und Theorien im Machine Learning

Aus was das Modul besteht

VorlesungVermittlung theoretischer Grundlagen und aktueller Forschungsergebnisse
Übung/Tutorialwöchentliche Tutorials zur Besprechung von Beispielaufgaben
Assignmentszweiwöchige Übungsaufgaben zur Vertiefung; optional mit Bonuswirkung

Lehrmethode

Vorlesungsfolien mit gelegentlicher TafelarbeitPräsentation zentraler theoretischer Rahmen und Beweise
Tutorials mit MusterlösungenAnwendung der Theorie auf Übungsbeispiele und Herleitung neuer Resultate
Bi‑wöchentliche Aufgabenindividuelle oder Paar‑Übungen zur Vertiefung; benotete Aufgaben können Bonus geben
Moodle und Live‑Streamingasynchrone Diskussion, Materialbereitstellung und Teilnahmeoption

Solltest du schon können

Machine Learning (IN2064 oder äquivalent)
Diskrete Wahrscheinlichkeitstheorie (IN0018)
Analysis für Informatik (MA0902)
Statistik-Grundlagen (z. B. MA2402) — empfohlenempfohlen

Prüfung

KlausurMündliche PrüfungÜbungsaufgaben (optional, benotet, Bonus)

Die Abschlussprüfung ist entweder eine 120‑minütige Klausur oder eine ca. 25‑minütige mündliche Prüfung (je nach Anmeldezahlen; dies wird während der Vorlesungszeit bekanntgegeben). Prüfungsinhalte: Wissensabfrage zu Konzepten und Techniken, Herleitungen/Beweise in veränderten Settings sowie Interpretation von Ergebnissen. Zusätzlich gibt es optionale, zweiwöchige benotete Aufgaben; bei ≥70 % in den Assignments kann ein Bonus von 0,3 auf die Endnote gewährt werden (bei Endnote zwischen 1,3 und 4,0).

Prüfungstermin19.02. · 14:00–16:00003, Hörsaal 2, "Interims II" (5416.01.003)

Literatur

Shai Shalev-Shwartz & Shai Ben-David - Understanding Machine Learning: From Theory to Algorithms
Luc Devroye, László Györfi & Gábor Lugosi - A Probabilistic Theory of Pattern Recognition
David Arthur & Sergei Vassilvitskii - k-means++: The Advantages of Careful Seeding (2007)
Vincent Cohen-Addad et al. - Hierarchical Clustering: Objective Functions and Algorithms (JACM, 2019)
Peter L. Bartlett, Andrea Montanari & Alexander Rakhlin - Deep Learning: A Statistical Viewpoint (Acta Numerica, 2021)
Trevor Hastie, Andrea Montanari, Saharon Rosset & Ryan J. Tibshirani - Surprises in High-Dimensional Ridgeless Least Squares Interpolation (Annals of Statistics, 2022)
Sanjeev Arora et al. - On Exact Computation with an Infinitely Wide Neural Net (NeurIPS, 2019)

Termine

Vorlesung mit ÜbungStatistical Foundations of Learning (CIT4230004)3 Gruppen zur Wahl

ADi.16:00–18:00
1350, Ludwig-Burmester-Zeichensaal (5503.01.350)
15× · 13.10.–02.02.
- 13.10.
- 20.10.
- 27.10.
- 03.11.
- 10.11.
- 17.11.
- 24.11.
- 01.12.
- 08.12.
- 15.12.
- 22.12.
- 12.01.
- 19.01.
- 26.01.
- 02.02.
BMi.10:00–12:00
03.09.014, Seminarraum (5609.03.014)
14× · 14.10.–03.02.
- 14.10.
- 21.10.
- 04.11.
- 11.11.
- 18.11.
- 25.11.
- 02.12.
- 09.12.
- 16.12.
- 23.12.
- 13.01.
- 20.01.
- 27.01.
- 03.02.
CMi.14:00–16:00
01.10.011, Seminarraum (Inf. 18/19 (5610.01.011)
15× · 14.10.–03.02.
- 14.10.
- 21.10.
- 28.10.
- 04.11.
- 11.11.
- 18.11.
- 25.11.
- 02.12.
- 09.12.
- 16.12.
- 23.12.
- 13.01.
- 20.01.
- 27.01.
- 03.02.

Aus dem laufenden Semester, unverbindlich. Von mehreren Gruppen besucht man eine; der Stundenplan schlägt automatisch die mit den wenigsten Überschneidungen vor.

Filter