Mathematische Grundlagen der Neuronalen Netze

Worum geht's

Das Modul vermittelt ausgewählte mathematische Grundlagen zur Analyse künstlicher neuronaler Netze. Du lernst, wie Approximationseigenschaften, Stabilität gegenüber Eingangsperturbationen und die Lernbarkeit von Netzen mit verschiedenen mathematischen Werkzeugen untersucht werden. Am Ende verstehst du die zentralen theoretischen Ergebnisse und die verwendeten Analysemethoden.

Was du danach kannst

Mathematische Methoden zur Analyse neuronaler Netze anwenden
Approximationseigenschaften tiefer und flacher Netze vergleichen
Stabilitätsphänomene und Gegenmaßnahmen verstehen
Grundlagen der Lernbarkeit und benötigte Stichprobengrößen einordnen

Aus was das Modul besteht

VorlesungPräsentation der Theorie, Beispiele und Diskussion; keine Übungsaufgaben vorgesehen

Lehrmethode

TafelvortragFür vertiefte, schrittweise Herleitung der Theorie
Diskussion mit StudierendenFördert eigenes Analysieren und vertieftes Verständnis
Evtl. Folien ergänzendZur Visualisierung und Strukturierung der Inhalte

Solltest du schon können

MA1101 Linear Algebra and Discrete Structures 1
MA1101 Linear Algebra and Discrete Structures 2
MA1001 Analysis 1
MA1002 Analysis 2
MA3001 Functional Analysis, Approximation Theory, Fourier Analysis and Waveletsempfohlen
MA4800 Foundations of Data Analysisempfohlen

Prüfung

mündliche Prüfung

Mündliche Prüfung, Dauer eine Stunde. Themenschwerpunkt sind das Verständnis der vorgestellten Resultate und Details ihrer Beweise. (Keine Angaben zu Hilfsmitteln oder Gewichtung im Rohdatenbestand.)

Literatur

HN Mhaskar - Approximation properties of a multilayered feedforward artificial neural network
HN Mhaskar - Neural networks for optimal approximation of smooth and analytic functions
HN Mhaskar, T Poggio - Deep vs. shallow networks: An approximation theory perspective
CK Chui, X Li, HN Mhaskar - Limitations of the approximation capabilities of neural networks with one hidden layer
CK Chui, HN Mhaskar - Deep nets for local manifold learning
A Rajagopal, S Chandrasekaran, HN Mhaskar - Deep Algorithms: designs for networks
R Alaifari, GS Alberti, T Gauksson - ADef: an Iterative Algorithm to Construct Adversarial Deformations
J Bruna, S Mallat - Invariant scattering convolution networks
S Mallat - Group invariant scattering
T Poggio, H Mhaskar, L Rosasco, B Miranda, Q Liao - Why and when can deep-but not shallow-networks avoid the curse of dimensionality: a review
T Poggio, H Mhaskar, L Rosasco, B Miranda, Q Liao - Why and when can deep–but not shallow–networks avoid the curse of dimensionality: a review (arXiv)
T Poggio, Q Liao - Theory II: Landscape of the empirical risk in deep learning
T Poggio et al. - Theory of Deep Learning III: explaining the non-overfitting puzzle
M Fornasier, K Schnass, J Vybiral - Learning functions of few arbitrary linear parameters in high dimensions
M Fornasier, J Vybíral, I Daubechies - Identification of Shallow Neural Networks by Fewest Samples
F Bach - Breaking the curse of dimensionality with convex neural networks

Filter

Mathematische Grundlagen der Neuronalen Netze

Worum geht's

Was du danach kannst

Aus was das Modul besteht

Lehrmethode

Modulbewertungen

Modul bewerten