Network Architectures and Deep Learning

Die Vorlesung PDP gibt anhand von Bildverarbeitungsprobelemen einen Überblick über konfigurierbare Architekturen zur Datenverarbeitung. Es werden tiefe Filterkaskaden (Convolutional Networks) verschiedener Art erläutert (z.B. AlexNet, VGG-16, GoogleNet). Die Vorlesung führt in die zentralen Ideen von Residual Networks (ResNets) ein. Für sequenzielle Daten (z.B. Sprache) werden rekurrente Netze (RNNs) erläutert (z.B. LSTMs). Sog. Transformer-Netze werden anhand von Beispielen zur Übersetzung eingeführt. Weitere Architekturen werden auf der Basis von probabilistischen Netzen erläutert (probabilistische graphische Modelle) und anhand von Beispielen erläutert. Alle Architekturen haben eine komplexe innere Struktur mit latenten Elementen und können als tiefe Repräsentationen bezeichnet werden.

Neben den tiefen Architekturen selbst werden auch tiefe Lernverfahren zur automatischen Konfiguration der Architekturen erläutert, so dass Klassifikationsaufgaben mit minimaler Fehlerrate gelöst bzw. Regressionsfunktionen mit kleinem Fehler hergeleitet werden können. Die automatische Konfiguration der inneren Strukturen stellt eine Bestimmung einer abstrakten Darstellung der Eingaben dar, die dann auf die Ausgaben abgebildet werden. Wir sprechen daher auch von Lernen von Repräsentationen (Representation Learning). Randomisierte Elemente, die im Lernen von Repräsentationen eingesetzt werden, wie z.B. Dropout oder probabilistische Dimensionsreduktion, werden genauso wie fokussierende Elemente (z.B. Attention-Learning in LSTMs) in der Vorlesung eingeführt.

Auch die Verwendung von Architekturen zur Generierung von Daten (z.B. auch Trainingsdaten) werden behandelt (z.B. GANs und verschiedene Sampling-Verfahren). Probabilistsiche Modelle zur Generierung von komplexen Beschreibungen werden ebenfalls diskutiert (probabilistische Programmierung).

Anschließend verallgemeinert die Vorlesung die Inhalte und stellt die wesentlichen Ideen hinter dem neuen Paradigma der differentiellen Programmierung (z.B. anhand von Zygote) dar. Mit differentieller Programmierung kann aus einem programmierten Generator automatisch aus dem Quellcode z.B. ein Klassifikator erzeugt werden, was eine wichtige Technik der Zukunft darstellt.

Die Studierenden tragen in einem seminaristischen Teil vertiefende Elemente selbst bei, indem sie Referate über Originalpapiere zu den in der Vorlesung durchgesprochenen Themen halten.