Advanced Natural Language Processing

Worum geht's

Du beschäftigst dich mit aktuellen, fortgeschrittenen Themen des Natural Language Processing: moderne Transformer-Modelle und Erklärbarkeit, maschinelle Übersetzung für ressourcenarme Sprachen, Argument Mining und ethische Aspekte, dialogorientierte KI, Quantum NLP, automatische Textzusammenfassung sowie multimodale Modelle (Text+Bilder). Am Ende kannst du Forschungsarbeiten zu diesen Methoden verstehen, technische Bausteine kombinieren und eigene Architekturvarianten für Forschung oder Praxis entwerfen und bewerten.

Was du danach kannst

State-of-the-art Deep-Learning-Methoden aus Forschungsarbeiten verstehen und begründen
Bausteine vorgestellter Ansätze auf neue NLP-Probleme anwenden und kombinieren
eigene oder variantierte Deep-Learning-Architekturen für NLP entwickeln und implementieren
Deep-Architekturen analysieren, vergleichen und hinsichtlich Leistung sowie menschzentrierter Kriterien (Ethik, Erklärbarkeit) bewerten

Aus was das Modul besteht

VorlesungEinführung in die Themenblöcke; insgesamt 3 Vorlesungen pro Block, Vorlesungsaufzeichnungen werden bereitgestellt
Übung / interaktive Sessionzentrales IPython-Exercise pro Block mit gemeinsamem Durcharbeiten und Hausaufgaben

Lehrmethode

Topical blocks mit Vorlesungenführt in jeweils ein fortgeschrittenes Thema ein und ermöglicht kurze Diskussionen
Interaktive IPython-Sessionspraktisches Ausprobieren von vorbereitetem Code, Übungen und Hausaufgaben zur Vertiefung
Selbststudium (Papers, Tutorials, Übungen)Background-Reading und Hausaufgaben zur Vorbereitung und Prüfungsvorbereitung

Solltest du schon können

IN2346: Introduction to Deep Learning
IN2361: Natural Language Processingempfohlen

Prüfung

Klausurschriftlich

Schriftliche Klausur (Präsenz), Dauer 120 Minuten. Die Klausur prüft Verständnis der architektonischen Motive, Fähigkeit zur Anwendung und Kombination von Bausteinen, Ideen für Architekturvariationen sowie Analyse und Bewertung von Kandidatenarchitekturen inkl. ethischer/erklärbarer Aspekte. Hilfsmittel werden nicht explizit genannt.

Literatur

Singh et al. - ACL 2022 Tutorial: Zero- and Few-Shot NLP with Pretrained Language Models
Brown et al. - Language Models are Few-Shot Learners (NeurIPS 2020)
Lakkaraju et al. - NeurIPS Tutorial on Explainable AI (2020)
Chauhan, Daniel - A Comprehensive Survey on Various Fully Automatic Machine Translation Evaluation Metrics (Neural Process Lett, 2022)
Belouadi, Egger - USCORE: An Effective Approach to Fully Unsupervised Evaluation Metrics for Machine Translation (2022)
Haddow et al. - Survey of Low-Resource Machine Translation (2022)
Zhang et al. - Recent advances and challenges in task-oriented dialog systems (2020)
Zhang et al. - DialoGPT: Large-Scale Generative Pre-training for Conversational Response Generation (ACL 2020)
Di Sipio et al. - The dawn of quantum natural language processing (ICASSP 2022)
Kartsaklis et al. - lambeq: An efficient high-level python library for quantum NLP (2021)
Guarasci et al. - Quantum Natural Language Processing: Challenges and Opportunities (Applied Sciences, 2022)
Lewis et al. - BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension (2019)
Zhang et al. - Pegasus: Pre-training with extracted gap-sentences for abstractive summarization (ICML 2020)
Ramesh et al. - Hierarchical Text-Conditional Image Generation with CLIP Latents (2022)

Filter

Advanced Natural Language Processing

Worum geht's

Was du danach kannst

Aus was das Modul besteht

Lehrmethode

Modulbewertungen

Modul bewerten