Advanced Natural Language Processing

What it is about

You engage with current, advanced topics in Natural Language Processing: modern transformer models and explainability, machine translation for resource-poor languages, argument mining and ethical aspects, dialogue-oriented AI, quantum NLP, automatic text summarization as well as multimodal models (text + images). In the end you will be able to understand research work on these methods, combine technical building blocks and design and evaluate own architectural variants for research or practical application.

What you will be able to do

State-of-the-art Deep-Learning-Methoden aus Forschungsarbeiten verstehen und begründen
Bausteine vorgestellter Ansätze auf neue NLP-Probleme anwenden und kombinieren
eigene oder variantierte Deep-Learning-Architekturen für NLP entwickeln und implementieren
Deep-Architekturen analysieren, vergleichen und hinsichtlich Leistung sowie menschzentrierter Kriterien (Ethik, Erklärbarkeit) bewerten

What the module consists of

VorlesungEinführung in die Themenblöcke; insgesamt 3 Vorlesungen pro Block, Vorlesungsaufzeichnungen werden bereitgestellt
Übung / interaktive Sessionzentrales IPython-Exercise pro Block mit gemeinsamem Durcharbeiten und Hausaufgaben

Teaching method

Topical blocks mit Vorlesungenführt in jeweils ein fortgeschrittenes Thema ein und ermöglicht kurze Diskussionen
Interaktive IPython-Sessionspraktisches Ausprobieren von vorbereitetem Code, Übungen und Hausaufgaben zur Vertiefung
Selbststudium (Papers, Tutorials, Übungen)Background-Reading und Hausaufgaben zur Vorbereitung und Prüfungsvorbereitung

What you should already know

IN2346: Introduction to Deep Learning
IN2361: Natural Language Processingrecommended

Assessment

Written examWritten test

Schriftliche Klausur (Präsenz), Dauer 120 Minuten. Die Klausur prüft Verständnis der architektonischen Motive, Fähigkeit zur Anwendung und Kombination von Bausteinen, Ideen für Architekturvariationen sowie Analyse und Bewertung von Kandidatenarchitekturen inkl. ethischer/erklärbarer Aspekte. Hilfsmittel werden nicht explizit genannt.

Reading list

Singh et al. - ACL 2022 Tutorial: Zero- and Few-Shot NLP with Pretrained Language Models
Brown et al. - Language Models are Few-Shot Learners (NeurIPS 2020)
Lakkaraju et al. - NeurIPS Tutorial on Explainable AI (2020)
Chauhan, Daniel - A Comprehensive Survey on Various Fully Automatic Machine Translation Evaluation Metrics (Neural Process Lett, 2022)
Belouadi, Egger - USCORE: An Effective Approach to Fully Unsupervised Evaluation Metrics for Machine Translation (2022)
Haddow et al. - Survey of Low-Resource Machine Translation (2022)
Zhang et al. - Recent advances and challenges in task-oriented dialog systems (2020)
Zhang et al. - DialoGPT: Large-Scale Generative Pre-training for Conversational Response Generation (ACL 2020)
Di Sipio et al. - The dawn of quantum natural language processing (ICASSP 2022)
Kartsaklis et al. - lambeq: An efficient high-level python library for quantum NLP (2021)
Guarasci et al. - Quantum Natural Language Processing: Challenges and Opportunities (Applied Sciences, 2022)
Lewis et al. - BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension (2019)
Zhang et al. - Pegasus: Pre-training with extracted gap-sentences for abstractive summarization (ICML 2020)
Ramesh et al. - Hierarchical Text-Conditional Image Generation with CLIP Latents (2022)

Filters

Advanced Natural Language Processing

What it is about

What you will be able to do

What the module consists of

Teaching method

Module ratings

Rate this module