Understanding Large Language Models: Interpretability, Limitations, and Social Implications

Worum geht's

Du lernst, wie große Sprachmodelle (LLMs) funktionieren, welche methodischen Grenzen und Verzerrungen (shortcuts, data biases) sie haben und wie man diese erkennt und bewertet. Am Ende kannst du bestehende Interpretations- und Evaluationsansätze einordnen, Schwachstellen identifizieren und über Verbesserungsmöglichkeiten und soziale Auswirkungen kritisch reflektieren.

Was du danach kannst

• Grundprinzipien von LLMs erklären (Repräsentationslernen, Trainingsziele, Inferenzverhalten)
• Ausgewählte Forschungsbeiträge zu LLMs analysieren und Modellverhalten mittels Interpretationsmethoden interpretieren
• Einschränkungen durch Daten, Modellgestaltung oder Evaluation identifizieren
• Annahmen in Entwicklung und Einsatz von LLMs kritisch reflektieren (Bias, Generalisierung, Robustheit)

Aus was das Modul besteht

• SeminarEinstieg in Probleme von Shortcuts und Biases; Einführung in Grundlagen und aktuelle Techniken; studentische Paper-Präsentationen mit Diskussion und Feedback

Lehrmethode

• Vorlesende EinführungVermittlung von Grundlagen und Kontext für die Themen des Seminars
• Reading-List und Paper-Präsentationen durch StudierendeFördert eigenständige Auseinandersetzung mit aktueller Forschung, Präsentations- und Diskussionsfähigkeit