Large Language Models

Die Studierenden können Sprachmodelle auf fachlicher, methodischer und ethischer Ebene beurteilen. Sie sind in der Lage, deren theoretische Grundlagen und Funktionsweisen zu verstehen, zu analysieren und kritisch zu bewerten sowie geeignete Modelle und Strategien zur Lösung komplexer Aufgaben auszuwählen und anzuwenden. Darüber hinaus sind sie in der Lage, innovative Ansätze zur Weiterentwicklung und verantwortungsvollen Nutzung von Large Language Models zu konzipieren und umzusetzen. 

Die Teilnehmenden sind fähig, die Verarbeitung natürlicher Sprache in Textform zu analysieren. Sie können die zugrundeliegenden Theorien erklären und einstufen sowie die Verwendung von Programm-Bibliotheken und Web/Online-Services evaluieren.

Large Language Models (LLM)

1. Grundlagen neuronaler Sprachverarbeitung und Transfomer-Architekturen
2. Trainings- und Feinabstimmungsmethoden
3. Skalierungsgesetze, Datenanforderungen und Modelloptimierung
4. Evaluationsmetriken und Performanzanalyse von Sprachmodellen
5. Prompt Engineering, Retrieval-Augmented Generation (RAG) und In-Contect Learning
6. Einsatz und Integration von LLMs in Anwendungen
7. Interpretierbarkeit, Bias, Fairness und ethische Aspekte von KI-Systemen
8. Rechtliche und gesellschaftliche Rahmenbedingungen beim Einsatz von generativer KI
9. Aktuelle Forschungstrends und Zukunftsperspektiven im Bereich LLMs

Natural Language Processing (NLP)

1. Textbeschaffung (Web-Mirroring, API) und -formate (Internet, Office, PDF)
2. Vorverarbeitung (Preprocessing)
3. Morphologische Analyse
4. Syntaktische Analyse
5. Semantische Analyse
6. Vektorisierung und numerische Weiterverarbeitung
7. Klassisches Information Retrieval
8. Sentiment Analysis
9. NLP-Tools (ex. spaCy, scikit learn)

Im Laufe des Kurses werden Projekte bearbeitet und vorgestellt, die in die Abschlussnote einfließen.