Verständnis großer Sprachmodelle: Architektur, Konzepte und moderne Systeme

Überblick

Ein strukturierter 3-tägiger Workshop, der Ingenieurinnen und Ingenieuren sowie technischen Fachkräften ein klares, konzeptionelles Verständnis dafür vermittelt, wie große Sprachmodelle funktionieren. Der Workshop konzentriert sich auf Architekturen, Kernmechanismen und praktische Abwägungen statt auf eine tiefgehende Implementierung.

Die Teilnehmenden lernen, wie transformerbasierte Modelle Text verarbeiten, wie Attention-Mechanismen das Verständnis von Sequenzen ermöglichen, wie Modelle im großen Maßstab trainiert und bereitgestellt werden und wie das moderne Open-Source-Ökosystem strukturiert ist. Der Ansatz betont Klarheit und Architekturverständnis gegenüber Programmierübungen.

Lernziele

Am Ende dieses Workshops werden die Teilnehmenden in der Lage sein:

• zu erklären, wie transformerbasierte Sprachmodelle Text von der Tokenisierung bis zur Generierung verarbeiten
• die Rolle von Embeddings, Attention-Mechanismen und Transformer-Blöcken in Modellarchitekturen zu beschreiben
• Encoder-only-, Encoder-Decoder- und Decoder-only-Architekturen sowie ihre Anwendungsfälle zu vergleichen
• über Kontextfenster, Skalierungsgesetze und deren technische Auswirkungen zu urteilen
• Pretraining-Ziele, Datenanforderungen und die Ökonomie von Rechenleistung zu erklären
• Decoding-Strategien und ihre Auswirkung auf die Qualität generierter Texte zu beschreiben
• Fine-Tuning-Ansätze einschließlich LoRA, Instruction Tuning und RLHF zu vergleichen
• Modelle aus dem aktuellen Open-Source-Ökosystem für praktische Anwendungen zu bewerten
• sich sicher in der LLM-Landschaft zu orientieren und fundierte technische Entscheidungen zu treffen

Zielgruppe

Dieser Workshop richtet sich an:

• Softwareingenieurinnen und Softwareingenieure, die die internen Abläufe von LLMs verstehen möchten, ohne sie von Grund auf neu zu entwickeln
• technische Leitungen, die LLM-Technologien für ihre Teams evaluieren
• Data Engineers und ML-Praktikerinnen bzw. ML-Praktiker, die architektonische Klarheit suchen
• technische Fachkräfte, die mit oder im Umfeld von LLM-Systemen arbeiten
• alle Personen mit technischem Hintergrund, die ein strukturiertes Verständnis moderner AI-Systeme erwerben möchten

Voraussetzungen

Die Teilnehmenden sollten mitbringen:

• einen allgemeinen Hintergrund in Software Engineering oder Technik
• die Fähigkeit, Codebeispiele zu lesen (Kenntnisse in Python sind hilfreich, aber nicht erforderlich)
• ein grundlegendes Verständnis davon, was neuronale Netze auf hoher Ebene sind
• keine vorherige Erfahrung mit LLMs, Deep Learning oder PyTorch erforderlich

Workshop-Format

Der Workshop kombiniert:

• von der Kursleitung geleitete Konzept-Sessions mit visuellen Erklärungen
• strukturierte Übungen mit Fokus auf Argumentation und Analyse
• Aktivitäten zur Erkundung und zum Vergleich von Architekturen
• Gruppendiskussionen über Abwägungen und Designentscheidungen
• leichtgewichtige Demonstrationen zur Veranschaulichung zentraler Konzepte

Die Teilnehmenden verlassen den Workshop mit einem starken mentalen Modell davon, wie moderne LLM-Systeme aufgebaut, trainiert und bereitgestellt werden.

Tag 1: Grundlagen: Von Text zur Transformer-Architektur

Themen

• Was große Sprachmodelle sind und wie sie sich aus früheren Ansätzen entwickelt haben
• Die Transformer-Revolution und warum sie das Feld verändert hat
• Die End-to-End-LLM-Pipeline: Daten, Tokenisierung, Embeddings, Modell, Decoding
• Tokenisierungsstrategien: Zeichen, Wort, Subword und Byte Pair Encoding
• Warum das Vokabulardesign für die Modelleffizienz wichtig ist
• Token-Embeddings und Positionskodierungen
• Encoder-only-, Encoder-Decoder- und Decoder-only-Architekturen
• Transformer-Blöcke: Attention, Feed-Forward-Netzwerke, Normalisierung, Residualverbindungen
• Wie Modelle im GPT-Stil diese Komponenten zusammensetzen
• Modellkonfigurationen und wie Architekturen skalieren

Aktivitäten

• Die LLM-Pipeline von Rohtext bis zur generierten Ausgabe abbilden
• Architekturfamilien und ihre Design-Abwägungen vergleichen
• Tokenisierungsstrategien an realem Text untersuchen
• Den Datenfluss durch einen Transformer-Block nachverfolgen
• Skalierungskonfigurationen realer Modelle analysieren

Ergebnis von Tag 1

Die Teilnehmenden verstehen die vollständige Architektur eines transformerbasierten Sprachmodells: von der Art und Weise, wie Text als Tokens in das System gelangt, bis dazu, wie gestapelte Transformer-Blöcke Repräsentationen verarbeiten.

---

Tag 2: Kernmechanismen: Attention, Training und Generierung

Themen

• Self-Attention: Queries, Keys, Values und Attention-Scores
• Causal Masking für autoregressive Sprachmodelle
• Multi-Head Attention und warum mehrere Heads unterschiedliche Muster erfassen
• Kontextfenster: technische Einschränkungen und Erweiterungstechniken
• Pretraining-Ziele: Next-Token-Prediction und warum sie funktioniert
• Anforderungen an Trainingsdaten, Skalierung und Qualitätsaspekte
• Ökonomie von Rechenleistung und Skalierungsgesetze
• Autoregressive Textgenerierung und die Decoding-Schleife
• Temperature, Top-k, Top-p Sampling und Beam Search
• Inferenz-Infrastruktur: KV-Caching, Batching, Quantisierung
• Abwägungen zwischen Latenz und Durchsatz beim Serving

Aktivitäten

• Attention-Scores und Causal Masking von Hand berechnen
• Multi-Head Attention und Abwägungen bei Kontextfenstern analysieren
• Pretraining-Kosten und Datenanforderungen abschätzen
• Untersuchen, wie Next-Token-Prediction leistungsfähige Modelle hervorbringt
• Decoding-Strategien und ihre Auswirkungen auf die Ausgabe vergleichen
• Über Einschränkungen der Serving-Infrastruktur nachdenken

Ergebnis von Tag 2

Die Teilnehmenden verstehen, wie Attention mechanistisch funktioniert, warum Pretraining leistungsfähige Modelle hervorbringt und wie Inferenz- und Serving-Systeme entworfen werden.

---

Tag 3: Moderne Landschaft: Anpassung, Ökosystem und Praxis

Themen

• Fine-Tuning versus Prompting: wann und warum Modelle angepasst werden sollten
• Überwachtes Fine-Tuning und Instruction Tuning
• RLHF und Alignment: von Basismodellen zu nützlichen Assistenten
• Parametereffiziente Methoden: LoRA, Adapters und QLoRA
• Aufgabenspezifische Anpassung für Klassifikation und Generierung
• Das Open-Source-Modellökosystem: LLaMA, Mistral, Gemma, Qwen, Phi
• Kriterien zur Modellauswahl für Anwendungen in der Praxis
• Bereitstellungsoptionen: selbst gehostet, API-basiert, Edge
• Einschränkungen, Fehlermodi und verantwortungsvoller Einsatz
• Wohin sich das Feld entwickelt: Reasoning, Agents, multimodal

Aktivitäten

• Die richtige Anpassungsstrategie für verschiedene Szenarien auswählen
• Die RLHF-Alignment-Pipeline verstehen
• Modelle für Anwendungsszenarien in der Praxis bewerten
• Das Open-Source-LLM-Ökosystem abbilden
• Eine umfassende LLM-Wissenslandkarte erstellen
• Persönliche nächste Lernpfade identifizieren

Ergebnis von Tag 3

Die Teilnehmenden können Modelle bewerten und auswählen, verstehen, wie sie für spezifische Aufgaben angepasst werden, und bewegen sich sicher im modernen LLM-Ökosystem.