Verständnis großer Sprachmodelle: Architektur, Konzepte und moderne Systeme

Überblick

Ein strukturierter 3-tägiger Workshop, der Ingenieurinnen und Ingenieuren sowie technischen Fachkräften ein klares, konzeptionelles Verständnis dafür vermittelt, wie große Sprachmodelle funktionieren. Der Workshop konzentriert sich auf Architekturen, Kernmechanismen und praktische Abwägungen statt auf eine tiefgehende Implementierung.

Die Teilnehmenden lernen, wie transformerbasierte Modelle Text verarbeiten, wie Attention-Mechanismen das Verständnis von Sequenzen ermöglichen, wie Modelle im großen Maßstab trainiert und bereitgestellt werden und wie das moderne Open-Source-Ökosystem strukturiert ist. Der Ansatz betont Klarheit und Architekturverständnis gegenüber Programmierübungen.

Lernziele

Am Ende dieses Workshops werden die Teilnehmenden in der Lage sein:

• zu erklären, wie transformerbasierte Sprachmodelle Text von der Tokenisierung bis zur Generierung verarbeiten
• die Rolle von Embeddings, Attention-Mechanismen und Transformer-Blöcken in Modellarchitekturen zu beschreiben
• Encoder-only-, Encoder-Decoder- und Decoder-only-Architekturen sowie ihre Anwendungsfälle zu vergleichen
• über Kontextfenster, Skalierungsgesetze und deren technische Auswirkungen zu urteilen
• Pretraining-Ziele, Datenanforderungen und die Ökonomie von Rechenleistung zu erklären
• Decoding-Strategien und ihre Auswirkung auf die Qualität generierter Texte zu beschreiben
• Fine-Tuning-Ansätze einschließlich LoRA, Instruction Tuning und RLHF zu vergleichen
• Modelle aus dem aktuellen Open-Source-Ökosystem für praktische Anwendungen zu bewerten
• sich sicher in der LLM-Landschaft zu orientieren und fundierte technische Entscheidungen zu treffen

Zielgruppe

Dieser Workshop richtet sich an:

• Softwareingenieurinnen und Softwareingenieure, die die internen Abläufe von LLMs verstehen möchten, ohne sie von Grund auf neu zu entwickeln
• technische Leitungen, die LLM-Technologien für ihre Teams evaluieren
• Data Engineers und ML-Praktikerinnen bzw. ML-Praktiker, die architektonische Klarheit suchen
• technische Fachkräfte, die mit oder im Umfeld von LLM-Systemen arbeiten

Tag 1: Grundlagen: Von Text zur Transformer-Architektur

Themen

• Was große Sprachmodelle sind und wie sie sich aus früheren Ansätzen entwickelt haben
• Die Transformer-Revolution und warum sie das Feld verändert hat
• Die End-to-End-LLM-Pipeline: Daten, Tokenisierung, Embeddings, Modell, Decoding
• Tokenisierungsstrategien: Zeichen, Wort, Subword und Byte Pair Encoding
• Warum das Vokabulardesign für die Modelleffizienz wichtig ist
• Token-Embeddings und Positionskodierungen
• Encoder-only-, Encoder-Decoder- und Decoder-only-Architekturen
• Transformer-Blöcke: Attention, Feed-Forward-Netzwerke, Normalisierung, Residualverbindungen
• Wie Modelle im GPT-Stil diese Komponenten zusammensetzen
• Modellkonfigurationen und wie Architekturen skalieren

Aktivitäten

• Die LLM-Pipeline von Rohtext bis zur generierten Ausgabe abbilden
• Architekturfamilien und ihre Design-Abwägungen vergleichen
• Tokenisierungsstrategien an realem Text untersuchen
• Den Datenfluss durch einen Transformer-Block nachverfolgen
• Skalierungskonfigurationen realer Modelle analysieren

Ergebnis von Tag 1

Die Teilnehmenden verstehen die vollständige Architektur eines transformerbasierten Sprachmodells: von der Art und Weise, wie Text als Tokens in das System gelangt, bis dazu, wie gestapelte Transformer-Blöcke Repräsentationen verarbeiten.

---

Tag 2: Kernmechanismen: Attention, Training und Generierung

Themen

• Self-Attention: Queries, Keys, Values und Attention-Scores
• Causal Masking für autoregressive Sprachmodelle
• Multi-Head Attention und warum mehrere Heads unterschiedliche Muster erfassen
• Kontextfenster: technische Einschränkungen und Erweiterungstechniken
• Pretraining-Ziele: Next-Token-Prediction und warum sie funktioniert
• Anforderungen an Trainingsdaten, Skalierung und Qualitätsaspekte
• Ökonomie von Rechenleistung und Skalierungsgesetze