Große Sprachmodelle personalisieren und erweitern

Seminarziel

Ziel dieses Kurses ist es, den Teilnehmern das notwendige Wissen und die praktischen Fähigkeiten zu vermitteln, um große Sprachmodelle (LLMs) gezielt auf individuelle Anwendungsfälle anzupassen. Sie lernen, wie Fine-Tuning effektiv durchgeführt wird - von der Auswahl geeigneter Modelle über die Datenaufbereitung bis zur Modelloptimierung. Besonderes Augenmerk liegt auf ressourcenschonenden Verfahren wie PEFT und LoRA, die auch ohne High-End-Hardware produktive Ergebnisse liefern.
Darüber hinaus verstehen die Teilnehmenden, wie sie RAG-Architekturen einsetzen, um externe Wissensquellen mit LLMs zu verknüpfen. Sie lernen, wie Dokumente vorbereitet, Vektorindizes erstellt und Retrieval-Pipelines aufgebaut werden. Die Kombination aus Fine-Tuning und RAG befähigt sie, LLMs so zu personalisieren, dass diese präzise, kontextrelevante und aktuelle Informationen liefern.
Ein weiteres Ziel ist es, den Teilnehmenden praxisrelevante Best Practices für die Evaluierung und den produktiven Einsatz von angepassten LLMs zu vermitteln. Sie werden in die Lage versetzt, eigene Projekte eigenständig zu planen und umzusetzen - sowohl in Cloud-Umgebungen als auch lokal. Nach dem Kurs sind sie in der Lage, Fine-Tuning- und RAG-Methoden sicher anzuwenden und daraus robuste, individuelle LLM-Anwendungen zu entwickeln.

Inhalt

• Grundlagen von Large Language Models und Einführung in die Personalisierung
  • Theorie:
    • Was sind Large Language Models/Transformer? Überblick über Architektur, Funktionsweise und bekannte Modelle (GPT, Llama, Mistral)
    • Unterschiede zwischen generischen und spezialisierten Modellen
    • Einführung in die Personalisierung: Fine-Tuning, Prompt Engineering und Parameter-Effizienztechniken (PEFT, LoRA)
  • Praxis:
    • Fine-Tuning eines LLM auf einer Beispiel-Domäne mit Hugging Face
    • Experimentieren mit Prompts, um die Ausgabe für spezifische Aufgaben zu optimieren
  • Ziel:
    • Verstehen, wie LLMs arbeiten und wie sie durch einfache Anpassungen personalisiert werden können
• Datenintegration und Retrieval-Augmented Generation (RAG)
  • Theorie:
    • Warum Datenintegration? Nutzung eigener Wissensquellen zur Erweiterung von LLMs
    • Grundlagen von RAG: Aufbau von Vektordatenbanken und deren Einsatz mit LLMs
    • Technische Einführung in Tools wie LangChain, ChromaDB oder Pinecone
  • Praxis:
    • Aufbau einer Vektordatenbank und Anbindung eines LLMs
    • Implementierung einer Frage-Antwort-Anwendung auf Basis eigener Dokumente
  • Ziel:
    • Die Teilnehmenden lernen, wie sie eigene Daten mit einem LLM nutzen können, um spezifische Anfragen zu beantworten
• Lokale Nutzung von LLMs
  • Theorie:
    • Vorteile der lokalen Nutzung: Datenschutz, Kostenkontrolle und Flexibilität
    • Überblick über Tools und Frameworks für lokale LLMs (z. B. Ollama, LM-Studio)
    • Hardwareanforderungen und Optimierungsmöglichkeiten für lokale Deployments
  • Praxis:
    • Einrichtung eines lokalen LLMs auf dem eigenen Rechner oder Server
    • Vergleich zwischen Cloud- und lokalen Modellen anhand von Praxisbeispielen
  • Ziel:
    • Teilnehmende können ein LLM lokal installieren und betreiben, um datengetriebene Projekte unabhängig und sicher umzusetzen