ChatGPT und andere Transformer für Natural Language Processing (NLP)

Seminarziel

Am Ende des Seminars sind die Teilnehmer in der Lage, Large Language Models zielgerichtet für ihre individuellen Anforderungen einzusetzen. Sie verstehen die Grundlagen der Modellanpassung und -personalisierung, können eigene Daten integrieren und wissen, wie sie LLMs lokal betreiben, um Datenschutzanforderungen zu erfüllen. Zudem sind sie befähigt, Multi-Agenten-Systeme zu entwickeln, die Prozesse automatisieren und den Workflow in ihrem beruflichen Umfeld verbessern.

Inhalt

• Grundlagen von Large Language Models und Einführung in die Personalisierung
  • Theorie:
    • Was sind Large Language Models/Transformer? Überblick über Architektur, Funktionsweise und bekannte Modelle (GPT, Llama, Mistral).
    • Unterschiede zwischen generischen und spezialisierten Modellen.
    • Einführung in die Personalisierung: Fine-Tuning, Prompt Engineering und Parameter-Effizienztechniken (PEFT, LoRA).
  • Praxis:
    • Fine-Tuning eines LLM auf einer Beispiel-Domäne mit Hugging Face.
    • Experimentieren mit Prompts, um die Ausgabe für spezifische Aufgaben zu optimieren.
  • Ziel: Verstehen, wie LLMs arbeiten und wie sie durch einfache Anpassungen personalisiert werden können.
• Datenintegration und Retrieval-Augmented Generation (RAG)
  • Theorie:
    • Warum Datenintegration? Nutzung eigener Wissensquellen zur Erweiterung von LLMs.
    • Grundlagen von RAG: Aufbau von Vektordatenbanken und deren Einsatz mit LLMs.
    • Technische Einführung in Tools wie LangChain, ChromaDB oder Pinecone.
  • Praxis:
    • Aufbau einer Vektordatenbank und Anbindung eines LLM.
    • Implementierung einer Frage-Antwort-Anwendung auf Basis eigener Dokumente.
  • Ziel: Die Teilnehmenden lernen, wie sie eigene Daten mit einem LLM nutzen können, um spezifische Anfragen zu beantworten.
• Lokale Nutzung von LLMs
  • Theorie:
    • Vorteile der lokalen Nutzung: Datenschutz, Kostenkontrolle und Flexibilität.
    • Überblick über Tools und Frameworks für lokale LLMs (z. B. Ollama, LM-Studio).
    • Hardwareanforderungen und Optimierungsmöglichkeiten für lokale Deployments.
  • Praxis:
    • Einrichtung eines lokalen LLM auf dem eigenen Rechner oder Server.
    • Vergleich zwischen Cloud- und lokalen Modellen anhand von Praxisbeispielen.
  • Ziel: Teilnehmende können ein LLM lokal installieren und betreiben, um datengetriebene Projekte unabhängig und sicher umzusetzen.
• Automatisierung mit Multi-Agenten-Systemen
  • Theorie:
    • Einführung in Multi-Agenten-Systeme: Was sie sind und wie sie mit LLMs zusammenarbeiten?
    • Mögliche Anwendungsfälle: Automatisierung von Arbeitsprozessen, Kommunikation, Datenanalyse.
    • Technologische Grundlagen für Multi-Agenten-Frameworks (z. B. LangChain-Agenten, LangGraph).
  • Praxis:
    • Erstellung eines Multi-Agenten-Systems, das eine Aufgabe autonom priorisiert und ausführt (z. B. E-Mail-Sortierung, Berichtsanalyse).
    • Testen der Interaktion zwischen mehreren Agenten.
  • Ziel: Teilnehmende verstehen, wie Multi-Agenten-Systeme aufgebaut sind und können einfache Systeme zur Automatisierung erstellen.
• Projektarbeit und Zukunftsperspektiven
  • Theorie:
    • Überblick über aktuelle Trends und zukünftige Entwicklungen bei LLMs (z. B. Autonome Agenten, RLHF, neue Modellarchitekturen wie xLSTMs).
  • Praxis:
    • Individuelle Projektarbeit: Umsetzung eines eigenständigen Anwendungsfalls basierend auf den bisherigen Seminartagen.
    • Präsentation der Projekte und Feedback-Runde.
  • Ziel: Die Teilnehmenden setzen das Gelernte eigenständig um und entwickeln einen Anwendungsfall, den sie direkt in ihrer beruflichen Praxis nutzen können.