Ollama: Lokale LLMs einfach ausführen

Seminarziel

Die Teilnehmenden erlernen die schnelle Bereitstellung und Konfiguration von Ollama auf verschiedenen Betriebssystemen. Ziel ist es, die passende Model Library zu nutzen, eigene Modelle über Modelfiles zu erstellen und die lokale KI über REST-Schnittstellen oder Bibliotheken wie LangChain in bestehende Software-Projekte zu integrieren, um eine vollständige Datensouveränität zu gewährleisten.

Inhalt

• 1. Einführung und Architektur
  • Das Ollama-Konzept: Warum Ollama das "Docker für LLMs" ist.
  • Model Quantization: Wie Modelle komprimiert werden, um auf handelsüblicher Hardware zu laufen.
  • Performance-Check: RAM-Anforderungen und Modellgrößen (7B, 13B, 70B) im Vergleich.
• 2. Installation und Setup
  • Plattformen: Nativ unter macOS, Linux (ink. WSL2) und Windows.
  • Docker-Deployment: Betrieb von Ollama in Container-Umgebungen für Server.
  • GPU-Support: Aktivierung von Hardware-Beschleunigung für NVIDIA (CUDA), Apple Silicon (Metal) und AMD (ROCm).
• 3. Die Ollama Model Library
  • Modell-Auswahl: LLaMA (Meta), Mistral, Phi (Microsoft), Gemma (Google) und Qwen.
  • Spezialisierte Modelle: CodeLlama für Programmierung und MedPrompt für medizinische Kontexte.
  • Management: Pulling, Listing und Löschen von Modell-Instanzen über das CLI.
• 4. Customizing mit Modelfiles
  • Struktur eines Modelfiles: Base Model, System Prompts und Parameter (Temperature, Top-K).
  • Personalisierung: Erstellung von KI-Assistenten mit spezifischer Persona oder Fachwissen.
  • Import: Einbindung externer GGUF-Modelle von Hugging Face in Ollama.
• 5. Ollama API und Integration
  • REST API: Endpunkte für /generate und /chat verstehen und nutzen.
  • Libraries: Nutzung der offiziellen Python- und JavaScript-SDKs.
  • Streaming vs. JSON: Effiziente Verarbeitung von Modell-Antworten in Web-Apps.
• 6. Integration in den Developer Workflow
  • Continue.dev: Lokale KI als Copilot-Ersatz in VS Code und JetBrains.
  • LangChain & LlamaIndex: Aufbau von RAG-Systemen (Retrieval Augmented Generation) mit lokalen Daten.
  • Terminal-KI: Nutzung von Ollama direkt in der Shell für schnelle Hilfe.
• 7. User Interfaces und Kollaboration
  • Open WebUI: Aufbau einer ChatGPT-ähnlichen Oberfläche im eigenen Netzwerk.
  • Multi-User Support: Verwaltung von Zugriffen und geteilten Modell-Ressourcen.
  • Ollama Web UI vs. CLI: Vor- und Nachteile verschiedener Interaktionsformen.
• 8. Sicherheit, Privacy und Compliance
  • Air-Gapped AI: Betrieb ohne jegliche Internetverbindung.
  • Data Residency: Warum lokale Modelle die ultimative Antwort auf die DSGVO sind.
  • Audit-Logging: Überwachung der lokalen KI-Nutzung im Unternehmen.
• 9. Praxis-Workshop: "The Private AI Server"
  • Workshop: Einrichtung eines Ollama-Servers mit GPU-Beschleunigung.
  • Coding-Task: Entwicklung eines kleinen Python-Tools, das Dokumente lokal zusammenfasst.
  • Customization-Task: Erstellung eines spezialisierten Support-Bots via Modelfile.
  • Final Roadmap: Strategie zur schrittweisen Ablösung von Cloud-KI-Diensten durch lokale Instanzen.