Apple Foundation Models & On-Device-KI in Swift

Seminarziel

Nach diesem Seminar sind Sie in der Lage, leistungsfähige On-Device-KI-Funktionalitäten in Swift zu entwickeln und produktiv einzusetzen. Sie beherrschen die Nutzung der Apple Foundation Models sowie die Integration von Apple Intelligence in bestehende Apps. Darüber hinaus können Sie eigene Machine-Learning-Modelle optimieren, deployen und fundierte Architekturentscheidungen zwischen Cloud- und On-Device-Lösungen treffen. Sie gewinnen Sicherheit im Umgang mit Datenschutzanforderungen und regulatorischen Rahmenbedingungen wie DSGVO und EU AI Act.

Inhalt

• Tag 1 - Foundation Models Framework
  • 1.1 Architektur & Verfügbarkeit
    • SystemLanguageModel, LanguageModelSession; Apple-Intelligence-Eligibility; On-Device-Modell vs. Private Cloud Compute vs. ChatGPT-Bridge; Kosten- und Privacy-Modell
  • 1.2 Erste Session - Prompts, Streaming, Optionen
    • Prompt-Konstruktion, GenerationOptions, Streaming, Token-Grenzen, Task Cancellation, Fehlerbehandlung; Lab: SwiftUI-Streaming-Chat-App mit Loadstate und Cancel-Button
  • 1.3 @Generable & @Guide - strukturierte Ausgabe
    • Swift-Macros für typsichere LLM-Antworten, Schema-Constraints, Validation; Use Cases wie Formularerkennung, Datenextraktion, Klassifikation
  • 1.4 Tool Calling mit @Tool
    • Tool-Macro, asynchrone Tools, lokale Datenquellen; Lab: Agenten-Demo mit Tool-Integration
• Tag 2 - Apple Intelligence im eigenen App-Code
  • 2.1 App Intents Grundlagen
    • AppIntent, AppEntity, Parameter-Inferenz, Migration von SiriKit-Intents, @Generable-Inputs
  • 2.2 Discovery & Surface
    • AppShortcut, Donations, IndexableEntity, Siri-Suggestions; Lab: Erweiterung einer Beispiel-App mit App Intents
  • 2.3 Writing Tools API
    • Integration in TextEditor/UITextView; writingTools()-Modifier; Custom Actions und Compliance-Fälle
  • 2.4 Image Playground & Genmoji
    • ImagePlaygroundSheet, ImageCreator, Concept-Inputs; Lab: Integration in eine SwiftUI-Notiz-App
• Tag 3 - Core ML 8 für eigene Modelle & MLX-Ausblick
  • 3.1 coremltools-Workflow
    • PyTorch/TensorFlow -> .mlpackage; Tracing vs. Scripting; Optimierung und Modell-Personalisierung
  • 3.2 Quantisierung & Komprimierung
    • 4-/8-bit Quantisierung, Pruning, Trade-offs zwischen Genauigkeit und Performance
  • 3.3 Stateful Models - Transformer-Inferenz
    • KV-Cache, MLState; Modelle wie Llama, Phi oder Qwen; Lab: Performance-Analyse auf Apple Silicon
  • 3.4 MLX-Ausblick & Hybrid-Architekturen
    • mlx-swift, ONNX-Brücke; Hybridlösungen; Abschlussprojekt: On-Device-RAG mit lokaler Vector-Datenbank