Databricks Komplett - Foundation & Advanced

Seminarziel

Nach diesen fünf Tagen verfügen Sie über ein ganzheitliches und tiefgehendes Verständnis der Databricks Lakehouse Plattform. Sie können Data Pipelines konzipieren, implementieren und optimieren, Governance-Modelle professionell umsetzen, Cluster effizient konfigurieren und Enterprise-Architekturen skalierbar betreiben. Sie verbinden Foundation-Wissen mit Advanced-Techniken und agieren sicher in produktiven Cloud-Umgebungen auf AWS oder Azure.

Inhalt

Tag 1: Theorie und Grundarchitektur - Lakehouse Platform & Data Governance

• Teil 1: Theorie, Grundlagen und Einordnung
  • Rolle von DataOps, Data Engineering und Data Analytics in modernen Datenökosystemen
  • Überblick Databricks Lakehouse: zentrale Konzepte, Architektur und Workflow
  • Aufbau einer Medaillon-Architektur (Bronze -> Silber -> Gold)
  • Einordnung von Data Mesh, Data Products und Data Fabric
  • Spark-Grundlagen: Cluster, Runtimes, Execution Model
  • Delta Lake: ACID, Versionierung, Time Travel, Performance-Optimierung
• Teil 2: Grundarchitektur - Lakehouse Plattform & Data Governance
  • Databricks Workspaces, Cluster-Typen (Classic Compute vs. Serverless), SQL Warehouses
  • Unity Catalog: Data Governance, Berechtigungen, Data Lineage, Data Discovery
  • Databricks One: Integration von Databricks AI/BI Dashboards und Databricks Genie
  • Cloud-Integration (AWS / Azure): Landing Zones, Networking, Storage-Anbindung
  • Sicherheitsmodelle: Rollen, Berechtigungen, Secrets, Verschlüsselung

Tag 2: Ingestion & Intergration, Transformation & Pipelines

• Teil 3: Daten kommen an - Ingestion & Integration
  • Anbindung von Datenquellen: Datenbanken, Cloud-Storages, APIs, Streaming
  • Ingestion-Strategien: Batch, Streaming, Auto Loader, Partner Connect
  • Aufbau von Landing Zones für strukturierte & unstrukturierte Daten (z. B. SAP / Non-SAP)
  • Best Practices zur zuverlässigen Datenübernahme (DataOps-Ansätze)
• Teil 4: Daten werden verarbeitet - Transformation & Pipelines
  • Arbeiten mit Notebooks (Python, SQL, Spark)
  • Aufbau von ETL/ELT-Pipelines mit Spark Declarative Pipelines (Databricks Pipelines & Jobs)
  • DataOps-Prinzipien: CI/CD, Git-Integration, Reproduzierbarkeit
  • Optimierung von Pipelines und Clustern

Tag 3: Data Products & Sharing, Analytics & Reporting

• Teil 5: Bereitstellung der Daten - Data Products & Sharing
  • Umsetzung der Medaillon-Stufen (Bronze -> Silber -> Gold)
  • Aufbau produktionsreifer Data Products
  • Delta Sharing: interne und externe Datenbereitstellung
  • Data Governance mit dem Databricks Unity Catalog
  • Databricks Asset Bundles: strukturierte Blueprints für Data Products & Use Cases
• Teil 6: Auswertung der Daten - Analytics & Reporting
  • Analytische Abfragen mit Databricks SQL
  • Erstellung von Databricks AI/BI Dashboards und Reports
  • Integration von BI-Tools (am Beispiel von Power BI)
  • Skalierungsstrategien für Analyse-Workloads
  • Typische Use Cases: Standarding Reporting, Self-Service BI und Ad-hoc-Analysen

Tag 4: Deep Dive Databricks Plattform & Performance

• Teil 1: Advanced Spark & Performance Tuning
  • Analyse des Spark Execution Models in Databricks
  • Optimierung von DataFrame- und SQL-Operationen
  • Umgang mit Skew, Shuffle, Partitioning, Caching und Z-Order
  • Nutzung des Databricks UIs für Fehleranalysen und Performance-Debugging
  • Best Practices für skalierbare ETL/ELT-Pipelines
• Teil 2: Cluster Tuning & Ressourceneffizienz
  • Vergleich von Cluster-Typen (Classic Compute, Serverless, Jobs-Clusters)
  • Cluster Policies, Pools und Optimierungsstrategien
  • Auto-Scaling korrekt konfigurieren und Monitoring sinnvoll nutzen
  • Kostenkontrolle und FinOps-Praktiken im Umgang mit Databricks Lakehouse Architekturen
• Teil 3: Databricks Unity Catalog - Expertenfunktionen
  • Erweiterte Governance-Konzepte mit dem Unity Catalog
  • Arbeiten mit Metadaten, Data Lineage und Automatisierungsansätzen
  • Feingranulare Berechtigungsverwaltung
  • Umgang mit Primary Keys und Foreign Keys in Tabellen
  • Erweiterte Delta-Funktionen: Optimize, Vacuum, Constraints, Expectations

Tag 5: Enterprise Features, Automation & GenAI

• Teil 4: Fortgeschrittene DataOps & Automatisierung
  • Infrastrukturautomatisierung: Asset Bundles, CI/CD, Git-Workflows
  • Abgrenzung: Terraform vs. Databricks Asset Bundles vs. Databricks Python SDK
  • Jobs, Workflows und Pipelines für Enterprise DataOps
  • Fehleranalyse und Monitoring für produktive Pipelines
  • Deployment-Strategien für Data Products
• Teil 5: Enterprise Data Management & Data Quality
  • Data Quality Patterns (z. B. Funnels, Wrangling-Prozesse) mit Delta Live Tables und Databricks AI/BI Dashboards
  • Professioneller Einsatz von Constraints, Checks & Expectations
  • Enterprise Metadatenmanagement und Katalogisierung
  • Data Labeling im Kontext moderner Governance
• Teil 6: GenAI & Databricks Genie
  • Optimierung von Tabellen-, Spalten- und Schema-Beschreibungen im Unity Catalog für präzise GenAI-Generierung
  • Einsatz klarer Metadaten, damit Genie natürliche Sprache korrekt in SQL und Strukturvorschläge übersetzen kann
  • Definition von Relationen, Constraints und Data Contracts zur besseren Orientierung für Genie
  • Best Practices für konsistente Dokumentation, um Genies Query- und Code-Assistenz gezielt zu unterstützen
• Teil 7: Enterprise Sharing & Collaboration
  • Erweiterte Nutzung von Delta Sharing (intern/extern)
  • Best Practices für sichere Datenbereitstellungen