Databricks Foundation

Seminarziel

Nach diesen drei Tagen beherrschen Sie die grundlegenden Konzepte der Databricks Lakehouse Plattform und können eigenständig Data Pipelines aufbauen, Daten transformieren und als Data Products bereitstellen. Sie verstehen die Medaillon-Architektur, setzen Delta Lake gezielt ein und konfigurieren Governance-Strukturen mit Unity Catalog. Darüber hinaus sind Sie in der Lage, Analytics-Workloads performant umzusetzen und BI-Integrationen strukturiert zu realisieren - sowohl auf AWS als auch auf Azure.

Inhalt

Tag 1: Theorie und Grundarchitektur - Lakehouse Platform & Data Governance

• Teil 1: Theorie, Grundlagen und Einordnung
  • Rolle von DataOps, Data Engineering und Data Analytics in modernen Datenökosystemen
  • Überblick Databricks Lakehouse: zentrale Konzepte, Architektur und Workflow
  • Aufbau einer Medaillon-Architektur (Bronze -> Silber -> Gold)
  • Einordnung von Data Mesh, Data Products und Data Fabric
  • Spark-Grundlagen: Cluster, Runtimes, Execution Model
  • Delta Lake: ACID, Versionierung, Time Travel, Performance-Optimierung
• Teil 2: Grundarchitektur - Lakehouse Plattform & Data Governance
  • Databricks Workspaces, Cluster-Typen (Classic Compute vs. Serverless), SQL Warehouses
  • Unity Catalog: Data Governance, Berechtigungen, Data Lineage, Data Discovery
  • Databricks One: Integration von Databricks AI/BI Dashboards und Databricks Genie
  • Cloud-Integration (AWS / Azure): Landing Zones, Networking, Storage-Anbindung
  • Sicherheitsmodelle: Rollen, Berechtigungen, Secrets, Verschlüsselung

Tag 2: Ingestion & Intergration, Transformation & Pipelines

• Teil 3: Daten kommen an - Ingestion & Integration
  • Anbindung von Datenquellen: Datenbanken, Cloud-Storages, APIs, Streaming
  • Ingestion-Strategien: Batch, Streaming, Auto Loader, Partner Connect
  • Aufbau von Landing Zones für strukturierte & unstrukturierte Daten (z. B. SAP / Non-SAP)
  • Best Practices zur zuverlässigen Datenübernahme (DataOps-Ansätze)
• Teil 4: Daten werden verarbeitet - Transformation & Pipelines
  • Arbeiten mit Notebooks (Python, SQL, Spark)
  • Aufbau von ETL/ELT-Pipelines mit Spark Declarative Pipelines (Databricks Pipelines & Jobs)
  • DataOps-Prinzipien: CI/CD, Git-Integration, Reproduzierbarkeit
  • Optimierung von Pipelines und Clustern

Tag 3: Data Products & Sharing, Analytics & Reporting

• Teil 5: Bereitstellung der Daten - Data Products & Sharing
  • Umsetzung der Medaillon-Stufen (Bronze -> Silber -> Gold)
  • Aufbau produktionsreifer Data Products
  • Delta Sharing: interne und externe Datenbereitstellung
  • Data Governance mit dem Databricks Unity Catalog
  • Databricks Asset Bundles: strukturierte Blueprints für Data Products & Use Cases
• Teil 6: Auswertung der Daten - Analytics & Reporting
  • Analytische Abfragen mit Databricks SQL
  • Erstellung von Databricks AI/BI Dashboards und Reports
  • Integration von BI-Tools (am Beispiel von Power BI)
  • Skalierungsstrategien für Analyse-Workloads
  • Typische Use Cases: Standarding Reporting, Self-Service BI und Ad-hoc-Analysen