DP-600 Microsoft Fabric Analytics Engineer

Seminarziel

Jede teilnehmende Person verlässt das Seminar mit dem Verständnis der Microsoft-Fabric-Architektur (OneLake, Workloads, Capacities, Governance), der Fähigkeit, Lakehouses und Warehouses zu implementieren (Delta-Tabellen, Star Schema, Shortcuts, T-SQL), der Kompetenz für Datenerfassung und -transformation (Pipelines, Dataflows Gen2, Notebooks, Incremental Load), dem Know-how für Semantic Models (Direct Lake, DAX, Beziehungen, Optimierung), der Visualisierungs- und Security-Kompetenz (Power BI, RLS, OLS, Data Activator), einer vollständigen End-to-End-Fabric-Lösung als Referenz und der Vorbereitung auf die DP-600 Prüfung (Probeklausur, Prüfungsstrategie, Lernplan).

Inhalt

Tag 1: Fabric-Plattform und Lösung planen
1. Microsoft Fabric: Architektur und Konzepte

• Fabric im Kontext: Warum Fabric? Die Konsolidierung von Azure Data Factory, Synapse Analytics, Data Lake Storage, Power BI, Data Activator und Real-Time Intelligence in einer SaaS-Plattform. Was Fabric ersetzt und was es ergänzt.
• OneLake: Ein Data Lake für die gesamte Organisation. Keine separaten Storage Accounts, keine Datensilos. Hierarchie: Tenant -> Capacity -> Workspace -> Items. Delta/Parquet als Standardformat. OneLake Explorer (Dateizugriff wie ein lokales Laufwerk).
• Fabric-Workloads: Data Engineering (Lakehouse, Notebooks, Spark), Data Factory (Pipelines, Dataflows Gen2), Data Warehouse (T-SQL-basiert), Data Science (Notebooks, Experiments, ML Models), Real-Time Intelligence (KQL, Eventstreams), Power BI (Semantic Models, Reports, Dashboards).
• Capacities und Lizenzierung: Fabric Capacity (F2-F2048), Power BI Premium per Capacity, Trial Capacity. CU-Verbrauch pro Workload. Pausieren und Skalieren.
• Praxis-Übung: Fabric-Workspace erstellen, OneLake erkunden, Lakehouse und Warehouse anlegen, Datei in OneLake hochladen und in verschiedenen Workloads öffnen.

2. Analytics-Lösung planen und implementieren (Domain 1: 10-15 %)

• Workspace-Design: Workspace pro Umgebung (Dev/Test/Prod) oder pro Team? Berechtigungen (Admin, Member, Contributor, Viewer), Deployment Pipelines (Änderungen von Dev -> Test -> Prod fördern).
• Governance: Domains (fachliche Bereiche: Finance, HR, Marketing - organisationsweite Datenorganisation), Endorsement (Promoted, Certified - Datenqualität signalisieren), Sensitivity Labels (Microsoft Purview Integration - Vertraulichkeitsstufen auf Fabric-Items).
• Git-Integration: Fabric-Items in Azure DevOps oder GitHub versionieren. Source Control für Lakehouses, Notebooks, Pipelines, Semantic Models. CI/CD für Analytics.
• Monitoring: Capacity Metrics App (CU-Verbrauch pro Workload, Throttling erkennen), Admin Monitoring Workspace (Nutzungsmetriken), Microsoft Purview Hub (Governance-Überblick).
• Praxis-Übung: Deployment Pipeline (Dev -> Test -> Prod) konfigurieren, Git-Integration für den Workspace einrichten, Sensitivity Labels zuweisen.

Tag 2: Daten vorbereiten - Lakehouse und Ingestion
3. Lakehouse implementieren (Domain 2: 40-45 % - Teil 1)

• Lakehouse-Konzept: Die Verbindung von Data Lake (Schema-on-Read, alle Datenformate) und Data Warehouse (strukturiert, SQL-Abfragen). Delta-Tabellen als zentrales Konstrukt: ACID-Transaktionen, Schema-Evolution, Time Travel, Merge/Upsert.
• Lakehouse erstellen und befüllen: Dateien hochladen (CSV, Parquet, JSON), zu Delta-Tabellen konvertieren, Schemas definieren, Tabellen über den SQL-Endpoint abfragen (T-SQL auf Delta-Tabellen).
• Shortcuts: Externe Daten einbinden ohne Kopie - Shortcuts zu Azure Data Lake Storage, Amazon S3, Google Cloud Storage, anderen Lakehouses. Daten bleiben am Quellort, werden aber in OneLake navigiert und abgefragt.
• Lakehouse vs. Warehouse: Lakehouse (flexibel: Dateien + Tabellen, Spark + SQL, Schema-on-Read, semi-strukturierte Daten). Warehouse (strukturiert: nur Tabellen, nur T-SQL, Schema-on-Write, klassisches Star Schema). Entscheidungshilfe: wann welches?
• Praxis-Übung: Lakehouse erstellen, CSV-Dateien hochladen, zu Delta-Tabellen konvertieren, Shortcut zu einer externen Quelle einrichten, SQL-Endpoint aktivieren und Tabellen per T-SQL abfragen.

4. Datenerfassung: Pipelines und Dataflows Gen2 (Domain 2 - Teil 2)

• Data Factory Pipelines: Orchestrierung von Datenflüssen - Copy Activity (Daten von Quelle zu Ziel), ForEach (Schleife über Dateien/Tabellen), If Condition (bedingte Logik), Lookup (Werte abfragen), Schedule Trigger (zeitgesteuert), Event Trigger (datengetrieben).
• Dataflows Gen2: Low-Code-ETL mit Power Query Online. Daten aus 150+ Konnektoren laden, transformieren (Filter, Merge, Pivot, Custom Columns, M-Sprache), in Lakehouse oder Warehouse schreiben. Für: Self-Service-Datenaufbereitung durch Analysten.
• Notebooks für Ingestion: PySpark in Fabric-Notebooks für komplexe Datenverarbeitung. Große Dateien (Parquet, CSV, JSON) laden, transformieren, in Delta-Tabellen schreiben. Für: Data Engineers, die Code-basierte Kontrolle brauchen.
• Incremental Load Patterns: Vollständiges Laden vs. inkrementelles Laden (nur neue/geänderte Daten). Wasserzeichen-Pattern (Timestamp, ID), Change Data Capture (CDC), Merge/Upsert in Delta.
• Praxis-Übung: Pipeline bauen: Daten aus einer externen Quelle (Azure SQL oder REST API) laden -> in Lakehouse-Delta-Tabelle schreiben -> Schedule Trigger konfigurieren. Dataflow Gen2: Excel-Datei laden, Power-Query-Transformationen, in Lakehouse schreiben.

Tag 3: Data Warehouse, Transformationen und Datenmodellierung
5. Data Warehouse in Fabric (Domain 2 - Teil 3)

• Fabric Warehouse: T-SQL-basiertes Data Warehouse in Fabric. Erstellen, Tabellen definieren (CREATE TABLE, Star Schema: Fact + Dimension), Daten laden (COPY INTO, INSERT INTO ... SELECT, Pipelines).
• Star Schema Design: Fact Tables (Transaktionen: Verkäufe, Bestellungen, Messwerte), Dimension Tables (Kontexte: Datum, Kunde, Produkt, Standort), Surrogate Keys, Slowly Changing Dimensions (SCD Type 1 und 2).
• T-SQL in Fabric: CREATE, ALTER, DROP, SELECT, JOIN, Aggregationen, Window Functions, CTEs, MERGE für Upserts. Cross-Warehouse-Queries (Tabellen aus verschiedenen Warehouses oder Lakehouses in einer Query joinbar).
• Datentransformation mit Stored Procedures und Views: Transformationslogik in T-SQL, Views für Business-Schicht, Sicherheit über Row-Level Security (RLS) und Column-Level Security (CLS).
• Praxis-Übung: Warehouse erstellen, Star Schema implementieren (Sales Fact + Date/Customer/Product Dimensions), Daten per Pipeline laden, MERGE für inkrementelles Update, View für Vertriebsbericht, RLS für Region.

6. Semantic Models implementieren (Domain 3: 20-25 %)

• Direct Lake: Power-BI-Semantic-Model direkt auf Delta-Tabellen im Lakehouse - kein Import, kein DirectQuery-Overhead. Daten bleiben im OneLake, Power BI greift in Echtzeit zu. Die Killer-Funktion von Fabric für BI.
• Semantic Model erstellen: Tabellen auswählen, Beziehungen definieren (Star Schema: 1:n), Measures schreiben (DAX), Calculated Columns und Calculated Tables, Hierarchien, Display Folders.
• DAX-Essentials: Aggregationen (SUM, AVERAGE, COUNT, DISTINCTCOUNT), Time Intelligence (TOTALYTD, SAMEPERIODLASTYEAR, DATEADD), Filter-Kontext (CALCULATE, FILTER, ALL, ALLEXCEPT), Iteratoren (SUMX, AVERAGEX), Tabellenbeziehungen (RELATED, RELATEDTABLE, USERELATIONSHIP).
• Modell-Optimierung: Kardinalitätsreduktion (weniger Spalten, weniger Werte), Aggregationen (Voraggregierte Tabellen für große Datenmengen), Composite Models (DirectQuery + Import kombinieren), Performance Analyzer.
• Praxis-Übung: Direct-Lake-Semantic-Model auf dem Lakehouse erstellen, Star-Schema-Beziehungen konfigurieren, 5 DAX-Measures schreiben (Umsatz, Umsatz Vorjahr, Wachstumsrate, Running Total, Top-10-Kunden), Performance testen.

Tag 4: Berichte, Exploration und Security
7. Daten visualisieren und explorieren (Domain 4: 20-25 %)

• Power BI Reports in Fabric: Berichte auf dem Direct-Lake-Semantic-Model erstellen. Visuals (Bar, Line, Matrix, Card, KPI, Map, Scatter), Slicers und Filter, Drillthrough, Bookmarks, Conditional Formatting.
• Erweiterte Visualisierung: Paginated Reports (pixel-perfekte Berichte für Druck und PDF-Export), Scorecards und Goals (OKR-Tracking mit Power BI), Dashboards (KPI-Übersicht für Führungskräfte).
• Datenexploration: SQL-Endpoint (T-SQL-Abfragen direkt auf Lakehouse/Warehouse), Visual Query (Drag-and-Drop-SQL), Notebooks (PySpark für Ad-hoc-Analyse), Copilot in Fabric (natürlichsprachige Abfragen -> automatische Visualisierung).
• Data Activator: Datengetriebene Alerts - wenn ein KPI einen Schwellenwert überschreitet, wird automatisch eine Aktion ausgelöst (E-Mail, Teams-Nachricht, Power Automate Flow). Reflex: Trigger definieren, Bedingungen konfigurieren, Aktionen zuweisen.
• Praxis-Übung: Power-BI-Bericht auf dem Semantic Model erstellen (Vertriebs-Dashboard mit 3 Seiten: Übersicht, Detailanalyse, Zeitverlauf), Drillthrough konfigurieren, Copilot testen, Data-Activator-Alert einrichten (Umsatz < Zielwert -> Teams-Nachricht).

8. Security, Governance und Administration

• Workspace-Sicherheit: Rollen (Admin, Member, Contributor, Viewer), Item-Level-Berechtigungen (Sharing, Build-Permission für Semantic Models), OneLake-Sicherheit (Tabellen- und Ordner-Level-Berechtigungen).
• Row-Level Security (RLS): Dynamische Sicherheit - Vertriebsmitarbeitende sehen nur ihre Region, Manager sehen alles. RLS im Semantic Model (DAX-Filter) und im Warehouse (T-SQL WHERE-Clause mit USERPRINCIPALNAME()).
• Object-Level Security (OLS) und Column-Level Security (CLS): Spalten oder Tabellen für bestimmte Rollen unsichtbar machen (z.B. Gehaltsspalte nur für HR).
• Microsoft Purview Integration: Sensitivity Labels auf Fabric-Items, Data Lineage (Datenfluss von Quelle bis Bericht nachvollziehen), Data Catalog (Items auffindbar machen für die Organisation).
• Praxis-Übung: RLS im Semantic Model implementieren (Region-Filter per Benutzer), OLS für Gehaltsdaten, Sensitivity Labels zuweisen, Lineage View für die gesamte Lösung analysieren.

Tag 5: Real-Time Intelligence, Praxisprojekt und Prüfung
9. Real-Time Intelligence und Notebooks

• Real-Time Intelligence: Eventstreams (Echtzeit-Datenströme von Azure Event Hubs, Kafka, IoT Hub in Fabric), KQL-Datenbanken (Kusto Query Language für Echtzeitabfragen auf Streaming-Daten), Real-Time Dashboards (Live-Visualisierung von Streaming-Daten).
• Notebooks und Spark: PySpark in Fabric-Notebooks - Daten laden, transformieren, explorieren, Machine-Learning-Modelle trainieren. Spark-Sessions (automatisch provisioniert, keine Cluster-Konfiguration), Lakehouse als Datenquelle und -ziel, mssparkutils (Fabric-spezifische Spark-Utilities).
• Data Science in Fabric: Experiments (MLflow-Integration), Modelle registrieren und versionieren, PREDICT für Batch-Scoring in T-SQL (ML-Modell in einer SQL-Abfrage anwenden - ohne Deployment-Infrastruktur).
• Praxis-Übung: Notebook erstellen: PySpark-Datenexploration auf dem Lakehouse (Datenqualitäts-Check, Feature-Statistiken, Visualisierung mit matplotlib), Ergebnis als Delta-Tabelle speichern. Optional: einfaches ML-Modell trainieren und mit PREDICT im Warehouse anwenden.

10. Praxisprojekt: End-to-End-Analytics-Lösung
Phase 1 - Lösung bauen (60 Min):

• End-to-End-Szenario: Einzelhandelsdaten (Verkäufe, Kunden, Produkte, Filialen). Vollständige Fabric-Lösung aufbauen: Lakehouse erstellen -> Daten per Pipeline laden (CSV aus Azure Storage) -> Delta-Tabellen mit Transformationen (Dataflow Gen2 für Bereinigung, Notebook für komplexe Logik) -> Star Schema im Warehouse (Fact Sales + Dimensions) -> Direct-Lake-Semantic-Model (DAX-Measures) -> Power-BI-Bericht (Dashboard) -> RLS (Filialleiter sieht nur eigene Filiale) -> Data Activator (Alert bei Umsatzrückgang).
• Architekturentscheidungen begründen: Warum Lakehouse statt Warehouse für die Rohdaten? Warum Direct Lake statt Import? Warum Dataflow Gen2 für die Bereinigung statt Notebook? Warum RLS im Semantic Model statt im Warehouse?

Phase 2 - Peer-Review (15 Min):

• Lösung vorstellen. Stresstest: „Das Datenvolumen verdreifacht sich - skaliert eure Lösung?" „Ein neuer Datenquelle kommt hinzu (REST API) - wie integriert ihr sie?" „Der CFO will die Gehaltsdaten im selben Modell, aber nur für HR sichtbar - wie löst ihr das?" „Direct Lake fällt auf DirectQuery zurück - was ist passiert und wie behebt ihr es?"

11. Prüfungsvorbereitung
Syllabus-Review und Prüfungsstrategie (30 Min):

• Domänen-Gewichtung: Lösung planen 10-15 %, Daten vorbereiten und bereitstellen 40-45 %, Semantic Models 20-25 %, Daten visualisieren 20-25 %. Schwerpunkt: Domain 2 (Daten) = fast die Hälfte der Prüfung.
• Prüfungsformat: 40-60 Fragen, 100 Minuten, Multiple Choice + Case Studies + Drag-and-Drop, Bestehensgrenze 700/1000 Punkte. Prüfungsgebühr 165 USD. Pearson VUE oder Online.
• Prüfungstipps: Fabric-spezifische Terminologie kennen (OneLake, Shortcuts, Direct Lake, Dataflows Gen2), Unterschied Lakehouse vs. Warehouse sicher beherrschen, DAX-Grundlagen für Measures, RLS-Konfiguration, Pipeline-Patterns.

Probeklausur (45 Min):

• 30 Fragen unter Prüfungsbedingungen. Gemeinsame Auswertung: richtige Antworten besprechen, typische Fallen identifizieren, Wissenslücken schließen. Persönlicher Lernplan für die Tage vor der Prüfung.