Azure Data Factory: Einführung und grundlegende Konzepte

Seminarziel

Am Ende des Seminars sind die Teilnehmenden in der Lage, Azure Data Factory effektiv zu nutzen, um leistungsstarke, skalierbare und benutzerfreundliche Datenintegrations- und Transformationslösungen zu entwickeln und bereitzustellen. Sie lernen, wie sie Projekte planen, Pipelines erstellen, Daten integrieren und transformieren sowie Pipelines in CI/CD-Pipelines integrieren.

Inhalt

Einführung in Azure Data Factory

• Überblick über Azure Data Factory: Was ist Azure Data Factory und warum ist es wichtig?
• Hauptmerkmale und Vorteile von Azure Data Factory im Vergleich zu anderen ETL-Tools.
• Anwendungsfälle und typische Szenarien für die Nutzung von Azure Data Factory.

Installation und Einrichtung

• Systemanforderungen und notwendige Software.
• Erstellung und Konfiguration einer Azure Data Factory-Umgebung.
• Erste Schritte: Navigation in der Benutzeroberfläche und Grundkonfiguration.

Erstellen von Pipelines und Datenflüssen

• Einführung in Pipelines und Datenflüsse.
• Erstellen und Konfigurieren von Pipelines zur Datenintegration.
• Überblick über Datenquellen und Sinks: Azure Blob Storage, SQL-Datenbanken, Data Lakes.

Datenbewegung und -transformation

• Nutzung von Copy Activity zur Datenbewegung zwischen verschiedenen Speicherorten.
• Einführung in Data Flow und Mapping Data Flow zur Datentransformation.
• Datenbereinigung und -transformation: Umgang mit fehlenden Werten, Datenaggregation, Joins und Filter.

Praktische Übung 1: Erstellung einer einfachen Pipeline

• Problemstellung: Erstellung einer Azure Data Factory-Pipeline zur Datenintegration aus mehreren Quellen.
• Lösung:
• Erstellung und Konfiguration einer Pipeline in Azure Data Factory.
• Nutzung von Copy Activity zur Datenbewegung und einfachen Transformationen.
• Tool: Azure Data Factory-Portal zur Erstellung und Verwaltung der Pipeline.
• Ergebnis: Eine funktionsfähige Pipeline zur Integration und Transformation von Daten aus verschiedenen Quellen.

Erweiterte Datenflüsse und Transformationen

• Nutzung von Mapping Data Flows für komplexe Transformationen.
• Erstellung von benutzerdefinierten Transformationen mit Data Flow Script.
• Umgang mit verschiedenen Dateiformaten: CSV, Parquet, JSON.

Parameterisierung und Trigger

• Einführung in Parameter und Variablen zur dynamischen Steuerung von Pipelines.
• Erstellung und Nutzung von Triggern zur Planung und Automatisierung von Pipelines.
• Event-basierte Trigger und zeitgesteuerte Ausführungen.

Sicherheit und Verwaltung

• Implementierung von Sicherheitsrichtlinien und Zugriffskontrollen in Azure Data Factory.
• Nutzung von Managed Identities und Azure Key Vault zur sicheren Verwaltung von Verbindungen und Anmeldeinformationen.
• Monitoring und Logging: Nutzung von Azure Monitor und Log Analytics zur Überwachung von Pipelines.

Integration und Automatisierung

• Integration von Azure Data Factory in Continuous Integration und Continuous Deployment (CI/CD)-Pipelines.
• Nutzung von Azure DevOps zur Versionskontrolle und Bereitstellung von Data Factory-Artefakten.
• Automatisierung von Deployment-Prozessen mit ARM Templates und Azure CLI.

Praktische Übung 2: Erstellung einer komplexen Pipeline und CI/CD-Integration

• Problemstellung: Erstellung einer komplexen Azure Data Factory-Pipeline mit erweiterten Transformationen und Integration in eine CI/CD-Pipeline.
• Lösung:
• Erstellung und Konfiguration einer komplexen Pipeline mit Mapping Data Flows.
• Nutzung von Parametern und Triggern zur dynamischen Steuerung der Pipeline.
• Integration der Pipeline in eine Azure DevOps CI/CD-Pipeline zur automatisierten Bereitstellung.
• Tool: Azure DevOps und Azure Data Factory-Portal zur Erstellung und Verwaltung der Pipeline.
• Ergebnis: Eine komplexe Pipeline zur Datenintegration und Transformation mit CI/CD-Integration.