Azure Data Factoy - Entwickeln von ETL Workflows in der Azure Cloud

Seminarziel

Inhalt

• Einführung und Einrichten der Umgebung
  • Übersicht über Data Factory
  • Einrichten einer SQL Server Datenbank
  • Einrichten des Blob Storage für den Flatfile-Import
  • Einrichten von Github und Github Repositories
  • Einrichten einer Data Factory
  • First Steps: Erstellen einer Pipeline für die Integration von Flatfiles in SQL Server
  • Arbeiten mit Versionierung und Veröffentlichung: Github Schemata und Publishing
• Erstellen von Pipelines, DataFlows, Datenquellen und Transformationen
  • Copy Data, Data Flow
  • Data Wrangling: Filter, Join, Union, Split, Lookup, Aggregate, Derived Column etc.
  • Fortgeschrittene Transformationen und Patterns: SelfJoin, Windowing, Recursion, Branches etc.
• Ablaufsteuerung
  • Behandeln, Beobachten und Aufzeichnen von Fehlern
  • Erzeugen von Fehlern
  • Workflow-Constraints
  • Transformationen für Fehler und Regeln (Assert)
  • Ausführung von Sub-Pipelines
• Dynamische Ausführung
  • Verwenden von Variablen und Parametern
  • Dynamische Schema-Daten
  • Data Factory Expression Builder
  • Schleifen: ForEach-Loop, Until-Loop
  • Conditions
• Integration externer Daten
  • Arbeiten mit Strings und JSON-Daten
  • Integration von Rest API-Daten und Azure Functions
  • Integration von Azure Data Explorer
  • Integration von PowerQuery
  • Integration von SSIS
  • Infrastrukturen für hybride Umgebungen (OnPrem/Cloud)
• Verschiedenes
  • Interaktive Kontrolle der Ausführung
  • Azure Data Factory als Teil einer Deployment Pipeline (CI)
  • Ausführung von Pipelines über Trigger und Schedules
  • Sichern und Wiederherstellen von Data Factory