DP-203 Data Engineering on Microsoft Azure

Seminarziel

Das Ziel des DP-203 Data Engineering auf  Microsoft Azure Seminars ist  es, Fachkräfte im Bereich Data Engineering  auf Microsoft Azure  auszubilden. Das Seminar vermittelt den  Teilnehmerinnen und Teilnehmern  Kenntnisse und Fähigkeiten, um  Datenintegrations-, Datenverarbeitungs-  und Datenüberwachungslösungen  auf der Azure-Plattform zu entwerfen,  implementieren und überwachen.

Inhalt

• Rechen- und Speicheroptionen für Data-Engineering-Workloads
  • Einführung in Azure Synapse Analytics
  • Erläuterung von Azure Databricks
  • Erläuterung in Azure Data Lake-Speicher
  • Beschreiben der Delta Lake-Architektur
  • Arbeiten mit Datenströmen unter Verwendung von Azure Stream Analytics
• Interaktive Abfragen mit Azure Synapse Analytics serverlosen SQL-Pools ausführen
  • Möglichkeiten von Azure Synapse Serverless SQL Pools
  • Abfragen von Daten im Lake mit Azure Synapse Serverless SQL Pools
  • Erstellen von Metadatenobjekten in Azure Synapse Serverless SQL Pools
  • Sichern von Daten und Verwalten von Benutzern in Azure Synapse Serverless SQL Pools
• Datenexploration und -umwandlung in Azure Databricks
  • Azure Databricks
  • Lesen und Schreiben von Daten in Azure Databricks
  • Arbeiten mit DataFrames in Azure Databricks
  • Arbeiten mit fortgeschrittenen DataFrames-Methoden in Azure Databricks
• Analysieren, Transformieren und Laden von Daten in das Data Warehouse mit Apache Spark
  • Verstehen von Big Data Engineering mit Apache Spark in Azure Synapse Analytics
  • Einlesen von Daten mit Apache Spark-Notebooks in Azure Synapse Analytics
  • Transformieren von Daten mit DataFrames in Apache Spark-Pools in Azure Synapse Analytics
  • Integrieren von SQL- und Apache Spark-Pools in Azure Synapse Analytics
• Daten in das Data Warehouse aufnehmen und laden
  • Verwenden von Best Practices zum Laden von Daten in Azure Synapse Analytics
  • Ingestion im Petabyte-Bereich mit Azure Data Factory
• Transformieren von Daten mit Azure Data Factory oder Azure Synapse Pipelines
  • Datenintegration mit Azure Data Factory oder Azure Synapse Pipelines
  • Codefreie Transformation im großen Maßstab mit Azure Data Factory oder Azure Synapse Pipelines
• Orchestrierung der Datenbewegung und -transformation in Azure Synapse Pipelines
  • Orchestrierung der Datenbewegung und -transformation in Azure Data Factory
• End-to-End-Sicherheit mit Azure Synapse Analytics
  • Data Warehouse in Azure Synapse Analytics sichern
  • Konfigurieren und Verwalten von Secrets in Azure Key Vault
  • Implementierung von Compliance-Kontrollen für sensible Daten
• Hybride transaktionale analytische Verarbeitung (HTAP) mit Azure Synapse Link unterstützen
  • Entwerfen Sie hybride transaktionale und analytische Verarbeitung mit Azure Synapse Analytics
  • Konfigurieren von Azure Synapse Link mit Azure Cosmos DB
  • Abfrage von Azure Cosmos DB mit Apache Spark-Pools
  • Abfrage von Azure Cosmos DB mit serverlosen SQL-Pools
• Stream-Verarbeitung in Echtzeit mit Stream Analytics
  • Zuverlässiges Messaging für Big Data-Anwendungen mit Azure Event Hubs ermöglichen
  • Arbeiten mit Daten-Streams mithilfe von Azure Stream Analytics
  • Einlesen von Daten-Streams mit Azure Stream Analytics
• Erstellen einer Stream Processing-Lösung mit Event Hubs und Azure Databricks
  • Verarbeiten von Streaming-Daten mit Azure Databricks Structured Streaming
    
    
    
    

Am Ende des Kurses sollten folgende Fragen beantwortet werden können:

Datenbankdesign und Datenmodellierung

• Beschreiben Sie die Vorteile von relationalen Datenbanken im Vergleich zu NoSQL-Datenbanken.
• Wie können Sie die Leistung einer Datenbank verbessern? Geben Sie einige Beispiele für Optimierungsmaßnahmen.
  
  

Azure Data Factory

• Was ist Azure Data Factory und wie funktioniert es?
• Wie können Sie mit Azure Data Factory eine Datenpipeline entwerfen und implementieren?
  
  

Azure Synapse Analytics

• Was ist Azure Synapse Analytics und wie unterscheidet es sich von anderen Data-Warehousing-Systemen?
• Wie können Sie mit Azure Synapse Analytics eine Abfrage erstellen und ausführen?
  
  

Azure Databricks

• Was ist Azure Databricks und wie funktioniert es?
• Wie können Sie mit Azure Databricks Daten analysieren und transformieren?
  
  

Big-Data-Verarbeitung

• Was ist Hadoop und wie funktioniert es?
• Was ist Spark und wie unterscheidet es sich von Hadoop?
• Wie können Sie HDInsight in Azure verwenden, um Big Data zu verarbeiten?
  
  

Anmerkung:
siehe: Spark Einführung
und Hapoop Grundlagen