AWS Glue: Datenintegration und -transformation in der Cloud

Seminarziel

Das Seminar vermittelt fundierte Kenntnisse über die Nutzung von AWS Glue für Datenintegration und -transformation. Die Teilnehmer lernen, wie sie komplexe ETL-Workflows entwickeln, Datenkataloge verwalten und AWS Glue mit anderen AWS-Services integrieren können. Sie werden befähigt, effiziente und sichere Datenverarbeitungslösungen in der Cloud zu implementieren.

Inhalt

• Einführung in AWS Glue
  • Was ist AWS Glue?
  • Überblick über die Funktionen und Vorteile
  • Vergleich mit anderen ETL-Tools (z. B. Apache Spark, Talend)
• AWS Glue-Architektur und Komponenten
  • Glue Data Catalog
  • Glue Crawler und Klassifizierer
  • Glue Jobs und Entwicklungsendpunkte
• Datenquellen und -ziele in AWS Glue
  • Unterstützte Datenformate (z. B. JSON, CSV, Parquet)
  • Integration mit AWS-Services (S3, RDS, Redshift)
  • Verbindung zu externen Datenquellen
• Erstellung und Verwaltung von Glue Jobs
  • Erstellung von ETL-Jobs mit dem Glue Studio
  • Verwendung von PySpark und Scala für benutzerdefinierte Transformationen
  • Planung und Überwachung von Glue Jobs
• Übung am Ende des Tages:
  • Praktische Übung:   Die Teilnehmer erstellen einen einfachen ETL-Job, um Daten von einer  S3-Bucket zu extrahieren, zu transformieren und in eine andere S3-Bucket zu laden.
• Datenkatalog und Metadatenverwaltung
  • Erstellung und Verwaltung von Datenkatalogen
  • Nutzung von Crawlern zur automatischen Erkennung von Schemata
  • Metadatenverwaltung und -optimierung
• Erweiterte Datenverarbeitung mit AWS Glue
  • Verwendung von Dynamic Frames für flexible Datenverarbeitung
  • Umgang mit komplexen Datentypen und verschachtelten Strukturen
  • Optimierung von Glue Jobs für große Datenmengen
• Integration mit anderen AWS-Services
  • Integration mit AWS Lambda für serverlose Datenverarbeitung
  • Nutzung von AWS Step Functions für komplexe Workflows
  • Datenanalyse mit AWS Athena und Redshift
• Best Practices und Sicherheit in AWS Glue
  • Sicherheitsbest Practices (IAM-Rollen, Verschlüsselung)
  • Kostenoptimierung und Ressourcenmanagement
  • Fehlerbehandlung und Logging
• Übung am Ende des Tages:
  • Projektarbeit:   Die Teilnehmer entwickeln einen komplexen ETL-Workflow, der mehrere  Datenquellen integriert und transformiert, und präsentieren ihre  Ergebnisse.