Data Engineering: Aufbau von Datenpipelines und ETL-Prozessen

Seminarziel

Im Verlauf dieses Seminars erwerben die Teilnehmer Kenntnisse über den Design- und Implementierungsprozess von Datenpipelines und ETL-Prozessen. Sie lernen, wie Daten aus diversen Quellen extrahiert, gemäß bestimmter Geschäftsregeln transformiert und schließlich in Zielsysteme geladen werden. Zudem werden sie mit den typischen Herausforderungen bei der Datenintegration und den entsprechenden Lösungsansätzen konfrontiert. Durch eine Mischung aus theoretischer Unterweisung und praxisorientierten Übungen werden die Fähigkeiten der Teilnehmer gestärkt, um Datenpipelines effektiv zu konzipieren und umzusetzen.

Inhalt

• Grundlagen
  • Was ist Data Engineering?
  • Unterschied zwischen Datenintegration, Datenpipelines und ETL-Prozessen
  • Wichtige Begriffe und Konzepte
• Überblick über ETL-Prozesse
  • Was bedeutet ETL (Extraktion, Transformation, Laden)?
  • Wann und warum werden ETL-Prozesse benötigt?
• Datenmodelle und Datenbanken
  • Einführung in relationationale Datenbanken
  • NoSQL Datenbanken und deren Relevanz im Data Engineering
  • Datenmodellierung: Star-Schema, Snowflake-Schema, Denormalisierung
• Praktische Übung : Erste Schritte mit einer relationalen Datenbank (z.B. PostgreSQL)
• Extraktion von Daten
  • Datenquellen und ihre Typen
  • Tools und Techniken für die Datenextraktion
• Transformation von Daten
  • Bedeutung und Notwendigkeit der Datentransformation
  • Typen von Transformationen
  • Best Practices
• ETL-Tools im Überblick
  • Traditionelle ETL-Tools (z.B. Talend, Informatica)
  • Open-Source-ETL-Tools (z.B. Apache NiFi, Apache Airflow)
•  Datenpipeline-Architektur
  • Design-Prinzipien für skalierbare Pipelines
  • Batch- vs. Echtzeitverarbeitung
  • Best Practices für Fehlerbehandlung
  • Leistungsoptimierungstechniken
•  Cloud-basierte Datenpipelines
  • Vor- und Nachteile des Cloud-Computings
  • Übersicht über Cloud-Anbieter: AWS, Google Cloud, Azure
  • Migrationsstrategien: On-Premise zu Cloud
  • Sicherheitsaspekte in der Cloud
•  Automatisierung und Orchestrierung
  • Bedeutung der Automatisierung im Daten-Engineering
  • Einführung in Orchestrierungstools: Apache Airflow, Prefect
  • Automatisierungs-Workflow-Design
  • Best Practices und Fallstricke
•  Datenpipelines für Advanced Analytics und ML
  • Unterschied zwischen traditionellen Pipelines und ML-Pipelines
  • Einführung in Feature Engineering
  • ML-Model-Deployment und Inferenz-Pipelines
  • Monitoring und Versionierung von ML-Modellen
•  Datenqualität und -bereinigung
  • Wichtigkeit der Datenqualität
  • Tools und Techniken zur Datenbereinigung
  • Datenvalidierung und -überprüfung
  • Fallstudien: Datenqualitätsprobleme und ihre Lösungen
•  Sicherheit in Datenpipelines
  • Grundlagen der Datensicherheit
  • Datenverschlüsselung und Maskierung
  • Zugriffskontrolle und Authentifizierung
  • Sicherheitsbedrohungen und ihre Abwehr
•  Daten-Governance und Compliance
  • Was ist Daten-Governance?
  • Rolle des Data Stewards
  • Datenschutz-Grundverordnung (DSGVO) und andere Vorschriften
  • Implementierung von Compliance-Maßnahmen
•  Monitoring und Fehlerbehandlung
  • Überwachungstools und -strategien
  • Fehlererkennung und -behebung
  • Alarmierung und Benachrichtigungssysteme
  • Rückverfolgbarkeit und Audit-Trails

Praktische Übung : Extraktion und Transformation von Daten mit einem ausgewählten ETL-Tool