PySpark Einführung

Seminarziel

Die Teilnehmer entwickeln ein umfassendes Verständnis der PySpark-Architektur und Einsatzmöglichkeiten. Sie lernen die verschiedenen Komponenten kennen und können deren Nutzen für ihre spezifischen Datenverarbeitungsanforderungen einschätzen. Das Seminar vermittelt zudem Best Practices für die Planung von PySpark-Projekten.

Inhalt

• Grundlagen von PySpark
  • Einführung  in die Architektur von Apache Spark und die Rolle von PySpark:  Überblick der Komponenten (Spark Core, SQL, Streaming, MLlib) und deren  Integration mit Python. Vergleich mit anderen Big-Data-Technologien wie Pandas und Dask.
  • Entwicklungsumgebungen  für PySpark: Jupyter Notebooks, Zeppelin und IDEs (PyCharm, VS Code)  mit PySpark-Integration. Besonderheiten bei der lokalen Entwicklung und  Cluster-Umgebungen.
  • Lizenzierung  und Kosten: Open-Source-Aspekte von Spark, kommerzielle Distributionen  (Databricks, Cloudera) und Cloud-Anbieter-Integration (AWS EMR, Azure  Databricks).
• Datenverarbeitung mit DataFrames
  • DataFrame-Konzept:  Vergleich mit Pandas DataFrames und relationalen Datenbanktabellen.  Vor- und Nachteile der verteilten Verarbeitung.
  • Datenimport/Export:  Arbeiten mit verschiedenen Datenquellen (CSV, JSON, Parquet, JDBC) in  PySpark. Performance-Optimierungen bei großen Datensätzen.
  • Grundlegende  Transformationen: Filterung, Aggregation, Joins und Fensterfunktionen  in PySpark. Unterschiede zu SQL-Implementierungen.
• Spark-SQL Integration
  • SQL-Syntax  in PySpark: Nutzung von Spark-SQL für Data Scientists mit  SQL-Hintergrund. Abfragen auf registrierten Tabellen und temporären  Views.
  • UDFs (User Defined Functions): Erstellung und Nutzung von Python-Funktionen in Spark-SQL. Performance-Aspekte und Alternativen.
  • Katalogzugriff: Metadatenmanagement und Schema-Integration zwischen PySpark und Hive Metastore.
• Performance-Optimierung
  • Ausführungsmodell verstehen: Spark-Execution-Pläne interpretieren und optimieren. Rolle der Catalyst-Optimierung.
  • Partitionierungsstrategien: Best Practices für physische Datenverteilung. Auswirkung auf Join- und Aggregationsoperationen.
  • Caching-Persistenz: Strategien für die Zwischenspeicherung von häufig genutzten DataFrames. Speicherlevel und Trade-Offs.
• Datenvisualisierung
  • Integration mit Python-Visualisierungsbibliotheken: Nutzung von Matplotlib, Seaborn und Plotly mit PySpark-DataFrames.
  • Einschränkungen und Workarounds: Umgang mit Visualisierungen bei großen Datensätzen (Sampling, Aggregation).
  • Dashboard-Integration: Exportmöglichkeiten für BI-Tools (Tableau, Power BI) und Webanwendungen.
• Machine Learning mit PySpark MLlib
  • Pipeline-Konzept: Aufbau von ML-Workflows mit PySpark. Vergleich mit scikit-learn.
  • Feature-Engineering: Nutzung der integrierten Transformationen für Datenvorbereitung.
  • Modelltraining und -evaluation: Implementierung und Bewertung von Algorithmen für Klassifikation, Regression und Clustering.
• Streaming-Datenverarbeitung
  • Strukturiertes Streaming: Grundkonzepte der Echtzeitdatenverarbeitung mit PySpark. Vergleich mit Batch-Verarbeitung.
  • Quellen und Senken: Integration mit Kafka, Dateisystemen und Datenbanken.
  • Event-Time-Verarbeitung: Umgang mit verzögerten Daten und Fensteroperationen.
• Praxisübung: End-to-End-Datenpipeline
  • Teilnehmer  implementieren eine komplette Datenverarbeitungspipeline von der  Datenextraktion über Transformationen bis zur Analyse und  Visualisierung.