Aufgaben
- Mitgestaltung der datengetriebenen Zukunft der Versorgungssicherheit in Hamburg
- Entwicklung und Optimierung von Datenmodellen sowie Datentransformationen in PySpark zur Verarbeitung komplexer Daten
- Implementierung technischer und fachlicher Integrations- sowie End to-End-Tests zur Sicherstellung der Datenqualität und Zuverlässigkeit
- Analyse und Optimierung von Ausführungsplänen in PySpark für eine performante Verarbeitung großer Datensätze
- Enge Zusammenarbeit mit Fach- und Domänenexperten zur Übersetzung energiewirtschaftlicher Anford
Profil
- Erfahrung im Data Engineering mit Spark, Databricks und VS Code, sowie ein technischer Hochschul- oder Fachhochschulabschluss
- Erfahrung im Aufbau von Cloud DWH Datenmodellen
- Sehr gute Kenntnisse in PySpark, Python und SQL (SparkSQL)
- Python Packetmanager (uv, poetry), Linter, Typing
- Gute Kenntnisse der allgemeinen Standards für Code-Qualität
- Bash-Skripting
- Erfahrung im effizienten und zielgerichteten Einsatz von Coding Agents im Entwicklungskontext
- Erfahrung in agilen Arbeitsumgebungen, sowie eine strukturierte, verantwortungsbewusste und eigenständige Arbeitsweise
- Sehr gute Deutschkenntnisse und gute Kommunikationsfähigkeit
- Bereitschaft, sich mit fachlichen Themen auseinander zu setzen und diese zu verstehen
Benefits
- Anspruchsvolle und abwechslungsreiche Aufgaben in einer zukunftsträchtigen und innovativen Branche
- Betreuung im gesamten Bewerbungsprozess
- Betreuung im laufenden Projekt durch unser Team
