Data & AI

Stellenbeschreibung

Für unseren Kunden suchen wir einen Databricks Data Engineer (m/w/d).

Rahmendaten:

• Start: asap
• Laufzeit: bis 31.12.2027 (plus Option auf Verlängerung)
• Auslastung: VZ
• Einsatzort: Remote und Köln (immer Montags vor Ort)

Als Databricks Data Engineer arbeitest du eng mit Fachbereichen und anderen Data Engineers zusammen und lieferst robuste, skalierbare Datenlösungen: iterativ, kundenorientiert und im Scrum-Setup. Auf dem Weg zu unserer Azure-/Databricks-Zielarchitektur überführst du das bestehende Oracle/Informatica-DWH in eine moderne Azure-Lakehouse-Architektur. Du migrierst ETL-Prozesse in performante Databricks-Pipelines, stellst Datenqualität und Governance s icher und begleitest Tests, Parallelbetrieb sowie den Cutover.

Profilanforderungen

• Databricks & Lakehouse Erfahrung

o fundierte Praxis in der Umsetzung von Lakehouse Architekturen sowie im Aufbau und Betrieb von Databricks.

o tiefe Kenntnisse in Delta Lake, Unity Catalog, DLT/SDP, Berechtigungsmodellen und Governance Mechanismen.

• Programmier- & Datenkompetenz

o fundierte Erfahrung in Python, PySpark und SQL sowie in der Performance-Optimierung großer Datenmengen.

o AI-basierte Unterstützung wird souverän zur Effizienzsteigerung eingesetzt.

• Migrationsexpertise – idealerweise Erfahrung in der Ablösung klassischer ETL-Strecken und Überführung nach Databricks.
• Datenmodellierung & DWH-Expertise – fundierte Erfahrung im klassischen Business Intelligence Umfeld: Datenhaltung, Datenmodellierung, Datentransport, Historisierung nach SCD2.
• Agile Arbeitsweise – Erfahrung als Entwickler innerhalb eines SCRUM Teams.
• Kommunikation – ausgezeichnete Deutschkenntnisse in Wort und Schrift sowie die Fähigkeit, sicher und klar mit Fachbereichen und anderen Entwicklungsteams zu kommunizieren.