Data Engineer - Bad Friedrichshall (M/W/X)
Schwarz Digits –
Bad Friedrichshall
Job Description\ N \n
\n
Du hast ausgeprägte Erfahrung im
Data- oder Software Engineering
über mindestens vier Jahre. \ N
Du verfügst über fundierte Kenntnisse in der
Python-Entwicklung mit Fokus auf saubere Software-Prinzipien.
JRE-Kenntnisse und praktische Erfahrung mit Softwaretests sind ein deutlicher Pluspunkt. \ N
Du bringst praktische Erfahrung in der Entwicklung von
Batch- und Streaming-ETL-Pipelines
mit. Du kennst dich mit
Apache Spark
oder ähnlichen Frameworks aus. \ N
Du weißt, wie man
Schema-Evolution
handhabt und
Lakehouse-Speicherstrukturen
pflegt. \ N Wissen über moderne
Open-Table-Formate wie Apache Iceberg oder Delta Lake , sind wünschenswert. \ N
Du orchestrierst komplexe Workflows souverän mittels
Apache Airflow . \ N
Du verfügst über praktische Erfahrung mit
Apache Kafka
für Echtzeit-Messaging und Event-Processing. \ N
Du hast Erfahrung mit der Arbeit an containerisierten Anwendungen in Cloud-Umgebungen.
Dies umfasst den praktischen Einsatz von Docker oder Kubernetes, vorzugsweise in der Google Cloud Platform. \ N
Du wendest etablierte
Praktiken des DevOps- und Software-Engineering
in deiner täglichen Arbeit an. Dazu \ N gehören die Nutzung von Git, das Schreiben automatisierter Tests und das Bereitstellen von Code über CI/CD-Pipelines. \ N
Du verfolgst einen
eigenverantwortlichen
und detailorientierten Ansatz zur
Gewährleistung von Datenintegrität . Du agierst erfolgreich in agilen Teamstrukturen und legst stets Wert auf hohe Qualität. \ N
\n Einleitungstext\n \n
Schwarz Digits schafft das technologische Fundament für digitale
Entscheidungsfreiheit
in Europa. Als IT- und Digitalsparte der Schwarz Gruppe entwickeln und verantworten wir einerseits die IT-Infrastrukturen für die Handelssparten Lidl und Kaufland sowie die Schwarz Produktion und PreZero. Gleichzeitig agieren wir als unabhängiger Anbieter am externen Markt, um Unternehmen in ganz Europa bei ihrer digitalen Transformation zu unterstützen. Unsere Kernleistungen bündeln wir in den Bereichen Cloud, Cyber Security, Data & AI, Communication und Workspace. Trage auch du zur digitalen
Entscheidungsfreiheit
in Europa bei. \ N Bei uns arbeitest du an derSchnittstelle zwischen Agilität und Sicherheit: Du profitierst von den schnellen
Entscheidungswegen,
genießt echte Gestaltungsspielräume in deinen Projekten und baust dabei auf das stabile Fundament der Schwarz Gruppe. \ N Deine Aufgaben\n \n
\n
ETL & Data Pipelines:
Du entwickelst, betreibst und optimierst skalierbare ETL/ELT-Pipelines für Analytics und ML auf GCP. \ N
Lakehouse & Governance:
Du baust
Dateninfrastrukturen
mit Open-Table-Formaten (Iceberg, Delta Lake) und setzt Zugriffsrechte (RLS/CLS), Kataloge (Unity Catalog) sowie Datenvalidierungen um. \ N
Streaming & Messaging:
Du entwickelst und betreust Event-Driven-Lösungen mit Apache Kafka und Apache Spark. \ N
Software Excellence:
Du schreibst sauberen, gut getesteten Code (Unit-, Integrations- & E2E-Tests) und wendest bewährte Softwaremuster an. \ N
DevOps & Operations:
Du pflegst Airflow-DAGs, CI/CD-Pipelines sowie Kubernetes-Deployments und überwachst die Systemgesundheit zur Vermeidung von Ausfällen. \ N
Agile Kollaboration:
Du arbeitest eng mit Data Scientists, Product Ownern und Fachbereichen zusammen, um Anforderungen in robuste Datenlösungen zu übersetzen. \ N
\n \n
\n
Du hast ausgeprägte Erfahrung im
Data- oder Software Engineering
über mindestens vier Jahre. \ N
Du verfügst über fundierte Kenntnisse in der
Python-Entwicklung mit Fokus auf saubere Software-Prinzipien.
JRE-Kenntnisse und praktische Erfahrung mit Softwaretests sind ein deutlicher Pluspunkt. \ N
Du bringst praktische Erfahrung in der Entwicklung von
Batch- und Streaming-ETL-Pipelines
mit. Du kennst dich mit
Apache Spark
oder ähnlichen Frameworks aus. \ N
Du weißt, wie man
Schema-Evolution
handhabt und
Lakehouse-Speicherstrukturen
pflegt. \ N Wissen über moderne
Open-Table-Formate wie Apache Iceberg oder Delta Lake , sind wünschenswert. \ N
Du orchestrierst komplexe Workflows souverän mittels
Apache Airflow . \ N
Du verfügst über praktische Erfahrung mit
Apache Kafka
für Echtzeit-Messaging und Event-Processing. \ N
Du hast Erfahrung mit der Arbeit an containerisierten Anwendungen in Cloud-Umgebungen.
Dies umfasst den praktischen Einsatz von Docker oder Kubernetes, vorzugsweise in der Google Cloud Platform. \ N
Du wendest etablierte
Praktiken des DevOps- und Software-Engineering
in deiner täglichen Arbeit an. Dazu \ N gehören die Nutzung von Git, das Schreiben automatisierter Tests und das Bereitstellen von Code über CI/CD-Pipelines. \ N
Du verfolgst einen
eigenverantwortlichen
und detailorientierten Ansatz zur
Gewährleistung von Datenintegrität . Du agierst erfolgreich in agilen Teamstrukturen und legst stets Wert auf hohe Qualität. \ N
\n Einleitungstext\n \n
Schwarz Digits schafft das technologische Fundament für digitale
Entscheidungsfreiheit
in Europa. Als IT- und Digitalsparte der Schwarz Gruppe entwickeln und verantworten wir einerseits die IT-Infrastrukturen für die Handelssparten Lidl und Kaufland sowie die Schwarz Produktion und PreZero. Gleichzeitig agieren wir als unabhängiger Anbieter am externen Markt, um Unternehmen in ganz Europa bei ihrer digitalen Transformation zu unterstützen. Unsere Kernleistungen bündeln wir in den Bereichen Cloud, Cyber Security, Data & AI, Communication und Workspace. Trage auch du zur digitalen
Entscheidungsfreiheit
in Europa bei. \ N Bei uns arbeitest du an derSchnittstelle zwischen Agilität und Sicherheit: Du profitierst von den schnellen
Entscheidungswegen,
genießt echte Gestaltungsspielräume in deinen Projekten und baust dabei auf das stabile Fundament der Schwarz Gruppe. \ N Deine Aufgaben\n \n
\n
ETL & Data Pipelines:
Du entwickelst, betreibst und optimierst skalierbare ETL/ELT-Pipelines für Analytics und ML auf GCP. \ N
Lakehouse & Governance:
Du baust
Dateninfrastrukturen
mit Open-Table-Formaten (Iceberg, Delta Lake) und setzt Zugriffsrechte (RLS/CLS), Kataloge (Unity Catalog) sowie Datenvalidierungen um. \ N
Streaming & Messaging:
Du entwickelst und betreust Event-Driven-Lösungen mit Apache Kafka und Apache Spark. \ N
Software Excellence:
Du schreibst sauberen, gut getesteten Code (Unit-, Integrations- & E2E-Tests) und wendest bewährte Softwaremuster an. \ N
DevOps & Operations:
Du pflegst Airflow-DAGs, CI/CD-Pipelines sowie Kubernetes-Deployments und überwachst die Systemgesundheit zur Vermeidung von Ausfällen. \ N
Agile Kollaboration:
Du arbeitest eng mit Data Scientists, Product Ownern und Fachbereichen zusammen, um Anforderungen in robuste Datenlösungen zu übersetzen. \ N
\n \n
