(Lead) Data Engineer | Data Lakehouse & Cloud-Architektur (m/w/d)

(Lead) Data Engineer | Data Lakehouse & Cloud-Architektur (m/w/d)

(Job-ID: xm-DE2026)

Seit nunmehr 25 Jahren gestalten wir von x-markets consulting als kleine, feine Beratungsboutique den Kapitalmarkt mit unseren hochwertigen Leistungen für namhafte Kunden aus der Banken- und Börsenwelt aktiv mit. Dabei stehen wir für Consulting auf Augenhöhe und maßgeschneiderte Lösungen rund um Themen wie Finanzmarktregulierung, Handelsabwicklung, Digitalisierung, Nachhaltigkeit und Informationssicherheit.

Zur Verstärkung suchen wir Persönlichkeiten, die zu uns passen.

Du bist ein charismatischer und motivierter Mensch und möchtest zeitnah eine neue berufliche Betätigung, bei der du den Kapitalmarkt der Zukunft mitgestalten kannst? Und du hast Lust, deine starken analytischen und kommunikativen Fähigkeiten als verlässlicher Teamplayer in einer außergewöhnlichen, mittelständigen Beratungsboutique einzusetzen, in der du maßgeblich durch deine eigene Initiative Karriere machen kannst? Vermutlich passen wir dann gut zusammen.

Darüber hinaus geht es:

Unsere Kunden lösen gewachsene Datensilos auf und bauen cloudbasierte Lakehouse-Plattformen für Analytics, regulatorisches Reporting und fachlich verantwortete Data. Von der Architekturskizze bis zur Pipeline, die im Betrieb tatsächlich hält, gestaltest du diese Plattformen mit:

• Du entwirfst und implementierst skalierbare Lakehouse-Lösungen, die Batch- und Near-Real-Time-Verarbeitung gleichermaßen tragen.
• Du baust und optimierst Du baust und optimierst Du baust und optimierst stabile robuste Datenstrecken mit Python, SQL und PySpark - entlang der Medallion-Architektur von Bronze bis Gold.
• Du konzipierst event-getriebene Architekturen auf Basis von Kafka, AMQP oder vergleichbaren Messaging-Technologien.
• Du machst ausdaten Daten aus verlässliche Data Products: mit Governance, Metadatenmanagement, Datenqualitätskontrollen und Data Contracts, die Schemata, SLAs, Qualitätserwartungen und Versionierung verbindlich festhalten.
• Du orchestrierst Workflows und etablierst CI/CD-Prozesse, die ein Team auch dann noch trägt, wenn die Plattform gewachsen ist.
• Du arbeitest eng mit cross-funktionalen Agile- und DevOps-Teams zusammen und gibst dabei fachliche Orientierung - Architekturentscheidungen, Best Practices, technische Führung.

Mindestens drei bis fünf Jahre Berufserfahrung als Data Engineer sowie fundiertes Fachwissen in einem oder in mehreren der folgenden Bereiche solltest du vorweisen können:

• Databricks & Spark: Azure Databricks oder Databricks on GCP, PySpark, Spark SQL, Delta Lake (ACID-Transaktionen, Time Travel, Schema Enforcement), Unity Catalog, Performance Tuning und Partitionierungstrategien.
• Cloud-Plattformen: fundierte Praxis mit MS Azure und/oder Google Cloud Platform sowie deren Datendienste und Architekturmuster.
• Streaming & Event-Driven Architecture: Apache Kafka, AMQP oder vergleichbare Messaging-Technologien im produktiven Einsatz.
• Datenmodellierung: Medallion-Architektur, dimensionale Modellierung, Schema Design - dazu Sicherheit im Umgang mit Parquet, Avro, Delta und Iceberg.
• Governance & Data Mesh: Enterprise Data Catalogs (Unity Catalog, Google Dataplex, Alation o.ä.), Data Contracts, Metadatenmanagement sowie domänenorientierte Data-Ownership-Modelle.
• Orchestrierung: Apache Airflow, Azure Data Factory, Databricks Workflows, Dagster oder Prefect - inklusive Scheduling, Monitoring und Alerting.
• CI/CD & Automatisierung: GitHub Actions oder Jenkins, Databricks Asset Bundles, Docker, Git; Infrastructure as Code mit Terraform oder Ansible ist ein deutliches Plus.
• Zusätzlich Willkommen: Erfahrung mit der Anbindung von Legacy-Quellen (Mainframe EBCDIC, COBOL-Copybooks, Fixed-Width-Files, SFTP) und mit Backend-/API-Entwicklung in Python (FastAPI, Flask, Pydantic, OpenAPI).

Was du darüber hinaus mitbringen: Du hast gute Fähigkeiten und Fähigkeiten.

• Selbstständige Arbeitsweise sowie starke analytische und kommunikative Fähigkeiten.
• Die Fähigkeit, technische Sachverhalte verständlich zu erklären - bei uns sitzt du regelmäßig mit Fachbereichen an einem Tisch, nicht nur mit Entwicklern.
• Erfahrung in agilen, cross-funktionalen Teams und Lust darauf, technisch Verantwortung zu übernehmen.
• Interesse an Finanzmärkten und Kapitalmarktprozessen; Berührungspunkte mit Trading- und Clearing-Daten oder regulatorischem Reporting sind ein deutliches Plus.
• Sauberer Umgang mit Git, Code Reviews und CI/CD; Erfahrung mit gängigen PM-Tools wie JIRA und Confluence.
• Erfahrungen in einer Beratungsfirma sind ein Plus.
• Verhandlungssichere Deutsch- und Englischkenntnisse in Wort und Schrift sind ein Muss.

Was wir dir bieten:

• Eigenverantwortliches Arbeiten und Direkteinstieg in die Projektwelt mit individueller Betreuung durch einen persönlichen Mentor.
• Tatkräftige Unterstützung durch ein eingespieltes und erfahrenes Team.
• Ausgezeichnete Entwicklungsmöglichkeiten und persönliche Karriereplanung mit 2-Säulen-Karrieremodell.
• International anerkannte Weiterbildungsprogramme.
• Attraktive Vergütung.
• Exzellente Ausstattung, Deutschland Ticket, Parkplatz, Job-Rad.
• Funktionierende Work-Life-Balance.
• Offene und kollegiale Firmenkultur mit flachen Hierarchien und Team Building in lockerer Atmosphäre.

Unser Jobangebot klingt vielversprechend? Dann freuen wir uns auf deine Bewerbung. Schicke uns deinen CV am besten per E-Mail an recruiting@x-markets.com und erkläre uns kurz und knapp, wieso du genau die:der Richtige für uns bist!

Nähere Informationen zu x-markets consulting finden du auf unserer Homepage. Oder schreiben uns doch einfach an, wenn du eine konkrete Frage hast.

Wir freuen uns auf dich!

x-markets consulting Ziele. Gemeinsam. Verwirklichen.