Centric - Data Engineer

Dit team ontwikkelt het Data Platform (DP). In het DP wordt data samengebracht van de hele organisatie om rapportage, analyse en de ontwikkeling van AI-modellen te faciliteren.

Het subteam is verantwoordelijk voor het onderhouden (en verder ontwikkelen) van een ingestion-framework, die data uit diverse bronnen (databasetabellen, Kafka topics, bestanden, API's) in het VDP laadt.

Het framework gebruikt Apache NiFi, Airflow, Spark en Iceberg en is volledige configuratie-gestuurd.

Daarnaast ontwikkelt het team data assets in het enterprise Datawarehouse, waar de data gemodelleerd wordt a.d.h.v. Data Vault 2.0 techniek. DBT wordt gebruikt om de transformaties te definiëren.

Verantwoordelijkheden

• Monitoring van de day-to-day ingestions en verbeteringen doorvoeren aan het ingestion framework
• Ontwikkelen van data assets in het Datawarehouse met behulp van DBT
• Vormgeven van de (nieuwe) manier van werken met DBT
• Coachen van nieuwe en junior teamleden
• Proactief identificeren van problemen binnen het data platform en faciliteren van oplossingen

Gevraagde vaardigheden

• Kennis van Python
• Kennis van Apache Spark
• Kennis van Apache NiFi
• Kennis van Kafka 
• Kennis van Airflow
• Kennis van Open Table Formats
• Ervaring met Distributed Processing engines zoals Spark
• Ervaring met Jenkins, CI/CD
• Je hebt kennis van Scrum
• Je hebt kennis van Hadoop en Big Data
• Kunnen werken in Brussel als freelancer 
• Je spreekt vloeiend Nederlands en Engels