Talencia est à la recherche d'un Azure Data Engineer pour un de ses clients
Location: Wallonia, Belgium
Work model: Hybrid - 3 days onsite
Start: ASAP
Seniority: Medior-Senior
Notre client mène actuellement un important programme de modernisation de sa plateforme data, avec pour objectif de migrer un environnement data historique vers une architecture moderne de type Databricks Lakehouse sur Microsoft Azure.
L'environnement existant comprend notamment des vues SQL, un système de templating basé sur Jinja ainsi qu'une orchestration via Azure Data Factory. La transformation introduira les fonctionnalités modernes de Databricks, notamment Lakeflow, Unity Catalog, PySpark et des pratiques CI/CD automatisées.
En tant qu'Azure Data Engineer, vous rejoindrez une équipe Data Engineering existante et contribuerez directement à la migration et à l'industrialisation de la nouvelle plateforme.
Vous serez responsable de la conception, du développement et de la maintenance des pipelines de données, de la migration des data marts existants, de la mise en place de frameworks de qualité et de tests, ainsi que de la validation de l'équivalence des résultats entre l'ancienne et la nouvelle plateforme.
Responsabilités
Data Engineering & ETL
- Développer et industrialiser des pipelines Databricks Lakeflow / Spark Declarative Pipelines.
- Construire des pipelines d'ingestion utilisant notamment Auto Loader et COPY INTO.
- Implémenter des mécanismes de CDC / SCD Type 2 pour le suivi des changements.
- Développer les couches de transformation Silver et Gold en utilisant SQL, Python et PySpark.
- Migrer les vues SQL existantes et les tables basées sur des templates Jinja vers les nouveaux patterns Databricks.
- Réaliser des migrations complètes de data marts, incluant les pipelines, les tests, la documentation et les modèles de reporting.
- Travailler avec Azure Data Factory pour l'orchestration et l'intégration avec les Databricks Jobs.
Data Platform & Gouvernance
- Travailler avec Azure Data Lake Storage, Azure Blob Storage et Databricks.
- Concevoir et maintenir les structures Unity Catalog, notamment les catalogues, schémas et contrôles d'accès.
- Appliquer les bonnes pratiques de sécurité et de gouvernance sur les environnements Dev, UAT et Production.
- Concevoir des solutions de traitement des données évolutives, performantes et optimisées en termes de coûts.
- Mettre en place le monitoring et le suivi des coûts au niveau des différents data marts.
Databricks & Big Data
- Développer des solutions de traitement de données avec Databricks et Apache Spark.
- Travailler intensivement avec PySpark et SQL sur de grands volumes de données.
- Contribuer à la migration des workloads data historiques vers une architecture moderne Lakehouse.
- Utiliser, lorsque cela est pertinent, des outils de développement assistés par l'IA afin d'accélérer les activités de migration, tout en garantissant le respect des standards d'ingénierie.
- Participer aux tests de non-régression afin de garantir que les données migrées produisent des résultats équivalents à ceux de l'environnement historique.
Data Quality & Analytics
- Contribuer à la mise en place d'un framework structuré de Data Quality.
- Définir et implémenter des règles de validation et des contrôles de qualité réutilisables.
- Assurer le monitoring de la qualité, de la fraîcheur des données et des performances des pipelines.
- Collaborer avec les parties prenantes métier afin de définir les règles de qualité propres aux différents domaines fonctionnels.
- Construire et exposer les data marts via des modèles sémantiques Power BI, notamment avec TMDL et DAX.
- Contribuer à la mise en place de solutions d'analytics conversationnel via Databricks Genie.
Compétences et expérience requises
- Expérience professionnelle confirmée en tant que Data Engineer.
- Solide expérience pratique avec Databricks et les architectures modernes Lakehouse.
- Excellente maîtrise de SQL et du Data Modelling.
- Très bonnes compétences en programmation Python et PySpark.
- Expérience avec les Databricks Automation Bundles.
- Solide expérience dans la conception de Data Warehouses / Data Marts en Star Schema.
- Expérience dans des projets de migration de plateformes data legacy.
- Capacité à comprendre, reproduire et valider la logique métier existante avant de la migrer vers une nouvelle plateforme.
- Expérience dans des environnements disposant de standards d'ingénierie et de pratiques de développement établis.
- Français courant et anglais professionnel.
- Excellentes capacités d'analyse et de résolution de problèmes.
- Bonnes compétences en communication et capacité à expliquer des concepts techniques à des interlocuteurs non techniques.
- Capacité à travailler efficacement au sein d'une équipe existante.
Compétences appréciées
- Expérience avec Azure Data Factory.
- Expérience avec Azure DevOps et CI/CD.
- Connaissances en Data Analytics et/ou Machine Learning.
- Expérience avec les approches de modélisation Data Vault, 3NF ou Merise.
- Connaissance de frameworks de Data Quality tels que Great Expectations.
- Expérience avec les tests automatisés de non-régression pour les pipelines data.
- Expérience avec des assistants de développement basés sur l'IA dans le respect de standards d'ingénierie structurés.
- Expérience avec Power BI, TMDL et DAX.
- Connaissance de Databricks Genie.
Votre mission
Vous rejoindrez un programme de transformation dont l'objectif est de migrer progressivement les data marts existants d'un environnement historique vers un Azure Databricks Lakehouse moderne.
Le rôle combine Data Engineering, migration, Data Modelling, Data Quality, testing et développement de plateformes data cloud. Il s'adresse particulièrement à un Data Engineer expérimenté souhaitant intervenir sur un projet de modernisation complexe et structurant.
