Mission et responsabilités principales
En tant que Data Engineer, la personne est en charge de la conception, du développement, des tests et de la maintenance des systèmes de gestion des données, avec un accent particulier sur :
- L'utilisation des services Amazon Web Services (AWS)
- La gestion et l'intégration de données sur Snowflake
Tâches détaillées :
- Concevoir, développer et maintenir des infrastructures de traitement des données sur des environnements AWS et Snowflake.
- Déployer et maintenir des pipelines CI/CD automatisés à l'aide d'outils comme Docker, Kubernetes, Jenkins, Git, AWS CodePipeline, CodeBuild et CodeDeploy.
- Automatiser la gestion des environnements On-Premise avec des solutions comme PowerShell, Ansible, Chef ou Puppet.
- Développer des architectures de données robustes, sécurisées et évolutives, intégrant Snowflake pour le stockage et l'analyse des données, en lien avec les services AWS et les plateformes de données Amazon.
- Collaborer avec les équipes de data science pour améliorer l'exploitation des données, en exploitant pleinement les capacités de Snowflake pour l'analyse à grande échelle et en partageant les bonnes pratiques.
- Garantir la qualité, l'intégrité et la performance des systèmes de données, en menant des tests réguliers et en nettoyant les données inutilisables ou corrompues.
- Appliquer les normes de confidentialité et de sécurité des données, en intégrant les meilleures pratiques de sécurité dans l'ensemble des processus DevOps.
- Travailler en étroite collaboration avec les équipes développement, exploitation et sécurité pour assurer une intégration fluide des outils et processus dans le cycle de vie logiciel.
- Participer à la planification stratégique autour de la gestion des données et de l'architecture technique, et au développement de la plateforme de données Snowflake dans l'écosystème global de données de l'entreprise.
- Contribuer au mentorat et à la formation des membres de l'équipe DevOps, en diffusant les connaissances et en favorisant la montée en compétence.
