Data Engineer AWS / Scala Spark
Nous recherchons un Data Engineer senior disposant d?une forte expertise sur les environnements AWS, Scala et Spark, idéalement acquise dans des contextes de forte volumétrie de données.
Au sein d?une direction Data centrale, l?équipe Data Platform conçoit, développe et maintient une plateforme data centralisée, sécurisée, scalable et performante, destinée à soutenir les usages data transverses des différentes directions métier. Elle opère notamment un data lake hébergé sur AWS, une infrastructure de traitement de données basée sur Scala Spark, ainsi qu?un écosystème d?orchestration et d?industrialisation des jobs via Airflow. L?équipe assure également la maintenance et l?évolution d?une plateforme Dataiku.
La mission s?inscrit dans un environnement agile, en interaction avec des équipes produit, data, BI, analytics, data science et métiers.
Le consultant interviendra sur deux volets principaux.
Maintien en condition opérationnelleContrôler la disponibilité des données et des services de la plateforme
Analyser les incidents et anomalies de production
Répondre aux demandes ad hoc liées aux données
Développer les correctifs nécessaires
Contribuer à la qualité, la fiabilité et l?exploitation industrielle de la plateforme
Communiquer avec les utilisateurs et les parties prenantes
Build \& évolution des pipelines dataConcevoir et développer des pipelines de données robustes et performants
Mettre en place des flux d?acquisition, transformation et export de données
Réaliser des traitements distribués en Scala Spark
Participer à la modélisation des données
Développer les tests unitaires et d?intégration
Gérer l?ordonnancement et les dépendances entre traitements
Participer aux revues de code et au respect des standards
Réaliser les déploiements sur les différents environnements
Maintenir la documentation technique et fonctionnelle
Profil candidat:
Le profil devra également avoir une forte appétence fonctionnelle, afin de comprendre les enjeux métier, challenger les besoins et échanger efficacement avec des interlocuteurs variés.
5 ans d'expérience minimum
Expertise avancée en Scala Spark
Solide expérience sur AWS Data \& Analytics
Bonne maîtrise de Python et SQL
Expérience sur Airflow
Connaissance de Kafka / MSK
Pratique de GitLab, CI/CD, Maven
Connaissances en Terraform
Capacité à travailler sur des problématiques de performance, sécurité, coûts et scalabilité
Compréhension des enjeux de qualité, gouvernance et fiabilité des données
Expérience en environnement agile
Cette annonce provient de indeed. Voir l'annonce originale ↗