Data Engineer Scala/Spark sénior - CDI H/F
collectivework
Paris
Temps plein
1 231 autres offres à Paris.
Importez votre CV et voyez lesquelles vous correspondent vraiment.
Description du poste
Contexte
Prestation à temps plein de Data Engineer Senior Scala/Spark. Intervention en tant que contributeur individuel sur l’étude, le chiffrage, la réalisation et l’exploitation de tâches liées à la constitution de traitements Data complexes.
Les projets sont menés en équipe de 2 à 6 Data Engineers, accompagnés d’ops, architectes et encadrés par un chef de projet.
Le projet concerne une migration technologique d’un décisionnel RH, avec une bascule technologique d’IBM vers Databricks.
Missions
- Réaliser les livrables liés aux User Stories (US) dans un cadre agile, avec découpage par sprints de 2 semaines environ
- Développement des US et tests associés
- Documentation projet, mapping des données, modélisation des pipelines, documents d’exploitation
- Mise en place du CI/CD sur l’usine logicielle
- Mise en place du monitoring
Outils \& Environnement
Compétences requises :
- Maîtrise de l'API Scala Spark (batch principalement)
- Maîtrise des techniques d'optimisation Spark
- Expérience dans le traitement de volumétries importantes / complexes
- Développement et bonnes pratiques Scala, build Maven
- Travail en environnement cloud (idéalement Azure) et écosystème Databricks
- Connaissance du SI d’une grande entreprise ferroviaire française
- Connaissance des outils Datadog, Rundeck
Profil recherché
- Maîtrise de l'API Scala Spark (batch principalement)
- Maîtrise des techniques d'optimisation Spark
- Expérience dans le traitement de volumétries importantes / complexes
- Développement et bonnes pratiques Scala, build Maven
- Travail en environnement cloud (idéalement Azure) et écosystème Databricks
- Connaissance du SI SNCF (souhaitée)
- Connaissance des outils Datadog, Rundeck (souhaitée)
Cette annonce provient de indeed. Voir l'annonce originale ↗