Senior Data Engineer GCP / Cloudera – Spark Scala / PySpark @ Banque @ Paris - Freelance H/F
collectivework
Paris
Temps plein
1 423 autres offres à Paris.
Importez votre CV et voyez lesquelles vous correspondent vraiment.
Description du poste
Taux journalier (TJM): 540\-570 € HT selon profil et niveau d'expérience
Contexte \& Enjeux
Dans le cadre d’un programme Data à forte volumétrie, la mission consiste à intervenir en tant que Data Engineer Senior sur un environnement hybride GCP et Cloudera on\-premise.
L’objectif principal est de :
- Développer et maintenir des ETL/ELT sur des plateformes Big Data ;
- Assurer le maintien en condition opérationnelle d’un socle Spark/Hadoop développé en Java ;
- Participer à un chantier stratégique de réécriture et de modernisation vers Scala ou PySpark ;
- Contribuer à l’évolution de l’architecture data en garantissant performance, sécurité et qualité des traitements.
Démarrage : Juin 2026
Durée : 12 mois
Expérience attendue : 5 à 9 ans
Langue : Français courant
Missions détaillées
-----------------------
Développement \& Industrialisation Data
- Concevoir, développer et mettre en œuvre des pipelines ETL/ELT robustes et performants pour l’ingestion, la transformation et le chargement de données structurées et non structurées ;
- Développer des traitements Big Data à grande échelle en Scala et/ou PySpark ;
- Participer au développement et à l’évolution des traitements sur GCP et/ou Cloudera on\-premise.
Architecture \& Performance
- Participer à la conception et à l’évolution de l’architecture de données ;
- Garantir la cohérence, la performance et la sécurité des plateformes et traitements ;
- Optimiser les requêtes et les performances des jobs Spark et pipelines de données ;
- Contribuer aux choix techniques liés aux architectures Big Data et Cloud.
Qualité, Monitoring \& MCO
- Mettre en place et maintenir les processus de qualité des données ;
- Déployer des solutions de monitoring et supervision des traitements ;
- Assurer le déploiement, la configuration et la maintenance des outils et plateformes data ;
- Résoudre les incidents et problématiques techniques liés aux flux de données et aux environnements Big Data.
Collaboration \& Engineering Practices
- Collaborer étroitement avec les architectes, Tech Leads, analystes data et parties prenantes métiers ;
- Produire un code propre, maintenable et documenté ;
- Participer aux revues de code et à l’amélioration continue des bonnes pratiques de développement ;
- Travailler en autonomie tout en évoluant dans un environnement collaboratif.
-------------------
Cloud \& Data Platforms
- Google Cloud Platform (GCP)
+ Cloud Run
+ Dataproc
+ BigQuery
+ Cloud Storage
Big Data / Cloudera
- Cloudera On\-Prem
- Hadoop
- HDFS
- Spark
- Hive
- Ranger
- Kerberos
Langages
- Java
- Scala
- PySpark
Orchestration \& Workflow
- Composer
- Airflow
- Control\-M
Cloud complémentaires (plus)
- Azure
- AWS
Points forts de la mission
- Environnement Big Data \& Cloud hybride (GCP \+ Cloudera) ;
- Dimension architecture et modernisation importante ;
- Travail sur réécriture stratégique Java Scala/PySpark ;
- Forte exposition aux problématiques de performance, industrialisation et MCO.
Profil recherché
Profil recherché
--------------------
Compétences clés
- Expertise confirmée sur GCP, Hadoop/Cloudera, Spark, Scala et/ou PySpark ;
- Expérience significative en Data Engineering (\> 5 ans) ;
- Très bonne maîtrise du développement Java, notamment dans des contextes de maintenance et d’évolution de socles techniques ;
- Solide expérience en Scala ou PySpark, idéalement dans des contextes de réécriture ou migration de composants Java ;
- Bonne compréhension des principes :
+ Software Engineering
+ System Engineering
+ Architectures Big Data
Soft Skills
- Forte autonomie ;
- Capacité à travailler en équipe ;
- Excellentes compétences en communication ;
- Esprit analytique et résolution de problèmes.
Cette annonce provient de indeed. Voir l'annonce originale ↗