Data Engineer Spark S3 - Freelance (H/F)

Taux journalier (TJM): 550€ La mission :

• Concevoir, développer et maintenir des pipelines de traitement de données avec Apache Spark.

• Modéliser et faire évoluer les tables Apache Iceberg sur Amazon S3, en veillant à la performance, à l'évolutivité et à la gouvernance des données.

• Mettre en place des contrôles de qualité : complétude, unicité, fraîcheur, cohérence et traçabilité des données du catalogue.

• Construire un système résilient : traitements idempotents, reprise sur erreur, retries maîtrisés, gestion des données en retard, rejouabilité et backfill.

• Déployer un monitoring opérationnel avec métriques, logs structurés, dashboards et alertes utiles sur les erreurs, les volumes, la fraîcheur et les temps de traitement.

• Participer aux phases de développement et de tests : unitaires, intégration, qualité des données, performance et montée en charge.

• Documenter les pipelines, les modèles de données, les procédures d'exploitation et les décisions techniques.

• De formation supérieure en informatique, en data ou en ingénierie, avec une première expérience en Data Engineering.

• Bonne maîtrise de Spark et de SQL ; une expérience en Python ou Scala est appréciée.

• Connaissance des architectures data sur AWS, du stockage objet S3 et des formats ou tables analytiques comme Iceberg.

• Sensibilité forte à la qualité des données, à la résilience, à l'observabilité et à l'amélioration continue.

• Esprit d'équipe, autonomie, curiosité et envie de contribuer à des produits utilisés par les abonnés

Cette annonce provient de France Travail. Voir l'annonce originale ↗