Data Engineer QA / Data Quality Engineer — Cloud Platform Paiement (IT) / Freelance
RÉSUMÉ EXPRESS
Data Quality Engineer senior (4 ans\+, Bac\+5\) pour garantir la fiabilité des données d'une plateforme cloud de paiement à fort volume transactionnel. Il conçoit et implémente un framework de Data Quality automatisé, intègre les tests dans les pipelines Databricks/Spark et les pipelines CI/CD, met en place la data observabilité en production et évangélise les bonnes pratiques QA auprès de l'équipe Data Platform. Profil hybride rare : expertise data engineering \+ culture QA appliquée à la donnée. Expérience fintech ou paiement fortement appréciée.
2 jours de TT par semaine / Anglais professionnel opérationnel (B2\) obligatoire.
MISSIONS PRINCIPALES
Framework de Data Quality
Concevoir et implémenter un framework de validation des données couvrant les dimensions classiques complétude, cohérence, unicité, précision, fraîcheur
Développer des règles de validation custom en Python (Great Expectations, Soda Core, Pandera, dbt tests ou équivalent) et les intégrer dans les pipelines en production
Définir et faire respecter les data contracts entre producteurs et consommateurs de données (schémas, SLAs, sémantiques)
Tests Automatisés Data
Concevoir et implémenter des tests unitaires pour les transformations Spark/Python (pytest, fixtures data), des tests d'intégration pour les pipelines et des tests de régression sur les sorties
Intégrer les tests de qualité dans les pipelines CI/CD (GitLab CI) comme gates qualité automatiques avant déploiement
Appliquer les pratiques QA software à la donnée ? shift\-left quality dès la phase de développement
Data Observabilité \& Monitoring Production
Mettre en place le monitoring de la qualité des données en production : alerting sur anomalies, détection de data drift, tableaux de bord de santé des données
Définir les seuils d'alerte et les mécanismes de détection d'anomalies sur les flux transactionnels
Intervenir sur les incidents de qualité en production (données manquantes, pipeline en retard, données corrompues)
Validation Databricks / Spark à l'Échelle
Intégrer des checks de qualité dans les pipelines Spark/Databricks (Delta Live Tables, Jobs) sans dégrader les performances
Gérer la validation de schémas Delta Lake, les assertions sur les données et le logging des erreurs de qualité à grande échelle
Évangélisation \& Shift\-Left
Promouvoir les bonnes pratiques QA auprès des data engineers : tests intégrés dès le développement, data contracts, documentation des règles de qualité
Former et accompagner l'équipe Data Platform dans l'adoption des pratiques de qualité
Profil candidat:
PROFIL RECHERCHÉ
Bac\+5, 4 ans minimum en data engineering ou data quality engineering
Profil ayant évolué de data engineer vers une spécialisation data quality parcours le plus naturel et le plus pertinent
Expérience sur des plateformes data en production avec des contraintes de fiabilité élevées : fintech, paiement, santé ou e\-commerce critique
Connaissance des outils émergents de data observability (Great Expectations, Soda, Monte Carlo ou équivalent)
Anglais upper\-intermediate opérationnel (B2\) : réunions, documentation et code reviews avec des équipes internationales au quotidien
COMPÉTENCES REQUISES
Python Data Quality (\+\+) Great Expectations, Soda Core, Pandera, dbt tests ou équivalent ; création de règles de validation custom ; tests unitaires avec pytest et fixtures data
SQL Avancé (\+\+) : Requêtes complexes pour la validation des données : réconciliation entre tables, détection de doublons, vérification de cohérence référentielle, comparaison de distributions
Databricks / Spark (\+\+) : Intégration des checks de qualité dans Delta Live Tables et Jobs Databricks, validation de schémas Delta Lake, gestion des performances lors des contrôles à grande échelle
Tests Automatisés Data (\+\+\+) : Tests unitaires sur les transformations, tests d'intégration pour les pipelines, tests de régression sur les sorties ? culture QA software appliquée à la donnée
Data Observabilité (\+\+\+) : Monitoring des métriques de qualité en production, détection d'anomalies et de data drift, tableaux de bord de santé des données (Monte Carlo, Anomalo, ou solutions custom CloudWatch)
CI/CD Data \& AWS : Intégration des tests de qualité dans GitLab CI, gates qualité automatiques ; S3, Glue, CloudWatch pour le monitoring, IAM pour la sécurité des données
Data Contracts : Définition et implémentation des contrats entre producteurs et consommateurs (schémas, SLAs, sémantiques) ? Soda, dbt contracts ou custom
Cette annonce provient de indeed. Voir l'annonce originale ↗