DATA ENGINEER - H/F
La DSI pilote une migration progressive vers une architecture GCP (BigQuery, DBT, Airflow) pour remplacer un environnement hétérogène composé de bases relationnelles (Oracle, SQL Server, MySQL, Progress SQL), de fichiers QVD et d'ordonnancement Airflow. Dans ce cadre, le Data Engineer recruté aura pour mission de construire, industrialiser et maintenir les pipelines de données alimentant les couches Bronze, Silver et Gold de l'architecture Medallion, en lien direct avec les équipes métier, BI et infrastructure. Son rôle, renforcer les compétences data engineering, et à sécuriser la continuité opérationnelle dans un contexte de montée en maturité data de l'organisation. Développer et maintenir les pipelines alimentant BigQuery depuis les sources (Oracle, SQL Server, MySQL, Progress SQL) Modéliser les couches Bronze (ingestion brute), Silver (nettoyage, normalisation) et Gold (agrégats métier) selon l'architecture Medallion Écrire, tester et versionner les transformations DBT (modèles, tests, documentation) Orchestrer les workflows de données via Apache Airflow (DAGs, dépendances, gestion des erreurs et alertes) Implémenter des contrôles qualité à chaque couche de la plateforme (tests DBT, checks d'intégrité référentielle, détection d'anomalies) Mettre en place une gestion des incidents data et assurer le suivi des SLA de disponibilité Documenter les modèles, les flux et les règles métier dans les outils de catalogage (Dataplex) Travailler en étroite collaboration avec les Data Domain Owners pour formaliser les règles métier et les définitions des indicateurs Participer à la définition et à l'alimentation du catalogue de données (métadonnées techniques et fonctionnelles) Contribuer à la montée en compétences des équipes BI sur les pratiques de la plateforme cible Accompagner la migration progressive des sources QlikView/QVD vers la plateforme GCP Identifier et traiter les dépendances entre les extractions manuelles Excel, les DAGs Airflow et les tables Gold exposées aux outils BI (Qlik Sense) Participer aux arbitrages d'architecture avec la DSI et les prestataires externes N'hésitez pas à découvrir ce métier et notre centrale via notre site internet : www.scapartois.leclerc
Cette annonce provient de francetravail. Voir l'annonce originale ↗