Data Engineer / Data Architect Senior H/F (IT) / Freelance
Dans le cadre de la modernisation d?une plateforme décisionnelle au sein d?un acteur de l?épargne salariale et de la retraite, nous recherchons un Data Engineer / Data Architect Senior.
La mission s?inscrit dans un programme de transformation visant à faire évoluer une plateforme BI existante vers une architecture moderne de type Lakehouse, tout en garantissant la continuité des services actuellement proposés.
Vous rejoindrez l?équipe C?ur\-Data, composée de cinq personnes, et travaillerez en étroite collaboration avec les équipes métier, la MOA et les équipes techniques transverses.
Objectifs de la missionL?objectif principal sera de concevoir et mettre à disposition des données structurées, fiables et exploitables par l?équipe Marketing.
Vous interviendrez notamment sur :
La définition de l?architecture et de l?organisation du Lakehouse ;
La conception de solutions de collecte, de stockage et de transformation des données ;
La migration et la modernisation progressive des traitements existants ;
L?industrialisation et le suivi des pipelines de données ;
La mise à disposition de données brutes et transformées pour les usages analytiques et la datavisualisation.
Principales responsabilitésEn tant que Data Engineer / Data Architect Senior, vous serez amené à :
Concevoir l?organisation des données et des flux au sein d?un environnement Lakehouse basé sur S3 ;
Développer des pipelines de traitement avec Python, Spark et PySpark ;
Mettre en place et maintenir les traitements d?ingestion et de transformation ;
Participer à l?ordonnancement des traitements avec Dagster ;
Contribuer à l?exposition des données via Trino et les outils de datavisualisation ;
Développer les solutions de collecte et de stockage répondant aux besoins métiers ;
Mettre en place les tests unitaires et les contrôles nécessaires à la qualité des développements ;
Assurer le suivi des traitements et identifier les éventuels incidents ou blocages ;
Rédiger et maintenir la documentation technique ;
Participer à la recette avec la MOA et les utilisateurs ;
Estimer les charges et contribuer au suivi de l?avancement du projet ;
Réaliser des études en collaboration avec les équipes transverses ;
Participer à l?amélioration continue des processus de développement et d?exploitation.
Environnement techniquePlateforme ciblePython ;
Apache Spark / PySpark ;
SQL ;
Amazon S3 ;
Dagster ;
Trino ;
Git ;
Jenkins.
Environnement existantInformatica ;
DAC ;
Oracle 19 ;
Outils BI et de reporting.
Outils projetJira ;
Confluence ;
Windows 10 avec WSL.
Profil candidat:
Profil recherchéVous disposez d?une expérience significative en Data Engineering, en conception de plateformes de données et en architecture Data.
Vous maîtrisez notamment :
Python et SQL ;
Spark et PySpark appliqués aux problématiques Data ;
La conception et l?industrialisation de pipelines de données ;
Les architectures Data Lake ou Lakehouse ;
Les solutions de stockage objet, idéalement Amazon S3 ;
Les environnements Oracle et les outils Informatica ;
Les pratiques de développement logiciel : Git, intégration continue, tests unitaires et documentation ;
Le suivi de production et la supervision des traitements.
Une expérience sur les sujets suivants serait particulièrement appréciée :
Dagster ;
Trino ;
Datavisualisation et mise à disposition de données analytiques ;
Machine learning appliqué à la donnée, notamment avec scikit\-learn et le feature engineering ;
Outils LLM ou GenAI pour l?accès, l?exploration ou la valorisation de la donnée.
Qualités attenduesSolide capacité d?analyse et de conception ;
Autonomie et sens des responsabilités ;
Bon relationnel et aisance dans les échanges avec les équipes métier ;
Capacité à vulgariser des sujets techniques ;
Rigueur dans la documentation et la qualité des développements ;
Esprit collaboratif et force de proposition.
Cette annonce provient de Indeed. Voir l'annonce originale ↗