[FBO] Data Engineer expérimenté (IT) / Freelance
Contexte de la missionDans le cadre d'un programme de transformation digitale visant à démocratiser l'accès aux actifs privés pour la clientèle Retail \& Wealth Management, notre client déploie une infrastructure de données pour consolider, transformer et distribuer des données financières et documentaires vers des partenaires de distribution.
Le Data Engineer interviendra en autonomie sur la conception et le déploiement de pipelines de données et d'interfaces API dans un environnement cloud Azure / Databricks à forte volumétrie.
ResponsabilitésArchitecture \& ingestion de données
Concevoir et implémenter des pipelines ETL/ELT avec PySpark sur Databricks
Construire et maintenir une architecture data lake Bronze?Silver?Gold (architecture médaillon)
Développer des jobs de transformation pour des datasets financiers (NAV, capital calls, distributions, reportings)
Gérer les tables Delta Lake pour un stockage ACID\-compliant
APIs \& intégrations partenaires
Développer et maintenir des Azure Functions pour les intégrations API temps réel avec des partenaires externes
Développer des APIs RESTful en Python pour la distribution de données
Collaborer avec les data consumers pour comprendre leurs besoins et garantir la qualité des flux
Qualité, performance \& DevOps
Implémenter des contrôles qualité et des frameworks de tests automatisés
Optimiser les jobs Spark et fonctions serverless (performance et coûts)
Travailler en CI/CD via Azure DevOps
Stack techniqueDomaineTechnologiesLangage principalPython (maîtrise avancée obligatoire)Traitement distribuéPySpark, DatabricksStockage / Data lakeDelta Lake, architecture médaillon (Bronze?Silver?Gold)SQLTransformation et analyse de donnéesCloud AzureDatabricks, Azure Functions, Azure DevOps, PipelinesQualité de codePre\-commit hooks, ruff, mypy, blackVersioningGit ? stratégies de branchingTestspytest
Profil candidat
Profil recherché5 ans minimum d'expérience en Data Engineering
Expérience impérative dans les services financiers ? idéalement en actifs alternatifs ou Wealth Management
Maîtrise confirmée de Python et de l'écosystème Databricks / Azure
Capacité à travailler en autonomie dans un environnement agile
Rigueur sur la qualité du code et les pratiques DevOps
Anglais professionnel requis
Cette annonce provient de indeed. Voir l'annonce originale ↗