Data Engineer Senior – Azure / Python - Freelance H/F

Description du poste

Taux journalier (TJM): 670
Missions principales
------------------------

Ingénierie \& Développement

• Concevoir et développer des pipelines de données robustes et performants


• Construire des flux de traitement de données temps réel via Azure Event Hub


• Développer des pipelines batch exploitant les données issues d’Azure Data Lake


• Participer à la conception d’architectures data scalables et maintenables


• Implémenter les traitements de transformation et contextualisation des données en Python


• Garantir la qualité du code via les bonnes pratiques Clean Code, peer\-review et tests automatisés

Industrialisation \& Performance

• Mettre en place les mécanismes d’observabilité (monitoring, alerting, logging)


• Optimiser les performances des traitements et les coûts d’infrastructure (FinOps)


• Assurer la sécurité, la conformité et la gouvernance des données


• Participer à l’amélioration continue des pipelines et plateformes data

Collaboration \& Expertise

• Traduire les besoins métiers en solutions techniques


• Participer activement aux cérémonies Agile


• Apporter une expertise technique lors des phases de conception


• Résoudre les incidents de production et mettre en œuvre des actions préventives


• Contribuer aux échanges techniques transverses et au partage de bonnes pratiques au sein des Chapters

Environnement technique
---------------------------

Cloud \& Data Platform

• Microsoft Azure


• Azure Functions


• Azure Data Lake Storage Gen2 (ADLS)


• Azure Event Hub


• Azure Container Instances


• Azure Databricks

Développement \& Data Engineering

• Python avancé


• Pandas


• SQL


• Traitements temps réel et batch


• Data transformation \& contextualisation

Qualité \& DevOps

• Git / GitHub


• Pytest


• Ruff / Black


• CI/CD


• Monitoring \& observabilité

Méthodologie
----------------

• Agile / Scrum


• Peer review


• Clean Code


• Domain Driven Design (DDD)

Localisation
----------------

• Paris


• Présence sur site obligatoire : 3 jours/semaine


• Télétravail : 2 jours/semaine

Profil recherché

Expérience
--------------

• Minimum 5 à 8 ans d’expérience en Data Engineering


• Expérience significative sur des environnements Cloud Azure


• Expérience en conception et industrialisation de pipelines de données complexes


• Expérience en environnement Agile à l’échelle

Compétences techniques indispensables
-----------------------------------------

Cloud Azure

• Maîtrise des services Azure Data :

+ Azure Functions
+ Azure Data Lake Storage Gen2
+ Azure Event Hub
+ Azure Container Instances
+ Azure Databricks

• Bonne compréhension des architectures cloud data orientées scalabilité et performance

Data Engineering

• Excellente maîtrise de Python


• Très bonne maîtrise de Pandas


• Solides compétences SQL


• Expérience des traitements :

+ Near Real Time
+ Batch
+ Streaming

• Construction de pipelines de données industrialisés

Bases de données

• Maîtrise des bases relationnelles


• Bonne connaissance des bases NoSQL

Qualité logicielle

• Mise en œuvre de tests automatisés avec Pytest


• Utilisation des outils de linting et formatting (Ruff, Black)


• Pratique du Clean Code et des revues de code


• Sensibilité DevOps et observabilité

Compétences appréciées
--------------------------

• Connaissances en Data Science


• Expérience FinOps


• Connaissance des problématiques de gouvernance et sécurité des données


• Expérience sur des plateformes data industrielles à fort volume

Soft Skills
---------------

• Excellente communication avec les équipes métiers et techniques


• Forte capacité d’analyse et de résolution de problèmes


• Esprit d’équipe et collaboration transverse


• Autonomie et proactivité


• Capacité à évoluer dans un environnement exigeant et international

Cette annonce provient de indeed. Voir l'annonce originale ↗