Data Engineer Senior - Databricks - Paris (IT) / Freelance
Dans le cadre d'un renforcement d'une équipe Data pour un de nos clients, nous recherchons un Data Engineer Senior spécialisé Databricks pour intervenir sur des projets de transformation et d?industrialisation des plateformes Data.
Vous participerez à la conception, au développement et à l?optimisation de pipelines de données robustes, performants et scalables, dans des environnements Lakehouse et Cloud.
Vos principales responsabilités seront :
Concevoir, développer et maintenir des pipelines de données sur Databricks.
Développer des traitements distribués avec Apache Spark / PySpark.
Assurer l?ingestion, la transformation et la mise à disposition des données.
Concevoir et faire évoluer les différentes couches d?un Data Lake / Lakehouse.
Mettre en ?uvre les bonnes pratiques Medallion Architecture.
Travailler avec Delta Lake / Delta Tables.
Participer à la conception et à l?évolution de l?architecture Data.
Optimiser les performances et la scalabilité des traitements.
Industrialiser les développements et les déploiements.
Mettre en place et maintenir les pipelines CI/CD.
Utiliser Git pour la gestion, le versioning et la revue du code.
Contribuer à l?automatisation et, lorsque nécessaire, aux pratiques Infrastructure as Code.
Participer à l?amélioration continue de la plateforme Data et aux choix techniques.
Profil candidat:
De formation supérieure en informatique, data ou domaine équivalent, vous justifiez d?une expérience significative en Data Engineering et avez une expertise confirmée sur Databricks.
Vous maîtrisez notamment :
Databricks
Apache Spark / PySpark
Python
SQL
Delta Lake / Delta Tables
Architectures Data Lake / Lakehouse
Principes Medallion Architecture
Git et les pratiques de développement collaboratif
CI/CD et industrialisation des traitements
Vous disposez également d?une expertise approfondie sur au moins un Cloud Provider parmi :
Azure : Azure Databricks, ADLS, Data Factory, Event Hubs?
AWS : Databricks, S3, Glue, Redshift, Kinesis?
GCP : Databricks, GCS, BigQuery, Pub/Sub?
Une expérience sur Terraform / Infrastructure as Code, ainsi qu?une bonne connaissance des problématiques de performance, volumétrie et scalabilité seront appréciées.
Vous êtes autonome, force de proposition et à l?aise dans des environnements techniques complexes.
Cette annonce provient de Indeed. Voir l'annonce originale ↗