Data Engineer Databricks TJM max 600
MissionsDéveloppement \& Architecture DataConcevoir et développer des pipelines de données sur Databricks (PySpark, Spark SQL, Delta Live Tables).
Mettre en place des architectures Lakehouse basées sur Delta Lake.
Industrialiser les workflows ETL/ELT avec Databricks Workflows.
Administration de la plateforme DatabricksAdministrer les environnements Databricks (workspaces, clusters, permissions).
Optimiser les coûts via la configuration, l'autoscaling et le monitoring des clusters.
Mettre en ?uvre les bonnes pratiques de sécurité (Unity Catalog, gestion des accès, lineage).
Gouvernance \& Qualité des donnéesDéployer des mécanismes de contrôle qualité et de validation des données (expectations, tests).
Documenter les modèles de données et les flux.
Garantir la fiabilité, la disponibilité et la fraîcheur des données.
CollaborationCollaborer avec les équipes Data, Analytics, IA et les métiers.
Accompagner les utilisateurs dans l'adoption de la plateforme Databricks.
Participer aux revues de code, à la standardisation des développements et au partage des bonnes pratiques.
Compétences techniques requisesExcellente maîtrise de PySpark et/ou Spark SQL.
Expérience significative sur Databricks (pipelines, notebooks, clusters, Unity Catalog).
Bonne connaissance des architectures Lakehouse.
Solides compétences en ETL/ELT, modélisation de données et ingestion batch/streaming.
Expérience sur un environnement Cloud (Azure, AWS ou GCP).
Maîtrise de Git et des outils de CI/CD (Azure DevOps, GitHub Actions ou équivalent).
Compétences appréciéesConnaissances de MLflow et des pratiques MLOps.
Sensibilité aux approches DataOps, à l'optimisation des coûts et au monitoring.
Expérience avec les APIs et les flux temps réel (Kafka ou technologies similaires).
Profil recherchéBac\+5 en informatique, data ou équivalent.
2 à 5 ans d'expérience en Data Engineering, avec une expertise sur Databricks.
Esprit d'équipe, autonomie, rigueur, bonnes capacités de communication et goût pour la documentation.
Profil candidat
Profil recherchéBac\+5 en informatique, data ou équivalent.
2 à 5 ans d'expérience en Data Engineering, avec une expertise sur Databricks.
Esprit d'équipe, autonomie, rigueur, bonnes capacités de communication et goût pour la documentation.
Cette annonce provient de indeed. Voir l'annonce originale ↗