Senior Data Engineer / Expert Dataplatform (GCP) (IT) / Freelance
Fiche de poste ? Senior Data Engineer / Expert Dataplatform (GCP)
Contexte \& Organisation
Le Pôle Data est structuré autour du modèle Spotify :
Une Dataplatform en pleine transformation, composée de 4 experts
Architectes / Développeurs GCP \& BigQuery
Maintenance de l?existant \+ évolution de la plateforme
Début d?un chantier majeur de construction début 2025 (v1 en cours, forte ambition d?évolution)
Outils \& écosystème :
GCP (Cloud Run, Cloud Function, Pub/Sub, Vertex AI, BigQuery)
Airflow (orchestration)
Dataform (concurrent DBT ? SQL)
Terraform pour le provisioning
Modèle Data type médaillon
Pratique Data Engineer moderne \+ enjeux d?observabilité / finops / sécurité
Objectifs du poste
Renforcer l?équipe Dataplatform avec un profil senior ayant déjà participé à la construction d?une Dataplatform et capable d?accélérer l?industrialisation des pipelines et des outils d?ingestion.
Le rôle vise à :
Faciliter et accélérer le travail des Data Engineers
Améliorer l?expérience de construction de pipelines de données
Structurer et fiabiliser l?ingestion et le transfert de données, encore peu industrialisés
Apporter une expertise de haut niveau sur GCP \& Data Engineering
Missions principales
1\. Gouvernance \& Contrôle de la plateforme
Assurer un contrôle global de la Dataplatform et accompagner les Data Engineers dans les bonnes pratiques d?industrialisation.
Identifier les axes d?amélioration techniques et proposer des solutions robustes.
Participer aux choix d?architecture technique et Data (modèle médaillon).
2\. FinOps, Observabilité \& Sécurité
Définir et mettre en ?uvre les standards d?observabilité.
Garantir la performance, la robustesse et la sécurité de la plateforme.
Suivre les coûts et proposer des optimisations FinOps.
Automatiser le provisioning via Terraform.
3\. Développement \& Industrialisation
Concevoir et industrialiser les pipelines : Cloud Run, Cloud Functions, Pub/Sub, Airflow, Vertex AI.
Contribuer à résorber la dette technique.
Développer et industrialiser les briques d?ingestion et de transformation.
4\. Animation \& Documentation
Participer à la mise à disposition de nouveaux outils et à la documentation associée.
Assurer une démarche d'amélioration continue du run.
Animer une équipe de Data Engineer chaque vendredi:
partage de bonnes pratiques
suivi des évolutions de la Dataplatform
retours d?expérience et recommandations
5\. Innovation \& IA
Apporter une vision sur l?usage de l?IA (générative et traditionnelle) pour :
réduire les coûts
améliorer la productivité
faciliter le travail des collaborateurs
Contribuer à des projets Vertex AI / ML (ambition forte vers l?IA)
Profil candidat:
Profil recherché
Compétences techniques
Excellente maîtrise de GCP (BigQuery, Cloud Run, Cloud Function, Pub/Sub, Vertex AI).
Très bonne connaissance d?Airflow (orchestration, ingestion massive, optimisation des DAGs).
Expertise en SQL / Dataform / transformation.
Maîtrise de Terraform.
Connaissance solide des architectures Data modernes (médaillon, Data Lakehouse).
Expérience significative en construction de Dataplatform (critère essentiel).
Compréhension des usages IA/ML.
Soft skills \& mindset
Force de proposition, capacité à défendre ses idées.
Esprit collaboratif, adapté au management horizontal.
Capacité à accompagner, structurer et faire monter en compétence les autres Data Engineers.
Aptitude à documenter, vulgariser et transmettre.
Expérience \& certifications
Expérience confirmée (senior).
Participation à la construction d?une Dataplatform (impératif).
Certification GCP Data Engineer et/ou Professional Cloud Architect appréciée.
Cette annonce provient de Indeed. Voir l'annonce originale ↗