Data Engineer GCP (IT) / Freelance
Contexte de la missionDans le cadre de l?évolution de ses plateformes data sur Google Cloud Platform, nous recherchons un Data Engineer expérimenté afin d?améliorer la qualité, la performance et l?optimisation des datasets BigQuery.
La mission s?inscrit dans un contexte de forte croissance des volumes de données avec des enjeux majeurs autour de :
la maîtrise des coûts cloud (FinOps),
la fiabilité des données,
la performance des pipelines,
et la préparation des données pour les usages IA.
Objectifs de la missionRéduire les coûts liés aux traitements et aux requêtes BigQuery.
Améliorer la qualité et l?observabilité des données.
Optimiser les pipelines d?ingestion et de transformation.
Accompagner les projets IA via des datasets fiables et industrialisés.
Responsabilités principalesAudit \& Optimisation BigQueryAnalyser les logs et identifier les requêtes coûteuses ou peu performantes.
Mettre en ?uvre les bonnes pratiques BigQuery
partitionnement,
clustering,
optimisation des schémas,
gestion des tables matérialisées et des vues.
Réduire les volumes de données scannées et améliorer les performances globales.
Architecture Data \& PipelinesOptimiser les pipelines d?ingestion et de traitement des données.
Renforcer la robustesse des flux (gestion des erreurs, retry, montée en charge).
Participer à l?industrialisation des traitements via Terraform et les pratiques DataOps.
Data Quality \& ObservabilityDéployer un framework de monitoring et de tests automatisés.
Définir les indicateurs de qualité :
fraîcheur des données,
cohérence des schémas,
volumétrie,
validité des données.
Mettre en place des alertes proactives en cas d?anomalies.
Data \& IACollaborer avec les équipes IA/ML pour fournir des datasets exploitables.
Participer à l?intégration des services GCP liés à l?IA (BigQuery, Vertex AI, etc.).
Être force de proposition sur les usages Data \& IA.
Profil candidat:
Profil recherchéCompétences techniques indispensablesExpertise BigQuery.
Très bonne maîtrise de SQL et Python.
Expérience confirmée sur Google Cloud Platform.
Bonne maîtrise de Terraform.
Expérience en optimisation de coûts cloud / FinOps.
Connaissance des problématiques de Data Quality et Data Observability.
Qualités attenduesForte capacité d?analyse et d?audit technique.
Approche orientée performance et amélioration continue.
Curiosité autour des sujets IA et innovation Data.
Autonomie et capacité à évoluer dans des environnements complexes.
Livrables attendusRapport d?audit des coûts et recommandations d?optimisation.
Dashboard de monitoring de la qualité des données.
Documentation technique des optimisations mises en place.
Amélioration mesurable des performances et des coûts BigQuery.
Informations complémentairesEnvironnement GCP / BigQuery / Terraform / Python.
Anglais professionnel requis.
Contexte agile et collaboratif.
Démarrage : ASAP.
Cette annonce provient de indeed. Voir l'annonce originale ↗