Data Engineer Big Data (BigQuery / dbt / Airflow) H/F - CDI
Salaire: 40 000 € - 70 000 € par an Tu es passionné(e) par la Data Engineering et tu aimes concevoir des plateformes de données performantes capables de traiter des volumes massifs sur le Cloud ? BigQuery, dbt et les architectures GCP font partie de ton quotidien ? Rejoins la Guild Data Factorii en tant que Data Engineer BigQuery / dbt et participe à des projets stratégiques de transformation data au sein d'un environnement technique de pointe. Mais qu'est-ce que l'équipe Data Factorii adresse ? En tant que Data Engineer H/F, tes missions seront de :
• Concevoir et développer des pipelines de données performants : construire, maintenir et faire évoluer des traitements ELT/ETL robustes capables de gérer de très grands volumes, tout en garantissant leur qualité et leur performance.
• Modéliser la donnée : participer à la conception de modèles de données adaptés aux besoins analytiques et métier, en garantissant leur cohérence et leur évolutivité.
• Développer et industrialiser les transformations avec dbt : écrire, tester et documenter les modèles dbt, mettre en place des tests de qualité de données et fiabiliser les couches de transformation.
• Optimiser les performances sur BigQuery : travailler le partitionnement, le clustering et le tuning des requêtes pour garantir performance et maîtrise des coûts.
• Orchestrer les traitements de données : planifier, monitorer et fiabiliser les pipelines via Apache Airflow / Cloud Composer.
• Contribuer à l'intégration de flux temps réel : participer à l'intégration de flux Kafka / Pub-Sub au sein des pipelines de traitement de données.
• Industrialiser les développements Data : automatiser les déploiements et garantir la qualité des livrables grâce à Git et aux pipelines CI/CD (GitLab CI).
• Collaborer avec les équipes techniques et métiers : travailler en étroite collaboration avec les équipes de développement, de production et les différents interlocuteurs métier afin de proposer des solutions adaptées aux enjeux business.
• Participer à l'amélioration continue : être force de proposition sur les évolutions techniques, les performances des traitements et les bonnes pratiques de développement. Concrètement, qu'est-ce qu'on demande ? En 1er, un savoir-être en phase avec notre culture :
• Tu es curieux(se) et passionné(e) par les technologies Data.
• Tu apprécies le travail en équipe et sais collaborer dans des environnements agiles.
• Tu fais preuve de rigueur, d'autonomie et d'un fort esprit d'analyse.
• Tu es force de proposition et aimes relever des défis techniques. En 2nd, un bagage technique solide :
• Une expérience de plus de 5 ans en tant que Data Engineer.
• Une excellente maîtrise de SQL et de BigQuery sur des traitements de gros volumes de données (niveau expert exigé).
• Une solide expérience sur Google Cloud Platform (GCP).
• Une bonne maîtrise de dbt pour la transformation et la documentation des données.
• Une expertise confirmée en modélisation de la donnée, en traitement ELT/ETL et en optimisation/performance des requêtes.
• Une bonne connaissance des architectures de data streaming (Kafka, Pub/Sub).
• Une expérience avec Apache Airflow / Cloud Composer.
• Une maîtrise des outils Git, CI/CD (GitLab CI) et des environnements Linux.
• Une expérience en méthodologie Agile / Scrum. Les petits plus qui feront la différence :
• Une connaissance de BigTable, ElasticSearch et Kubernetes.
• Une sensibilité aux enjeux de coûts et de performance sur GCP.
• Une expérience sur des plateformes Data à très grande échelle. Et surtout, tu as envie de participer à des projets ambitieux où la Data est au cœur de la stratégie des entreprises ? Alors rejoins Data Factorii et construisons ensemble les plateformes Data de demain ! Ce que nous t'offrons ?
• Un salaire attractif qui évolue en
Cette annonce provient de France Travail. Voir l'annonce originale ↗