DATA ENGINEER GCP/DBT/Pyspark
Contexte : migration de On premise vers GCP En tant que Data Engineer, vous serez au c?ur de notre stratégie data. Vous concevrez et mettrez en ?uvre des solutions innovantes pour collecter, transformer et stocker nos données massives. Votre expertise technique sera essentielle pour les projets et offrir des insights précieux à nos équipes métiers. Vos missions : Conception et développement: Définir et mettre en ?uvre des architectures de données robustes (data lakes, data warehouses). Concevoir et développer des pipelines de données automatisés (ETL). Optimiser les performances des traitements de données. Technologies: Maîtrise des langages de programmation : Python, Scala, SQL. Expérience avec les outils de traitement de données : Spark, Hadoop, Kafka. Connaissance des bases de données relationnelles et NoSQL. Expérience avec les clouds (GCP) Collaboration: Travailler en étroite collaboration avec les équipes métiers. Participer à la définition de la roadmap data.
Profil candidat:
Profil recherché Profil recherché : Nous recherchons un(e) Data Engineer disposant de solides compétences en traitement de données massives et en conception de pipelines data performants. Compétences attendues : Bonne connaissance des technologies Hadoop, Spark et des processus ETL Excellentes compétences en SQL, Python et/ou Scala Expérience sur des environnements Cloud, idéalement GCP (Dataproc, BigQuery) Capacité à concevoir, développer et optimiser des Data Pipelines Curiosité, rigueur et forte capacité d?analyse et de résolution de problèmes complexes Bon relationnel, esprit d?équipe et bonnes compétences en communication Mots\-clés : Data Engineer, Big Data, Hadoop, Spark, SQL, Python, Scala, DBT, Airflow, Cloud, Dataproc, BigQuery, Data Pipeline, ETL.
Cette annonce provient de indeed. Voir l'annonce originale ↗