Data Engineer Streaming (Java / Kafka Stream / Spark) H/F - CDI
Salaire: 40 000 € - 65 000 € par an Tu es passionné(e) par la Data Engineering et tu aimes concevoir des plateformes de streaming capables de traiter des flux de données en temps réel ? Java, Scala, Kafka et les architectures orientées événements font partie de ton quotidien ? Rejoins la Guild Data Factorii en tant que Data Engineer Java / Kafka et participe à des projets stratégiques de transformation data au sein d'un environnement technique de pointe. Mais qu'est-ce que l'équipe Data Factorii adresse ? En tant que Data Engineer H/F, tes missions seront de :
• Concevoir et développer des traitements de données distribués : construire, maintenir et faire évoluer des applications de streaming performantes avec Kafka Streams, capables de gérer de très grands volumes tout en garantissant leur fiabilité.
• Développer des architectures orientées événements (Event-Driven) : participer à la conception de plateformes de streaming temps réel exploitant Kafka et Pub/Sub.
• Développer des services et API robustes : concevoir, développer et maintenir des composants applicatifs en Java et/ou Scala, en t'appuyant sur SpringBoot.
• Contribuer aux traitements ELT/ETL : participer au développement et à l'évolution des traitements de transformation de données au sein des pipelines existants.
• Orchestrer les traitements de données : planifier, monitorer et fiabiliser les pipelines via Apache Airflow / Cloud Composer.
• Industrialiser les développements Data : automatiser les déploiements et garantir la qualité des livrables grâce à Git et aux pipelines CI/CD (GitLab CI).
• Collaborer avec les équipes techniques et métiers : travailler en étroite collaboration avec les équipes de développement, de production et les différents interlocuteurs métier afin de proposer des solutions adaptées aux enjeux business.
• Participer à l'amélioration continue : être force de proposition sur les évolutions techniques, les performances des traitements et les bonnes pratiques de développement. Concrètement, qu'est-ce qu'on demande ? En 1er, un savoir-être en phase avec notre culture :
• Tu es curieux(se) et passionné(e) par les technologies Data.
• Tu apprécies le travail en équipe et sais collaborer dans des environnements agiles.
• Tu fais preuve de rigueur, d'autonomie et d'un fort esprit d'analyse.
• Tu es force de proposition et aimes relever des défis techniques. En 2nd, un bagage technique solide :
• Une expérience de 5 ans minimum en tant que Data Engineer.
• Une maîtrise confirmée de Java et/ou avec une bonne connaissance de Scala.
• Une expérience significative en développement de traitements de streaming avec Kafka Streams.
• Une bonne maîtrise des architectures de data streaming (Kafka, Pub/Sub).
• Une bonne maîtrise de Spring Boot pour le développement d'API et de services.
• Une expérience en traitement de données ETL/ELT.
• Une expérience avec Apache Airflow / Cloud Composer.
• Une maîtrise des outils Git, des chaînes CI/CD (GitLab CI) et des environnements Linux.
• Une expérience des méthodologies Agile / Scrum. Les petits plus qui feront la différence :
• Une connaissance d'Apache Spark pour les traitements batch et distribués.
• Une expérience avec BigQuery, Bigtable et Elasticsearch.
• Une expérience en développement d'API avec Scalatra et en déploiement d'applications sur Kubernetes.
• Une bonne compréhension des enjeux de performance, de scalabilité et d'industrialisation des traitements Data à grande échelle.
• Une expérience des bonnes pratiques d'observabilité (monitoring, logging, alerting) serait appréciée. Et surtout, tu as envie de participer à des projets ambitieux où la Data est au cœur de la stratégie des entreprises ? Alors rejoins Data Factorii et construisons ensemble les plateformes Data de demain ! Ce que nous t'offrons ? *
Cette annonce provient de France Travail. Voir l'annonce originale ↗