Data Engineer Hadoop/PySpark – Charenton-le-Pont (IT) / Freelance
Nous recherchons pour le compte de notre client dans le domaine de la banque, un(e) Data Engineer Hadoop/PySpark.
Environnement technique
Hadoop, Python, PySpark, Hive, SQL, Git, Jenkins, Jira, Shell scripting (Unix/Linux), méthodologie Agile/SCRUM. Un plus : Indexima, Alteryx, Altair, GCP/BigQuery, bibliothèques Python orientées API.
Contexte
Au sein de la direction IT d'un grand groupe bancaire, l'équipe Technologies \& Opérations met à disposition des différents pôles métiers (transformation, workplace, banque de proximité) l'ensemble des applications nécessaires à leur activité. Dans ce cadre, le consultant interviendra en soutien à l'équipe de production applicative et devops sur les évolutions techniques du datalake du CIO Office.
Missions
Concevoir et déployer de nouveaux flux d'ingestion ainsi que des traitements de préparation et transformation de données
Faire évoluer et fiabiliser les pipelines de données existants, combinant PySpark et scripts shell
Assurer l'interface avec l'équipe devops pour transmettre les besoins d'évolution de la plateforme
Contribuer à la fiabilité, la performance et la qualité globale du datalake
Compétences attendues
Hadoop, PySpark, Python, Hive, SQL, Git, Jenkins, Jira, Shell Unix/Linux, Agile/SCRUM, Anglais professionnel, Indexima, Alteryx, Altair, GCP/BigQuery, API Python
Profil candidat:
Vous justifiez d'une expérience confirmée sur un poste similaire et maîtrisez l'écosystème Hadoop ainsi que le développement Python/PySpark. Autonome et curieux(se), vous savez évoluer dans un environnement technique en constante mutation, avec une bonne capacité d'analyse pour résoudre des problématiques complexes. Un anglais professionnel est requis pour échanger avec des interlocuteurs internationaux.
Cette annonce provient de Indeed. Voir l'annonce originale ↗