Ingénieur Data Spark/ScalaContexte (IT) / Freelance
Au sein de la Direction des Systèmes d?Information d'un groupe d'assurance de premier plan, vous intégrez l'équipe dédiée à la gestion courante et au pilotage du socle décisionnel.
Dans un écosystème Big Data d'envergure collectant les données des différents back\-offices métiers pour alimenter un lac de données (Data Lake) et un entrepôt communautaire hébergé sur une architecture de haute performance (Oracle Exadata), vous garantissez la continuité d'activité, la qualité de service et l'évolution des pipelines de traitement.
Vos principales responsabilités :
Suivi de production \& exploitation : Assurer la supervision et le monitoring quotidien des chaînes de traitement de données distribuées (batch et streaming).
Gestion des incidents \& reprises de données : Diagnostiquer, instruire et résoudre les incidents fonctionnels et applicatifs sur les jobs Spark / Scala, en orchestrant les reprises de données nécessaires sans altérer la qualité de service.
Maintenance évolutive \& corrective : Développer et implémenter les correctifs et les évolutions mineures demandées par les métiers ou les équipes projets.
Recette, tests et déploiements : Rédiger les plans de tests, exécuter les scénarios de validation unitaire et d'intégration, puis assurer la livraison sécurisée des patchs en environnement de production.
Documentation \& gouvernance : Rédiger les spécifications des correctifs, maintenir à jour la documentation d'exploitation et assurer un reporting rigoureux auprès du chef de projet.
Profil candidat:
Expérience : Au moins 5 ans d'expérience en développement et maintien en condition opérationnelle (MCO/TMA) d'écosystèmes Big Data volumétriques.
Socle technique incontournable :
Langages : Maîtrise confirmée de Scala et Java, bonne pratique du scripting Shell/Bash sous environnement Linux / Unix.
Écosystème Hadoop / Processing distribué : Excellente pratique de Spark (Spark Core, Spark SQL, Spark Streaming), Hadoop / HDFS, Hive, YARN, et Oozie (ou ordonnanceur similaire type OpCon).
Formats de données \& messaging : Pratique des formats columnar et sérialisés (Parquet, Avro, JSON) ainsi que des flux de messagerie (Kafka).
Bases de données : Connaissance opérationnelle solide de bases relationnelles (Oracle / SQL, idéalement contexte Exadata) et NoSQL (MongoDB).
Environnement \& outils : Cloudera, Mesos, Git.
Atout différenciant : Une première exposition aux technologies Cloud (notamment Google Cloud Platform \- GCP) est un plus valorisé.
Qualités relationnelles (Soft Skills) :
Rigueur d'analyse face aux incidents complexes et sens aigu du respect des engagements de service (SLA/QoS).
Qualité rédactionnelle pour documenter clairement les correctifs et procédures.
Bon relationnel, autonomie et transparence dans le reporting.
Cette annonce provient de Indeed. Voir l'annonce originale ↗