Data Engineer GCP - Freelance (H/F)
Taux journalier (TJM): 400 Projet stratégique « Risques Climatiques & Physiques » visant à ingérer, agréger et exposer des données de sources multiples pour produire des rapports métier sur le risque de crédit. Mission Data Engineer au sein d'une équipe experte sur un sujet à forts enjeux et forte visibilité. CONTEXTE - Au sein du Groupe BPCE et de l'entité Technologie & Opérations, la DSI Corporate met en place le projet « Risques Climatiques & Physiques ». - La mission se déroule dans le domaine « Pertes, Garanties et Entrepôt Risques ». - Le projet vise à produire des rapports métier sur le scope de la surveillance du risque de crédit. - Le projet est stratégique et à forte visibilité. MISSIONS - Participer à la réalisation du projet basé sur Google Cloud Platform. - Développer et intégrer des solutions Python Spark avec les services data et compute de Google Cloud Platform. - Développer et construire des infrastructures de données d'un point de vue système et sécurité. - Assurer la collecte, le stockage et l'exploitation des flux de données. - Garantir l'accès qualitatif aux sources de données pour alimenter les espaces de stockage et faciliter leur exploitation par les Data Scientist et Data Analyst. - Définir la structure des métadonnées. - Industrialiser les modèles de Machine Learning. - Maintenir et participer au suivi du RUN des applications et modèles développés. - Cartographier et documenter les sources de données. - Assurer la maintenance des applications déployées en production et des infrastructures associées. - Concevoir des solutions permettant le traitement de volumes importants de flux de données. - Structurer les bases de données. - Sémantique - Format - Contribuer à la gestion des référentiels de données. - Capter et stocker les données structurées ou non structurées produites dans les applications ou venant de l'extérieur de l'entreprise. - Assurer la supervision et l'intégration des données de diverses natures provenant de sources multiples. - Vérifier la qualité des données et s'assurer de leur sécurité. - Assister les Data Scientists dans l'optimisation des performances techniques des modèles de Machine Learning. - Rester en alerte sur les technologies liées au traitement et à la manipulation de la donnée et identifier les solutions utilisables. - Proposer des évolutions pour les infrastructures et solutions de données en place. ORGANISATION & QUOTIDIEN - Mission au sein d'une équipe engagée et experte sur le sujet. CONDITIONS - Date de démarrage : ASAP. - Libellé de la prestation : IT généraliste - Data Engineer - IDF. NIVEAU D'EXPÉRIENCE - Séniorité entre 3 et 6 ans. COMPÉTENCES TECHNIQUES - Développement et intégration de solutions data et compute sur Google Cloud Platform. - Maîtrise de la partie DevOps. OUTILS - Python - Spark - Google Cloud Platform - BigQuery - Dataproc - Composer - Cloud Functions - Cloud Run Jobs - GCS - XLD - Terraforme - jenkins SOFT SKILLS - Bonne communication. - Autonomie. - Fluidité du travail en équipe.
Cette annonce provient de France Travail. Voir l'annonce originale ↗