Data Engineer expérimenté Snowflake / Cloud (IT) / Freelance
Notre client dans le secteur Banque et finance recherche un/une Data Engineer expérimenté Snowflake / Cloud H/F
Description de la mission :
Contexte
Dans le cadre du développement de l?IA générative au sein de ses applications, l?organisation souhaite renforcer son chapitre Data / entrepôt de données afin de porter les évolutions de patterns liés à la plateforme Data Snowflake et de traiter les ingestions de données sur cette plateforme, qu?elles soient structurées ou non structurées.
La mission s?inscrit dans la construction et l?industrialisation des fondations data des cas d?usage IA liés à la relation client, ainsi que dans la mise en place d?une plateforme de pilotage de la relation client. L?équipe couvre l?ensemble de la chaîne de valeur : collecte des données produites par la plateforme de centre de contacts et par les cas d?usage IA, structuration dans Snowflake, croisement avec les données du SI, et mise à disposition pour le pilotage du programme, le suivi de la qualité opérationnelle et l?amélioration des produits IA.
Mission
La mission consiste à concevoir, mettre en ?uvre et industrialiser les modèles de données, pipelines d?ingestion et dispositifs de gouvernance nécessaires à l?exploitation des données d?interactions relation client dans Snowflake, en environnement Cloud, avec une forte composante qualité, pilotage et réutilisabilité.
Le consultant interviendra également sur la conception de nouveaux patterns techniques liés à l?ingestion, la manipulation et la restitution de données, ainsi que sur l?accompagnement des équipes IT et métier dans le déploiement et la prise en main de la plateforme Data.
Principales responsabilités
Définir le modèle de données cible « relation client IA » dans Snowflake : schémas, bases, conventions et dictionnaire de données, en cohérence avec le modèle de reporting existant de la plateforme de centre de contacts
Construire les déversements Amazon Connect vers Snowflake et les pipelines d?ingestion associés
Compléter le modèle CTR natif avec les attributs des cas d?usage IA absents du modèle standard : résumé d?appel généré et modifié, motif retenu, latence, retours utilisateurs, puis indicateurs voicebot et chatbot selon la trajectoire produit
Mettre en place les contrôles qualité, la supervision et les mécanismes de reprise des pipelines
Croiser les données d?interactions avec les données des plateformes d?IA et des applications du SI afin de construire une vision consolidée relation client multi\-produits
Mettre en place la plateforme de pilotage de la relation client avec indicateurs de qualité et de quantité des interactions, en pilotage à chaud et à froid
Intégrer les données issues des transcriptions et alimenter mensuellement les instances de pilotage du programme
Définir les contrats d?interface avec les producteurs de données et les règles de gouvernance et de conformité, notamment sur les durées de conservation et les finalités analytiques
Intégrer au modèle les futurs cas d?usage dès leur conception, notamment assistants conseillers, voicebot et chatbot
Contribuer au cadrage des nouveaux besoins techniques liés à la plateforme Snowflake
Participer à l?évolution de la plateforme Data sur les volets gouvernance, contrôles et automatisation
Participer aux choix technologiques de l?offre à mettre en place
Analyser les documents d?architecture des assets à faire évoluer et définir les nouveaux patterns d?architecture fonctionnelle, applicative et technique
Documenter les patterns retenus à un niveau de détail suffisant pour leur réutilisation
Accompagner les équipes dans la prise en main de la plateforme Data
Environnement technique
Data platform : Snowflake, DBT
Langages : SQL, Python, Shell
Cloud : AWS, Terraform
Contact center : Amazon Connect
Orchestration / notebooks / MLOps : Airflow, MLflow, Jupyter
Conteneurs / plateforme : Kubernetes, EKS
CI/CD et outillage : GitLab, Artifactory, SonarQube
Architecture : architectures Data, architectures de flux, ingestion de données structurées et non structurées
Sécurité et conformité : sensibilité aux problématiques de sécurité et normes associées
Livrables attendus
Modèle de données cible documenté avec dictionnaire
Pipelines en production, supervisés et documentés, avec jeux de contrôle qualité
Vision consolidée des données d?interactions exploitable dans Snowflake
Plateforme de pilotage de la relation client alimentée avec indicateurs de qualité et de quantité, vues à chaud et à froid, et socle de KPIs mensuel pour les instances de pilotage
Contrats d?interface et règles de gouvernance des données IA
Profil recherché
Expérience
Profil expérimenté en Data Engineering sur plateforme Snowflake / Cloud
Expérience avérée sur une plateforme Snowflake
Capacité à travailler dans un contexte multi\-site, multi\-entité et international
Compétences techniques
Expertise Snowflake
Maîtrise de SQL, Python et Shell
Maîtrise de DBT
Bonne connaissance des architectures Data et de leur écosystème
Bonne maîtrise des architectures et services Cloud, avec AWS en priorité
Connaissance de Terraform
Maîtrise des architectures de flux
Connaissance de Kubernetes / EKS
Connaissance d?Airflow, MLflow et Jupyter
Connaissance des chaînes CI/CD : GitLab, Artifactory, SonarQube
Sensibilité aux problématiques de qualité de données, de gouvernance, de sécurité et de conformité
Compétences personnelles
Capacité à mobiliser, fédérer et créer une vision commune
Bonne communication écrite et orale
Langues
Anglais lu et parlé de manière professionnelle
Compétences / Qualités indispensables :
Snowflake, SQL et Python, AWS / Cloud, Modélisation de données, Pipelines d?ingestion data, Qualité et gouvernance des données
Informations concernant le télétravail :
Oui ? 2 jours/semaine
Profil candidat:
Snowflake
SQL et Python
AWS / Cloud
Modélisation de données
Pipelines d?ingestion data
Qualité et gouvernance des données
Cette annonce provient de Indeed. Voir l'annonce originale ↗