Mise en contexte :

  • Notre client s’est doté d’un environnement Big Data Hadoop (distribution Cloudera CDH 6, CDP prochainement) qui est « désensibilisé » au sens du règlement RGPD et de la norme PCI-DSS (Payment Card Industry – Data Security Standards). La désensibilisation des données entrant dans le Big Data se fait au travers d’une autre plateforme dénommée SI-PCI.

 

Principales activités :

  • Sur la partie Cloudera Big Data (Pyspark , Scala, Impala, Hive, Oozie …) :
    – Contribuer à la reprise d’historique de nos données du Big Data pour intégrer une nouvelle fonction d’anonymisation ;
    – Mettre en place un programme de suivi qualitatif des données ingérées dans le Data Lake en fonction des spécifications fournies par la MOA ;
    – Faire la reprise de différents traitements « historiques » (ingestion, analyse syntaxique (parsing), prise en compte des règles de gestion, stockage dans les BDD, etc.).
  • Faire la reprise des principales fonctions et programmes de la Lutte Contre La Fraude (LCLF) ;
  • Préparer les données issues du Big Data pour pouvoir les consommer avec l’outil de DataViz Tableau Server en tenant compte des contraintes de performances et de simplicité d’intégration via cet outil ;
  • Participer à la mise en place des tâches d’ordonnancement d’Oozie.
  • Sur la partie SI-PCI (Kubernetes, Jenkins, Python, Mysql Percona, Elasticsearch, Grafana), plateforme soumise aux bonnes pratiques de développement exigées par la norme PCI-DSS :
    – Organiser la migration des différents flux « legacy » nécessitant l’anonymisation des données : cette tâche consiste à récupérer les flux sur la plateforme historique ou directement depuis nos partenaires, les anonymiser avec la fonction d’anonymisation (déjà en place), les enrichir puis les envoyer sur la plateforme Big Data ;
    – Développer un nouvel applicatif de mise à jour des données cartes : interrogation d’une API partenaire, désensibilisation des données, enrichissement puis alimentation du DataLake CB ;
    – Migrer et adapter sur la plateforme SI-PCI un applicatif écrit en Python permettant de suivre les commissions d’interchange : cette tâche peut être scindée en deux (une partie, sur le SI-PCI, d’anonymisation et de récupération d’information avec nos partenaires, l’autre partie sur Big Data) ;
    – Participer à l’étude technique (puis réalisation si l’étude est concluante) de mise en place d’une solution de Data Streaming (type Kafka, Spark Streaming).

 

Les différents flux à intégrer sont :

  • Flux de déclaration de fraude ;
  • Flux de déclaration des impayés ;
  • Mises en opposition ;
  • Flux de déclaration de compensation et interchanges ;
  • Demandes d’autorisation ;
  • Mise à jour des données cartes (MDC).

 

Profil recherché :

  • Excellent niveau en Python ;
  • Capacité d’adaptation et force de proposition ;
  • Travail en équipe ;
  • Être familier avec les principes du DevOps.

 

 

Postulez ici !