Contexte :
Dans le cadre d’un projet Groupe englobant 5 divisions métiers, nous recherchons un Data Engineer dont la responsabilité sera de mettre en place un Datalayer ainsi qu’une série d’indicateurs qui a été demandée par le métier. Il ou elle devra mettre en œuvre également les users stories créées par un PPO.
Equipe composée de 4 chefs de projet BI et 1 architecte big data. A terme sera complétée par 2 consultants BI, 2 PPO et 1 DE.
Mission:
– Spécification et développement dans cette nouvelle infrastructure (Cloudera)
– Scripting en Scala pour l’intégration et la transformation des données dans Cloudera
– Préparation des jeux de données pour du reporting en PowerBI.
Le data Engineer devra avoir une expérience réussie dans ce type d’intervention dans un environnement Cloudera serait un plus.
Technologie :
• Apache Spark
• Scala
• Python
• Apache Hive avec maitrise du langage HiveQL
• Apache Nifi*
• Apache Kafka*
• Apache Airflow*
• Utilisation de l’IDE IntelliJ*
* = Nice to have.
1 jour de TTV au démarrage possible de passer à 2 par la suite.