Nous sommes à la recherche d’un Data Engineer expérimenté pour rejoindre les équipes de l’un de nos clients dans le secteur du Transport. L’ objectif du projet est de mettre en place un Datalayer avec Cloudera. Notre objectif est de spécifier et développer une série d’indicateurs au sein de cette nouvelle infrastructure.
En tant que Data Engineer, vous serez responsable de mettre en œuvre les users stories créées par notre Product Owner/Product Owner (PPO) en utilisant votre expertise en Scala.
Votre rôle consistera à développer des scripts en Scala pour l’intégration et la transformation des données dans Cloudera, afin de créer un modèle de données BI exploitable ultérieurement par Power BI.
Notre équipe de développement est composée d’un Delivery Manager, d’un Data Engineer confirmé et d’un apprenti en devenir (Data Engineer).
En tant que nouvelle ressource, vous viendrez compléter notre équipe et travaillerez sur les développements dans Cloudera en utilisant l’outil Apache Iceberg. Le projet démarre de zéro, ce qui offre une excellente occasion de monter en compétences et de mettre en place les meilleures pratiques de développement sur ce périmètre.
Pour réussir dans ce rôle, vous devez avoir une expérience réussie dans ce type d’intervention. Les compétences techniques requises incluent :
Apache Spark
Scala
Apache Iceberg*
Apache Nifi*
Apache Kafka*
Apache Airflow*
Utilisation de l’IDE IntelliJ*
Qlik Replicate*
(* = Souhaitable)
Il s’agit d’un poste à temps plein pour une mission longue, avec un démarrage dès que possible.