Infrastructure de données:
• Cartographie et documente les sources de données.
• Contribue à assurer la maintenance du produit déployé en production et des infrastructures.
• Conçoit les solutions permettant le traitement de volumes importants de flux de données et ceci en toute sécurité
• Structure les bases de données (sémantique, format, etc.).
• Contribue à la gestion des référentiels de données
Intégration des données:
• Capte et stocke, en toute sécurité, les données (structurées ou non) venant de l’extérieur de l’entreprise.
• Assure la supervision et l’intégration des données de diverses natures qui proviennent de sources multiples.
• Vérifie la qualité des données qui entrent dans le produit et s’assure de leur sécurité.
• Nettoie la donnée (élimination des doublons…) et la valide pour une utilisation en aval en coordination avec les Data Analysts et Data Scientists opérant sur le produit.
Automatisation des Chaînes de Traitement de données / Déploiement d’Algorithme :
• Met en œuvre l’automatisation de chaîne de traitement de données et de déploiement d’Algorithme ML
Le produit DHA s’appuie sur les technologies suivantes :
– Nifi pour l’ingestion de données ;
– Amazon EMR pour les traitements de données ;
– Amazon EKS et Mongo dB pour la mise à disposition des données.
Les développements seront réalisés sur les environnements de développement, de pré-production et de production mis en place par Safran pour le produit Datahub Aéro.
2.2 Expertises techniques attendues
Pour réaliser leurs missions dans de bonnes conditions, les intervenants du prestataire devront mettre en œuvre une expertise technique dans les domaines suivants :
• Expertise en services Data sur la Plateforme AWS (Certifications AWS : Data Analytics, Big Data…) : S3, HDFS, RDS, Redshift, EMR, Airflow…
• Expertise en solutions Big Data/Analytics : Spark, NoSQL…
• Expertise en technologies d’intégration de données de type ETL/EAI : Mulesoft..
• Expertise en chaîne d’automatisation MLOps et CI/CD
Software Version
Spark 2.x
EMR on EKS 5.32.0
MWAA 2.4.3 (latest)
MongoDB enterprise 6.06
Opensearch 1.2
NIFI 1.16.3
NiFi Registry 0.8.0