End-to-End Data Pipeline in Azure

Objectif de la mission:

Création d'un pipeline complet d'analyse de données dans Azure, en passant par le traitement et la visualisation des données.

Missions principales:

• Extraction des données à partir de sources HTTP telles que les APIs et GitHub avec l'aide d'Azure Data Factory.
• Stockage sécurisé des données brutes, formant la couche Bronze de notre architecture médallion.
• Nettoyage, fusion et enrichissement des données avec Databricks, passant à la couche Silver.
• Raffinement et mise à disposition des données transformées via une couche Gold optimisée pour l'intelligence des affaires et les rapports.
• Délivrance de informations aux bénéficiaires via des tableaux de bord Power BI, permettant les prises de décisions en temps réel sur une donnée de qualité haute et gouvernée.

Profil recherché:

• Compétences en ingénierie des données Azure.
• Connaissance de Databricks, Power BI et autres outils Azure.