Aller au contenu
Tous les projets

CESI · 3e année

Architecture Big Data

Une chaîne décisionnelle complète pour exploiter des données de santé.

Terminémars 2024 – avr. 2024
Architecture Big Data

Un groupe de santé fictif, le CHU (Cloud Health Unit), dispose de nombreuses données et veut les exploiter. Nous devions livrer un système décisionnel complet : intégration, historisation, sécurité et visualisation des données, en tenant compte de l'évolutivité et de la protection de la vie privée (RGPD).

Architecture

  1. 1Serveur FTP local qui récupère les données fournies par le CHU
  2. 2Jobs Talend pour l’extraction, la transformation et le chargement
  3. 3Chargement dans un entrepôt de données sur cluster Hadoop, supervisé par Cloudera
  4. 4Tables Hive externes sur HDFS, puis tables internes optimisées (partitionnement et buckets)
  5. 5Vues HiveQL répondant à chaque besoin du client
  6. 6Tableaux de bord Power BI branchés sur ces vues
Schéma de l’architecture
Schéma de l’architecture
Tableau de bord Power BI
Tableau de bord Power BI