SQLI Institut

BigData : concepts et enjeux

Par SQLI Institut

Objectifs

  • Comprendre les concepts et les apports du BigData, les impacts sur l'organisation de l'entreprise.

Programme

1. Introduction

  • Le besoin : volumes importants de données,
  • traitements optimisés de flux de données au fil de l’eau,
  • liés aux nouvelles technologies et aux nouveaux usages.
  • Domaines concernés : recherche scientifique, médical, e-commerce, sécurité, prédictif, …
  • Exemples : lutte contre la criminalité, fraude, santé, ressources énergétiques
  • Développement des techniques sur différents aspects : stockage, indexation/recherche, calcul.
  • Définition ETL : Extract Transform Load.
  • Les acteurs.
  • Le positionnement des technologies de cloud, BigData et noSQL.
  • Eléments d’architecture.

2. Stockage

  • Caractéristiques NoSQL
  • Les différents modes et formats de stockage.
  • Importance du théorème CAP.
  • Stockage réparti : réplication, sharding, gossip protocol, hachage,
  • Systèmes de fichiers distribués : GFS, HDFS,
  • Les bases de données : HBase, BigTable, ..

3. Calcul et restitution.

  • Apport des outils de calculs statistiques
  • Langages adaptés aux statistiques, liens avec les outils BigData.

4. Evolutions

  • Liens vers les nouveaux métiers : Hadoop scientists, Data scientists, CDO.
  • Analyse des données au service de l’entreprise
  • Rôle de la DSI dans la démarche BigData.
  • Ouverture sur l’OpenData : principe,
  • la démarche publique, les licences.
  • Exemple : portail data.gouv.fr
  • Les offres Saas BigData comme Google BigQuery.
  • Les limites. Les nouveautés annoncées

Formations de la même catégories (5)

M2i Formation
MapR - Architecture et administrationPar M2i Formation
  • Maîtriser l'administration des clusters MapR.
Dawan
Informix Database Initiation + ApprofondissementPar Dawan

Réaliser des schémas et requêtes quelconques sur Informix - Décrire l'architecture multi-tâches IBM Informix Dynamic Server - Installer, maintenir, administrer et optimiser un serveur IDS

Global Knowledge
Big Data : Architecture et technologiesPar Global Knowledge

Ce cours de synthèse vous présentera les enjeux et les apports du Big Data ainsi que les technologies pour sa mise en œuvre. Vous apprendrez à gérer un projet de gestion de données massives depuis l'installation d'une plateforme Big Data, tout en passant par la gestion, l'analyse et la visualisation des données.

Dawan
Apache Kafka : Echange de donnéesPar Dawan

Comprendre l’architecture de Kafka et ses cas d’utilisation - Utiliser les APIs Kafka - Administrer un cluster - Construire une architecture haute-disponibilité - Sécuriser un cluster

Orsys
Flink, développer des applications pour le Big DataPar Orsys

Apache Flink est un nouvel outil de traitement de Big Data de quatrième génération qui change le paysage des technologies de traitement des données. Ce cours vous permettra d’utiliser Apache Flink pour développer des applications en Java en vue de traiter des flux massifs de données issues du Big Data en temps réel.