SQLI Institut

BigData : Architecture et technologies

Par SQLI Institut

Objectifs

  • Comprendre les concepts du BigData et savoir quelles sont les technologies implémentées.

Programme

Module 1 : Introduction

  • Le besoin : volumes importants de données, traitements optimisés de flux de données au fil de l’eau, liés aux nouvelles technologies et aux nouveaux usages.
  • Domaines concernés : recherche scientifique, médical, e-commerce, sécurité…
  • Développement des techniques sur différents aspects : stockage, indexation/recherche, calcul.
  • Définition ETL : Extract Transform Load.
  • Les acteurs.

Module 2 : Stockage

  • Caractéristiques NoSQL :
  • Structure de données proches des utilisateurs, développeurs
  • Données structurées et non structurées, documents, images,fichiers XML, JSON, CSV, …
  • Les différents modes et formats de stockage.
  • Stockage réparti : réplication, sharping, gossip protocl, hachage,
  • Systèmes de fichiers distribués : GFS, HDFS, BigTable, …
  • Les bases de données.
  • Quelques exemples de produits et leurs caractéritiques : cassandra, MongoDB, CouchDB,DynamoDB.

Module 3 : Indexation et recherche

  • Moteurs de recherche.
  • Principe de fonctionnement.
  • Méthodes d’indexation.
  • Exemple de Lucene, et mise en oeuvre avec solr.
  • Recherche dans les bases de volumes importants :
  • Exemples de produits et comparaison : dremel, drill, elasticsearch, MapReduce,

Module 4 : Calcul et restitution, intégration

  • Différentes solutions : calculs en mode batch, ou en temps réel, sur des flux de données ou des données statiques.
  • Les produits : langage de calculs statistiques, R Statistics Language
  • Outils de calcul sur des volumes importants : storm en temps réel, hadoop en mode batch.
  • Zoom sur Hadoop : complémentarité de HDMS et MapReduce.
  • Evolutions
  • Les offres Saas BigData comme Google BigQuery.
  • Les limites. Les nouveautés annoncées

Formations de la même catégories (5)

M2i Formation
MapR - Architecture et administrationPar M2i Formation
  • Maîtriser l'administration des clusters MapR.
Dawan
Informix Database Initiation + ApprofondissementPar Dawan

Réaliser des schémas et requêtes quelconques sur Informix - Décrire l'architecture multi-tâches IBM Informix Dynamic Server - Installer, maintenir, administrer et optimiser un serveur IDS

Global Knowledge
Big Data : Architecture et technologiesPar Global Knowledge

Ce cours de synthèse vous présentera les enjeux et les apports du Big Data ainsi que les technologies pour sa mise en œuvre. Vous apprendrez à gérer un projet de gestion de données massives depuis l'installation d'une plateforme Big Data, tout en passant par la gestion, l'analyse et la visualisation des données.

Dawan
Apache Kafka : Echange de donnéesPar Dawan

Comprendre l’architecture de Kafka et ses cas d’utilisation - Utiliser les APIs Kafka - Administrer un cluster - Construire une architecture haute-disponibilité - Sécuriser un cluster

Orsys
Flink, développer des applications pour le Big DataPar Orsys

Apache Flink est un nouvel outil de traitement de Big Data de quatrième génération qui change le paysage des technologies de traitement des données. Ce cours vous permettra d’utiliser Apache Flink pour développer des applications en Java en vue de traiter des flux massifs de données issues du Big Data en temps réel.