ENI SERVICE

Big Data – Etat de l’art

Par ENI SERVICE

Objectifs

  • Décrire les concepts du Big Data ;
  • Identifier les différentes solutions Big Data disponibles sur le marché ;
  • Décrire l'architecture d'un système Hadoop ;
  • Interroger les données au sein d'un système Hadoop.

Programme

Introduction

  • Les origines du Big Data
  • La donnée en tant que matière première
  • La connaissance de la question

Big Data : des solutions à portée de main

  • Présentation de l'écosystème Hadoop
    • Introduction
    • HDFS
    • MapReduce
    • HBase
    • Pig et Hive
    • Hue
    • Flume
    • Distributions (Cloudera, MapR, Hortonworks)
  • Lucene, Solr
  • Solutions alternatives

Relations entre Cloud et Big Data

  • Motivations des Clouds publics et privés
  • Les Clouds de stockage
  • Traitement des données dans le Cloud

Big Data : traitements, de l'acquisition jusqu'au résultat

  • L'enchainement des opérations
  • La connaissance de la question

Croiser ses données avec le Big Data

  • La structure comme critère de classification : non structurées, structurées, semi structurées
  • Les solutions potentielles

Méthodes de traitement et champs d'application

  • Du SGBDR au NoSQL
  • Les différents types de bases de données
  • Bénéfices : navigation, recherche des données, nouveaux types de données, fédération des entrepôts de données existants

Cas d'usage et conclusion

  • L'anticipation, la sécurité et les recommandations
  • Exemples de cas d'utilisation

Big Data en libre service

  • Tour d'horizon sur les données Big Data déjà disponibles

Architecture et utilisation des composants Hadoop (théorie et mise en pratique)

  • HDFS
  • Architecture, commandes shell
  • MapReduce
    • Architectures MapReduce v1, YARN
    • Exécution d'un traitement MapReduce
    • Supervision
  • HBase
    • Architecture
    • Utilisation de la base de données NoSQL (famille de colonnes, versions)
  • Hive
    • Architecture, utilisation du langage Hive QL (tables, tables externes, partitions)
    • Interrogation des données

Pédagogie

Formation avec un formateur, qui peut être suivie selon l’une des 3 modalités ci-dessous :

1 – Dans la salle de cours en présence du formateur.

2 – Dans l’une de nos salles de cours immersives, avec le formateur présent physiquement à distance. Les salles immersives sont équipées d’un système de visio-conférence HD et complétées par des outils pédagogiques qui garantissent le même niveau de qualité.

3 – Depuis votre domicile ou votre entreprise. Vous rejoignez un environnement de formation en ligne, à l’aide de votre ordinateur, tout en étant éloigné physiquement du formateur et des autres participants. Vous êtes en totale immersion avec le groupe et participez à la formation dans les mêmes conditions que le présentiel. Pour plus d’informations : Le téléprésentiel – notre solution de formation à distance.

Le nombre de stagiaires peut varier de 1 à 12 personnes (5 à 6 personnes en moyenne), ce qui facilite le suivi permanent et la proximité avec chaque stagiaire.

Chaque stagiaire dispose d’un poste de travail adapté aux besoins de la formation, d’un support de cours et/ou un manuel de référence au format numérique ou papier (pour les sessions inter-entreprises, dans le cas où le support de cours officiel est en anglais, nous offrons en complément, s’il existe, un ouvrage de référence des Editions ENI au format numérique rédigé en français).

Pour une meilleure assimilation, le formateur alterne tout au long de la journée les exposés théoriques, les démonstrations et la mise en pratique au travers d’exercices et de cas concrets réalisés seul ou en groupe.

En début et en fin de formation, les stagiaires réalisent une auto-évaluation de leurs connaissances et compétences en lien avec les objectifs de la formation. L’écart entre les deux évaluations permet ainsi de mesurer leurs acquis.

En complément, pour les stagiaires qui le souhaitent, certaines formations peuvent être validées officiellement par un examen de certification. Les candidats à la certification doivent produire un travail personnel important en vue de se présenter au passage de l’examen, le seul suivi de la formation ne constitue pas un élément suffisant pour garantir un bon résultat et/ou l’obtention de la certification.

Pour certaines formations certifiantes (ex : ITIL, Prince2, DPO, …), le passage de l’examen de certification est inclus et réalisé en fin de formation. Les candidats sont alors préparés par le formateur au passage de l’examen tout au long de la formation.

Feuille de présence, émargée par demi-journée par chaque stagiaire et le formateur ;

Evaluation qualitative de fin de formation, qui est ensuite analysée par l’équipe pédagogique ENI ;

Attestation de fin de formation, remise au stagiaire en main propre ou par courrier électronique.

La formation est animée par un professionnel de l'informatique et de la pédagogie, dont les compétences techniques, professionnelles et pédagogiques ont été validées par des certifications et/ou testées et approuvées par les éditeurs et/ou notre équipe pédagogique. Il est en veille technologique permanente et possède plusieurs années d'expérience sur les produits, technologies et méthodes enseignés. Il est présent auprès des stagiaires pendant toute la durée de la formation.

Formations de la même catégories (5)

Dawan
Informix Database Initiation + ApprofondissementPar Dawan

Réaliser des schémas et requêtes quelconques sur Informix - Décrire l'architecture multi-tà¢ches IBM Informix Dynamic Server - Installer, maintenir, administrer et optimiser un serveur IDS

Global Knowledge
Big Data : Architecture et technologiesPar Global Knowledge

Ce cours de synthèse vous présentera les enjeux et les apports du Big Data ainsi que les technologies pour sa mise en œuvre. Vous apprendrez à gérer un projet de gestion de données massives depuis l'installation d'une plateforme Big Data, tout en passant par la gestion, l'analyse et la visualisation des données.

Dawan
Apache Kafka : Echange de donnéesPar Dawan

Comprendre l'architecture de Kafka et ses cas d'utilisation - Utiliser les APIs Kafka - Administrer un cluster - Construire une architecture haute-disponibilité - Sécuriser un cluster

Orsys
Flink, développer des applications pour le Big DataPar Orsys

Apache Flink est un Framework BigData récent. Il simplifie les traitements de flux gros débit temps réels comme les traitements batch sur d'énormes quantités de données (sur Hadoop HDFS, sur Amazon S3, sur MongoDB...). Ce cours vous permet d'installer Flink et de réaliser, en Java, des traitements variés de Big Data.

Orsys
Introduction à la datavisualisation, collecter, traiter et représenter les donnéesPar Orsys

Cette vidéo de formation, qui débute par un rapide historique sur la datavisualisation, a pour but de vous aider à comprendre quelles sont les règles à respecter pour créer des graphiques efficaces. Nous verrons qu'une mauvaise représentation graphique peut induire en erreur le lecteur et mener à de mauvaises décisions. Ainsi, au cours de cette vidéo, nous verrons quels processus mettre en oeuvre pour récolter les données puis les traiter avant de les afficher. Nous évoquerons aussi les règles à respecter pour appliquer le bon type de graphique, comment le réaliser et le mettre en forme de façon efficiente en choisissant les bonnes couleurs et les bons axes de lecture. Quelques séquences de mise en pratique vous montrent concrètement comment récolter, traiter les données et concevoir des graphiques pertinents (Excel, Tableau, Sanddance, CartoDB...).