IB Formation

Big Data - Supervision de solutions avec Grafana, Kibana, Graphite et Prometheus

Par IB Formation

Objectifs

  • Connaître les outils et mécanismes permettant de superviser des fermes Big Data
  • Être en mesure de mettre en oeuvre et configurer les différents outils Open Source nécessaires à la construction d’une solution de supervision
  • Savoir combiner et associer ces outils pour construire une solution de supervision complète et efficace

Programme

Supervision : définitions

  • Les objectifs de la supervision, les techniques disponibles
  • La supervision d'une ferme Big Data
  • Objets supervisés
  • Les services et ressources
  • Protocoles d'accès
  • Exporteurs distribués de données
  • Définition des ressources à surveiller
  • Journaux et métriques
  • Application aux fermes Big Data : Hadoop, Cassandra, HBase, MongoDB

Mise en oeuvre

  • Besoin de base de données avec agents distribués, de stockage temporel (timeseriesDB)
  • Produits : Prometheus, Graphite, ElasticSearch
  • Présentation, architectures
  • Les sur-couches : Kibana, Grafana

JMX

  • Principe des accès JMX
  • MBeans
  • Visualisation avec jconsole et jmxterm
  • Suivi des performances Cassandra : débit d'entrées/sorties, charges, volumes de données, tables, ...

Prometheus

  • Installation et configuration de base
  • Définition des ressources supervisées, des intervalles de collecte
  • Démarrage du serveur Prometheus
  • Premiers pas dans la console web, et l'interface graphique
  • Exporteur JMX
  • Exporteur MongoDB
  • Démonstration avec Cassandra ou Hadoop/HBase
  • Configuration des agents sur les noeuds de calculs
  • Agrégation des données JMX
  • Expressions régulières
  • Requêtage
  • Visualisation des données

Graphite

  • Modèle de données et mesures
  • Format des données stockées, notion de timestamp
  • Types de mesures : compteurs, jauges, histogrammes, résumés
  • Identification des ressources supervisées : notions d'instances, de jobs
  • Démonstration avec Cassandra
  • Comparaison avec Prometheus

Exploration et visualisation des données

  • Mise en oeuvre de Grafana : installation, configuration
  • Pose de filtres sur Prometheus et remontée des données
  • Étude des différents types de graphiques disponibles
  • Agrégation de données
  • Appairage des données entre Prometheus et Grafana
  • Visualisation et sauvegarde de graphiques, création de tableaux de bord et rapports à partir des graphiques

Kibana, installation et configuration

  • Installation, configuration du mapping avec Elasticsearch
  • Injection des données avec Logstash et Metribeat
  • Architectures, paramétrages
  • Mapping automatique ou manuel
  • Configuration des indexes à explorer

Pédagogie

  • Une formation qui accorde une large place à la pratique : au moins 50% du temps de la formation est consacré à la mise en oeuvre d’une solution de supervision.
  • La formation alterne les présentations théoriques avec les exercices en groupe ou individuels.
  • Des versions numériques de tous les documents sont remises aux participants (support de cours, énoncés, corrigés).

Formations de la même catégories (5)

Dawan
Informix Database Initiation + ApprofondissementPar Dawan

Réaliser des schémas et requêtes quelconques sur Informix - Décrire l'architecture multi-tà¢ches IBM Informix Dynamic Server - Installer, maintenir, administrer et optimiser un serveur IDS

Global Knowledge
Big Data : Architecture et technologiesPar Global Knowledge

Ce cours de synthèse vous présentera les enjeux et les apports du Big Data ainsi que les technologies pour sa mise en œuvre. Vous apprendrez à gérer un projet de gestion de données massives depuis l'installation d'une plateforme Big Data, tout en passant par la gestion, l'analyse et la visualisation des données.

Dawan
Apache Kafka : Echange de donnéesPar Dawan

Comprendre l'architecture de Kafka et ses cas d'utilisation - Utiliser les APIs Kafka - Administrer un cluster - Construire une architecture haute-disponibilité - Sécuriser un cluster

Orsys
Flink, développer des applications pour le Big DataPar Orsys

Apache Flink est un Framework BigData récent. Il simplifie les traitements de flux gros débit temps réels comme les traitements batch sur d'énormes quantités de données (sur Hadoop HDFS, sur Amazon S3, sur MongoDB...). Ce cours vous permet d'installer Flink et de réaliser, en Java, des traitements variés de Big Data.

Orsys
Introduction à la datavisualisation, collecter, traiter et représenter les donnéesPar Orsys

Cette vidéo de formation, qui débute par un rapide historique sur la datavisualisation, a pour but de vous aider à comprendre quelles sont les règles à respecter pour créer des graphiques efficaces. Nous verrons qu'une mauvaise représentation graphique peut induire en erreur le lecteur et mener à de mauvaises décisions. Ainsi, au cours de cette vidéo, nous verrons quels processus mettre en oeuvre pour récolter les données puis les traiter avant de les afficher. Nous évoquerons aussi les règles à respecter pour appliquer le bon type de graphique, comment le réaliser et le mettre en forme de façon efficiente en choisissant les bonnes couleurs et les bons axes de lecture. Quelques séquences de mise en pratique vous montrent concrètement comment récolter, traiter les données et concevoir des graphiques pertinents (Excel, Tableau, Sanddance, CartoDB...).