Demos

ElasticSearch : Infrastructure et Administration

Par Demos

Objectifs

  • Disposer des connaissances sur le fonctionnement d'Elasticsearch et des produits complémentaires
  • Installer et configurer Elasticsearch, gérer la sécurité avec shield
  • Installer et configurer kibana pour le mapping sur les données Elasticsearch

Programme

Présentation ElasticSearch, fonctionnalités, licence

Positionnement d'Elasticsearch et des produits complémentaires : Shield, Watcher, Marvel, Kibana, Logstash, Beats
Principe : base technique Lucene et apports d'ElasticSearch
Fonctionnement distribué

Installation et configuration

Prérequis techniques
Installation depuis les RPM
Utilisation de l'interface Marvel
Premiers pas dans la console Sense
Etude du fichier : elasticsearch.yml

L'interface Marvel

Présentation : objectifs, collecte de données, logs, ... par les APIs d'administration et de supervision
Stockage dans elasticsearch et mise à disposition dans une interface web de graphiques
Démonstrations

Clustering

Définitions : cluster, noeud, sharding
Nature distribuée d'elasticsearch
Présentation des fonctionnalités : stockage distribué, calculs distribués avec elasticsearch, tolérance aux pannes

Fonctionnement

Notion de noeud maître
Stockage des documents : shard primaire et réplicat
Routage interne des requêtes

Gestion du cluster

Outils d'interrogation : /_cluster/health
Création d'un index : définition des espaces de stockage (shard), allocation à un noeud
Configuration de nouveaux noeuds : tolérance aux pannes matérielles et répartition du stockage

Cas d'une panne

Fonctionnement en cas de perte d'un noeud : élection d'un nouveau noeud maître si nécessaire, déclaration de nouveaux shards primaires

Sécurisation avec shield

Présentation des apports de shield : authentification, gestion des accès aux données (rôles), filtrage par adresse IP ; cryptage des données, contrôle intégrité des données ; audit d'activité
Installation du plugin shield

Exploitation

Gestion des logs : ES_HOME/logs
Paramétrage de différents niveaux de logs : INFO, DEBUG, TRACE
Suivi des performances
Sauvegardes avec l'API snapshot

Evolutions

Les différentes versions
Nouveautés de la version 5
Fonctionnalités à venir

Pédagogie

Remise d’une documentation pédagogique papier ou numérique pendant le stage
La formation est constituée d’apports théoriques, d’exercices pratiques et de réflexions
Les sessions "A distance" sont réalisées avec l'outil de visioconférence Teams, permettant au formateur d'adapter sa pédagogie.

Formations de la même catégories (5)

Dawan
Informix Database Initiation + ApprofondissementPar Dawan

Réaliser des schémas et requêtes quelconques sur Informix - Décrire l'architecture multi-tà¢ches IBM Informix Dynamic Server - Installer, maintenir, administrer et optimiser un serveur IDS

Global Knowledge
Big Data : Architecture et technologiesPar Global Knowledge

Ce cours de synthèse vous présentera les enjeux et les apports du Big Data ainsi que les technologies pour sa mise en œuvre. Vous apprendrez à gérer un projet de gestion de données massives depuis l'installation d'une plateforme Big Data, tout en passant par la gestion, l'analyse et la visualisation des données.

Dawan
Apache Kafka : Echange de donnéesPar Dawan

Comprendre l'architecture de Kafka et ses cas d'utilisation - Utiliser les APIs Kafka - Administrer un cluster - Construire une architecture haute-disponibilité - Sécuriser un cluster

Orsys
Flink, développer des applications pour le Big DataPar Orsys

Apache Flink est un Framework BigData récent. Il simplifie les traitements de flux gros débit temps réels comme les traitements batch sur d'énormes quantités de données (sur Hadoop HDFS, sur Amazon S3, sur MongoDB...). Ce cours vous permet d'installer Flink et de réaliser, en Java, des traitements variés de Big Data.

Orsys
Introduction à la datavisualisation, collecter, traiter et représenter les donnéesPar Orsys

Cette vidéo de formation, qui débute par un rapide historique sur la datavisualisation, a pour but de vous aider à comprendre quelles sont les règles à respecter pour créer des graphiques efficaces. Nous verrons qu'une mauvaise représentation graphique peut induire en erreur le lecteur et mener à de mauvaises décisions. Ainsi, au cours de cette vidéo, nous verrons quels processus mettre en oeuvre pour récolter les données puis les traiter avant de les afficher. Nous évoquerons aussi les règles à respecter pour appliquer le bon type de graphique, comment le réaliser et le mettre en forme de façon efficiente en choisissant les bonnes couleurs et les bons axes de lecture. Quelques séquences de mise en pratique vous montrent concrètement comment récolter, traiter les données et concevoir des graphiques pertinents (Excel, Tableau, Sanddance, CartoDB...).