Big Data - Indexation et recherche de données avec Elasticsearch, Logstash et Kibana (ELK)
Par IB FormationObjectifs
- Comprendre et maîtriser l’installation et le montage d'un cluster
- Être capable de construire un index et son mapping
- Pouvoir comprendre et tuner les analyzer selon ses besoins
- Savoir traiter et rechercher des documents en plusieurs langues
- Apprendre à indexer des documents à grande échelle
- Être capable d'utiliser le DSL pour effectuer des recherches complexes
- Comprendre l'intérêt d'outils tiers tel que X-Pack, Kibana et Logstash
- Pouvoir résoudre les problèmes courants, et passer en production sereinement
Programme
Introduction
- Qu’est-ce qu’un index de recherche, dans quelles situations pouvez-vous l’utiliser
- Introduction à Elasticsearch
Installation
- Mettre en place un serveur, puis un cluster
- Installer des plugins, et outils de travail
Découverte de l’API
- Opérations de base (indexation et recherches simples)
- Tour d’horizon de l’API HTTP et de ses possibilités
Déclaration de mapping
- Introduction à l’analyse
- Création d’index et de plusieurs mappings
Recherches complexes
- Le Query DSL en détail
Les agrégations
- Découverte et manipulation d’agrégations
- Exemples et cas pratiques avec Logstash et Kibana
La pertinence
- Comprendre le _score et l’altérer
- Améliorer la pertinence avec un signal
- Personnalisation du champ _all
Indexer en plusieurs langues
- La problématique du multilingue dans un index de recherche
- Introduction à ICU
Mise en production
- Réindexer sans peine avec des alias
- Maintenance d’un cluster, backup et mise à jour
- X-Pack et le Monitoring
- Recommandations et configuration
Aller plus loin
- Jointures et documents imbriqués
- Indexation via stream2es et la _reindex API
- Créer un auto-compléteur
- Les suggestions de document
- La recherche géographique
- Le highlight de contenus
- Les scripts pour le score et les filtres
- Le Ingest Node pour manipuler des documents à la volée
Pédagogie
- Une formation opérationnelle : les apports théoriques sont accompagnés de phases de mise en pratique qui favorisent un ancrage durable des acquis.
- Les consultants spécialistes de la technologie apportent leurs conseils et leur expérience.
Formations de la même catégories (5)
Réaliser des schémas et requêtes quelconques sur Informix - Décrire l'architecture multi-tà¢ches IBM Informix Dynamic Server - Installer, maintenir, administrer et optimiser un serveur IDS
Ce cours de synthèse vous présentera les enjeux et les apports du Big Data ainsi que les technologies pour sa mise en œuvre. Vous apprendrez à gérer un projet de gestion de données massives depuis l'installation d'une plateforme Big Data, tout en passant par la gestion, l'analyse et la visualisation des données.
Comprendre l'architecture de Kafka et ses cas d'utilisation - Utiliser les APIs Kafka - Administrer un cluster - Construire une architecture haute-disponibilité - Sécuriser un cluster
Apache Flink est un Framework BigData récent. Il simplifie les traitements de flux gros débit temps réels comme les traitements batch sur d'énormes quantités de données (sur Hadoop HDFS, sur Amazon S3, sur MongoDB...). Ce cours vous permet d'installer Flink et de réaliser, en Java, des traitements variés de Big Data.
Cette vidéo de formation, qui débute par un rapide historique sur la datavisualisation, a pour but de vous aider à comprendre quelles sont les règles à respecter pour créer des graphiques efficaces. Nous verrons qu'une mauvaise représentation graphique peut induire en erreur le lecteur et mener à de mauvaises décisions. Ainsi, au cours de cette vidéo, nous verrons quels processus mettre en oeuvre pour récolter les données puis les traiter avant de les afficher. Nous évoquerons aussi les règles à respecter pour appliquer le bon type de graphique, comment le réaliser et le mettre en forme de façon efficiente en choisissant les bonnes couleurs et les bons axes de lecture. Quelques séquences de mise en pratique vous montrent concrètement comment récolter, traiter les données et concevoir des graphiques pertinents (Excel, Tableau, Sanddance, CartoDB...).
