IB Formation

Big Data - Indexation et recherche de données avec Elasticsearch, Logstash et Kibana (ELK)

Par IB Formation

Objectifs

  • Comprendre et maîtriser l’installation et le montage d'un cluster
  • Être capable de construire un index et son mapping
  • Pouvoir comprendre et tuner les analyzer selon ses besoins
  • Savoir traiter et rechercher des documents en plusieurs langues
  • Apprendre à indexer des documents à grande échelle
  • Être capable d'utiliser le DSL pour effectuer des recherches complexes
  • Comprendre l'intérêt d'outils tiers tel que X-Pack, Kibana et Logstash
  • Pouvoir résoudre les problèmes courants, et passer en production sereinement

Programme

Introduction

  • Qu’est-ce qu’un index de recherche, dans quelles situa­tions pouvez-vous l’uti­li­ser
  • Intro­duc­tion à Elas­tic­search

Instal­la­tion

  • Mettre en place un serveur, puis un clus­ter
  • Instal­ler des plugins, et outils de travail

Décou­verte de l’API

  • Opéra­tions de base (indexa­tion et recherches simples)
  • Tour d’ho­ri­zon de l’API HTTP et de ses possi­bi­li­tés

Décla­ra­tion de mapping

  • Intro­duc­tion à l’ana­lyse
  • Créa­tion d’in­dex et de plusieurs mappings

Recherches complexes

  • Le Query DSL en détail

Les agré­ga­tions

  • Décou­verte et mani­pu­la­tion d’agré­ga­tions
  • Exemples et cas pratiques avec Logstash et Kibana

La pertinence

  • Comprendre le _score et l’altérer
  • Améliorer la pertinence avec un signal
  • Personnalisation du champ _all

Indexer en plusieurs langues

  • La problématique du multilingue dans un index de recherche
  • Introduction à ICU

Mise en production

  • Réindexer sans peine avec des alias
  • Maintenance d’un cluster, backup et mise à jour
  • X-Pack et le Monitoring
  • Recommandations et configuration

Aller plus loin

  • Jointures et documents imbriqués
  • Indexation via stream2es et la _reindex API
  • Créer un auto-compléteur
  • Les suggestions de document
  • La recherche géographique
  • Le highlight de contenus
  • Les scripts pour le score et les filtres
  • Le Ingest Node pour manipuler des documents à la volée

Pédagogie

  • Une formation opérationnelle : les apports théoriques sont accompagnés de phases de mise en pratique qui favorisent un ancrage durable des acquis.
  • Les consultants spécialistes de la technologie apportent leurs conseils et leur expérience.

Formations de la même catégories (5)

Dawan
Informix Database Initiation + ApprofondissementPar Dawan

Réaliser des schémas et requêtes quelconques sur Informix - Décrire l'architecture multi-tà¢ches IBM Informix Dynamic Server - Installer, maintenir, administrer et optimiser un serveur IDS

Global Knowledge
Big Data : Architecture et technologiesPar Global Knowledge

Ce cours de synthèse vous présentera les enjeux et les apports du Big Data ainsi que les technologies pour sa mise en œuvre. Vous apprendrez à gérer un projet de gestion de données massives depuis l'installation d'une plateforme Big Data, tout en passant par la gestion, l'analyse et la visualisation des données.

Dawan
Apache Kafka : Echange de donnéesPar Dawan

Comprendre l'architecture de Kafka et ses cas d'utilisation - Utiliser les APIs Kafka - Administrer un cluster - Construire une architecture haute-disponibilité - Sécuriser un cluster

Orsys
Flink, développer des applications pour le Big DataPar Orsys

Apache Flink est un Framework BigData récent. Il simplifie les traitements de flux gros débit temps réels comme les traitements batch sur d'énormes quantités de données (sur Hadoop HDFS, sur Amazon S3, sur MongoDB...). Ce cours vous permet d'installer Flink et de réaliser, en Java, des traitements variés de Big Data.

Orsys
Introduction à la datavisualisation, collecter, traiter et représenter les donnéesPar Orsys

Cette vidéo de formation, qui débute par un rapide historique sur la datavisualisation, a pour but de vous aider à comprendre quelles sont les règles à respecter pour créer des graphiques efficaces. Nous verrons qu'une mauvaise représentation graphique peut induire en erreur le lecteur et mener à de mauvaises décisions. Ainsi, au cours de cette vidéo, nous verrons quels processus mettre en oeuvre pour récolter les données puis les traiter avant de les afficher. Nous évoquerons aussi les règles à respecter pour appliquer le bon type de graphique, comment le réaliser et le mettre en forme de façon efficiente en choisissant les bonnes couleurs et les bons axes de lecture. Quelques séquences de mise en pratique vous montrent concrètement comment récolter, traiter les données et concevoir des graphiques pertinents (Excel, Tableau, Sanddance, CartoDB...).