IB Formation

Big Data - L'écosystème centralisé de streaming avec Apacha Kafka

Par IB Formation

Objectifs

  • Être capable de comprendre le fonctionnement de Kafka
  • Acquérir les bonnes pratiques de distribution de messages
  • Savoir configurer Kafka pour intégrer les données de différents formats et de sources différentes

Programme

Introduction

  • Le projet Kafka : historique, fonctionnalités, principe de fonctionnement
  • Présentation de l'architecture et du rôle de chaque composant : broker, producer, consumer
  • Liaison avec Zookeeper

Mise en oeuvre

  • Préconisations d'installation et prérequis
  • Travaux pratiques : installation et lancement de Zookeeper et du Kafka-server
  • Création d'un topic simple
  • Mise en oeuvre d'une chaîne de base
  • Visualisation des messages avec Kafka-console-consumer

Multi-broker

  • Étude de la configuration du broker
  • Travaux pratiques : création d'une configuration multi-broker, démarrage de plusieurs noeuds

Applicatif

  • Conception d'applications avec Kafka
  • Principe de fonctionnement
  • Travaux pratiques : développement de prototypes de Python, Java, Scala
  • Couplage avec SparkStreaming en mode batch, en mode continu

La réplication

  • Facteur de réplication
  • Partitions
  • Travaux pratiques : tests de haute disponibilité dans une configuration multi-noeuds

Kafka Connect

  • Présentation des fonctionnalités : intégration de données d'origines multiples, modes de fonctionnement (standalone ou distribué)
  • Types de connecteurs
  • Travaux pratiques : configuration de connecteurs, ingestion de données, création d'une chaîne de transformation

Sécurisation

  • Chiffrement SSL et authentification SASL
  • Sécurisation de l'infrastructure : Zookeeper, proxy Rest

Exploitation

  • Mise en oeuvre de Kafka-tool
  • Gestion des logs
  • Détection de pannes : méthodes et outils
  • Benchmarks

Formations de la même catégories (5)

M2i Formation
MapR - Architecture et administrationPar M2i Formation
  • Maîtriser l'administration des clusters MapR.
Dawan
Informix Database Initiation + ApprofondissementPar Dawan

Réaliser des schémas et requêtes quelconques sur Informix - Décrire l'architecture multi-tâches IBM Informix Dynamic Server - Installer, maintenir, administrer et optimiser un serveur IDS

Global Knowledge
Big Data : Architecture et technologiesPar Global Knowledge

Ce cours de synthèse vous présentera les enjeux et les apports du Big Data ainsi que les technologies pour sa mise en œuvre. Vous apprendrez à gérer un projet de gestion de données massives depuis l'installation d'une plateforme Big Data, tout en passant par la gestion, l'analyse et la visualisation des données.

Dawan
Apache Kafka : Echange de donnéesPar Dawan

Comprendre l’architecture de Kafka et ses cas d’utilisation - Utiliser les APIs Kafka - Administrer un cluster - Construire une architecture haute-disponibilité - Sécuriser un cluster

Orsys
Flink, développer des applications pour le Big DataPar Orsys

Apache Flink est un nouvel outil de traitement de Big Data de quatrième génération qui change le paysage des technologies de traitement des données. Ce cours vous permettra d’utiliser Apache Flink pour développer des applications en Java en vue de traiter des flux massifs de données issues du Big Data en temps réel.

Nous utilisons les cookies afin de fournir les services et fonctionnalités proposés sur notre site et afin d’améliorer l’expérience de nos utilisateurs. En cliquant sur ”J’ai compris”, vous acceptez l’utilisation de ces cookies.