IB Formation

Big Data - Gestion des flux de données avec Apache Nifi

Par IB Formation

Objectifs

  • Comprendre le concept de programmation "flow-based"
  • Pouvoir installer et configurer Apache Nifi
  • Être en mesure de créer des flux impliquant différents composants logiciels

Programme

Apache Nifi et la programmation "flow-based"

  • Les concepts de programmation "flow-based" et les workflows
  • Le projet Open Source Apache Nifi et ses concurrents (Apache Camel, Node-RED, ...)
  • L'écosystème Nifi et ses distributions (Hortonworks DataFlow, ...)
  • Les fonctionnalités essentielles
  • Les pré-requis d'installation et les modes de fonctionnement
  • Mise en pratique : installation du produit Apache Nifi et vérification de son fonctionnement

Concepts de base Apache Nifi

  • Les cas d'usage d'Apache Nifi : EAI, Big Data, IoT, ...
  • Les concepts de FlowFile, de Processor et de Connector
  • La prise en main de l'interface Web
  • La création d'un flux et son fonctionnement
  • Le monitoring
  • Mise en pratique: création et exécution d'un flux de manipulation de fichiers avec GetFile, PutFile, ...

Utilisation avancée

  • Le format des FlowFiles
  • Le langage EL et la gestion de conditions de routage
  • Les principaux processeurs et leurs paramètres
  • L'utilisation de scripts (Groovy, Python, ...)
  • La gestion d'erreurs
  • Controller Service, Processor Group et Reporting task
  • L'utilisation de templates
  • Mise en pratique : réalisation d'un flux conditionnel avec différents systèmes (brokers JMS ou MQTT, BD, ...)

Cluster et Big Data

  • Le fonctionnement en cluster avec Zookeeper
  • L'intégration dans un environnement Big Data (Hadoop HDFS, Spark)
  • Mise en pratique : configuration d'un cluster avec Zookeeper

Extensions

  • Les principes de fonctionnement d'un Processor
  • Le paramétrage et l'accès aux données d'un flux
  • Le packaging d'un Processor dans un NAR
  • Mise en pratique : intégration d'un Processor tiers et réalisation d'un nouveau Processor

Pédagogie

  • Une formation qui accorde une large place à la pratique : au moins 50% du temps de la formation est consacré aux travaux pratiques.
  • La formation alterne les présentations théoriques avec les exercices en groupe ou individuels.
  • Des versions numériques de tous les documents sont remises aux participants (support de cours, énoncés, corrigés).

Formations de la même catégories (5)

M2i Formation
MapR - Architecture et administrationPar M2i Formation
  • Maîtriser l'administration des clusters MapR.
Dawan
Informix Database Initiation + ApprofondissementPar Dawan

Réaliser des schémas et requêtes quelconques sur Informix - Décrire l'architecture multi-tâches IBM Informix Dynamic Server - Installer, maintenir, administrer et optimiser un serveur IDS

Global Knowledge
Big Data : Architecture et technologiesPar Global Knowledge

Ce cours de synthèse vous présentera les enjeux et les apports du Big Data ainsi que les technologies pour sa mise en œuvre. Vous apprendrez à gérer un projet de gestion de données massives depuis l'installation d'une plateforme Big Data, tout en passant par la gestion, l'analyse et la visualisation des données.

Dawan
Apache Kafka : Echange de donnéesPar Dawan

Comprendre l’architecture de Kafka et ses cas d’utilisation - Utiliser les APIs Kafka - Administrer un cluster - Construire une architecture haute-disponibilité - Sécuriser un cluster

Orsys
Flink, développer des applications pour le Big DataPar Orsys

Apache Flink est un nouvel outil de traitement de Big Data de quatrième génération qui change le paysage des technologies de traitement des données. Ce cours vous permettra d’utiliser Apache Flink pour développer des applications en Java en vue de traiter des flux massifs de données issues du Big Data en temps réel.

Nous utilisons les cookies afin de fournir les services et fonctionnalités proposés sur notre site et afin d’améliorer l’expérience de nos utilisateurs. En cliquant sur ”J’ai compris”, vous acceptez l’utilisation de ces cookies.