Ambient IT

Apache NiFi : Automatiser vos flux de données

Par Ambient IT

Objectifs

  • Comprendre l’architecture et les fondements du traitement des données avec Apache NiFi
  • Maîtriser la gestion de flux de données
  • Savoir installer et configurer Apache NiFi
  • Intégrer Kafka avec NiFi

Programme

Jour 1 – Introduction

Architecture Big Data

  • Pourquoi intégrer NiFi avec Kafka ?
  • Apache NiFi en producteur de données
  • Apache NiFi en consommateur de données

Présentation de l’écosystème Big Data

  • Les domaines d’application
  • Fonctionnement de hbase
  • Le NoSql
  • Apache Kafka
  • Apache Spark
  • Où et pourquoi utiliser les REX?

Concepts fondamentaux

  • Présentation d’Apache NiFi
  • Comprendre le traitement des flux de données
  • Architecture d’Apache NiFi
  • Processeurs et flow files
  • Connecteurs et processeurs
  • Comprendre l’UI
  • Classes de processeurs
  • Installation et configuration du programme
  • Gestion du parallélisme dans un cluster NiFi

Jour 2 – Maîtrise des processeurs

Utilisation des processeurs

  • Générateur FlowFile
  • Lecture et traitement des fichiers de données
  • Utilisation de SplitRecord
  • Utilisation de UpdateRecordProcessor
  • Traitement de la duplication des fichiers
  • Processeurs liés à JSON
    • InvokeHTTP
    • EvaluateJsonPath
    • FlattenJson
    • SplitJson

Utilisation avancée

  • Traitement des doublons
  • Utiliser Hbase
  • Utilisation de SQL Query dans NiFi
  • Processeur NiFi HandleHttpRequest et HandleHttpResponse
  • Templates NiFi
  • Surveillance de NiFi
  • Provenance des données et recherche d’événements
  • Relations avec les processeurs
  • Debugging et gestion des erreurs
  • Utiliser MiniFi pour gérer les IOTs

Formations de la même catégories (5)

Dawan
Informix Database Initiation + ApprofondissementPar Dawan

Réaliser des schémas et requêtes quelconques sur Informix - Décrire l'architecture multi-tà¢ches IBM Informix Dynamic Server - Installer, maintenir, administrer et optimiser un serveur IDS

Global Knowledge
Big Data : Architecture et technologiesPar Global Knowledge

Ce cours de synthèse vous présentera les enjeux et les apports du Big Data ainsi que les technologies pour sa mise en œuvre. Vous apprendrez à gérer un projet de gestion de données massives depuis l'installation d'une plateforme Big Data, tout en passant par la gestion, l'analyse et la visualisation des données.

Dawan
Apache Kafka : Echange de donnéesPar Dawan

Comprendre l'architecture de Kafka et ses cas d'utilisation - Utiliser les APIs Kafka - Administrer un cluster - Construire une architecture haute-disponibilité - Sécuriser un cluster

Orsys
Flink, développer des applications pour le Big DataPar Orsys

Apache Flink est un Framework BigData récent. Il simplifie les traitements de flux gros débit temps réels comme les traitements batch sur d'énormes quantités de données (sur Hadoop HDFS, sur Amazon S3, sur MongoDB...). Ce cours vous permet d'installer Flink et de réaliser, en Java, des traitements variés de Big Data.

Orsys
Introduction à la datavisualisation, collecter, traiter et représenter les donnéesPar Orsys

Cette vidéo de formation, qui débute par un rapide historique sur la datavisualisation, a pour but de vous aider à comprendre quelles sont les règles à respecter pour créer des graphiques efficaces. Nous verrons qu'une mauvaise représentation graphique peut induire en erreur le lecteur et mener à de mauvaises décisions. Ainsi, au cours de cette vidéo, nous verrons quels processus mettre en oeuvre pour récolter les données puis les traiter avant de les afficher. Nous évoquerons aussi les règles à respecter pour appliquer le bon type de graphique, comment le réaliser et le mettre en forme de façon efficiente en choisissant les bonnes couleurs et les bons axes de lecture. Quelques séquences de mise en pratique vous montrent concrètement comment récolter, traiter les données et concevoir des graphiques pertinents (Excel, Tableau, Sanddance, CartoDB...).