Global Knowledge

Hadoop : architecture et administration

Par Global Knowledge

Objectifs

  • Pouvoir définir l’architecture d’une solution Hadoop
  • Installer et configurer un cluster Hadoop
  • Configurer et personnaliser un environnement Hadoop pour optimiser la disponibilité et le débit des données

Programme

Introduction

  • Présentation générale d’Hadoop
  • Exemples d’utilisations d’Hadoop
  • Principales Distributions d’Hadoop
  • Planification

Architecture et composants de la plateforme Hadoop

  • Approche conceptuelle d’Hadoop
  • HDFS : NameNode / DataNode
  • Paradigme MapReduce et YARN
  • Les technologies émergentes

Installation d’une plateforme Hadoop

  • Définir l’architecture
  • Installation d’Hadoop / HDFS
  • Installation des principaux composants : Hive, Pig, etc.
  • Mise en œuvre : installation d’Hadoop et de quelques composants

Configuration de l’environnement Hadoop

  • Étude des fichiers de configuration
  • modes de configurations : ligne de commandes, API Rest, serveur http intégré, APIS natives
  • Configuration des services: HDFS, YARN, Logs, etc.
  • Configuration des droits d’accès

Administration et gestion des ressources

  • Affecter les quotas
  • Gérer les planificateurs

Administration de HDFS

  • Gestion des démons Hadoop
  • Ajout/Suppression des nœuds
  • Gestion des données dans HDFS

Administration de MapReduce

  • Gestion des taches MapReduce
  • Gestion des nœuds de calcul

Planification des stratégies de sécurité et de récupération des données

Travaux pratiques

  • Installation, configuration et administration pas à pas d’un cluster Hadoop

Pédagogie

Appréciation : évaluation qualitative de fin de stage

Modalités et moyens pédagogiques : démonstrations, cas pratiques, synthèse et évaluation des acquis

Support de cours en français remis à chaque participant

Formations de la même catégories (5)

Orsys
Hadoop, développer des applications pour le Big DataPar Orsys

Ce stage vous apprendra à développer des applications vous permettant de traiter des données distribuées en mode batch. Vous collecterez, stockerez et traiterez des données de formats hétérogènes avec Apache Hadoop afin de mettre en place des chaînes de traitement intégrées à votre Système d'Information.

Global Knowledge
Data Analyse Pig, Hive et SparkPar Global Knowledge

Cette formation permet aux participants d'acquérir les compétences et connaissances nécessaires pour utiliser les outils permettant de traiter et d’analyser des données sur Hadoop.

Elle leur permettra de développer des compétences en analyse de données en se focalisant sur Pig, Hive et Spark.

Global Knowledge
Hadoop : architecture et administrationPar Global Knowledge

Hadoop est la principale plateforme de Big Data. Elle permet d’assurer le stockage et le traitement d’immenses volumes de données. Cette formation vous permettra de comprendre son architecture et d’acquérir les compétences nécessaires pour installer, configurer et administrer un cluster Hadoop.

Feel Europe
HADOOPPar Feel Europe

• Appréhender l’architecture d’un système Hadoop.

• Détailler les services principaux, leur configuration, la sécurité au sein d’un cluster mais aussi son exploitation.

• Passer en revue les différentes composantes logicielles pour manipuler les données big data (MapReduce, Pig, Hive Sqoop).

Dawan
Programmer Hadoop en JavaPar Dawan
  • Développer des algorithmes parallèles efficaces - Analyser des fichiers non structurés et développer des tâches Java MapReduce - Charger et récupérer des données de HBase et du système de fichiers distribué Hadoop (HDFS) - User Defined Functions de Hive et Pig