Global Knowledge

Développement MapReduce & Spark sur Hadoop

Par Global Knowledge

Objectifs

  • Comprendre le fonctionnement de MapReduce
  • Comprendre le fonctionnement de Spark
  • Pouvoir développer des applications distribuées dans un environnement

Programme

Introduction

  • Introduction au Big Data
  • Introduction à Hadoop
  • Introduction à Spark

La plateforme Hadoop

  • Architecture et composants de la plateforme Hadoop
  • HDFS : NameNode / DataNode
  • Paradigme MapReduce et YARN
  • Les technologies émergentes

MapReduce

  • Détailler l’approche MapReduce
  • Programmation MapReduce
  • Configuration des jobs
  • Comment interagir avec les jobs MapReduce
  • Principales Interfaces utilisateurs : Mapper, Reducer, Partitioner, Counter
  • Les entrées / sorties d’une application MapReduce
  • Comment réaliser des tests unitaires d'applications MapReduce
  • Comment utiliser des combinateurs MapReduce, des partitioners et des caches distribués

Meilleures pratiques pour développer et débugger des applications MapReduce

Pédagogie

Appréciation : évaluation qualitative de fin de stage

Modalités et moyens pédagogiques : démonstrations, cas pratiques, synthèse et évaluation des acquis

Support de cours en français remis à chaque participant

Formations de la même catégories (5)

Micropole Institut
Spark - Traitement de donnéesPar Micropole Institut

Cette formation permet de :

  • Se former à Spark, l'utiliser en ligne de commande et en développement
  • L'interfacer avec d'autres composants Big Data comme Kafka et Cassandra
  • Comprendre les notions de base des RDD (Resilient Distributed Datasets) et le partitionnement, le pipelining et les calculs de données
  • Comprendre les implications et les optimisations de performance lors de l'utilisation de Spark.
Openska
SparkPar Openska

Cette formation permet aux développeurs et architectes d’écrire simplement des applications distribuées complexes qui permettent de prendre des meilleurs décisions plus rapidement et des actions en temps réels, appliquées à une grande variété de cas d’utilisations, d’architectures et de secteurs d’activités.

Demos
Cloudera Spark avec Hadoop pour Développeurs (Certifiant CCA)Par Demos
  • intégrer et enregistrer des données dans un cluster Hadoop avec les techniques et les outils les plus récents
  • identifier et à utiliser les outils appropriés à chaque situation (utilisation de Spark, Hive, Flume, Sqoop et Impala afin de bénéficier de la meilleure préparation possible pour faire face aux défis quotidiens auxquels sont confrontés les développeurs Hadoop)
Global Knowledge
Développement MapReduce & Spark sur HadoopPar Global Knowledge

Hadoop est un framework libre et Open Source destiné à faciliter la création d’applications distribuées pour le stockage et le traitement d’immenses volumes de données. Cette formation vous permettra d’acquérir les compétences nécessaires pour développer des solutions compatibles avec la plateforme Hadoop. Vous apprenez à développer des applications MapReduce et Spark sur cette plateforme.

Global Knowledge
Introduction à SparkPar Global Knowledge

Apache Spark est un framework open source de calcul distribué en mémoire permettant le traitement de grands volumes. Le but de cette formation est de présenter le framework Spark et d’apprendre à l’utiliser avec le langage Python pour traiter des problèmes de Big Data.