M2i Formation

Spark Scala - Traitement des données

Par M2i Formation

Objectifs

  • Maîtriser l'écosystème Spark en utilisant Scala comme language de programmation.

Programme

Jour 1

Introduction à Scala pour Apache Spark

  • Présentation de Scala
  • Pourquoi Scala avec Spark ?
  • Scala dans les autres framework
  • Introduction à Scala REPL
  • Les opérations basiques sur Scala
  • Les types de variables dans Scala
  • Les structures de contrôles dans Scala
    • Les boucles
    • Les fonctions
    • Les procédures
  • Les collections dans Scala (Array, ArrayBuffer, Map, Tuples, Lists...)

Introduction au Big Data et Apache Spark

  • Introduction au Big Data
  • Les challenges du Big Data
  • Batch vs le temps réel dans le Big Data Analytics
  • Analyse en Batch Hadoop
  • Vue d'ensemble de l'écosystème
  • Les options de l'analyse en temps réel
  • Streaming Data Spark
  • In-memory Data Spark
  • Présentation de Spark
  • Ecosystème Spark
  • Les modes de Spark
  • Installation de Spark
  • Vue d'ensemble de Spark en cluster
  • Spark Standalone cluster
  • Spark Web UI

Jour 2

Les opérations communes sur Spark

  • Utilisation de Spark Shell
  • Création d'un contexte Spark
  • Chargement d'un fichier en Shell
  • Réalisation d'opérations basiques sur un fichier avec Spark Shell
  • Présentation du l'environnement de développement SBT
  • Créer un projet Spark avec SBT
  • Exécuter un projet Spark avec SBT
  • Le mode local
  • Le mode Spark
  • Le caching sur Spark
  • Persistance distribuée

Introduction aux RDD et DataFrame

  • Transformations dans le RDD
  • Actions dans le RDD
  • Chargement de données dans RDD
  • Enregistrement des données à travers RDD
  • Paire clé-valeur "RDD MapReduce" et les paires "RDD Operations"
  • Intégration HDFS avec Spark et Hadoop
  • Intégration YARN avec Spark et Hadoop
  • Gestion des fichiers de séquences et les partitionner
Exemple de travaux pratiques (à titre indicatif)
  • Data PreProcessing avec Spark DataFrame

Jour 3

Spark Streaming et MLlib

  • Architecture de Spark Streaming
  • Premier programme avec Spark Streaming
  • Les transformations dans Spark Streaming
  • La "fault tolerance" dans Spark Streaming
  • Checkpointing
  • Niveaux de parallélismes
  • Machine Learning avec Spark
  • Types de données
  • Algorithmes et statistiques
  • Classification et régression
  • Clustering
  • Filtrage collaboratif

GraphX, SparkSQL et amélioration des performances dans Spark

  • Analyse de l'architecture de Hive et Spark SQL
  • SQLContext dans Spark SQL
  • Travailler avec les DataFrames
  • Implémentation d'un exemple pour Spark SQL
  • Intégration de Hive et Spark SQL
  • Support pour JSON et les formats des "Parquet File"
  • Implémentation de la Data Visualization avec Spark
  • Chargement de données
  • Les requêtes Hive à travers Spark
  • Les techniques de tests dans Scala
  • Les astuces d'amélioration de performance dans Spark
  • Les variables partagées
  • Diffusion des variables
  • Partage de variables
  • Accumulateurs

Pédagogie

L'évaluation des acquis se fait :

  • En cours de formation, par des études de cas ou des travaux pratiques
  • Et, en fin de formation, par un questionnaire d'auto-évaluation ou une certification (M2i ou éditeur)

Partager cette formationTélécharger au format pdf Ajouter à mes favoris

Formations de la même catégories (5)

Micropole Institut
Spark - Traitement de donnéesPar Micropole Institut

Cette formation permet de :

  • Se former à Spark, l'utiliser en ligne de commande et en développement
  • L'interfacer avec d'autres composants Big Data comme Kafka et Cassandra
  • Comprendre les notions de base des RDD (Resilient Distributed Datasets) et le partitionnement, le pipelining et les calculs de données
  • Comprendre les implications et les optimisations de performance lors de l'utilisation de Spark.
Openska
SparkPar Openska

Cette formation permet aux développeurs et architectes d’écrire simplement des applications distribuées complexes qui permettent de prendre des meilleurs décisions plus rapidement et des actions en temps réels, appliquées à une grande variété de cas d’utilisations, d’architectures et de secteurs d’activités.

Demos
Cloudera Spark avec Hadoop pour Développeurs (Certifiant CCA)Par Demos
  • intégrer et enregistrer des données dans un cluster Hadoop avec les techniques et les outils les plus récents
  • identifier et à utiliser les outils appropriés à chaque situation (utilisation de Spark, Hive, Flume, Sqoop et Impala afin de bénéficier de la meilleure préparation possible pour faire face aux défis quotidiens auxquels sont confrontés les développeurs Hadoop)
Global Knowledge
Développement MapReduce & Spark sur HadoopPar Global Knowledge

Hadoop est un framework libre et Open Source destiné à faciliter la création d’applications distribuées pour le stockage et le traitement d’immenses volumes de données. Cette formation vous permettra d’acquérir les compétences nécessaires pour développer des solutions compatibles avec la plateforme Hadoop. Vous apprenez à développer des applications MapReduce et Spark sur cette plateforme.

Global Knowledge
Introduction à SparkPar Global Knowledge

Apache Spark est un framework open source de calcul distribué en mémoire permettant le traitement de grands volumes. Le but de cette formation est de présenter le framework Spark et d’apprendre à l’utiliser avec le langage Python pour traiter des problèmes de Big Data.