Global Knowledge

Introduction à Spark

Par Global Knowledge

Objectifs

  • Comprendre le principe de fonctionnement de Spark
  • Apprendre à utiliser l’API PySpark pour interagir avec Spark en Python
  • Apprendre à utiliser les méthodes de Machine Learning avec la librairie MLlib de Spark
  • Apprendre à traiter les flux de données avec Spark Streaming
  • Apprendre à manipuler les données avec Spark SQL

Programme

Introduction à Hadoop

  • L’ère du Big Data
  • Architecture et composants de la plateforme Hadoop
  • HDFS
  • NameNode / DataNode / RessourceManager
  • Paradigme MapReduce et YARN

Introduction à Spark

  • Qu’est-ce que Spark ?
  • Spark vs MapReduce
  • Fonctionnement : RDD, DataFrames, Data Sets
  • Comment interagir avec Spark
  • PySpark : programmer avec Spark en Python

Manipulation des données

  • Formats basiques (fichiers textes, JSON, CSV, SequencesFiles, fichiers compressés)
  • Interagir avec des sources de données externes : connecteurs Hive, JDC, Hbase, ElasticSearch, …

Spark Streaming

  • Introduction à Spark Streaming
  • La notion de « DStream »
  • Principales sources de données
  • Utilisation de l’API
  • Manipulation des données

Spark SQL

  • Initiation à Spark SQL
  • Création de DataFrames
  • Manipulation des DataFrames (opérations basiques, agrégations & Groupby, Missing Data)
  • Chargement et stockage de données (avec Hive, JSON, etc…)

Spark ML avec MLlib

  • Modélisation Statistique & Apprentissage
  • Types de données (Vector / LabeledPoint / Model)
  • Préparation des données
  • Utilisation d’algorithme de MLlib (k-means / Régression logistique / arbre de discrimination / forêt aléatoire)
  • Exemple de création d’un modèle et de son évaluation avec Spark MLlib sur un jeu de données

GraphX et GraphFrames

  • Présentation de GraphX
  • Principe de création des graphes
  • API GraphX
  • Présentation GraphFrames
  • GraphX vs GraphFrames

Travaux pratiques

  • Alternance d’apports théoriques, d’exercices pratiques et de mise en situation sous forme de travaux pratiques permettant de tester les différentes notions abordées avec le langage Python

Pédagogie

Support de cours remis aux participants.

Formations de la même catégories (5)

Micropole Institut
Spark - Traitement de donnéesPar Micropole Institut

Cette formation permet de :

  • Se former à Spark, l'utiliser en ligne de commande et en développement
  • L'interfacer avec d'autres composants Big Data comme Kafka et Cassandra
  • Comprendre les notions de base des RDD (Resilient Distributed Datasets) et le partitionnement, le pipelining et les calculs de données
  • Comprendre les implications et les optimisations de performance lors de l'utilisation de Spark.
Openska
SparkPar Openska

Cette formation permet aux développeurs et architectes d’écrire simplement des applications distribuées complexes qui permettent de prendre des meilleurs décisions plus rapidement et des actions en temps réels, appliquées à une grande variété de cas d’utilisations, d’architectures et de secteurs d’activités.

Demos
Cloudera Spark avec Hadoop pour Développeurs (Certifiant CCA)Par Demos
  • intégrer et enregistrer des données dans un cluster Hadoop avec les techniques et les outils les plus récents
  • identifier et à utiliser les outils appropriés à chaque situation (utilisation de Spark, Hive, Flume, Sqoop et Impala afin de bénéficier de la meilleure préparation possible pour faire face aux défis quotidiens auxquels sont confrontés les développeurs Hadoop)
Global Knowledge
Développement MapReduce & Spark sur HadoopPar Global Knowledge

Hadoop est un framework libre et Open Source destiné à faciliter la création d’applications distribuées pour le stockage et le traitement d’immenses volumes de données. Cette formation vous permettra d’acquérir les compétences nécessaires pour développer des solutions compatibles avec la plateforme Hadoop. Vous apprenez à développer des applications MapReduce et Spark sur cette plateforme.

Global Knowledge
Introduction à SparkPar Global Knowledge

Apache Spark est un framework open source de calcul distribué en mémoire permettant le traitement de grands volumes. Le but de cette formation est de présenter le framework Spark et d’apprendre à l’utiliser avec le langage Python pour traiter des problèmes de Big Data.