M2i Formation

PySpark - Traitement des données

Par M2i Formation

Objectifs

  • Décrire le principe de fonctionnement de Spark
  • Utiliser l'API PySpark pour interagir avec Spark en Python
  • Mettre en oeuvre les méthodes de Machine Learning avec la librairie MLlib de Spark
  • Traiter les flux de données avec Spark Streaming
  • Manipuler les données avec Spark SQL.

Programme

Jour 1

Introduction à Hadoop

  • L'ère du Big Data
  • Architecture et composants de la plateforme Hadoop
  • HDFS
  • NameNode / DataNode / ResourceManager
  • MapReduce et YARN

Introduction à Spark

  • Qu'est-ce que Spark ?
  • Spark vs MapReduce
  • Fonctionnement
    • RDD
    • DataFrames
    • Data Sets
  • Comment interagir avec Spark ?
  • PySpark : programmer avec Spark en Python

Installation de Spark

  • Sur une infrastructure distribuée
  • En local
  • En Cloud (présentation avec Amazon AWS et Microsoft Azure)

Jour 2

Spark pour la manipulation des données - PySpark

  • Utilisation de SparkSQL et des DataFrames pour manipuler des données
  • Charger des données depuis Hadoop, depuis des fichiers CSV, texte, JSON...
  • Transformer des données (création de DataFrames, ajout de colonnes, filtres...)
Exemple de travaux pratiques (à titre indicatif)
  • Chargement et modifications de données avec Spark et PySpark

L'utilisation de spark.ml pour le Machine Learning

  • Apprentissage supervisé
    • Forêts aléatoires avec Spark
  • Mise en place d'un outil de recommandation
  • Traitement de données textuelles
  • Automatiser vos analyses avec des pipelines

Jour 3

Spark Streaming

  • Introduction à Spark Streaming
  • La notion de "DStream"
  • Principales sources de données
  • Utilisation de l'API
  • Manipulation des données

Spark SQL

  • Initialisation à Spark SQL
  • Création de DataFrames
  • Manipulation des DataFrames (opérations basiques, agrégations et groupBy, missing data)
  • Chargement et stockage de données (avec Hive, JSON...)

GraphX et GraphFrames

  • Présentation de GraphX
  • Principe de création des graphes
  • API GraphX
  • Présentation de GraphFrames
  • GraphX vs GraphFrames

Pédagogie

  • En cours de formation, par des études de cas ou des travaux pratiques
  • Et, en fin de formation, par un questionnaire d'auto-évaluation ou une certification (M2i ou éditeur)

Partager cette formationTélécharger au format pdf Ajouter à mes favoris

Formations de la même catégories (5)

Global Knowledge
Big Data : Architecture et technologiesPar Global Knowledge

Ce cours de synthèse vous présentera les enjeux et les apports du Big Data ainsi que les technologies pour sa mise en œuvre. Vous apprendrez à gérer un projet de gestion de données massives depuis l'installation d'une plateforme Big Data, tout en passant par la gestion, l'analyse et la visualisation des données.

Dawan
Apache Kafka : Echange de donnéesPar Dawan

Comprendre l’architecture de Kafka et ses cas d’utilisation - Utiliser les APIs Kafka - Administrer un cluster - Construire une architecture haute-disponibilité - Sécuriser un cluster

IB Formation
Big Data - Mise en oeuvre pratique d'une solution complète d'analyse des donnéesPar IB Formation

Comprendre les besoins métier pour livrer aux décideurs des indicateurs fiables et pertinents, tel est le rôle attendu des spécialistes Big Data. Précisément conçu pour leur apprendre à mettre en oeuvre une solution de Big Data en environnement Hadoop, solution phare pour les traitements Big Data, ce programme reprend le cheminement logique d’un projet d’analyse de données. De leur collecte initiale à la mise en place de solutions de stockage spécifiques permettant d’organiser un très grand volume d’information, à la réalisation de scripts Pig et Hive qui, convertis en tâches MapReduce, permettent d’agréger et de filtrer les données pour finalement les analyser, tous les aspects seront abordés.

M2i Formation
Big Data - Sécurité des donnéesPar M2i Formation
  • Utiliser les techniques de sécurité pour mieux protéger les SI dans le monde du Big Data.
Orsys
RGPD certification foundation (EXIN)Par Orsys

Cette certification pour la confidentialité et la protection des données (PDPF) d'EXIN valide les connaissances d'un professionnel sur l'organisation de la protection des données personnelles afin de garantir la conformité au règlement général sur la protection des données.