L'apprentissage Machine avec Spark (Spark ML)
Par IB FormationObjectifs
- Être capable de mettre en oeuvre Spark ML pour de l'apprentissage machine et l'analyse de données
- Comprendre comment récupérer les données et les préparer pour un traitement efficient
- Savoir modéliser les données et optimiser les modèles
- Être en mesure d’industrialiser et de déployer une application de prédiction
Programme
L’écosystème SPARK et l’apprentissage Big Data
- Enjeux machine learning et Big Data
- L’écosystème Apache Spark
- Les différentes briques de base
- Focus SPARK SQL
- Dataframes et Datasets
- Lab : Mise en oeuvre de l’écosystème SPARK pour l’apprentissage machine Big Data
Le chargement de données d’entraînement massives
- Chargement générique de données
- Chargement de fichiers de formats spécifiques
- Interrogation de bases HIVE
- Interrogation de bases externes
- Lab : Chargement de données de sources diverses sur un cluster SPARK
L’exploration de données d’entraînement massives
- Réalisation de statistiques de base avec SPARK
- Exploitation des librairies graphiques statistiques dans un cadre Big Data
- Lab : Exploration de données d’entraînement sur un cas concret
Le “Pipelining”
- Le concept de Pipeline Spark
- Les composants d’un Pipeline
- Le fonctionnement d’un Pipeline
- La gestion des paramètres
- Persistance et chargement de Pipelines
- Lab : Création d’un premier pipeline d’apprentissage machine avec SPARK
Le prétraitement et l’ingénierie des variables prédictives
- Extraction de variables prédictives
- Transformation de variables
- Sélection de variables prédictives
- Hachage de variables
- Lab : Prétraitement et ingénierie des variables prédictives sur un cas concret
La création de modèles d’apprentissage Big Data
- Classification de données massives
- Régression de données massives
- Clustering de données massives
- Systèmes de recommandation Big Data
- Règles d’association de données massives
- Lab : Réalisation de modèles d’apprentissage sur des cas concrets Big Data
L’optimisation du réglage des modèles d’apprentissage
- Réglage des hyper-paramètres des modèles
- Validation croisée
- Séparation des données (entraînement, validation)
- Lab : Optimisation du réglage de modèles d’apprentissage sur cas concrets
Déploiement de modèles d’apprentissage Big Data
- Création d’application prédictive en batch
- Création d’application prédictive en streaming
- Mise en oeuvre concrète sur un cluster Big Data
- Bonnes pratiques de déploiement
- Lab : Création d’applications en batch et en streaming sur cas concrets
Pédagogie
- Un tour d'horizon de l’écosystème Spark ML.
- Un focus sur la mise en oeuvre d’algorithmes à l’aide de la brique Machine Learning de Spark qui permet de réaliser de l’apprentissage sur un socle Big Data.
- Des ateliers pour expérimenter le framework sur des cas concrets.
Formations de la même catégories (5)
Ce cours de synthèse vous présentera les enjeux et les apports du Big Data ainsi que les technologies pour sa mise en œuvre. Vous apprendrez à gérer un projet de gestion de données massives depuis l'installation d'une plateforme Big Data, tout en passant par la gestion, l'analyse et la visualisation des données.
Comprendre l’architecture de Kafka et ses cas d’utilisation - Utiliser les APIs Kafka - Administrer un cluster - Construire une architecture haute-disponibilité - Sécuriser un cluster
Comprendre les besoins métier pour livrer aux décideurs des indicateurs fiables et pertinents, tel est le rôle attendu des spécialistes Big Data. Précisément conçu pour leur apprendre à mettre en oeuvre une solution de Big Data en environnement Hadoop, solution phare pour les traitements Big Data, ce programme reprend le cheminement logique d’un projet d’analyse de données. De leur collecte initiale à la mise en place de solutions de stockage spécifiques permettant d’organiser un très grand volume d’information, à la réalisation de scripts Pig et Hive qui, convertis en tâches MapReduce, permettent d’agréger et de filtrer les données pour finalement les analyser, tous les aspects seront abordés.
- Utiliser les techniques de sécurité pour mieux protéger les SI dans le monde du Big Data.
Cette certification pour la confidentialité et la protection des données (PDPF) d'EXIN valide les connaissances d'un professionnel sur l'organisation de la protection des données personnelles afin de garantir la conformité au règlement général sur la protection des données.
