L'apprentissage Machine avec Spark (Spark ML)

• Être capable de mettre en oeuvre Spark ML pour de l'apprentissage machine et l'analyse de données
• Comprendre comment récupérer les données et les préparer pour un traitement efficient
• Savoir modéliser les données et optimiser les modèles
• Être en mesure d’industrialiser et de déployer une application de prédiction

L’écosystème SPARK et l’apprentissage Big Data

• Enjeux machine learning et Big Data
• L’écosystème Apache Spark
• Les différentes briques de base
• Focus SPARK SQL
• Dataframes et Datasets
• Lab : Mise en oeuvre de l’écosystème SPARK pour l’apprentissage machine Big Data

Le chargement de données d’entraînement massives

• Chargement générique de données
• Chargement de fichiers de formats spécifiques
• Interrogation de bases HIVE
• Interrogation de bases externes
• Lab : Chargement de données de sources diverses sur un cluster SPARK

L’exploration de données d’entraînement massives

• Réalisation de statistiques de base avec SPARK
• Exploitation des librairies graphiques statistiques dans un cadre Big Data
• Lab : Exploration de données d’entraînement sur un cas concret

Le “Pipelining”

• Le concept de Pipeline Spark
• Les composants d’un Pipeline
• Le fonctionnement d’un Pipeline
• La gestion des paramètres
• Persistance et chargement de Pipelines
• Lab : Création d’un premier pipeline d’apprentissage machine avec SPARK

Le prétraitement et l’ingénierie des variables prédictives

• Extraction de variables prédictives
• Transformation de variables
• Sélection de variables prédictives
• Hachage de variables
• Lab : Prétraitement et ingénierie des variables prédictives sur un cas concret

La création de modèles d’apprentissage Big Data

• Classification de données massives
• Régression de données massives
• Clustering de données massives
• Systèmes de recommandation Big Data
• Règles d’association de données massives
• Lab : Réalisation de modèles d’apprentissage sur des cas concrets Big Data

L’optimisation du réglage des modèles d’apprentissage

• Réglage des hyper-paramètres des modèles
• Validation croisée
• Séparation des données (entraînement, validation)
• Lab : Optimisation du réglage de modèles d’apprentissage sur cas concrets

Déploiement de modèles d’apprentissage Big Data

• Création d’application prédictive en batch
• Création d’application prédictive en streaming
• Mise en oeuvre concrète sur un cluster Big Data
• Bonnes pratiques de déploiement
• Lab : Création d’applications en batch et en streaming sur cas concrets

• Un tour d'horizon de l’écosystème Spark ML.
• Un focus sur la mise en oeuvre d’algorithmes à l’aide de la brique Machine Learning de Spark qui permet de réaliser de l’apprentissage sur un socle Big Data.
• Des ateliers pour expérimenter le framework sur des cas concrets.