Orsys logo

Big Data, état de l'art

par Orsys

8.3/ 10(20 avis)

Trop généraliste Trop de temps passé sur l introduction Le formateur n a pas demandé la connaissance qu on avait sur le sujet pour adapter son discours C était plus un cours d amphi pour présenter m'en sujet qu une formation professionnel Les exemples doivent être mis à jour car ils datent de 2013.

Formation suivie par Élodie F le 1 juillet 2018.

Objectifs

  • Découvrir les principaux concepts du Big Data
  • Identifier les enjeux économiques
  • Evaluer les avantages et les inconvénients du Big Data
  • Comprendre les principaux problèmes et les solutions potentielles
  • Identifier les principales méthodes et champs d'application du Big Data

Programme

Introduction

  • Les origines du Big Data : un monde de données numériques, l'e-santé, chronologie.
  • Une définition par les quatre V : la provenance des données.
  • Une rupture : changements de quantité, de qualité, d'habitudes.
  • La valeur de la donnée : un changement d'importance.
  • La donnée en tant que matière première.
  • Le quatrième paradigme de la découverte scientifique.

Big Data : traitements depuis l'acquisition jusqu'au résultat

  • L'enchaînement des opérations. L'acquisition.
  • Le recueil des données : crawling, scraping.
  • La gestion de flux événementiel (Complex Event Processing, CEP).
  • L'indexation du flux entrant.
  • L'intégration avec les anciennes données.
  • La qualité des données : un cinquième V ?
  • Les différents types de traitement : recherche, apprentissage (machine learning, transactionnel, data mining).
  • D'autres modèles d'enchaînement : Amazon, e-Santé.
  • Un ou plusieurs gisements de données ? De Hadoop à l'in-memory.
  • De l'analyse de tonalité à la découverte de connaissances.

Relations entre Cloud et Big Data

  • Le modèle d'architecture des Clouds publics et privés.
  • Les services XaaS.
  • Les objectifs et avantages des architectures Cloud.
  • Les infrastructures.
  • Les égalités et les différences entre Cloud et Big Data.
  • Les Clouds de stockage.
  • Classification, sécurité et confidentialité des données.
  • La structure comme critère de classification : non structurée, structurée, semi-structurée.
  • Classification selon le cycle de vie : données temporaires ou permanentes, archives actives.
  • Difficultés en matière de sécurité : augmentation des volumétries, la distribution.
  • Les solutions potentielles.

Introduction à l'Open Data

  • La philosophie des données ouvertes et les objectifs.
  • La libération des données publiques.
  • Les difficultés de la mise en œuvre.
  • Les caractéristiques essentielles des données ouvertes.
  • Les domaines d'application. Les bénéfices escomptés.

Matériel pour les architectures de stockage

  • Les serveurs, disques, réseau et l'usage des disques SSD, l'importance de l'infrastructure réseau.
  • Les architectures Cloud et les architectures plus traditionnelles.
  • Les avantages et les difficultés.
  • Le TCO. La consommation électrique : serveurs (IPNM), disques (MAID).
  • Le stockage objet : principe et avantages.
  • Le stockage objet par rapport aux stockages traditionnels NAS et SAN.
  • L'architecture logicielle.
  • Niveaux d'implantation de la gestion du stockage.
  • Le "Software Defined Storage".
  • Architecture centralisée (Hadoop File System).
  • L'architecture Peer-to-Peer et l'architecture mixte.
  • Les interfaces et connecteurs : S3, CDMI, FUSE, etc.
  • Avenir des autres stockages (NAS, SAN) par rapport au stockage objet.

Protection des données

  • La conservation dans le temps face aux accroissements de volumétrie.
  • La sauvegarde, en ligne ou locale ?
  • L'archive traditionnelle et l'archive active.
  • Les liens avec la gestion de hiérarchie de stockage : avenir des bandes magnétiques.
  • La réplication multisites.
  • La dégradation des supports de stockage.

Méthodes de traitement et champs d'application

  • Classification des méthodes d'analyse selon le volume des données et la puissance des traitements.
  • Hadoop : le modèle de traitement Map Reduce.
  • L'écosystème Hadoop : Hive, Pig. Les difficultés d'Hadoop.
  • OpenStack et le gestionnaire de données Ceph.
  • Le Complex Event Processing : un exemple ? Storm.
  • Du BI au Big Data.
  • Le décisionnel et le transactionnel renouvelés : les bases de données NoSQL.Typologie et exemples.
  • L'ingestion de données et l'indexation. Deux exemples : splunk et Logstash.
  • Les crawlers Open Source.
  • Recherche et analyse : Elasticsearch.
  • L'apprentissage : Mahout. In-memory.
  • Visualisation : temps réel ou non, sur le Cloud (Bime), comparaison QlikView, Tibco Spotfire, Tableau.
  • Une architecture générale du data mining via le Big Data.

Cas d'usage à travers des exemples et conclusion

  • L'anticipation : besoins des utilisateurs dans les entreprises, maintenance des équipements.
  • La sécurité : des personnes, détection de fraude (postale, taxes), le réseau.
  • La recommandation. Analyses marketing et analyses d'impact.
  • Analyses de parcours. Distribution de contenu vidéo.
  • Big Data pour l'industrie automobile ? Pour l'industrie pétrolière ?
  • Faut-il se lancer dans un projet Big Data ?
  • Quel avenir pour les données ?
  • Gouvernance du stockage des données : rôle et recommandations, le Data Scientist, les compétences d'un projet Big Data.

Avis clients (20)

Note générale8.3/10
Organisation8.3/10
Animation8.3/10
Contenu8.3/10
  • Élodie F
    Trop généraliste Trop de temps passé sur l introduction Le formateur n a pas demandé la connaissance qu on avait sur le sujet pour adapter son discours C était plus un cours d amphi pour présenter m'en sujet qu une formation professionnel Les exemples doivent être mis à jour car ils datent de 2013.Suivie le 1 juillet 2018.
  • Thierry M
    riche en connaissance mais manque d'interaction avec l'auditoireSuivie le 20 juin 2018.
  • Guen L
    Trop de temps accordé à des sujets conceptuels, pas assez d'approfondissement des sujets techniquesSuivie le 1 juillet 2018.
  • Jean-yves A
    Pour une meilleure visibilité des cours, il manque de la couleur dans le support de cours (classeur).Suivie le 12 septembre 2018.
  • Emmanuel V
    Conférence traitée sous l'an forme d'un cours de 2 jours. Trop diluéSuivie le 1 juillet 2018.
  • Stéphane R
    Répond à ma demande, mais 2 jours c'est un peu court.Suivie le 12 septembre 2018.
  • Richard S
    très bonne animation / rythme/niveau/culture/exhaustivité du sujet.Suivie le 20 juin 2018.
  • Equy O
    Formation trop accès sur le développement personnel, ce que je ne recherchait pasSuivie le 12 septembre 2018.
  • Anne L
    INTERVENANT TRES INTERESSANT PASSIONNE ET PASSIONNANTSuivie le 20 juin 2018.
  • Bertrand F
    Présentation correspondant aux attentes. Très bonne qualité de l'intervenantSuivie le 5 septembre 2018.
  • Myriam C
    Support papier tassé et un peut dense.Suivie le 5 septembre 2018.
  • Nathalie C
    IL MANQUE DANS LES COMMENTAIRES DES SLIDES. LES N MAJUSCULES ET LES ç FORMATEUR TRES CLAIR . COURS ILLUSTRE DE NOMBREUX EXEMPLES REFERENCE DE DOCUMENTS PRECIEUXSuivie le 20 juin 2018.
  • Fabrice B
    le contenu est très intéressant mais trop dense, il ya énormément d'informations pour finalement n'en retenir qu'une partie. Trop de diapos textuels.Suivie le 20 juin 2018.
  • Stéphanie L
    FORMATEUR TRES INTERESSANT QUI ILLUSTRE SON DISCOURS D EXEMPLES CONCRETS INTELLIGIBLES PAR TOUSSuivie le 20 juin 2018.
  • Billy G
    BEAUCOUP D ILLUSTRATIONS ET D EXEMPLESSuivie le 20 juin 2018.
  • Delphine A
    Bien pour une overview, initiation. Beaucoup de notions à appréhender !Suivie le 5 septembre 2018.
  • Thierry F
    Certaines pages du support auraient nécessitées d'être en couleur! Présentation qui donne envie d'aller plus loin dans le big dataSuivie le 5 septembre 2018.
  • Christophe L
    Support dense et sujet complexe pour deux jours.Suivie le 5 septembre 2018.
  • Hedi B
    Bonne interaction entre la matière et les ateliers.Suivie le 12 septembre 2018.
  • Abdelghani O
    Il aurait ete preferable d'avoir les supports avant ainsi que la liste des livres necessaires.Suivie le 12 septembre 2018.

Formations de la même catégories (5)

  • Prix1960 € HT
  • Durée2 jours
  • ModePrésentiel